Automatisches und manuelles Testen.

Kurz gesagt

• Ein automatisierter Scan findet etwa 30 bis 50 Prozent der tatsächlichen Barrierefreiheitsprobleme.
• Von den 55 WCAG-Kriterien, die wir zugrunde legen, deckt der Scanner 31 automatisch oder teilweise ab.
• Der Rest erfordert menschliches Urteilsvermögen: ob ein Linktext in seinem Kontext stimmt, ob ein Alternativtext das Bild wirklich beschreibt.
• Sie brauchen beides. Der Scan erfasst die automatisiert erkennbaren Probleme; der Mensch beurteilt, was Software nicht erkennen kann.

Was ein Scan findet und was nicht.

Ein automatisierter Scan ist schnell, konsistent und kann jede Seite jederzeit erneut prüfen, aber er findet nicht alles. Eine Untersuchung des britischen Government Digital Service aus dem Jahr 2017 ergab, dass das beste einzelne Tool 41 Prozent der eingebauten Fehler auf einer Testseite erkannte. Deque, der Hersteller der Scan-Engine, die Wexlo verwendet, berichtet selbst von 57 Prozent, zählt dabei aber einzelne Instanzen statt Problemarten. Kontrastfehler wiederholen sich Dutzende Male auf einer Seite, eine Tastaturfalle nur einmal.

Wexlo hält sich deshalb an die niedrigere Schätzung: Automatisiertes Scannen findet etwa 30 bis 50 Prozent der tatsächlichen Barrierefreiheitsprobleme.

Die Grenze verläuft manchmal innerhalb eines Kriteriums.

Kontrast (WCAG 1.4.3) steht in unserer eigenen Kriterienkarte bewusst auf "teilweise" automatisch: Die Kontrast-Engine kann einen Hintergrund mit einem dekorativen Bild nicht immer bestimmen und gibt dann kein Urteil ab. Von den 55 WCAG-2.2-A/AA-Kriterien testet unser Scanner 31 automatisch oder teilweise automatisch.

Wo die Grenze liegt.

Von den 55 WCAG 2.2 A/AA-Kriterien testet unser Scanner 31 automatisch oder teilweise automatisch. Der Rest erfordert einen Menschen.

31 von 55 bezieht sich darauf, wie viele Kriterien wir erreichen können, nicht darauf, wie viele Probleme wir finden. Letzteres liegt niedriger, bei etwa 30 bis 50 Prozent, denn innerhalb eines Kriteriums kann ein Scan immer noch etwas übersehen.

Quellen

• Government Digital Service, 2017

  Vergleichende Untersuchung zu automatisierten Barrierefreiheitstools, 143 eingebrachte Fehler.

• Deque, axe-core

  Eigene Angabe zur Abdeckung von 57 Prozent, gezählt nach Instanzen statt nach Problemarten.

• Wexlo-Kriterienkarte

  55 Kriterien insgesamt, 31 maschinell getestet, 1.4.3 als teilweise. Unsere eigene Karte, pro Kriterium nachvollziehbar.