Fünf kommerzielle Spracherkennungssysteme erreichten im Durchschnitt eine Wortfehlerrate (WER) von 0,35 bei Schwarzen Sprechern gegenüber 0,19 bei weißen Sprechern (Stanford, Koenecke et al., PNAS 2020), und eine 2026 veröffentlichte Studie fand bei vier kommerziellen Systemen noch immer eine mittlere WER von 20% gegenüber 15% (University of Washington, Scott et al., LREC 2026). Benchmarks verbergen die Lücke: Whisper large erreicht 2,7% auf LibriSpeech test-clean und 19,7% auf einem Korpus internationaler englischer Akzente (University of Edinburgh, EdAcc-Paper 2023). Bei Sprechern mit Parkinson-bedingter Dysarthrie macht ein Erkenner, der bei typischer Sprache 3,4% Fehler produziert, 36,3% Fehler (Speech Accessibility Project, JSLHR 2024). Wir haben Daten aus PNAS, dem OpenAI-Whisper-Paper, Metas Fair-Speech-Datensatz, dem Speech Accessibility Project, Mozilla Common Voice und mehr als einem Dutzend weiterer begutachteter Quellen zusammengeführt und dabei die Notation jeder Quelle beibehalten (manche geben die WER als Bruch wie 0,35 an, die meisten als Prozentwert wie 19,7%). Dieselbe Kennzahl liegt den Genauigkeitsregeln für Live-Untertitel zugrunde, weshalb wenige WER-Punkte weit über das Labor hinaus zählen.
TL;DR
- Fünf kommerzielle ASR-Systeme erreichten im Durchschnitt eine WER von 0,35 bei Schwarzen gegenüber 0,19 bei weißen Sprechern, und 23% gegenüber 1,6% der Ausschnitte waren bei einer WER über 0,5 unbrauchbar (Stanford, Koenecke et al., PNAS 2020).
- Vier kommerzielle Systeme erreichten im Durchschnitt 20% WER bei afroamerikanischen gegenüber 15% bei weißen US-amerikanischen Sprechern, ein relativer Anstieg von 33% (University of Washington, Scott et al., LREC 2026).
- Whisper large erreicht 2,7% WER auf LibriSpeech test-clean und 19,7% auf dem Testsatz für akzentuiertes Englisch EdAcc (University of Edinburgh, EdAcc-Paper 2023).
- Whisper-large-v2 erzielte bei Sprachbefehlen 9,52 für Schwarze oder afroamerikanische Sprecher gegenüber 3,96 für weiße Sprecher (Meta, Fair-Speech Dataset 2024).
- Ein niederländischer Erkenner kam bei gelesener Sprache von Nicht-Muttersprachlern auf 55,9% WER gegenüber 26,1% bei Muttersprachlern (TU Delft, Feng et al., Quantifying Bias in ASR 2021).
- Dysarthrische Sprache hob eine Baseline-WER von 3,4% auf 36,3%, und die Feinabstimmung senkte sie auf 23,7% (Speech Accessibility Project, JSLHR 2024).
- Das beste System der Interspeech 2025 Speech Accessibility Project Challenge erreichte 8,11% WER gegenüber 17,82% bei der Baseline whisper-large-v2 (Zheng et al., Interspeech 2025).
- Sechs ASR-Systeme erreichten bei stotternder Sprache im Durchschnitt eine WER von 0,281 gegenüber 0,105, nachdem die Sprechunflüssigkeiten entfernt worden waren (Mujtaba et al., NAACL 2024).
- Common Voice Scripted Speech v27.0 umfasst 29.295 validierte Stunden in 295 Sprachen, bei weltweit über 7.000 Sprachen (Mozilla Common Voice 2026; Pratap et al., MMS-Paper 2023).
- AWS General Transcribe hatte bei Schwarzen Patienten der häuslichen Krankenpflege eine mediane WER von 50% gegenüber 33% bei weißen Patienten, P = 0,016 (Zolnoori et al., JAMIA Open 2024).
- Gerichtsstenografen mit 95% zertifizierter Genauigkeit erreichten bei afroamerikanischem Englisch im Durchschnitt 82,9% Wortgenauigkeit (Jones et al., Language 2019).
- 93% der afroamerikanischen Teilnehmer einer zweiwöchigen Tagebuchstudie passten ihren Dialekt an, um von Sprachtechnologie verstanden zu werden (Mengesha et al., Frontiers in Artificial Intelligence 2021).
1. Ethnische und dialektale Lücken bei kommerzieller und offener ASR
Die kanonische Zahl ist sechs Jahre alt und wurde durch bessere Belege nicht abgelöst. In der PNAS-Untersuchung von Amazon, Apple, Google, IBM und Microsoft lag die durchschnittliche WER bei 0,35 für Schwarze Sprecher und bei 0,19 für weiße Sprecher, eine Lücke von 0,16 (0,35 minus 0,19), gemessen an 19,8 Stunden Audio von 73 Schwarzen und 42 weißen Sprechern, die nach Alter und Geschlecht gepaart waren. Die Autoren verorteten das Problem in den akustischen Modellen, weil die Lücke bei identischen Phrasen bestehen blieb: Microsoft, das beste System, erreichte bei gepaarten Äußerungen 0,13 gegenüber 0,07. Aktuellste verfügbare Daten für eine Untersuchung mit fünf Anbietern: Koenecke et al., PNAS 2020.
Die neuere Evidenz, die aus anderen Korpora stammt, zeigt insgesamt niedrigere Fehlerraten und eine Lücke, die sich nicht geschlossen hat. Ein Team der University of Washington berichtet bei vier kommerziellen Systemen einen relativen Anstieg von 33% für afroamerikanische Sprecher, und Metas eigener Sprachbefehls-Datensatz zeigt Whisper-large-v2 bei 9,52 für Schwarze oder afroamerikanische Sprecher gegenüber 3,96 für weiße Sprecher. Das Washingtoner Team führt seine Fehler auf Unterschiede in der Vokalqualität zwischen Dialekten zurück, was die Diagnose zu den akustischen Modellen aus dem Jahr 2020 aufgreift.
| Metrik | Wert | Quelle |
|---|---|---|
| Durchschnittliche WER, Schwarze vs weiße Sprecher, fünf kommerzielle Systeme | 0,35 vs 0,19 | Stanford (Koenecke et al.), PNAS 2020 |
| Bester und schlechtester Anbieter, Schwarze vs weiße Sprecher | Microsoft 0,27 vs 0,15; Apple 0,45 vs 0,23 | Stanford (Koenecke et al.), PNAS 2020 |
| Ausschnitte mit WER über 0,5 (unbrauchbare Transkripte) | 23% der Ausschnitte Schwarzer Sprecher vs 1,6% der Ausschnitte weißer Sprecher | Stanford (Koenecke et al.), PNAS 2020 |
| Mittlere WER, afroamerikanische vs weiße US-amerikanische Sprecher, vier kommerzielle Systeme | 20% vs 15% (relativer Anstieg von 33%) | University of Washington (Scott et al.), LREC 2026 |
| Mittlere WER, ChicanX- und Yakama-Sprecher, dieselben vier Systeme | 23% und 21% | University of Washington (Scott et al.), LREC 2026 |
| WER, Schwarze oder afroamerikanische vs weiße Sprecher, Whisper-large-v2 und Whisper-small | 9,52 vs 3,96; 16,99 vs 4,51 | Meta (Veliche et al.), Fair-Speech Dataset 2024 |
| Relative WER-Lücke zwischen ethnischen Gruppen, Whisper-large-v2 vs semi-überwachtes Videomodell von Meta | 61,13% vs 31,04% | Meta (Veliche et al.), Fair-Speech Dataset 2024 |
Kontext: Die Washingtoner Untersuchung nutzte 16 Sprecher (vier pro Gruppe) und spiegelt die Systemleistung des Jahres 2022 wider, obwohl das Paper in den Tagungsband der LREC 2026 aufgenommen wurde. Fair-Speech umfasst 593 US-Sprecher und rund 26,5 Tsd. Äußerungen, und seine Autoren geben an, dass die relative Lücke bei Whisper-Modellen über alle gemessenen Dimensionen hinweg größer als 40% ist.
2. Benchmark-WER vs reale Sprache
Der Benchmark-Standard ist saubere gelesene Sprache, keine Unterhaltung. Das Whisper-Paper macht das in seiner eigenen Tabelle deutlich: Dasselbe Modell, das auf LibriSpeech Clean 2,7 erreicht, kommt auf CHiME6 auf 25,5 und auf CORAAL, dem Korpus von Interviews in African American Language, auf 16,2. Whisper large geht von 2,7% WER auf LibriSpeech test-clean auf 19,7% auf EdAcc, einer Sammlung von Videotelefonaten zwischen Freunden mit mehr als 40 selbst angegebenen englischen Akzenten.
Und das ist noch das robuste Modell. Ein wav2vec-2.0-System mit 2,9% auf LibriSpeech erreichte bei denselben akzentuierten Gesprächen 36,1%. Schon der Sprechstil allein verschiebt das Ergebnis: Ein niederländischer Erkenner erreichte im Durchschnitt 36,2% WER bei gelesener Sprache und 47,5% bei Mensch-Maschine-Interaktionssprache derselben Sprechergruppe (TU Delft, Feng et al., Quantifying Bias in ASR 2021).
| Metrik | Wert | Quelle |
|---|---|---|
| WER von Whisper Large V2, LibriSpeech Clean | 2,7 | OpenAI (Radford et al.), Whisper-Paper 2022 |
| WER von Whisper Large V2, CHiME6 und CORAAL | 25,5 und 16,2 | OpenAI (Radford et al.), Whisper-Paper 2022 |
| Durchschnittliche WER über die Datensätze der Tabelle 2 des Papers, wav2vec 2.0 Large vs Whisper Large V2 | 29,3 vs 12,8 (durchschnittliche relative Fehlerreduktion von 55,2%) | OpenAI (Radford et al.), Whisper-Paper 2022 |
| WER von Whisper large, EdAcc test vs LibriSpeech test-clean | 19,7% vs 2,7% | University of Edinburgh (Sanabria et al.), EdAcc-Paper 2023 |
| WER von wav2vec 2.0 und einem kommerziellen System, EdAcc test vs LibriSpeech test-clean | 36,1 vs 2,9; 18,7 vs 3,8 | University of Edinburgh (Sanabria et al.), EdAcc-Paper 2023 |
| Beste durchschnittliche WER, englische Kurzform-Spur; Whisper Large v3 auf derselben Spur | 5,42; 7,44 | Open-ASR-Leaderboard-Paper (Srivastav et al.), v4 März 2026 |
| Verglichene Systeme | 86 Systeme von 26 Organisationen auf 12 Datensätzen; 74 Open Source | Open-ASR-Leaderboard-Paper (Srivastav et al.), v4 März 2026 |
Kontext: Das Open ASR Leaderboard berichtet Durchschnitte über kuratierte Testsätze, und die von uns gelesenen Tabellen enthalten keine demografische Aufschlüsselung der Sprecher, sodass ein Durchschnitt von 5,42 nichts darüber aussagt, wer im Randbereich liegt. Die CORAAL-Zahl kommt einer dialektspezifischen Zahl im Whisper-Paper am nächsten: Whisper senkte den Fehler von wav2vec 2.0 auf diesem Korpus von 35,6 auf 16,2, und er blieb das Sechsfache des Werts auf LibriSpeech Clean (16,2 geteilt durch 2,7).
3. Nicht-muttersprachliche und regionale Akzente
Akzentlücken werden überwiegend am Englischen und meist mit kleinen oder selbstselektierten Korpora gemessen. Die breiteste Untersuchung, die wir gefunden haben, mit 2.713 Sprechern des Speech Accent Archive, geboren in 171 Ländern, verwendet gar keine WER: Sie berichtet die verlorene Wortinformation (WIL) und stellt fest, dass sie bei Sprechern mit Englisch als Erstsprache um 0,14 niedriger liegt (P<0,001). Bei panafrikanisch akzentuiertem Englisch erzielte Whisper-large eine WER von 0,240 bei allgemeiner und von 0,375 bei klinischer Sprache, und alle drei getesteten kommerziellen Cloud-Systeme schnitten schlechter ab.
Regionale Akzente einer Erstsprache folgen demselben Muster. Bei den automatischen Untertiteln von YouTube zeigten 80 Sprecher aus fünf Dialektregionen (Kalifornien, Georgia, Neuengland, Neuseeland und Schottland) eine durchweg schlechtere Erkennung für schottische Sprecher (University of Washington, Tatman, ACL Ethics in NLP Workshop 2017). Im Niederländischen wurden flämische Jugendliche, die laut vorlasen, von einem auf niederländischem Niederländisch trainierten Modell mit 40,5% WER erkannt. Diese Fehler pflanzen sich fort, denn ein falsch erkannter Ausgangssatz ist die Eingabe jeder Speech-to-Speech-Übersetzungs-Pipeline.
| Metrik | Wert | Quelle |
|---|---|---|
| Umfang des EdAcc-Korpus | Fast 40 Stunden, mehr als 40 selbst angegebene Akzente, 51 Erstsprachen | University of Edinburgh (Sanabria et al.), EdAcc-Paper 2023 |
| WIL-Lücke, Sprecher mit Englisch vs anderer Erstsprache, alle Dienste | 0,14 niedriger für Sprecher mit Englisch als Erstsprache (P<0,001); 2.713 Sprecher, 212 Erstsprachen | DiChristofano et al., Global Performance Disparities Between English-Language Accents (arXiv) 2023 |
| WIL-Lücke nach Dienst | Google 0,17; Amazon 0,14; Microsoft 0,11 | DiChristofano et al., Global Performance Disparities Between English-Language Accents (arXiv) 2023 |
| WER von Whisper-large bei panafrikanischem Englisch, allgemeine vs klinische Domäne | 0,240 vs 0,375 | Olatunji et al., AfriSpeech-200, TACL 2023 |
| WER kommerzieller Cloud-Dienste bei panafrikanischem Englisch, beide Domänen | Azure 0,391; AWS 0,442; GCP 0,578 | Olatunji et al., AfriSpeech-200, TACL 2023 |
| WER von Whisper-medium bei panafrikanischem Englisch, vortrainiert vs auf AfriSpeech feinabgestimmt | 0,332 vs 0,216 | Olatunji et al., AfriSpeech-200, TACL 2023 |
| WER niederländischer ASR bei gelesener Sprache, Nicht-Muttersprachler vs Muttersprachler | 55,9% vs 26,1% | TU Delft (Feng et al.), Quantifying Bias in ASR 2021 |
| WER niederländischer ASR bei gelesener Sprache, flämische Jugendliche vs Jugendliche aus vier Regionen der Niederlande | 40,5% vs 19,3%, 22,9%, 16,8% und 17,9% | TU Delft (Feng et al.), Quantifying Bias in ASR 2021 |
Ausreißer: Nicht-Muttersprachler zu sein, sagt nicht immer schlechtere Ergebnisse voraus. Bei den Sprachbefehlen von Fair-Speech erzielte Whisper-large-v2 für Zweitsprachler 3,78 und für Erstsprachler 6,11 (Meta, Fair-Speech Dataset 2024), eine Erinnerung daran, dass Gruppenlücken Eigenschaften eines Datensatzes und einer Aufgabe sind, keine Konstanten. In den niederländischen Daten sank der Fehler nicht, als die Sprachkompetenz erwachsener Lernender stieg: 57,2, 56,5 und 57,0 auf den GER-Niveaus A1, A2 und B1. Aktuellste verfügbare Daten: Die Transkriptionen des Akzentarchivs wurden 2021 durchgeführt, und AfriSpeech-200 (200,70 Stunden, 2.463 Sprecher, 120 Akzente, 13 Länder) erschien 2023.
4. Lücken nach Geschlecht, Alter und Einkommen
Keine demografische Achse hat eine feste Richtung, und genau das ist der Befund. YouTube-Untertitel waren 2017 für Frauen schlechter. Kommerzielle Systeme waren 2020 für Männer schlechter. Whisper-large-v2 erzielte bei Fair-Speech für männliche Sprecher 7,91 gegenüber 3,86 für weibliche Sprecher, also etwa das Doppelte (7,91 geteilt durch 3,86 ergibt 2,05). Ein System, das an einem Datensatz geprüft wurde, kann beim Geschlecht fair wirken und an einem anderen versagen.
Das Alter verhält sich genauso. Die Fair-Speech-Gruppe mit dem höchsten Fehler war nicht die älteste, sondern die Altersgruppe von 31 bis 45 Jahren, während im Niederländischen Kinder die schlechteste muttersprachliche Gruppe waren. Kindersprache ist eine wiederkehrende Schwachstelle: Whisper-Small startete vor jeder Anpassung mit 13,93% WER auf dem MyST-Testsatz mit Kindersprache (Kid-Whisper, 2024).
| Metrik | Wert | Quelle |
|---|---|---|
| Durchschnittliche WER über fünf kommerzielle Systeme, Schwarze Männer vs Schwarze Frauen; weiße Männer vs weiße Frauen | 0,41 vs 0,30; 0,21 vs 0,17 | Stanford (Koenecke et al.), PNAS 2020 |
| WER von Whisper-large-v2, männliche vs weibliche Sprecher | 7,91 vs 3,86 | Meta (Veliche et al.), Fair-Speech Dataset 2024 |
| WER von Whisper-large-v2 nach Altersgruppe, 18-22, 23-30, 31-45, 46-65 | 4,46, 4,62, 7,48, 3,65 | Meta (Veliche et al.), Fair-Speech Dataset 2024 |
| WER von Whisper-large-v2 nach Haushaltseinkommen, niedrig, mittel, wohlhabend | 5,4, 6,38, 3,62 | Meta (Veliche et al.), Fair-Speech Dataset 2024 |
| WER der YouTube-Untertitel, Frauen vs Männer | Höher bei Frauen (t(78) = -3,5, p < 0,01), 80 Sprecher | University of Washington (Tatman), ACL Ethics in NLP Workshop 2017 |
| WER niederländischer ASR bei gelesener Sprache, muttersprachliche Kinder, Jugendliche, ältere Erwachsene | 35,3%, 18,4%, 24,2% | TU Delft (Feng et al.), Quantifying Bias in ASR 2021 |
| WER von Whisper auf MyST-Kindersprache, vor vs nach der Feinabstimmung | Small von 13,93% auf 9,11%; Medium von 13,23% auf 8,61% | Attia et al., Kid-Whisper 2024 |
Kontext: Die Einkommensgruppen von Fair-Speech sind niedrig (50.000 US-Dollar oder weniger), mittel (50.000 bis 100.000 US-Dollar) und wohlhabend (100.000 US-Dollar und mehr), und die wohlhabende Gruppe ist die kleinste im Datensatz (41 Sprecher in der Tabelle des Papers). Aktuellste verfügbare Daten zu Geschlechterlücken bei Untertiteln: Tatman 2017, gemessen an einer Aufgabe mit isolierten Wortlisten, die die Autorin als besonders schwierig für ASR beschreibt.
5. Atypische, dysarthrische und unflüssige Sprache
Hier sind die Lücken eine Größenordnung, nicht ein paar Punkte. Im ersten Datenpaket des Speech Accessibility Project transkribierte ein Baseline-Erkenner mit 3,4% WER bei typischen Sprechern Sprecher mit Parkinson-bedingter Dysarthrie mit 36,3%. Die Feinabstimmung mit 190 Trainingssprechern senkte dies auf 23,7%, und zwei der 42 Testsprecher blieben bei 67,10% und 93,08%.
Daten, nicht die Architektur, bewegen diese Zahlen. Die Interspeech 2025 Speech Accessibility Project Challenge stellte den Teams rund 415 Stunden von 524 Teilnehmern bereit, und 12 von 22 Teams schlugen die Baseline whisper-large-v2; die fünf besten Modelle erreichten im Durchschnitt 10,06% WER bei Parkinson und 7,36% bei ALS, gegenüber einer Baseline von 17,09% und 16,88%. Personalisierung geht noch weiter: Googles Project Euphonia berichtete 4,6% WER für personalisierte Modelle bei kurzen Phrasen. Pausen erzeugen einen eigenen Fehlermodus, denn Whisper halluzinierte Text in 1,7% der Segmente von Sprechern mit Aphasie gegenüber 1,2% bei einer Kontrollgruppe (Koenecke et al., Careless Whisper, FAccT 2024).
| Metrik | Wert | Quelle |
|---|---|---|
| Baseline-WER, typische Sprecher vs Parkinson-bedingte Dysarthrie; nach Feinabstimmung | 3,4% vs 36,3%; 23,7% | Speech Accessibility Project (Hasegawa-Johnson et al.), JSLHR 2024 |
| Baseline Whisper-large-v2 vs bestes Team, Test2-Satz der Challenge | 17,82% vs 8,11% WER (bester SemScore 88,44%) | Zheng et al., Interspeech 2025 Speech Accessibility Project Challenge |
| Daten und Teilnahme der Challenge | Rund 415 Stunden, 524 Teilnehmer, fünf Ätiologien; 12 von 22 Teams schlugen die Baseline bei der WER | Zheng et al., Interspeech 2025 Speech Accessibility Project Challenge |
| Personalisierte vs sprecherunabhängige Modelle, 432 Sprecher mit gestörter Sprache | 4,6% vs 31% WER | Google Research (Green et al.), Interspeech 2021 |
| Mediane WER bei Smart-Home-Phrasen, stark beeinträchtigte Sprache, vor vs nach der Personalisierung | Rund 89% auf 13% | Google Research, Project-Euphonia-Blog 2021 |
| Project-Euphonia-Korpus (Stand August 2021) | Über 1 Million Äußerungen, über 1.400 Stunden, 1.330 Sprecher | Google Research, Project-Euphonia-Blog 2021 |
| Mittlere WER über sechs ASR-Systeme, stotternde Sprache vs bereinigt um Sprechunflüssigkeiten | 0,281 vs 0,105 | Mujtaba et al., Lost in Transcription, NAACL 2024 |
| WER der Spracherkennung für Menschen, die stottern, vor vs nach Systemänderungen (91 aufgenommene Teilnehmer) | 25,4% auf 9,9%; Äußerungen wurden 79,1% seltener abgeschnitten | Lea et al., CHI 2023 |
Kontext: Die Parkinson-Krankheit macht 73,4% des Trainingskorpus der Challenge nach Dauer aus, sodass die herausgestellten 8,11% überwiegend eine Ätiologie beschreiben; Down-Syndrom, Zerebralparese und Schlaganfall wurden wegen geringer Testzahlen nicht gesondert berichtet. In der Stotterstudie war Whisper das genaueste der sechs Systeme und stieg dennoch von 0,063 auf 0,121. Aktuellste verfügbare Daten zur Genauigkeit personalisierter Modelle: Green et al., Interspeech 2021.
6. Ressourcenarme Sprachen und Abdeckung der Datensätze
Der Fehler folgt den Trainingsstunden fast mechanisch. Die Whisper-Autoren berichten eine quadrierte Korrelation von 0,83 zwischen dem Logarithmus der WER und dem Logarithmus der Trainingsstunden pro Sprache und schätzen, dass sich die WER bei jeder Steigerung der Trainingsdaten um das 16-Fache halbiert. Von Whispers 680.000 Trainingsstunden decken 117.000 insgesamt 96 Sprachen außer Englisch ab, und das Paper merkt an, dass die meisten Sprachen weniger als 1.000 Stunden haben.
Die Abdeckung ist schneller gewachsen als die Evidenz zur Genauigkeit. Das MMS-Paper bezifferte die Welt auf über 7.000 Sprachen, von denen Sprachtechnologie etwa 100 unterstützte, und Omnilingual ASR beansprucht jetzt über 1.600. Der gängige mehrsprachige Benchmark FLEURS deckt 102 Sprachen mit jeweils rund 12 Stunden Supervision ab (Conneau et al., FLEURS 2022), sodass es für die meisten neu hinzugekommenen Sprachen keinen gemeinsamen öffentlichen Maßstab gibt. Die Abdeckung auf der Modellseite verfolgen wir ausführlicher in unseren Statistiken zu mehrsprachigen Sprach-Foundation-Modellen.
| Metrik | Wert | Quelle |
|---|---|---|
| Trainingsdaten von Whisper | 680.000 Stunden insgesamt; 117.000 Stunden für 96 Sprachen außer Englisch | OpenAI (Radford et al.), Whisper-Paper 2022 |
| Zusammenhang zwischen Trainingsstunden pro Sprache und WER | Quadrierte Korrelation 0,83; die WER halbiert sich bei jeder Steigerung der Datenmenge um das 16-Fache | OpenAI (Radford et al.), Whisper-Paper 2022 |
| Sprachen der Welt vs von Sprachtechnologie unterstützte Sprachen | Über 7.000 vs rund 100 | Pratap et al., MMS-Paper (Scaling Speech Technology to 1,000+ Languages) 2023 |
| Abdeckung und Genauigkeit von MMS | ASR für 1.107 Sprachen; WER gegenüber Whisper auf 54 FLEURS-Sprachen mehr als halbiert | Pratap et al., MMS-Paper (Scaling Speech Technology to 1,000+ Languages) 2023 |
| Abdeckung von Omnilingual ASR | Über 1.600 Sprachen, mehr als 500 nie zuvor von ASR bedient | Omnilingual-ASR-Team, arXiv 2511.09690, 2025 |
| Vortrainingsdaten von Google USM | 12 Millionen Stunden unbeschriftetes Audio für über 300 Sprachen; beschrifteter Satz 1/7 so groß wie der von Whisper | Google-USM-Paper (Zhang et al.) 2023 |
| Common Voice Scripted Speech v27.0 | 295 Sprachen; 42.593 Stunden insgesamt; 29.295 validierte Stunden | Mozilla Common Voice, cv-dataset v27.0 2026 |
| Geschlechterverteilung in Common Voice v27.0, Englisch und Deutsch | Englisch 0,4318 männlich, 0,1776 weiblich, 0,3894 nicht angegeben; Deutsch 0,5786 männlich, 0,0818 weiblich | Mozilla Common Voice, cv-dataset v27.0 2026 |
Ausreißer: In den Statistiken zu Common Voice v27.0 hat Katalanisch mehr aufgenommenes Audio als Englisch (3.940,31 Stunden insgesamt gegenüber 3.795,9), während die kleinste von uns gelesene Sprachvariante 25 Clips von 2 Nutzern enthält. Freiwilliges Engagement, nicht die Sprecherzahl, entscheidet, welche Sprachen Daten bekommen. Der Datensatz Spontaneous Speech, der der realen Nutzung näher kommt, ist viel kleiner: 541 Stunden insgesamt in 80 Sprachen bei v5.0.
7. Folgen vor Gericht, in Kliniken, bei Einstellungen und bei Sprachassistenten
Der Einsatz steigt, wo ein Transkript zur Akte wird. Menschen setzen eine schwache Baseline: Gerichtsstenografen mit 95% zertifizierter Genauigkeit erreichten bei afroamerikanischem Englisch im Durchschnitt 82,9% Wortgenauigkeit und 59,5% Genauigkeit auf Satzebene, und ihre Transkriptionen veränderten in 31% der Fälle das Wer, Was, Wann oder Wo (Jones et al., Language 2019). Unsere Statistiken zur Genauigkeit der Spracherkennung vor Gericht behandeln die automatisierten Pilotprojekte, die dieses Problem erben.
Die klinische Evidenz ist neu und stützt sich auf kleine Stichproben. In aufgezeichneten Besuchen der häuslichen Krankenpflege zeigten zwei Amazon-Systeme jeweils eine mediane WER-Lücke von 17 Punkten zwischen Schwarzen und weißen Patienten (50 minus 33 und 54 minus 37), während Whisper für beide gleich schlecht war. Die Personalauswahl ist der einzige Bereich mit einem beruhigenden Ergebnis: Der Transkriptions-Bias trat in fast allen Vergleichen auf, doch die Autoren stellten fest, dass er sich nicht auf die Gesprächsbewertungen übertrug. Die von Nutzern berichteten Kosten sind verhaltensbezogen, denn fast alle Teilnehmer einer zweiwöchigen Tagebuchstudie änderten ihre Sprechweise.
| Metrik | Wert | Quelle |
|---|---|---|
| Genauigkeit von Gerichtsstenografen bei afroamerikanischem Englisch, Wortebene vs Satzebene (Zertifizierungsstandard 95%) | 82,9% vs 59,5% | Jones et al., Testifying While Black, Language 2019 |
| Transkriptionen, die das Wer, Was, Wann oder Wo veränderten | 31%; 27 Gerichtsstenografen, 9 Sprecher, 83 Sätze | Jones et al., Testifying While Black, Language 2019 |
| Mediane WER, Schwarze vs weiße Patienten der häuslichen Krankenpflege, AWS General und AWS Medical | 50% vs 33% (P = 0,016); 54% vs 37% (P = 0,0012) | Zolnoori et al., JAMIA Open 2024 |
| Mediane WER, Schwarze vs weiße Patienten, Whisper large-v3 | 75% vs 72% (P = 0,66); 35 Patienten | Zolnoori et al., JAMIA Open 2024 |
| Fehlerrate in diktierten klinischen Notizen: Entwurf der Spracherkennung, nach dem Transkriptionisten, unterschriebene Notiz | 7,4%, 0,4%, 0,3%; 217 Notizen | Zhou et al., JAMA Network Open 2018 |
| Whisper-Transkriptionen mit halluziniertem Text; Anteil der Halluzinationen mit explizit schädlichen Inhalten | 1,4% von 13.140 Segmenten; 38% | Koenecke et al., Careless Whisper, FAccT 2024 |
| Simulierte Videointerviews, transkribiert mit vier ASR-Methoden und einem Menschen | N = 1.014 und N = 414; signifikanter ASR-Bias in fast allen Vergleichen, kein bedeutsamer Messfehler bei den Bewertungen | Hickman et al., Journal of Applied Psychology 2025 |
| Afroamerikanische Nutzer von Sprachtechnologie, die ihren Dialekt anpassten, um verstanden zu werden | 93% (n = 28 von 30); 77% berichteten Frust über Fehler | Mengesha et al., Frontiers in Artificial Intelligence 2021 |
Kontext: Die Studie zu den Gerichtsstenografen misst menschliche Transkribenten, keine Software, und die Studie zum klinischen Diktat liefert die aktuellsten verfügbaren Daten zu Fehlerraten in unterschriebenen Notizen (Zhou et al., JAMA Network Open 2018). Die Halluzinationsexperimente liefen 2023; die Autoren stellten fest, dass 19% der 312 halluzinierten Transkriptionen Gewalt, 13% ungenaue Zuschreibungen und 8% falsche Autorität betrafen und dass es keine vergleichbaren Halluzinationen gab, als die betroffenen Segmente erneut durch Systeme anderer Anbieter liefen (Careless Whisper). Das Ergebnis zur Personalauswahl (Hickman et al.) stammt aus simulierten Interviews, nicht aus echten Auswahlentscheidungen.
Zusammenfassung: Akzent-Bias und Wortfehlerrate in der Spracherkennung in Zahlen
| Metrik | Wert | Quelle |
|---|---|---|
| Durchschnittliche WER, Schwarze vs weiße Sprecher, fünf kommerzielle Systeme | 0,35 vs 0,19 | Stanford (Koenecke et al.), PNAS 2020 |
| Mittlere WER, afroamerikanische vs weiße US-amerikanische Sprecher, vier kommerzielle Systeme | 20% vs 15% | University of Washington (Scott et al.), LREC 2026 |
| WER von Whisper-large-v2, Schwarze oder afroamerikanische vs weiße Sprecher | 9,52 vs 3,96 | Meta (Veliche et al.), Fair-Speech Dataset 2024 |
| WER von Whisper-large-v2, männliche vs weibliche Sprecher | 7,91 vs 3,86 | Meta (Veliche et al.), Fair-Speech Dataset 2024 |
| WER von Whisper large, akzentuiertes Englisch EdAcc vs LibriSpeech test-clean | 19,7% vs 2,7% | University of Edinburgh (Sanabria et al.), EdAcc-Paper 2023 |
| WER von Whisper Large V2, CORAAL vs LibriSpeech Clean | 16,2 vs 2,7 | OpenAI (Radford et al.), Whisper-Paper 2022 |
| Beste durchschnittliche WER, englische Kurzform-Spur des Open ASR Leaderboard | 5,42 unter 86 verglichenen Systemen | Open-ASR-Leaderboard-Paper (Srivastav et al.), v4 März 2026 |
| WER von Whisper-large bei panafrikanischem Englisch, allgemein vs klinisch | 0,240 vs 0,375 | Olatunji et al., AfriSpeech-200, TACL 2023 |
| WIL-Lücke, Sprecher mit Englisch vs anderer Erstsprache | 0,14 (P<0,001) | DiChristofano et al., arXiv 2023 |
| WER niederländischer ASR bei gelesener Sprache, Nicht-Muttersprachler vs Muttersprachler | 55,9% vs 26,1% | TU Delft (Feng et al.), Quantifying Bias in ASR 2021 |
| Baseline-WER, typische vs Parkinson-bedingte dysarthrische Sprache | 3,4% vs 36,3% | Speech Accessibility Project (Hasegawa-Johnson et al.), JSLHR 2024 |
| Baseline Whisper-large-v2 vs bestes System der Challenge bei dysarthrischer Sprache | 17,82% vs 8,11% | Zheng et al., Interspeech 2025 Speech Accessibility Project Challenge |
| WER personalisierter vs sprecherunabhängiger Modelle, gestörte Sprache | 4,6% vs 31% | Google Research (Green et al.), Interspeech 2021 |
| Mittlere WER über sechs Systeme, stotternde vs flüssige Fassungen | 0,281 vs 0,105 | Mujtaba et al., Lost in Transcription, NAACL 2024 |
| Trainingsstunden von Whisper, gesamt vs außer Englisch | 680.000 vs 117.000 (96 Sprachen) | OpenAI (Radford et al.), Whisper-Paper 2022 |
| Common Voice Scripted Speech v27.0 | 295 Sprachen, 29.295 validierte Stunden | Mozilla Common Voice, cv-dataset v27.0 2026 |
| Mediane WER, Schwarze vs weiße Patienten der häuslichen Krankenpflege, AWS General | 50% vs 33% (P = 0,016) | Zolnoori et al., JAMIA Open 2024 |
| Wortgenauigkeit von Gerichtsstenografen bei afroamerikanischem Englisch vs Zertifizierungsstandard | 82,9% vs 95% | Jones et al., Testifying While Black, Language 2019 |
| Nutzer von Sprachtechnologie, die ihren Dialekt anpassten | 93% (n = 28 von 30) | Mengesha et al., Frontiers in Artificial Intelligence 2021 |
Methodik und Quellen
Wir haben 23 Recherchen durchgeführt und für jede der obigen Zahlen das Primär-Paper, die Datensatzseite oder den Journaleintrag gelesen. Die WER wird in der jeweiligen Notation der Quelle berichtet: als Brüche bei Koenecke et al., AfriSpeech-200 und Mujtaba et al., sonst als Prozentwerte. Zahlen, die älter als drei Jahre sind, sind in den Abschnitten als aktuellste verfügbare Daten gekennzeichnet.
- Koenecke et al., Racial disparities in automated speech recognition, PNAS 2020
- Scott, Liang, Wassink und Levow, A Sociophonetic Analysis of Racial Bias in Commercial ASR Systems Using the Pacific Northwest English Corpus, LREC 2026
- Veliche et al. (Meta), Towards measuring fairness in speech recognition: Fair-Speech dataset, 2024
- Radford et al. (OpenAI), Robust Speech Recognition via Large-Scale Weak Supervision, 2022
- Sanabria et al. (University of Edinburgh), The Edinburgh International Accents of English Corpus, ICASSP 2023
- Srivastav et al., Open-ASR-Leaderboard-Paper, v4 März 2026
- DiChristofano, Shuster, Chandra und Patwari, Global Performance Disparities Between English-Language Accents in Automatic Speech Recognition, 2023
- Olatunji et al., AfriSpeech-200: Pan-African Accented Speech Dataset for Clinical and General Domain ASR, TACL 2023
- Feng, Kudina, Halpern und Scharenborg (TU Delft), Quantifying Bias in Automatic Speech Recognition, 2021
- Tatman (University of Washington), Gender and Dialect Bias in YouTube’s Automatic Captions, ACL Ethics in NLP Workshop 2017
- Attia et al., Kid-Whisper, 2024
- Hasegawa-Johnson et al., Community-Supported Shared Infrastructure in Support of Speech Accessibility, JSLHR 2024
- Zheng et al., The Interspeech 2025 Speech Accessibility Project Challenge
- Green et al. (Google Research), Automatic Speech Recognition of Disordered Speech, Interspeech 2021 und der Blog zum Project-Euphonia-Datensatz, 2021
- Mujtaba et al., Lost in Transcription, NAACL 2024
- Lea et al., From User Perceptions to Technical Improvement: Enabling People Who Stutter to Better Use Speech Recognition, CHI 2023
- Koenecke et al., Careless Whisper: Speech-to-Text Hallucination Harms, FAccT 2024
- Pratap et al., Scaling Speech Technology to 1,000+ Languages (MMS), 2023; Omnilingual ASR, 2025; Google USM, 2023; FLEURS, 2022
- Mozilla Common Voice, cv-dataset-Repository und Statistiken zu v27.0, 2026
- Jones, Kalbfeld, Hancock und Clark, Testifying While Black, Language 95(2), 2019
- Zolnoori et al., Decoding disparities, JAMIA Open 2024
- Zhou et al., Analysis of Errors in Dictated Clinical Documents Assisted by Speech Recognition Software and Professional Transcriptionists, JAMA Network Open 2018
- Hickman, Langer, Saef und Tay, Automated speech recognition bias in personnel selection, Journal of Applied Psychology 2025
- Mengesha et al., Impact of Automated Speech Recognition Errors on African Americans, Frontiers in Artificial Intelligence 2021
- Daten-Hinweis: Mehrere Quellen widersprechen sich selbst oder messen unterschiedliche Dinge. Der Text des Whisper-Papers nennt eine LibriSpeech-clean-WER von 2,5, während seine Tabelle 2 2,7 ausweist (wir verwenden die Tabelle). Das Abstract von Careless Whisper spricht von etwa 1% halluzinierten Transkriptionen, der Ergebnisteil von 1,4% (wir verwenden 1,4%), und die Autoren merken an, dass die Experimente aus dem Jahr 2023 stammen. Die 36,3% und 23,7% aus dem Abstract des Speech Accessibility Project entsprechen den Zeilen mit nicht geteilten Prompts im Paper; über alle Test-Prompts liegt der feinabgestimmte Wert bei 18,72%. Der Text von Fair-Speech nennt 50 Sprecher in der obersten Einkommensgruppe, während seine Tabelle 41 ausweist. DiChristofano et al. berichten die verlorene Wortinformation, nicht die WER, sodass ihre Lücken nicht mit den anderen Zeilen vergleichbar sind. Die Untersuchung von Scott et al. lief 2022 mit 16 Sprechern und wurde 2026 veröffentlicht. Das Open ASR Leaderboard ändert sich fortlaufend: Die Fassung des Papers vom Oktober 2025 listete 64 Modelle mit einer besten durchschnittlichen WER von 5,63, die Fassung vom März 2026 86 Systeme und 5,42. Die Stundensummen von Common Voice stammen aus den Diagrammdaten der Releases im Repository, die Geschlechteranteile aus der Statistikdatei zu v27.0. Bei Testifying While Black liegt die Journalseite hinter einer Zugangsprüfung, weshalb die Zahlen der vom Erstautor veröffentlichten Zusammenfassung des Papers entnommen wurden; diese Zusammenfassung nennt zwei verschiedene Zahlen zum Paraphrasenverständnis, die wir deshalb weggelassen haben. Eine vielfach wiederholte Behauptung über die WER eines Recruiting-Anbieters bei Nicht-Muttersprachlern konnten wir nicht verifizieren und haben sie gestrichen.
Zuletzt aktualisiert: 11. Oktober 2026. Wir aktualisieren diese Zusammenstellung vierteljährlich, und die nächste Aktualisierung wird erwartet, wenn Mozilla Common Voice Scripted Speech v28.0 veröffentlicht.