Pięć komercyjnych systemów rozpoznawania mowy miało średni wskaźnik błędów słów (WER) 0,35 dla czarnoskórych mówców wobec 0,19 dla białych (Stanford, Koenecke i in., PNAS 2020), a badanie opublikowane w 2026 roku nadal wykazało średni WER 20% wobec 15% w czterech komercyjnych systemach (University of Washington, Scott i in., LREC 2026). Testy porównawcze ukrywają tę różnicę: Whisper large uzyskuje 2,7% na LibriSpeech test-clean i 19,7% na korpusie międzynarodowych akcentów angielskiego (University of Edinburgh, artykuł EdAcc 2023). U mówców z dyzartrią związaną z chorobą Parkinsona rozpoznawacz, który popełnia 3,4% błędów na mowie typowej, popełnia ich 36,3% (Speech Accessibility Project, JSLHR 2024). Zagregowaliśmy dane z PNAS, artykułu o OpenAI Whisper, zbioru Fair-Speech firmy Meta, Speech Accessibility Project, Mozilla Common Voice i ponad tuzina innych recenzowanych źródeł, zachowując notację każdego źródła (część podaje WER jako ułamek, na przykład 0,35, większość jako procent, na przykład 19,7%). Ta sama miara leży u podstaw zasad dokładności napisów na żywo, dlatego kilka punktów WER ma znaczenie daleko poza laboratorium.
TL;DR
- Pięć komercyjnych systemów ASR miało średni WER 0,35 dla czarnoskórych mówców wobec 0,19 dla białych, a 23% wobec 1,6% fragmentów nie nadawało się do użytku przy WER powyżej 0,5 (Stanford, Koenecke i in., PNAS 2020).
- Cztery komercyjne systemy miały średni WER 20% dla Afroamerykanów wobec 15% dla Amerykanów rasy kaukaskiej, czyli względny wzrost o 33% (University of Washington, Scott i in., LREC 2026).
- Whisper large uzyskuje 2,7% WER na LibriSpeech test-clean i 19,7% na zestawie testowym EdAcc z angielszczyzną z akcentami (University of Edinburgh, artykuł EdAcc 2023).
- Whisper-large-v2 uzyskał 9,52 dla czarnoskórych lub afroamerykańskich mówców wobec 3,96 dla białych w poleceniach głosowych (Meta, Fair-Speech Dataset 2024).
- Holenderski rozpoznawacz osiągnął 55,9% WER na czytanej mowie osób nierodzimych wobec 26,1% dla mówców rodzimych (TU Delft, Feng i in., Quantifying Bias in ASR 2021).
- Mowa dyzartryczna podniosła bazowy WER z 3,4% do 36,3%, a dostrojenie obniżyło go do 23,7% (Speech Accessibility Project, JSLHR 2024).
- Najlepszy system w Interspeech 2025 Speech Accessibility Project Challenge osiągnął 8,11% WER wobec 17,82% dla bazowego whisper-large-v2 (Zheng i in., Interspeech 2025).
- Sześć systemów ASR miało średni WER 0,281 na mowie z jąkaniem wobec 0,105 po usunięciu zaburzeń płynności (Mujtaba i in., NAACL 2024).
- Common Voice Scripted Speech v27.0 zawiera 29 295 zweryfikowanych godzin w 295 językach, przy światowej liczbie ponad 7000 języków (Mozilla Common Voice 2026; Pratap i in., artykuł MMS 2023).
- AWS General Transcribe miał medianę WER 50% dla czarnoskórych pacjentów domowej opieki zdrowotnej wobec 33% dla białych, P = 0,016 (Zolnoori i in., JAMIA Open 2024).
- Protokolanci sądowi z certyfikatem 95% dokładności osiągnęli średnio 82,9% dokładności na poziomie słów w afroamerykańskiej odmianie angielskiego (Jones i in., Language 2019).
- 93% afroamerykańskich uczestników dwutygodniowego badania dzienniczkowego zmieniało swój dialekt, aby technologia głosowa ich rozumiała (Mengesha i in., Frontiers in Artificial Intelligence 2021).
1. Różnice rasowe i dialektalne w komercyjnych i otwartych systemach ASR
Kanoniczna liczba ma sześć lat i nie została unieważniona przez lepsze dowody. W audycie PNAS obejmującym Amazon, Apple, Google, IBM i Microsoft średni WER wyniósł 0,35 dla czarnoskórych i 0,19 dla białych mówców, czyli różnicę 0,16 (0,35 minus 0,19), zmierzoną na 19,8 godziny nagrań od 73 czarnoskórych i 42 białych mówców dobranych pod względem wieku i płci. Autorzy zlokalizowali problem w modelach akustycznych, ponieważ różnica utrzymywała się na identycznych frazach: Microsoft, najlepszy system, uzyskał 0,13 wobec 0,07 na dopasowanych wypowiedziach. Najnowsze dostępne dane z audytu pięciu dostawców: Koenecke i in., PNAS 2020.
Nowsze dowody, oparte na innych korpusach, pokazują ogólnie niższe wskaźniki błędów i różnicę, która się nie zamknęła. Zespół z University of Washington podaje 33-procentowy względny wzrost błędów dla Afroamerykanów w czterech komercyjnych systemach, a własny zbiór poleceń głosowych firmy Meta pokazuje Whisper-large-v2 na poziomie 9,52 dla czarnoskórych lub afroamerykańskich mówców wobec 3,96 dla białych. Zespół z Waszyngtonu wiąże swoje błędy ze zmiennością jakości samogłosek między dialektami, co odbija echem diagnozę dotyczącą modeli akustycznych z 2020 roku.
| Metryka | Wartość | Źródło |
|---|---|---|
| Średni WER, czarnoskórzy wobec białych mówców, pięć komercyjnych systemów | 0,35 wobec 0,19 | Stanford (Koenecke i in.), PNAS 2020 |
| Najlepszy i najgorszy dostawca, czarnoskórzy wobec białych mówców | Microsoft 0,27 wobec 0,15; Apple 0,45 wobec 0,23 | Stanford (Koenecke i in.), PNAS 2020 |
| Fragmenty z WER powyżej 0,5 (bezużyteczne transkrypcje) | 23% fragmentów czarnoskórych mówców wobec 1,6% fragmentów białych mówców | Stanford (Koenecke i in.), PNAS 2020 |
| Średni WER, Afroamerykanie wobec Amerykanów rasy kaukaskiej, cztery komercyjne systemy | 20% wobec 15% (względny wzrost o 33%) | University of Washington (Scott i in.), LREC 2026 |
| Średni WER, mówcy ChicanX i Yakama, te same cztery systemy | 23% i 21% | University of Washington (Scott i in.), LREC 2026 |
| WER, czarnoskórzy lub afroamerykańscy wobec białych mówców, Whisper-large-v2 i Whisper-small | 9,52 wobec 3,96; 16,99 wobec 4,51 | Meta (Veliche i in.), Fair-Speech Dataset 2024 |
| Względna różnica WER między grupami etnicznymi, Whisper-large-v2 wobec półnadzorowanego modelu wideo Mety | 61,13% wobec 31,04% | Meta (Veliche i in.), Fair-Speech Dataset 2024 |
Kontekst: ocena z Waszyngtonu objęła 16 mówców (po czterech na grupę) i odzwierciedla działanie systemów w 2022 roku, mimo że artykuł ukazał się w materiałach konferencji LREC 2026. Fair-Speech obejmuje 593 mówców z USA i około 26,5 tys. wypowiedzi, a jego autorzy stwierdzają, że dla modeli Whisper względna różnica jest większa niż 40% we wszystkich zmierzonych wymiarach.
2. WER w testach porównawczych a mowa w świecie rzeczywistym
Nagłówkowy wynik testu to czysta mowa czytana, a nie rozmowa. Artykuł o Whisper pokazuje to własną tabelą: ten sam model, który uzyskuje 2,7 na LibriSpeech Clean, uzyskuje 25,5 na CHiME6 i 16,2 na CORAAL, korpusie wywiadów w afroamerykańskiej odmianie angielskiego. Whisper large przechodzi z 2,7% WER na LibriSpeech test-clean do 19,7% na EdAcc, zbiorze rozmów przyjaciół prowadzonych przez wideo, obejmującym ponad 40 deklarowanych akcentów angielskiego.
I to wciąż jest model odporny. System wav2vec 2.0 z wynikiem 2,9 na LibriSpeech osiągnął 36,1% na tych samych rozmowach z akcentem. Sam styl mówienia zmienia wynik: holenderski rozpoznawacz miał średnio 36,2% WER na mowie czytanej i 47,5% na mowie z interakcji człowiek-maszyna od tej samej puli mówców (TU Delft, Feng i in., Quantifying Bias in ASR 2021).
| Metryka | Wartość | Źródło |
|---|---|---|
| WER Whisper Large V2, LibriSpeech Clean | 2,7 | OpenAI (Radford i in.), artykuł o Whisper 2022 |
| WER Whisper Large V2, CHiME6 i CORAAL | 25,5 i 16,2 | OpenAI (Radford i in.), artykuł o Whisper 2022 |
| Średni WER w zbiorach z Tabeli 2 artykułu, wav2vec 2.0 Large wobec Whisper Large V2 | 29,3 wobec 12,8 (średnia względna redukcja błędów o 55,2%) | OpenAI (Radford i in.), artykuł o Whisper 2022 |
| WER Whisper large, EdAcc test wobec LibriSpeech test-clean | 19,7% wobec 2,7% | University of Edinburgh (Sanabria i in.), artykuł EdAcc 2023 |
| WER wav2vec 2.0 i systemu komercyjnego, EdAcc test wobec LibriSpeech test-clean | 36,1 wobec 2,9; 18,7 wobec 3,8 | University of Edinburgh (Sanabria i in.), artykuł EdAcc 2023 |
| Najlepszy średni WER, ścieżka krótkich nagrań w angielskim; Whisper Large v3 na tej samej ścieżce | 5,42; 7,44 | Artykuł o Open ASR Leaderboard (Srivastav i in.), wersja 4, marzec 2026 |
| Przetestowane systemy | 86 systemów od 26 organizacji w 12 zbiorach danych; 74 z otwartym kodem | Artykuł o Open ASR Leaderboard (Srivastav i in.), wersja 4, marzec 2026 |
Kontekst: Open ASR Leaderboard podaje średnie z wyselekcjonowanych zestawów testowych, a tabele, które czytaliśmy, nie zawierają podziału demograficznego mówców, więc średnia 5,42 nic nie mówi o tym, kto znajduje się w ogonie rozkładu. Wynik CORAAL to najbliższa dialektowi liczba, jaką podaje artykuł o Whisper: Whisper obniżył błąd wav2vec 2.0 na tym korpusie z 35,6 do 16,2, a i tak pozostał on sześciokrotnością wyniku LibriSpeech Clean (16,2 podzielone przez 2,7).
3. Akcenty nierodzime i regionalne
Różnice akcentowe mierzy się głównie dla angielskiego i głównie na małych lub samodzielnie dobranych korpusach. Najszerszy audyt, jaki znaleźliśmy, obejmujący 2713 mówców z Speech Accent Archive urodzonych w 171 krajach, w ogóle nie używa WER: podaje utraconą informację słowną (WIL) i stwierdza, że jest ona o 0,14 niższa u mówców, których pierwszym językiem jest angielski (P<0,001). Na panafrykańskiej angielszczyźnie z akcentem Whisper-large osiągnął WER 0,240 dla mowy ogólnej i 0,375 dla mowy klinicznej, a wszystkie trzy testowane komercyjne systemy chmurowe wypadły gorzej.
Regionalne akcenty języka ojczystego wykazują ten sam wzorzec. W automatycznych napisach YouTube 80 mówców z pięciu regionów dialektalnych (Kalifornia, Georgia, Nowa Anglia, Nowa Zelandia i Szkocja) wykazało wyraźnie gorsze rozpoznawanie dla mówców szkockich (University of Washington, Tatman, ACL Ethics in NLP Workshop 2017). W języku niderlandzkim flamandzcy nastolatkowie czytający na głos byli rozpoznawani z WER 40,5% przez model wytrenowany na niderlandzkim z Holandii. Te błędy kumulują się w dalszych etapach, ponieważ błędnie rozpoznane zdanie źródłowe jest wejściem każdego potoku tłumaczenia mowy na mowę.
| Metryka | Wartość | Źródło |
|---|---|---|
| Rozmiar korpusu EdAcc | Prawie 40 godzin, ponad 40 deklarowanych akcentów, 51 pierwszych języków | University of Edinburgh (Sanabria i in.), artykuł EdAcc 2023 |
| Różnica WIL, mówcy z angielskim jako pierwszym językiem wobec mówców z innym pierwszym językiem, wszystkie usługi | O 0,14 niższa dla mówców z angielskim jako pierwszym językiem (P<0,001); 2713 mówców, 212 pierwszych języków | DiChristofano i in., Global Performance Disparities Between English-Language Accents (arXiv) 2023 |
| Różnica WIL według usługi | Google 0,17; Amazon 0,14; Microsoft 0,11 | DiChristofano i in., Global Performance Disparities Between English-Language Accents (arXiv) 2023 |
| WER Whisper-large na panafrykańskim angielskim, domena ogólna wobec klinicznej | 0,240 wobec 0,375 | Olatunji i in., AfriSpeech-200, TACL 2023 |
| WER komercyjnych usług chmurowych na panafrykańskim angielskim, obie domeny | Azure 0,391; AWS 0,442; GCP 0,578 | Olatunji i in., AfriSpeech-200, TACL 2023 |
| WER Whisper-medium na panafrykańskim angielskim, model wstępnie wytrenowany wobec dostrojonego na AfriSpeech | 0,332 wobec 0,216 | Olatunji i in., AfriSpeech-200, TACL 2023 |
| WER holenderskiego ASR na mowie czytanej, mówcy nierodzimi wobec rodzimych | 55,9% wobec 26,1% | TU Delft (Feng i in.), Quantifying Bias in ASR 2021 |
| WER holenderskiego ASR na mowie czytanej, flamandzcy nastolatkowie wobec nastolatków z czterech regionów Holandii | 40,5% wobec 19,3%, 22,9%, 16,8% i 17,9% | TU Delft (Feng i in.), Quantifying Bias in ASR 2021 |
Wyjątek: status osoby nierodzimej nie zawsze wiąże się z gorszymi wynikami. W poleceniach głosowych Fair-Speech Whisper-large-v2 uzyskał 3,78 dla mówców drugiego języka i 6,11 dla mówców pierwszego języka (Meta, Fair-Speech Dataset 2024), co przypomina, że różnice między grupami są cechą zbioru danych i zadania, a nie stałymi. W danych holenderskich błąd nie malał wraz ze wzrostem biegłości dorosłych uczących się: 57,2, 56,5 i 57,0 na poziomach CEF A1, A2 i B1. Najnowsze dostępne dane: transkrypcje z archiwum akcentów wykonano w 2021 roku, a AfriSpeech-200 (200,70 godziny, 2463 mówców, 120 akcentów, 13 krajów) opublikowano w 2023 roku.
4. Różnice według płci, wieku i dochodu
Żadna oś demograficzna nie ma stałego kierunku i na tym polega wniosek. Napisy YouTube były gorsze dla kobiet w 2017 roku. Komercyjne systemy były gorsze dla mężczyzn w 2020 roku. Whisper-large-v2 uzyskał 7,91 dla mówców płci męskiej wobec 3,86 dla płci żeńskiej na zbiorze Fair-Speech, czyli mniej więcej dwukrotnie więcej (7,91 podzielone przez 3,86 to 2,05). System audytowany na jednym zbiorze danych może wyglądać na sprawiedliwy pod względem płci, a zawieść na innym.
Wiek zachowuje się tak samo. Grupą Fair-Speech z najwyższym błędem nie była najstarsza, lecz przedział 31 do 45 lat, podczas gdy w niderlandzkim najgorszą grupą rodzimą były dzieci. Mowa dziecięca to powracający słaby punkt: Whisper-Small zaczynał od 13,93% WER na zestawie testowym MyST z mową dzieci, zanim zastosowano jakąkolwiek adaptację (Kid-Whisper, 2024).
| Metryka | Wartość | Źródło |
|---|---|---|
| Średni WER w pięciu komercyjnych systemach, czarnoskórzy mężczyźni wobec czarnoskórych kobiet; biali mężczyźni wobec białych kobiet | 0,41 wobec 0,30; 0,21 wobec 0,17 | Stanford (Koenecke i in.), PNAS 2020 |
| WER Whisper-large-v2, mówcy płci męskiej wobec żeńskiej | 7,91 wobec 3,86 | Meta (Veliche i in.), Fair-Speech Dataset 2024 |
| WER Whisper-large-v2 według przedziału wiekowego, 18-22, 23-30, 31-45, 46-65 | 4,46, 4,62, 7,48, 3,65 | Meta (Veliche i in.), Fair-Speech Dataset 2024 |
| WER Whisper-large-v2 według dochodu gospodarstwa domowego, niski, średni, zamożny | 5,4, 6,38, 3,62 | Meta (Veliche i in.), Fair-Speech Dataset 2024 |
| WER napisów YouTube, kobiety wobec mężczyzn | Wyższy dla kobiet (t(78) = -3,5, p < 0,01), 80 mówców | University of Washington (Tatman), ACL Ethics in NLP Workshop 2017 |
| WER holenderskiego ASR na mowie czytanej, rodzime dzieci, nastolatkowie, osoby starsze | 35,3%, 18,4%, 24,2% | TU Delft (Feng i in.), Quantifying Bias in ASR 2021 |
| WER Whisper na mowie dzieci z MyST, przed i po dostrojeniu | Small 13,93% do 9,11%; Medium 13,23% do 8,61% | Attia i in., Kid-Whisper 2024 |
Kontekst: przedziały dochodu w Fair-Speech to niski (50 tys. USD lub mniej), średni (od 50 do 100 tys. USD) i zamożny (100 tys. USD i więcej), przy czym przedział zamożny jest najmniejszą grupą w zbiorze (41 mówców w tabeli artykułu). Najnowsze dostępne dane o różnicach płci w napisach: Tatman 2017, zmierzone w zadaniu z izolowaną listą słów, które autorka opisuje jako szczególnie trudne dla ASR.
5. Mowa atypowa, dyzartryczna i z zaburzeniami płynności
Tutaj różnice są o rząd wielkości, a nie o kilka punktów. W pierwszym pakiecie danych Speech Accessibility Project bazowy rozpoznawacz z WER 3,4% dla mówców typowych transkrybował mówców z dyzartrią związaną z chorobą Parkinsona z wynikiem 36,3%. Dostrojenie na 190 mówcach treningowych obniżyło go do 23,7%, a dwoje z 42 mówców testowych pozostało przy 67,10% i 93,08%.
Dane, a nie architektura, zmieniają te liczby. Interspeech 2025 Speech Accessibility Project Challenge dał zespołom około 415 godzin od 524 uczestników, a 12 z 22 zespołów pokonało bazowy model whisper-large-v2; pięć najlepszych modeli miało średnio 10,06% WER dla choroby Parkinsona i 7,36% dla ALS, przy wartościach bazowych 17,09% i 16,88%. Personalizacja idzie jeszcze dalej: Project Euphonia firmy Google podał 4,6% WER dla spersonalizowanych modeli na krótkich frazach. Pauzy tworzą odrębny rodzaj błędu, ponieważ Whisper halucynował tekst w 1,7% segmentów od mówców z afazją wobec 1,2% w grupie kontrolnej (Koenecke i in., Careless Whisper, FAccT 2024).
| Metryka | Wartość | Źródło |
|---|---|---|
| Bazowy WER, mówcy typowi wobec dyzartrii związanej z chorobą Parkinsona; po dostrojeniu | 3,4% wobec 36,3%; 23,7% | Speech Accessibility Project (Hasegawa-Johnson i in.), JSLHR 2024 |
| Bazowy Whisper-large-v2 wobec najlepszego zespołu, zestaw Test2 w konkursie | WER 17,82% wobec 8,11% (najlepszy SemScore 88,44%) | Zheng i in., Interspeech 2025 Speech Accessibility Project Challenge |
| Dane i udział w konkursie | Około 415 godzin, 524 uczestników, pięć etiologii; 12 z 22 zespołów pokonało wartość bazową pod względem WER | Zheng i in., Interspeech 2025 Speech Accessibility Project Challenge |
| Modele spersonalizowane wobec niezależnych od mówcy, 432 mówców z zaburzoną mową | WER 4,6% wobec 31% | Google Research (Green i in.), Interspeech 2021 |
| Mediana WER na frazach automatyki domowej, mowa silnie zaburzona, przed i po personalizacji | Około 89% do 13% | Google Research, blog Project Euphonia 2021 |
| Korpus Project Euphonia (stan na sierpień 2021) | Ponad 1 milion wypowiedzi, ponad 1400 godzin, 1330 mówców | Google Research, blog Project Euphonia 2021 |
| Średni WER w sześciu systemach ASR, mowa z jąkaniem wobec mowy z usuniętymi zaburzeniami płynności | 0,281 wobec 0,105 | Mujtaba i in., Lost in Transcription, NAACL 2024 |
| WER rozpoznawania mowy dla osób jąkających się, przed i po zmianach w systemie (nagrano 91 uczestników) | 25,4% do 9,9%; wypowiedzi przerywane o 79,1% rzadziej | Lea i in., CHI 2023 |
Kontekst: choroba Parkinsona stanowi 73,4% korpusu treningowego konkursu pod względem czasu trwania, więc nagłówkowy wynik 8,11% opisuje głównie jedną etiologię; zespół Downa, mózgowe porażenie dziecięce i udar nie zostały podane oddzielnie z powodu małej liczby próbek testowych. W badaniu jąkania Whisper był najdokładniejszy z sześciu systemów i mimo to przeszedł z 0,063 do 0,121. Najnowsze dostępne dane o dokładności modeli spersonalizowanych: Green i in., Interspeech 2021.
6. Języki o ograniczonych zasobach i pokrycie zbiorów danych
Błąd niemal mechanicznie podąża za liczbą godzin treningowych. Autorzy Whisper podają skorelowanie kwadratowe 0,83 między logarytmem WER a logarytmem godzin treningowych na język i szacują, że WER spada o połowę przy każdym 16-krotnym wzroście ilości danych treningowych. Z 680 000 godzin treningowych Whisper 117 000 obejmuje 96 języków innych niż angielski, a artykuł zauważa, że większość języków ma mniej niż 1000 godzin.
Pokrycie rosło szybciej niż dowody na dokładność. Artykuł o MMS oszacował światową liczbę języków na ponad 7000, z których technologia mowy obsługiwała około 100, a Omnilingual ASR deklaruje już ponad 1600. Standardowy wielojęzyczny test porównawczy, FLEURS, obejmuje 102 języki, po około 12 godzin nadzoru każdy (Conneau i in., FLEURS 2022), więc większość niedawno dodanych języków nie ma wspólnej publicznej miary. Pokrycie po stronie modeli śledzimy dokładniej w naszych statystykach wielojęzycznych modeli bazowych mowy.
| Metryka | Wartość | Źródło |
|---|---|---|
| Dane treningowe Whisper | 680 000 godzin łącznie; 117 000 godzin obejmujących 96 języków innych niż angielski | OpenAI (Radford i in.), artykuł o Whisper 2022 |
| Zależność między godzinami treningowymi na język a WER | Korelacja kwadratowa 0,83; WER spada o połowę przy każdym 16-krotnym wzroście danych | OpenAI (Radford i in.), artykuł o Whisper 2022 |
| Języki świata wobec języków obsługiwanych przez technologię mowy | Ponad 7000 wobec około 100 | Pratap i in., artykuł MMS (Scaling Speech Technology to 1,000+ Languages) 2023 |
| Pokrycie i dokładność MMS | ASR dla 1107 języków; WER ponad dwukrotnie niższy niż w Whisper w 54 językach FLEURS | Pratap i in., artykuł MMS (Scaling Speech Technology to 1,000+ Languages) 2023 |
| Pokrycie Omnilingual ASR | Ponad 1600 języków, ponad 500 nigdy wcześniej nieobsługiwanych przez ASR | Zespół Omnilingual ASR, arXiv 2511.09690, 2025 |
| Dane do wstępnego trenowania Google USM | 12 milionów godzin nieoznaczonego dźwięku obejmującego ponad 300 języków; zbiór oznaczony 1/7 rozmiaru zbioru Whisper | Artykuł o Google USM (Zhang i in.) 2023 |
| Common Voice Scripted Speech v27.0 | 295 języków; 42 593 godzin łącznie; 29 295 godzin zweryfikowanych | Mozilla Common Voice, cv-dataset v27.0 2026 |
| Podział płci w Common Voice v27.0, angielski i niemiecki | Angielski 0,4318 mężczyzn, 0,1776 kobiet, 0,3894 niezadeklarowanych; niemiecki 0,5786 mężczyzn, 0,0818 kobiet | Mozilla Common Voice, cv-dataset v27.0 2026 |
Wyjątek: w statystykach Common Voice v27.0 kataloński ma więcej nagranego dźwięku niż angielski (3940,31 godziny łącznie wobec 3795,9), podczas gdy najmniejsza wersja językowa, jaką czytaliśmy, zawiera 25 nagrań od 2 użytkowników. O tym, które języki dostają dane, decyduje wysiłek wolontariuszy, a nie liczba mówców. Zbiór Spontaneous Speech, bliższy rzeczywistemu użyciu, jest znacznie mniejszy: 541 godzin łącznie w 80 językach w wersji 5.0.
7. Skutki w sądach, klinikach, rekrutacji i asystentach głosowych
Stawka rośnie tam, gdzie transkrypcja staje się dokumentem. Ludzie wyznaczają słabą linię bazową: protokolanci sądowi z certyfikatem 95% dokładności osiągnęli średnio 82,9% dokładności na poziomie słów i 59,5% na poziomie zdań w afroamerykańskiej odmianie angielskiego, a ich transkrypcje zmieniały kto, co, kiedy lub gdzie w 31% przypadków (Jones i in., Language 2019). Nasze statystyki dokładności rozpoznawania mowy na sali sądowej opisują zautomatyzowane projekty pilotażowe, które dziedziczą ten problem.
Dowody kliniczne są świeże i oparte na małych próbach. W nagranych wizytach domowej opieki zdrowotnej dwa systemy Amazon wykazały po 17 punktów różnicy mediany WER między czarnoskórymi a białymi pacjentami (50 minus 33 oraz 54 minus 37), podczas gdy Whisper był jednakowo słaby dla obu grup. Rekrutacja to jedyne środowisko z uspokajającym wynikiem: obciążenie transkrypcji pojawiło się w niemal wszystkich porównaniach, a autorzy stwierdzili, że nie przeniosło się na wyniki rozmów. Koszt, o którym mówią użytkownicy, ma charakter behawioralny, ponieważ niemal każdy uczestnik dwutygodniowego badania dzienniczkowego zmienił sposób mówienia.
| Metryka | Wartość | Źródło |
|---|---|---|
| Dokładność protokolantów sądowych w afroamerykańskiej odmianie angielskiego, poziom słów wobec poziomu zdań (standard certyfikacji 95%) | 82,9% wobec 59,5% | Jones i in., Testifying While Black, Language 2019 |
| Transkrypcje zmieniające kto, co, kiedy lub gdzie | 31%; 27 protokolantów sądowych, 9 mówców, 83 zdania | Jones i in., Testifying While Black, Language 2019 |
| Mediana WER, czarnoskórzy wobec białych pacjentów domowej opieki zdrowotnej, AWS General i AWS Medical | 50% wobec 33% (P = 0,016); 54% wobec 37% (P = 0,0012) | Zolnoori i in., JAMIA Open 2024 |
| Mediana WER, czarnoskórzy wobec białych pacjentów, Whisper large-v3 | 75% wobec 72% (P = 0,66); 35 pacjentów | Zolnoori i in., JAMIA Open 2024 |
| Odsetek błędów w dyktowanych notatkach klinicznych: wersja robocza z rozpoznawania mowy, po transkrybencie, notatka podpisana | 7,4%, 0,4%, 0,3%; 217 notatek | Zhou i in., JAMA Network Open 2018 |
| Transkrypcje Whisper z halucynowanym tekstem; odsetek halucynacji z jawnie szkodliwą treścią | 1,4% z 13 140 segmentów; 38% | Koenecke i in., Careless Whisper, FAccT 2024 |
| Symulowane rozmowy wideo transkrybowane czterema metodami ASR i jedną ludzką | N = 1014 i N = 414; istotne obciążenie ASR w niemal wszystkich porównaniach, brak istotnego obciążenia pomiaru w wynikach | Hickman i in., Journal of Applied Psychology 2025 |
| Afroamerykańscy użytkownicy technologii głosowej, którzy zmieniali dialekt, aby być zrozumianymi | 93% (n = 28 z 30); 77% zgłosiło frustrację z powodu błędów | Mengesha i in., Frontiers in Artificial Intelligence 2021 |
Kontekst: badanie protokolantów sądowych mierzy ludzkich transkrybentów, a nie oprogramowanie, a badanie dyktowania klinicznego to najnowsze dostępne dane o odsetku błędów w podpisanych notatkach (Zhou i in., JAMA Network Open 2018). Eksperymenty z halucynacjami przeprowadzono w 2023 roku; autorzy stwierdzili, że 19% z 312 transkrypcji z halucynacjami dotyczyło przemocy, 13% niedokładnych skojarzeń, a 8% fałszywego autorytetu, i że po ponownym przepuszczeniu objętych segmentów przez systemy innych dostawców nie pojawiły się porównywalne halucynacje (Careless Whisper). Wynik dotyczący rekrutacji (Hickman i in.) pochodzi z symulowanych rozmów, a nie z rzeczywistych decyzji o zatrudnieniu.
Podsumowanie: stronniczość akcentowa w rozpoznawaniu mowy i wskaźnik błędów słów w liczbach
| Metryka | Wartość | Źródło |
|---|---|---|
| Średni WER, czarnoskórzy wobec białych mówców, pięć komercyjnych systemów | 0,35 wobec 0,19 | Stanford (Koenecke i in.), PNAS 2020 |
| Średni WER, Afroamerykanie wobec Amerykanów rasy kaukaskiej, cztery komercyjne systemy | 20% wobec 15% | University of Washington (Scott i in.), LREC 2026 |
| WER Whisper-large-v2, czarnoskórzy lub afroamerykańscy wobec białych mówców | 9,52 wobec 3,96 | Meta (Veliche i in.), Fair-Speech Dataset 2024 |
| WER Whisper-large-v2, mówcy płci męskiej wobec żeńskiej | 7,91 wobec 3,86 | Meta (Veliche i in.), Fair-Speech Dataset 2024 |
| WER Whisper large, angielski z akcentem EdAcc wobec LibriSpeech test-clean | 19,7% wobec 2,7% | University of Edinburgh (Sanabria i in.), artykuł EdAcc 2023 |
| WER Whisper Large V2, CORAAL wobec LibriSpeech Clean | 16,2 wobec 2,7 | OpenAI (Radford i in.), artykuł o Whisper 2022 |
| Najlepszy średni WER, ścieżka krótkich nagrań w angielskim w Open ASR Leaderboard | 5,42 wśród 86 przetestowanych systemów | Artykuł o Open ASR Leaderboard (Srivastav i in.), wersja 4, marzec 2026 |
| WER Whisper-large na panafrykańskim angielskim, ogólny wobec klinicznego | 0,240 wobec 0,375 | Olatunji i in., AfriSpeech-200, TACL 2023 |
| Różnica WIL, mówcy z angielskim jako pierwszym językiem wobec mówców z innym pierwszym językiem | 0,14 (P<0,001) | DiChristofano i in., arXiv 2023 |
| WER holenderskiego ASR na mowie czytanej, mówcy nierodzimi wobec rodzimych | 55,9% wobec 26,1% | TU Delft (Feng i in.), Quantifying Bias in ASR 2021 |
| Bazowy WER, mowa typowa wobec dyzartrycznej związanej z chorobą Parkinsona | 3,4% wobec 36,3% | Speech Accessibility Project (Hasegawa-Johnson i in.), JSLHR 2024 |
| Bazowy Whisper-large-v2 wobec najlepszego systemu konkursu na mowie dyzartrycznej | 17,82% wobec 8,11% | Zheng i in., Interspeech 2025 Speech Accessibility Project Challenge |
| WER modeli spersonalizowanych wobec niezależnych od mówcy, mowa zaburzona | 4,6% wobec 31% | Google Research (Green i in.), Interspeech 2021 |
| Średni WER w sześciu systemach, mowa z jąkaniem wobec wersji płynnych | 0,281 wobec 0,105 | Mujtaba i in., Lost in Transcription, NAACL 2024 |
| Godziny treningowe Whisper, łącznie wobec spoza angielskiego | 680 000 wobec 117 000 (96 języków) | OpenAI (Radford i in.), artykuł o Whisper 2022 |
| Common Voice Scripted Speech v27.0 | 295 języków, 29 295 zweryfikowanych godzin | Mozilla Common Voice, cv-dataset v27.0 2026 |
| Mediana WER, czarnoskórzy wobec białych pacjentów domowej opieki zdrowotnej, AWS General | 50% wobec 33% (P = 0,016) | Zolnoori i in., JAMIA Open 2024 |
| Dokładność protokolantów sądowych na poziomie słów w afroamerykańskiej odmianie angielskiego wobec standardu certyfikacji | 82,9% wobec 95% | Jones i in., Testifying While Black, Language 2019 |
| Użytkownicy technologii głosowej, którzy zmieniali swój dialekt | 93% (n = 28 z 30) | Mengesha i in., Frontiers in Artificial Intelligence 2021 |
Metodologia i źródła
Wykonaliśmy 23 wyszukiwania i przeczytaliśmy pierwotny artykuł, stronę zbioru danych lub wpis w czasopiśmie dla każdej liczby powyżej. WER podajemy w notacji każdego źródła: ułamki u Koenecke i in., w AfriSpeech-200 i u Mujtaba i in., w pozostałych przypadkach procenty. Liczby starsze niż trzy lata oznaczamy w sekcjach jako najnowsze dostępne dane.
- Koenecke et al., Racial disparities in automated speech recognition, PNAS 2020
- Scott, Liang, Wassink and Levow, A Sociophonetic Analysis of Racial Bias in Commercial ASR Systems Using the Pacific Northwest English Corpus, LREC 2026
- Veliche et al. (Meta), Towards measuring fairness in speech recognition: Fair-Speech dataset, 2024
- Radford et al. (OpenAI), Robust Speech Recognition via Large-Scale Weak Supervision, 2022
- Sanabria et al. (University of Edinburgh), The Edinburgh International Accents of English Corpus, ICASSP 2023
- Srivastav et al., Open ASR Leaderboard paper, wersja 4, marzec 2026
- DiChristofano, Shuster, Chandra and Patwari, Global Performance Disparities Between English-Language Accents in Automatic Speech Recognition, 2023
- Olatunji et al., AfriSpeech-200: Pan-African Accented Speech Dataset for Clinical and General Domain ASR, TACL 2023
- Feng, Kudina, Halpern and Scharenborg (TU Delft), Quantifying Bias in Automatic Speech Recognition, 2021
- Tatman (University of Washington), Gender and Dialect Bias in YouTube’s Automatic Captions, ACL Ethics in NLP Workshop 2017
- Attia et al., Kid-Whisper, 2024
- Hasegawa-Johnson et al., Community-Supported Shared Infrastructure in Support of Speech Accessibility, JSLHR 2024
- Zheng et al., The Interspeech 2025 Speech Accessibility Project Challenge
- Green et al. (Google Research), Automatic Speech Recognition of Disordered Speech, Interspeech 2021 oraz blog o zbiorze Project Euphonia, 2021
- Mujtaba et al., Lost in Transcription, NAACL 2024
- Lea et al., From User Perceptions to Technical Improvement: Enabling People Who Stutter to Better Use Speech Recognition, CHI 2023
- Koenecke et al., Careless Whisper: Speech-to-Text Hallucination Harms, FAccT 2024
- Pratap et al., Scaling Speech Technology to 1,000+ Languages (MMS), 2023; Omnilingual ASR, 2025; Google USM, 2023; FLEURS, 2022
- Mozilla Common Voice, repozytorium cv-dataset i statystyki v27.0, 2026
- Jones, Kalbfeld, Hancock and Clark, Testifying While Black, Language 95(2), 2019
- Zolnoori et al., Decoding disparities, JAMIA Open 2024
- Zhou et al., Analysis of Errors in Dictated Clinical Documents Assisted by Speech Recognition Software and Professional Transcriptionists, JAMA Network Open 2018
- Hickman, Langer, Saef and Tay, Automated speech recognition bias in personnel selection, Journal of Applied Psychology 2025
- Mengesha et al., Impact of Automated Speech Recognition Errors on African Americans, Frontiers in Artificial Intelligence 2021
- Uwaga o danych: kilka źródeł jest ze sobą niespójnych lub mierzy różne rzeczy. Tekst artykułu o Whisper podaje WER 2,5 dla LibriSpeech clean, podczas gdy jego Tabela 2 podaje 2,7 (używamy tabeli). Streszczenie Careless Whisper mówi, że halucynowanych było około 1% transkrypcji, a sekcja wyników podaje 1,4% (używamy 1,4%), a jego autorzy zaznaczają, że eksperymenty pochodzą z 2023 roku. Wartości 36,3% i 23,7% ze streszczenia Speech Accessibility Project odpowiadają wierszom artykułu dotyczącym niewspółdzielonych promptów; dla wszystkich promptów testowych wynik po dostrojeniu to 18,72%. Tekst Fair-Speech wspomina o 50 mówcach w najwyższym przedziale dochodu, podczas gdy jego tabela podaje 41. DiChristofano i in. podają utraconą informację słowną, a nie WER, więc ich różnice nie są porównywalne z pozostałymi wierszami. Ocena Scott i in. została przeprowadzona w 2022 roku na 16 mówcach, a opublikowana w 2026 roku. Open ASR Leaderboard zmienia się nieustannie: wersja artykułu z października 2025 roku wymieniała 64 modele z najlepszym średnim WER 5,63, a wersja z marca 2026 roku 86 systemów i 5,42. Sumy godzin Common Voice pochodzą z danych wykresu wydań w repozytorium, a proporcje płci z pliku statystyk v27.0. W przypadku Testifying While Black strona czasopisma jest za kontrolą dostępu, więc liczby odczytaliśmy z opublikowanego przez głównego autora streszczenia artykułu; to streszczenie podaje dwie różne liczby dotyczące rozumienia parafraz, które dlatego pominęliśmy. Nie udało się nam zweryfikować szeroko powtarzanego twierdzenia o WER dostawcy narzędzi rekrutacyjnych dla mówców nierodzimych i zrezygnowaliśmy z niego.
Ostatnia aktualizacja: 11 października 2026 roku. Aktualizujemy to zestawienie kwartalnie, a kolejnego odświeżenia spodziewamy się, gdy Mozilla opublikuje Common Voice Scripted Speech v28.0.