W 67 badaniach i 392 wielkościach efektu oceny maszynowe korelują z ludzkimi ocenami wymowy na poziomie r = 0,606, niżej niż łączne wartości dla płynności czy sposobu mówienia (Wang i Min, Language Testing 2026). Wyniki benchmarków opowiadają podobną historię w drobniejszej skali: najlepszy współczynnik korelacji Pearsona (PCC) na poziomie fonemu podawany dla korpusu speechocean762 to 0,693, a czołowy detektor błędów z 2026 roku nadal pomija mniej więcej co trzeci rzeczywisty błąd wymowy. Dostawcy testów podają znacznie wyższe wartości dla całych testów, do 0,97, choć ich własne podwyniki z wymowy plasują się wyraźnie niżej. Te liczby mierzą zgodność, a nie sprzedaż, dlatego to zestawienie stoi osobno od naszych szerszych statystyk nauki języków. Zebraliśmy dane z Language Testing, korpusu speechocean762, raportów badawczych ETS, raportów walidacyjnych Pearson, PLOS One, Language Learning oraz kilkunastu innych artykułów i dokumentów technicznych.
TL;DR
- Łączna korelacja maszyna-człowiek dla wymowy: r = 0,606, wobec r = 0,654 dla wszystkich komponentów mówienia (Wang i Min, Language Testing 2026).
- Najwyższy PCC na poziomie fonemu podawany dla speechocean762: 0,693, wobec wartości bazowej korpusu 0,45 (Cao i in., arXiv 2025; Zhang i in., 2021).
- Podwynik z wymowy w Versant English Test: korelacja maszyna-człowiek 0,88, najniższa spośród jego podwyników (Pearson, podsumowanie walidacji Versant 2022).
- Człowiek wobec człowieka w TOEFL Junior Speaking: r = 0,89, wobec r = 0,81 dla człowieka wobec maszyny (ETS, raport o automatycznej punktacji TOEFL Junior 2015).
- Dwoje nauczycieli w jednym badaniu klasowym zgodziło się jedynie na poziomie r = 0,583, podczas gdy inna para osiągnęła r = 0,901 (Chen i Sun, PLOS One 2025).
- Najlepszy zgłoszony F1 wykrywania błędnej wymowy na L2-ARCTIC w naszych źródłach: 71,77% (Geng i in., arXiv 2026).
- Fałszywa akceptacja rzeczywistych błędów wymowy w tym systemie: 32,76%, wobec 3,39% fałszywych odrzuceń poprawnych dźwięków (Geng i in., arXiv 2026).
- Najlepszy wynik GPT-4o na speechocean762: 0,502 na poziomie wypowiedzi, wobec 0,782 dla Azure Pronunciation Assessment (Wang i in., arXiv 2025).
- Jedna aplikacja konsumencka korelowała z nauczycielami na poziomie r = 0,869, a mimo to przyznawała średnio 92,00 wobec 86,41 od ludzi (Chen i Sun, PLOS One 2025).
- Przeniesienie detektora z modelu ogólnego na docelową grupę uczących się podniosło ROC-AUC z 0,72 do 0,85 (Nijat i in., Applied Sciences 2026).
1. Punkt wyjścia: co mówi 67 badań o zgodności maszyny z człowiekiem
r Pearsona przyjmuje wartości od -1 do 1 i mierzy, czy dwa zestawy ocen rosną i maleją razem. Łączna wartość dla wymowy r = 0,606 jest w tej skali silna, ale jej podniesienie do kwadratu pokazuje granicę: .606 x .606 = 0,367, czyli około 37% zmienności ludzkich ocen jest wspólne z maszyną.
Zaskakujący jest ranking komponentów. Sposób mówienia (w ocenie mówienia: jak mowa brzmi ogólnie, a nie co mówi) wyprzedza wymowę z dużą przewagą, więc systemy lepiej radzą sobie z ogólnym wrażeniem niż z konkretnym komponentem, który śledzi to zestawienie. Gramatyka i słownictwo plasują się na końcu. Metaanaliza z Language Testing wykazała też, że dokładność ASR nie była istotnym moderatorem, co podważa powszechne założenie, że lepszy rozpoznawacz mowy automatycznie oznacza lepszy system oceniania.
| Metryka | Wartość | Źródło |
|---|---|---|
| Rozmiar metaanalizy i ogólna łączna korelacja maszyna-człowiek | 67 badań, 392 wielkości efektu, r = 0,654 (p < 0,001) | Wang i Min, Language Testing 2026 |
| Łączna korelacja dla sposobu mówienia wobec łącznej korelacji dla wymowy | r = 0,784 wobec r = 0,606 | Wang i Min, Language Testing 2026 |
| Łączna korelacja dla ogólnej biegłości mówienia wobec łącznej korelacji dla płynności | r = 0,686 wobec r = 0,618 | Wang i Min, Language Testing 2026 |
| Łączna korelacja dla treści wobec łącznej korelacji dla gramatyki i słownictwa | r = 0,574 wobec r = 0,499 | Wang i Min, Language Testing 2026 |
| Zmienne moderujące o istotnym wpływie wobec tych bez istotnego wpływu | 10 istotnych (w tym grupa wiekowa, doświadczenie oceniającego i zgodność między oceniającymi) wobec 4 nieistotnych (w tym dokładność ASR) | Wang i Min, Language Testing 2026 |
| Przedział korelacji Pearsona, który jeden dostawca określa jako ‘wysoką’ zgodność z ludzkimi sędziami | od 0,5 do 1,0 | Microsoft, nota o przejrzystości Pronunciation Assessment 2026 (wytyczna samego dostawcy) |
Uwaga kontekstowa: w skali samego Microsoftu nawet najsłabszy komponent z metaanalizy niemal osiąga poziom ‘wysoka’. Takie etykiety niewiele mówią o tym, czy wynik można uznać za wiarygodny dla jednego uczącego się. Użyta jako próg zaliczenia wytyczna Microsoftu spełniałaby niemal każdą łączną wartość z powyższej tabeli.
2. Ludzki pułap: jak bardzo oceniający zgadzają się między sobą
Maszyny nie da się zmierzyć względem idealnego wzorca, ponieważ ludzki punkt odniesienia również jest zaszumiony. Pary wyszkolonych nauczycieli w jednym badaniu z 2025 roku uzyskały wartości od r = 0,901 do r = 0,583, a ta niższa wartość jest poniżej łącznej korelacji dla wymowy w przypadku maszyn z sekcji 1. Próba liczyła zaledwie 30 uczniów, a zadaniem była ogólna biegłość mówienia, więc ilustruje to rozrzut, ale nie dowodzi, że maszyny przewyższają nauczycieli.
Klinicyści w badaniu arabskim poniżej zgadzali się ze sobą znacznie bliżej niż nauczyciele, choć dotyczyło ono innego języka i zadania, a uśrednianie pomaga: badanie z PLOS One przechodzi od 0,713 dla jednego oceniającego do 0,882 dla średniej z trzech. ICC, czyli współczynnik korelacji wewnątrzklasowej, to inna miara niż r Pearsona: w wersji zgodności bezwzględnej karze też oceniających za to, że są ogólnie surowsi lub łagodniejsi. Najbardziej przydatnym porównaniem jest badanie ETS dotyczące TOEFL Junior, które podaje obie liczby na tych samych danych. Różnica między nimi to uczciwa miara tego, czego automatyzacji wciąż brakuje. Ten sam problem oceny słuchacza dotyczy ocen jakości mowy syntetycznej.
| Metryka | Wartość | Źródło |
|---|---|---|
| TOEFL Junior Speaking na poziomie całego formularza, pięć odpowiedzi: korelacja człowiek-człowiek w porównaniu z korelacją człowiek-maszyna | r = 0,89 wobec r = 0,81 | ETS, raport o automatycznej punktacji TOEFL Junior 2015 (najnowsze dostępne dane) |
| Trzej logopedzi oceniający wymowę arabską: zakres parowego PCC | od 0,858 do 0,927 | Azad i in., Harf-Speech, arXiv 2026 |
| Ci sami trzej klinicyści: zakres parowego ICC(2,1) | od 0,846 do 0,922 | Azad i in., Harf-Speech, arXiv 2026 |
| Trzej nauczyciele angielskiego oceniający biegłość mówienia: zgodność pojedynczego oceniającego, ICC(2,1) | 0,713 (95% przedział ufności od 0,539 do 0,835) | Chen i Sun, PLOS One 2025 |
| Ci sami trzej nauczyciele: zgodność uśrednionego wyniku, ICC(2,k) | 0,882 (95% przedział ufności od 0,778 do 0,938) | Chen i Sun, PLOS One 2025 |
| Ci sami trzej nauczyciele: najsilniejsza para wobec najsłabszej | r = 0,901 wobec r = 0,583 | Chen i Sun, PLOS One 2025 |
| Spadek wpływu zmiennych słuchacza niezwiązanych z cechą po szkoleniu oceniających: holistyczne oceny biegłości ustnej wobec ocen zrozumiałości | 75% wobec 50% | Dalman i Kang, IntechOpen 2019, podsumowanie Kang i in. 2019 (najnowsze dostępne dane) |
| Statystyka zgodności opublikowana dla pięciu ekspertów oznaczających speechocean762 | Nie zgłoszono żadnej | Zhang i in., artykuł o speechocean762 2021 |
Uwaga o wartościach odstających: ostatni wiersz znaczy więcej, niż się wydaje. Główny publiczny benchmark w tej dziedzinie nie publikuje korelacji ani kappy między anotatorami, więc nikt czytający jego artykuł nie może powiedzieć, jak blisko ludzkiego pułapu leży 0,693.
3. Egzaminy o wysokiej stawce: liczby dostawców i luka w wymowie wewnątrz nich
Wyniki całych testów wyglądają niemal idealnie, a wymowa to miejsce, gdzie przestają tak wyglądać. W danych Versant od Pearson wymowa jest najsłabszym podwynikiem z 0,88, podczas gdy wynik ogólny sięga 0,97. Spadek jest spójny w dokumentach Pearson: 0,81 w prezentacji o PTE Academic oraz 0,85 dla stylu mówienia, kategorii Versant, która obejmuje wymowę.
Te wartości są znacznie powyżej łącznego r = 0,606 z sekcji 1. Część różnicy wynika z doboru próby: wyniki testu agregują wiele zadań, a próby walidacyjne często obejmują szeroki zakres umiejętności (w raporcie Versant Speaking and Listening jest 26 osób mówiących po angielsku jako L1 wśród 260 dorosłych), a szerokie zakresy zawyżają korelacje. Metaanaliza wymienia też twórcę systemu i jednostkę próby wśród swoich istotnych moderatorów. Wartości dostawców należy czytać jako górne granice uzyskane w sprzyjających warunkach. O wadze tych egzaminów piszemy w statystykach liczby zdających testy z angielskiego.
| Metryka | Wartość | Źródło |
|---|---|---|
| Versant English Test, korelacja maszyna-człowiek według wyniku, n = 143 | Ogólny 0,97, opanowanie zdań 0,97, słownictwo 0,96, płynność 0,94, wymowa 0,88 | Pearson, podsumowanie walidacji Versant 2022 (twierdzenie samego dostawcy, najnowsze dostępne dane) |
| Rzetelność połówkowa wyniku z wymowy w Versant English Test: punktacja maszynowa wobec ludzkiej, n = 143 | 0,97 wobec 0,99 | Pearson, podsumowanie walidacji Versant 2022 (twierdzenie samego dostawcy) |
| Korelacja wyników Versant z zewnętrznymi egzaminami, n = 130 dla każdego: TOEFL iBT Speaking wobec IELTS Speaking | 0,75 wobec 0,76 | Pearson, podsumowanie walidacji Versant 2022 (twierdzenie samego dostawcy) |
| Versant English Speaking and Listening Test, korelacja maszyna-człowiek, n = 260 | Ogólny .96, mówienie .88, styl mówienia .85 | Pearson, raport walidacyjny Versant Speaking and Listening 2024 (twierdzenie samego dostawcy) |
| Część mówiona PTE Academic, korelacja maszyna-człowiek według cechy, N = 158 | Wymowa 0,81, płynność 0,82, ogólny 0,96 | Pearson, prezentacja MELTA o automatycznej punktacji 2018 (twierdzenie samego dostawcy, najnowsze dostępne dane) |
| Oś czasu ETS SpeechRater: rok pierwszego wdrożenia usługi wobec roku, w którym wersja 5.0 weszła do produkcji | 2006 wobec 2016 | Chen i in., raport badawczy ETS 2018 |
Uwaga kontekstowa: rzetelność połówkowa pokazuje, jak spójny jest oceniający sam ze sobą w dwóch połowach testu. Maszyna może osiągnąć w tej mierze 0,97 i mimo to nie zgadzać się z ludźmi, i dokładnie taki wzorzec widać w wierszach dotyczących wymowy w Versant.
4. Benchmark speechocean762: postęp według poziomu szczegółowości
speechocean762 zawiera 5.000 wypowiedzi po angielsku od 250 osób nierodzimych, z których połowa to dzieci, a każda została oceniona przez pięciu ekspertów. Jego oceny istnieją na trzech poziomach: fonemu (angielskie phone to pojedynczy dźwięk mowy, nie telefon), słowa i wypowiedzi. Miarami są PCC, gdzie wyższy jest lepszy, oraz MSE (błąd średniokwadratowy), gdzie niższy jest lepszy. GOP, czyli Goodness of Pronunciation (jakość wymowy), to klasyczna miara statystyczna, którą nowsze modele próbują pobić.
PCC na poziomie fonemu wzrósł z 0,45 do 0,693 między wartością bazową z 2021 roku a modelem z 2023 roku, a artykuł zrewidowany 5 lutego 2026 roku nadal podaje 0,693 jako najwyższą znaną wartość. Zgodność spada wraz ze zmniejszaniem się jednostki: oceny wypowiedzi sięgają przedziału 0,80, podczas gdy oceny fonemów i słów pozostają w przedziale 0,60. Uśrednianie po zdaniu ukrywa błędy, więc ogólna ocena uczącego się może być wiarygodna, a informacja zwrotna o pojedynczym dźwięku już nie. Artykuł o korpusie zauważa też, że większość ocen fonemów, przeliczonych na skalę od 0 do 10, mieści się między 8 a 10, więc w danych dominują poprawne dźwięki.
| Metryka | Wartość | Źródło |
|---|---|---|
| Pierwotna wartość bazowa na poziomie fonemu: surowa wartość GOP wobec cech opartych na GOP | MSE 0,69 i PCC 0,25 wobec MSE 0,16 i PCC 0,45 | Zhang i in., artykuł o speechocean762 2021 |
| Model transformerowy GOPT, poziom fonemu | MSE 0,085 ± 0,001, PCC 0,612 ± 0,003 | Gong i in., GOPT, ICASSP 2022 |
| Najwyższy PCC na poziomie fonemu podawany dla speechocean762 | 0,693 | Chao i in., Interspeech 2023, cytowane w Cao i in., arXiv 2025 |
| Cechy GOP bez segmentacji podane do GOPT, poziom fonemu | PCC 0,648 ± 0,002 | Cao i in., arXiv 2025 |
| Całkowity PCC na poziomie słowa wobec całkowitego PCC na poziomie wypowiedzi, GOPT | 0,549 wobec 0,742 | Gong i in., GOPT, ICASSP 2022 |
| Całkowity PCC na poziomie słowa wobec całkowitego PCC na poziomie wypowiedzi, model 3MH | 0,694 wobec 0,811 | Wang i in., badanie GPT-4o o wymowie, arXiv 2025 |
| Model HMamba na poziomie wypowiedzi: PCC dla poprawności, płynności i prozodii | 0,807, 0,848 i 0,843 | Sara i Chowdhury, arXiv 2026 |
| Łączna korelacja maszyna-człowiek według generacji technologii: tradycyjne uczenie maszynowe, uczenie głębokie, transformer | r = 0,597, r = 0,641, r = 0,680 | Wang i Min, Language Testing 2026 |
Uwaga o wartościach odstających: ten sam model 3MH osiąga tylko 0,361 dla akcentu wyrazowego i 0,374 dla kompletności wypowiedzi (Wang i in., arXiv 2025). To dwie najtrudniejsze etykiety w benchmarku.
5. Wykrywanie błędów fonemów: precyzja, czułość i pominięta jedna trzecia
Punktacja pyta, jak dobry był dźwięk. Wykrywanie błędnej wymowy zadaje dla każdego fonemu pytanie tak lub nie i podaje F1, pojedynczy wynik równoważący precyzję (ile oznaczeń było trafnych) i czułość (recall, ile rzeczywistych błędów wychwycono). Najlepszy wynik na L2-ARCTIC w naszych źródłach to F1 równy 71,77%, z preprintu z 2026 roku, czyli o 8,73 punktu więcej (71,77 - 63,04) niż najlepsza wartość bazowa w porównaniu z 2025 roku.
Podział na dwa rodzaje błędów odzwierciedla priorytet projektowy. Fałszywa akceptacja oznacza, że błędny dźwięk przechodzi jako poprawny, a fałszywe odrzucenie oznacza, że poprawny dźwięk zostaje oznaczony. Te liczby dopełniają czułość: 100 - 67,24 = 32,76, więc jeden rzeczywisty błąd na trzy zostaje nieoznaczony. Artykuł z 2025 roku nazywa fałszywe odrzucenie najważniejszą miarą, ponieważ błędne poprawianie uczących się ich frustruje, a wyniki pasują do tego priorytetu: uczący się widzi mało fałszywych alarmów, podczas gdy wiele prawdziwych błędów pozostaje nieoznaczonych.
| Metryka | Wartość | Źródło |
|---|---|---|
| Benchmark L2-ARCTIC: wszyscy mówcy wobec mówców w zbiorze testowym | 24 wobec 6 | Tu i in., PER-MDD, arXiv 2025 |
| Zysk F1 wczesnego detektora end-to-end względem metody GOP wobec zysku względem bazowego modelu end-to-end | 27,71% wobec 11,05% | Yan i in., Interspeech 2020 |
| F1 na L2-ARCTIC: najlepsza wcześniejsza wartość bazowa (Joint-Align) wobec systemu wyszukiwania niewymagającego trenowania (PER-MDD) | 63,04% wobec 69,60% | Tu i in., PER-MDD, arXiv 2025 |
| L2-ARCTIC, system CROTTC-IF: F1, precyzja i czułość | 71,77%, 76,94% i 67,24% | Geng i in., CROTTC-IF, arXiv 2026 |
| L2-ARCTIC, system CROTTC-IF: fałszywe odrzucenie wobec fałszywej akceptacji | 3,39% wobec 32,76% | Geng i in., CROTTC-IF, arXiv 2026 |
| Wskaźnik błędów fonemów na L2-ARCTIC: CROTTC-IF wobec samego jego modelu akustycznego wobec PER-MDD | 46,52 wobec 17,48 wobec 104,08 | Geng i in., CROTTC-IF, arXiv 2026 |
| F1 wykrywania na speechocean762: CROTTC-IF wobec HMamba wobec MuFFIN | 57,16% wobec 63,85% wobec 67,98% | Geng i in., arXiv 2026; Chao i Chen, HMamba, arXiv 2025 |
Uwaga o wartościach odstających: wskaźniki błędów fonemów powyżej 100 to nie literówka. Autorzy przypisują je wstawionym fonemom i pokazują, że system może dobrze wykrywać błędy, a jednocześnie słabo transkrybować. Wyniki dla arabskiego wyglądają podobnie: tabela wyników Iqra’Eval2 w tym samym artykule z 2026 roku kończy się na F1 równym 72,01%.
6. Komercyjne API, aplikacje konsumenckie i chatboty
Różnica między usługami jest większa niż różnica między modelami badawczymi. Test z 2025 roku na speechocean762 dał Azure Pronunciation Assessment wynik 0,782 na poziomie wypowiedzi. Najlepsza konfiguracja GPT-4o osiągnęła 0,502, a na poziomie fonemu tylko 0,249. Uniwersalne modele multimodalne potrafią słuchać, ale według tych dowodów nie potrafią jeszcze ocenić pojedynczego dźwięku.
Testy poza laboratoriami dostawców są mniej pochlebne dla narzędzi komercyjnych. Badanie Wona z 2025 roku na 190 nagraniach głośnego czytania od koreańskich uczniów szkoły podstawowej wykazało umiarkowane korelacje między ocenami fonemów z Azure a ocenami ludzi, podczas gdy wskaźniki błędów słów najdokładniejszych systemów, bliskie zera, korelowały z ocenami ludzi tylko słabo. Rozpoznawacz, który rozumie wszystkich, przestaje być użytecznym zastępnikiem wymowy. Wiersz SmartSpeech poniżej pokazuje drugą rzecz: narzędzie może silnie korelować z ludźmi i mimo to zawyżać średnią ocenę o ponad pięć punktów.
| Metryka | Wartość | Źródło |
|---|---|---|
| Oświadczenie dostawcy o zgodności z ludzkimi sędziami | Korelacja Pearsona powyżej 0,5 | Microsoft, nota o przejrzystości Pronunciation Assessment 2026 (twierdzenie samego dostawcy) |
| Azure Pronunciation Assessment na speechocean762: PCC poprawności słowa wobec całkowitego PCC wypowiedzi | 0,623 wobec 0,782 | Wang i in., badanie GPT-4o o wymowie, arXiv 2025 |
| Najlepszy wynik GPT-4o na speechocean762: PCC fonemu, całkowity PCC słowa i całkowity PCC wypowiedzi | 0,249, 0,277 i 0,502 | Wang i in., badanie GPT-4o o wymowie, arXiv 2025 |
| Mowa arabska oceniona przez klinicystów, 40 próbek: PCC ze średnią oceną klinicystów, Harf-Speech wobec Azure | 0,791 wobec 0,635 | Azad i in., Harf-Speech, arXiv 2026 |
| Ten sam test arabski: RMSE w skali od 0 do 5, Harf-Speech wobec Azure | 1,05 wobec 1,28 | Azad i in., Harf-Speech, arXiv 2026 |
| Trzy aplikacje AI do mówienia wobec średniej ludzkich oceniających, 30 uczniów: AI Speaking Master, TalkAI Language Practice, SmartSpeech AI Assessment | r = 0,854, 0,873 i 0,869 | Chen i Sun, PLOS One 2025 |
| Średnia ocena SmartSpeech wobec średniej oceny ludzi | 92,00 wobec 86,41, różnica 5,589 (95% przedział ufności od 5,023 do 6,155), d Cohena = 3,688 | Chen i Sun, PLOS One 2025 |
| Duolingo, system oceny wymowy: korelacja Spearmana z ocenami ekspertów | 0,82 | Blog Duolingo English Test o pracy Cai i in. 2025 (podsumowanie samego dostawcy) |
Uwaga kontekstowa: wartości Harf-Speech pochodzą z preprintu napisanego przez samych autorów systemu, więc jego przewagę nad Azure należy traktować ostrożnie. Duolingo opisuje 0,82 jako prawie dorównujące zgodności między ludzkimi oceniającymi, ale wpis na blogu nie podaje wartości dla ludzi.
7. Transfer i uczciwość: co dzieje się poza benchmarkiem
Duża część dowodów z benchmarków powyżej pochodzi z jednego korpusu uczących się mówiących po mandaryńsku i nie przenosi się czysto. Ten sam system, który uzyskał 0,661 dla poprawności na speechocean762, spadł do 0,506 na L2-ARCTIC, korpusie z mówcami kilku języków ojczystych, a ponowne wytrenowanie na nowych danych podniosło go tylko do 0,527. Dostosowanie do grupy docelowej działa lepiej w wykrywaniu: jedno badanie z 2026 roku podniosło ROC-AUC z 0,72 do 0,85 przez dostrojenie na samych uczących się. ROC-AUC mierzy, jak dobrze system oddziela poprawne od błędnego przy wszystkich progach, gdzie 0,5 oznacza przypadek.
Wyniki dotyczące obciążenia są w większości kierunkowe, ponieważ niewiele prac publikuje różnice na poziomie grup. Mimo to badanie ETS dotyczące zdających z zaburzeniami mowy i artykuł Duolingo w Language Learning wykazały mierzalne problemy, także w systemach oceniania zbudowanych przez duże organizacje egzaminacyjne. Warstwa rozpoznawania pod spodem ma własne luki, opisane w naszych statystykach uprzedzeń wobec akcentów, a dzieci potrzebują własnych dowodów, jak pokazują nasze statystyki rozpoznawania mowy dzieci.
| Metryka | Wartość | Źródło |
|---|---|---|
| PCC poprawności jednego modelu oceniającego dopasowanego na speechocean762: testowany na speechocean762 wobec testowanego na L2-ARCTIC | 0,661 wobec 0,506 | Sara i Chowdhury, arXiv 2026 |
| Ten sam model na L2-ARCTIC po ponownym wytrenowaniu na danych L2-ARCTIC | 0,527 | Sara i Chowdhury, arXiv 2026 |
| ROC-AUC wykrywania błędnej wymowy: model przed i po dostrojeniu na uczących się nierodzimych | 0,72 wobec 0,85 | Nijat i in., Applied Sciences 2026 |
| F1 wykrywania na korpusie ERJ: bez danych uczących się (zero-shot) wobec po dostrojeniu | 78,44% wobec 89,27% | Geng i in., CROTTC-IF, arXiv 2026 |
| Mowa dzieci (CMU Kids), rzeczywiste błędy, AUC: starszy GOP-DNN-Avg wobec GOP-CTC-SF-SD bez segmentacji | 0,796 wobec 0,914 | Cao i in., arXiv 2025 |
| GOP-CTC-SF-SD na mowie dzieci: błędy symulowane wobec rzeczywistych, AUC | 0,986 wobec 0,914 | Cao i in., arXiv 2025 |
| Zdający z zaburzeniami mowy lub słuchu, sześć zadań z mówienia TOEFL iBT | Oceny SpeechRater miały tendencję do bycia wyższymi niż oceny ludzi | Loukina i Buzick, raport badawczy ETS 2017 (najnowsze dostępne dane) |
| Źródła obciążenia zgłoszone we współczesnym systemie oceny wymowy | Jakość dźwięku i grupy rodzin językowych | Cai i in., Language Learning 2025 |
Uwaga kontekstowa: etykiety punktacji L2-ARCTIC w dwóch pierwszych wierszach to pseudoetykiety z Azure z weryfikacją ekspercką dla 10 mówców, więc te PCC mierzą zgodność z inną maszyną w takim samym stopniu jak z ludźmi. Microsoft osobno zaleca dźwięk 16 kHz lub wyższy i jednego mówcę dla własnej usługi.
Podsumowanie: dokładność oceny wymowy przez AI w liczbach
| Metryka | Wartość | Źródło |
|---|---|---|
| Łączna korelacja maszyna-człowiek: wymowa wobec wszystkich komponentów mówienia | r = 0,606 wobec r = 0,654 | Wang i Min, Language Testing 2026 |
| TOEFL Junior Speaking: człowiek-człowiek w porównaniu z człowiek-maszyna | r = 0,89 wobec r = 0,81 | ETS, raport o automatycznej punktacji TOEFL Junior 2015 |
| Trzej logopedzi: zakres parowego PCC | od 0,858 do 0,927 | Azad i in., Harf-Speech, arXiv 2026 |
| Trzej nauczyciele angielskiego: najsilniejsza para wobec najsłabszej | r = 0,901 wobec r = 0,583 | Chen i Sun, PLOS One 2025 |
| Versant English Test: korelacja maszyna-człowiek, wynik ogólny wobec wymowy | 0,97 wobec 0,88 | Pearson, podsumowanie walidacji Versant 2022 (twierdzenie samego dostawcy) |
| Część mówiona PTE Academic: korelacja maszyna-człowiek dla wymowy, N = 158 | 0,81 | Pearson, prezentacja MELTA 2018 (twierdzenie samego dostawcy) |
| PCC wartości bazowej na poziomie fonemu w speechocean762 | 0,45 | Zhang i in., artykuł o speechocean762 2021 |
| PCC GOPT na poziomie fonemu | 0,612 | Gong i in., GOPT, ICASSP 2022 |
| Najwyższy PCC na poziomie fonemu podawany dla speechocean762 | 0,693 | Chao i in., Interspeech 2023, cytowane w Cao i in., arXiv 2025 |
| Całkowity PCC modelu 3MH na poziomie wypowiedzi | 0,811 | Wang i in., badanie GPT-4o o wymowie, arXiv 2025 |
| Najlepszy F1 wykrywania na L2-ARCTIC w naszych źródłach | 71,77% | Geng i in., CROTTC-IF, arXiv 2026 |
| Fałszywe odrzucenie wobec fałszywej akceptacji w tym systemie | 3,39% wobec 32,76% | Geng i in., CROTTC-IF, arXiv 2026 |
| PCC na poziomie wypowiedzi na speechocean762: Azure wobec najlepszej konfiguracji GPT-4o | 0,782 wobec 0,502 | Wang i in., badanie GPT-4o o wymowie, arXiv 2025 |
| Test arabski: PCC ze średnią oceną klinicystów, Harf-Speech wobec Azure | 0,791 wobec 0,635 | Azad i in., Harf-Speech, arXiv 2026 |
| Średnia ocena SmartSpeech wobec średniej oceny ludzi | 92,00 wobec 86,41 | Chen i Sun, PLOS One 2025 |
| ROC-AUC przed i po dostrojeniu na docelowych uczących się | 0,72 wobec 0,85 | Nijat i in., Applied Sciences 2026 |
Metodologia i źródła
Każde badanie, raport lub dokument techniczny przeczytaliśmy bezpośrednio i zachowaliśmy zapis każdego źródła. Preprinty są oznaczone jako arXiv i nie muszą być zrecenzowane.
- Wang i Min, The human-machine correlation in automated speech evaluation: A three-level meta-analysis, Language Testing, 2026.
- Zhang i in., speechocean762: An Open-Source Non-native English Speech Corpus For Pronunciation Assessment, 2021.
- Gong i in., Transformer-Based Multi-Aspect Multi-Granularity Non-Native English Speaker Pronunciation Assessment, ICASSP 2022.
- Chao i in., A Hierarchical Context-aware Modeling Approach for Multi-aspect and Multi-granular Pronunciation Assessment, Interspeech 2023.
- Cao i in., Segmentation-free Goodness of Pronunciation, arXiv 2025, zrewidowane 5 lutego 2026 roku.
- Sara i Chowdhury, Light-weight Pronunciation Assessment via Discrete Speech Token Surprisal, arXiv 2026.
- Wang i in., Exploring the Potential of Large Multimodal Models as Effective Alternatives for Pronunciation Assessment, arXiv 2025.
- Chao i Chen, artykuł o HMamba, arXiv 2025.
- Tu i in., Mispronunciation Detection and Diagnosis Without Model Training, arXiv 2025.
- Geng i in., Beyond Acoustic Sparsity and Linguistic Bias, arXiv 2026.
- Yan i in., An End-to-End Mispronunciation Detection System for L2 English Speech, Interspeech 2020.
- Azad i in., Harf-Speech: A Clinically Aligned Framework for Arabic Phoneme-Level Speech Assessment, arXiv 2026.
- Chen i Sun, Evaluating automated evaluation systems for spoken English proficiency, PLOS One, 2025.
- Won, Assessing the efficacy of word error rate as a proxy for pronunciation quality, Journal of Second Language Pronunciation, 2025.
- Nijat i in., Beyond Native Norms: A Perceptually Grounded and Fair Framework for Automatic Speech Assessment, Applied Sciences, 2026.
- Cai i in., Developing an Automatic Pronunciation Scorer, Language Learning, 2025, wraz z podsumowaniem na blogu Duolingo English Test.
- Pearson, Versant English Test Description and Validation Summary, 2022.
- Pearson, raport walidacyjny Versant English Speaking and Listening Test, 2024.
- Pearson, prezentacja MELTA o automatycznej punktacji, 2018.
- ETS, Automated Scoring for the TOEFL Junior Comprehensive Writing and Speaking Test, 2015.
- Loukina i Buzick, Use of Automated Scoring in Spoken Language Assessments for Test Takers With Speech Impairments, raport badawczy ETS, 2017.
- Chen i in., Automated Scoring of Nonnative Speech Using the SpeechRater v. 5.0 Engine, raport badawczy ETS, 2018.
- Microsoft, Characteristics and limitations of Pronunciation Assessment, 2026.
- Dalman i Kang, Listener Background in L2 Speech Evaluation, IntechOpen, 2019.
- Uwaga o danych: najnowsze dostępne dane to ETS 2015 i 2017, Pearson 2018 i 2022 oraz Dalman i Kang 2019, ponieważ nie znaleźliśmy nowszych publicznych odpowiedników, a ETS nie publikuje operacyjnych wartości zgodności TOEFL iBT w dokumentach, które mogliśmy przeczytać. Benchmarków nie można bezpośrednio porównywać między artykułami, ponieważ dane treningowe, podziały i pseudoetykiety się różnią, a rekord 0,693 to wartość, którą Cao i in. podają według swojej najlepszej wiedzy: mogliśmy przeczytać streszczenie HMamba, ale nie jego tabelę na poziomie fonemu, więc może istnieć nowsza wartość na poziomie fonemu. CROTTC-IF nie jest najlepszym detektorem na speechocean762, gdzie w tej samej tabeli prowadzi MuFFIN z wynikiem 67,98%. Wartości dostawców pochodzą z ich własnych prób walidacyjnych. Nie znaleźliśmy użytecznej kappy Cohena dla wymowy w przeczytanych źródłach, które preferują PCC i ICC, a wartości z prac Wang i Min oraz Loukina i Buzick pochodzą z opublikowanych streszczeń. Próba Chen i Sun to 30 uczniów, a Harf-Speech wykorzystuje 40 próbek, więc obie są małe.
Ostatnia aktualizacja: 31 października 2026 roku. Aktualizujemy to zestawienie kwartalnie, a kolejnej aktualizacji należy się spodziewać, gdy ISCA Archive opublikuje następne materiały konferencji Interspeech.