Über 67 Studien und 392 Effektstärken hinweg korrelieren Maschinenbewertungen mit menschlichen Urteilen zur Aussprache bei r = 0,606, niedriger als die gebündelten Werte für Sprechflüssigkeit oder Sprechweise (Wang und Min, Language Testing 2026). Die Benchmark-Zahlen erzählen im Feinen eine ähnliche Geschichte: Die beste Pearson-Korrelation (PCC) auf Phonemebene, die für den Korpus speechocean762 genannt wird, liegt bei 0,693, und ein führender Fehlerdetektor von 2026 übersieht immer noch etwa jeden dritten echten Aussprachefehler. Prüfungsanbieter melden für ganze Tests weit höhere Werte, bis zu 0,97, wobei ihre eigenen Teilwerte zur Aussprache deutlich darunter liegen. Diese Zahlen messen Übereinstimmung, keine Verkäufe, und deshalb steht diese Zusammenstellung getrennt von unseren breiter angelegten Statistiken zum Sprachenlernen. Wir haben Daten aus Language Testing, dem Korpus speechocean762, ETS-Forschungsberichten, Pearson-Validierungsberichten, PLOS One, Language Learning und rund einem Dutzend weiterer Arbeiten und technischer Dokumente zusammengetragen.
TL;DR
- Gebündelte Korrelation zwischen Maschine und Mensch für die Aussprache: r = 0,606, gegenüber r = 0,654 über alle Konstrukte des Sprechens hinweg (Wang und Min, Language Testing 2026).
- Höchster für speechocean762 genannter PCC auf Phonebene: 0,693, nach einer Korpus-Baseline von 0,45 (Cao et al., arXiv 2025; Zhang et al., 2021).
- Teilwert Aussprache des Versant English Test: Korrelation zwischen Maschine und Mensch von 0,88, der niedrigste seiner Teilwerte (Pearson, Validierungszusammenfassung zu Versant 2022).
- Mensch gegen Mensch beim TOEFL-Junior-Sprechteil: r = 0,89, gegenüber r = 0,81 bei Mensch gegen Maschine (ETS, Bericht zur automatisierten Bewertung von TOEFL Junior 2015).
- Zwei Lehrkräfte einer Klassenzimmerstudie stimmten nur bei r = 0,583 überein, während ein anderes Paar r = 0,901 erreichte (Chen und Sun, PLOS One 2025).
- Bester in unseren Quellen berichteter F1-Wert der Aussprachefehler-Erkennung auf L2-ARCTIC: 71,77% (Geng et al., arXiv 2026).
- Falschakzeptanz echter Aussprachefehler in diesem System: 32,76%, gegenüber 3,39% Falschzurückweisung korrekter Laute (Geng et al., arXiv 2026).
- Bestes GPT-4o-Ergebnis auf speechocean762: 0,502 auf Äußerungsebene, gegenüber 0,782 bei Azure Pronunciation Assessment (Wang et al., arXiv 2025).
- Eine Verbraucher-App korrelierte mit Lehrkräften bei r = 0,869, vergab aber im Mittel 92,00 gegenüber 86,41 bei Menschen (Chen und Sun, PLOS One 2025).
- Die Umstellung eines Detektors von einem allgemeinen Modell auf eine Zielgruppe von Lernenden hob den ROC-AUC von 0,72 auf 0,85 (Nijat et al., Applied Sciences 2026).
1. Die Ausgangslage: Was 67 Studien über die Übereinstimmung von Maschine und Mensch sagen
Pearsons r reicht von -1 bis 1 und misst, ob zwei Reihen von Bewertungen gemeinsam steigen und fallen. Der gebündelte Wert für die Aussprache von r = 0,606 ist auf dieser Skala stark, aber das Quadrat zeigt die Grenze: 0,606 x 0,606 = 0,367, also teilen sich rund 37% der Streuung der menschlichen Bewertungen mit der Maschine.
Die Rangfolge der Konstrukte ist die Überraschung. Die Sprechweise (in der Sprechprüfung, wie die Rede insgesamt klingt und nicht, was sie sagt) übertrifft die Aussprache deutlich, die Systeme sind also besser im Gesamteindruck als in dem spezifischen Konstrukt, das diese Zusammenstellung verfolgt. Grammatik und Wortschatz liegen hinter allem anderen. Die Metaanalyse in Language Testing stellte außerdem fest, dass die ASR-Genauigkeit kein signifikanter Moderator war, was die verbreitete Annahme untergräbt, ein besserer Spracherkenner bedeute automatisch ein besseres Bewertungssystem.
| Metrik | Wert | Quelle |
|---|---|---|
| Umfang der Metaanalyse und gebündelte Gesamtkorrelation zwischen Maschine und Mensch | 67 Studien, 392 Effektstärken, r = 0,654 (p < 0,001) | Wang und Min, Language Testing 2026 |
| Gebündelte Korrelation für die Sprechweise gegenüber gebündelter Korrelation für die Aussprache | r = 0,784 gegenüber r = 0,606 | Wang und Min, Language Testing 2026 |
| Gebündelte Korrelation für die allgemeine mündliche Kompetenz gegenüber gebündelter Korrelation für die Sprechflüssigkeit | r = 0,686 gegenüber r = 0,618 | Wang und Min, Language Testing 2026 |
| Gebündelte Korrelation für den Inhalt gegenüber gebündelter Korrelation für Grammatik und Wortschatz | r = 0,574 gegenüber r = 0,499 | Wang und Min, Language Testing 2026 |
| Moderatorvariablen mit signifikantem Effekt gegenüber solchen ohne | 10 signifikante (darunter Altersgruppe, Erfahrung der Bewerter und Interrater-Reliabilität) gegenüber 4 nicht signifikanten (darunter ASR-Genauigkeit) | Wang und Min, Language Testing 2026 |
| Pearson-Korrelationsband, das ein Anbieter als “hohe” Übereinstimmung mit menschlichen Beurteilern bezeichnet | 0,5 bis 1,0 | Microsoft, Transparenzhinweis zu Pronunciation Assessment 2026 (eigene Richtlinie des Anbieters) |
Kontexthinweis: Auf Microsofts eigener Skala erreicht selbst das schwächste Konstrukt der Metaanalyse fast “hoch”. Solche Bezeichnungen sagen wenig darüber aus, ob man einer Bewertung für einen einzelnen Lernenden trauen kann. Als Bestehensgrenze verwendet, würde die Microsoft-Richtlinie fast jeden gebündelten Wert der Tabelle oben durchgehen lassen.
2. Die menschliche Obergrenze: Wie stark Bewerter untereinander übereinstimmen
Eine Maschine lässt sich nicht an einem perfekten Maßstab messen, denn auch die menschliche Referenz ist verrauscht. Paare geschulter Lehrkräfte lagen in einer Studie von 2025 irgendwo zwischen r = 0,901 und r = 0,583, und dieser niedrigere Wert liegt unter der gebündelten Korrelation der Maschinen für die Aussprache aus Abschnitt 1. Die Stichprobe umfasste nur 30 Lernende und die Aufgabe war die allgemeine mündliche Kompetenz, sie veranschaulicht also die Streuung und beweist nicht, dass Maschinen Lehrkräfte schlagen.
Die Kliniker in der arabischen Studie unten stimmten untereinander weit stärker überein als die Lehrkräfte, wenn auch bei anderer Sprache und Aufgabe, und Mitteln hilft: Die PLOS-One-Studie steigt von 0,713 für einen einzelnen Bewerter auf 0,882 für den Mittelwert aus dreien. ICC, der Intraklassen-Korrelationskoeffizient, ist ein anderes Maß als Pearsons r: In seiner Form der absoluten Übereinstimmung bestraft er Bewerter zusätzlich dafür, insgesamt strenger oder milder zu urteilen. Der nützlichste Vergleich ist die ETS-Studie zu TOEFL Junior, die beide Zahlen an denselben Daten ausweist. Die Lücke zwischen beiden ist das ehrliche Maß dafür, was der Automatisierung noch fehlt. Dasselbe Problem des Hörerurteils zieht sich durch die Qualitätsbewertungen synthetischer Sprache.
| Metrik | Wert | Quelle |
|---|---|---|
| TOEFL Junior Sprechteil auf Formularebene, fünf Antworten: Korrelation Mensch gegen Mensch im Vergleich zur Korrelation Mensch gegen Maschine | r = 0,89 gegenüber r = 0,81 | ETS, Bericht zur automatisierten Bewertung von TOEFL Junior 2015 (aktuellste verfügbare Daten) |
| Drei Logopäden bewerten arabische Aussprache: Spanne des paarweisen PCC | 0,858 bis 0,927 | Azad et al., Harf-Speech, arXiv 2026 |
| Dieselben drei Kliniker: Spanne des paarweisen ICC(2,1) | 0,846 bis 0,922 | Azad et al., Harf-Speech, arXiv 2026 |
| Drei Englischlehrkräfte bewerten die mündliche Kompetenz: Übereinstimmung eines einzelnen Bewerters, ICC(2,1) | 0,713 (95%-KI 0,539 bis 0,835) | Chen und Sun, PLOS One 2025 |
| Dieselben drei Lehrkräfte: Übereinstimmung der gemittelten Bewertung, ICC(2,k) | 0,882 (95%-KI 0,778 bis 0,938) | Chen und Sun, PLOS One 2025 |
| Dieselben drei Lehrkräfte: stärkstes Paar gegenüber schwächstem Paar | r = 0,901 gegenüber r = 0,583 | Chen und Sun, PLOS One 2025 |
| Verringerung des Einflusses merkmalsirrelevanter Hörervariablen nach Bewerterschulung: ganzheitliche Bewertungen der mündlichen Kompetenz gegenüber Bewertungen der Verständlichkeit | 75% gegenüber 50% | Dalman und Kang, IntechOpen 2019, zusammenfassend zu Kang et al. 2019 (aktuellste verfügbare Daten) |
| Veröffentlichte Übereinstimmungsstatistik für die fünf Experten-Annotatoren von speechocean762 | Keine berichtet | Zhang et al., Arbeit zu speechocean762 2021 |
Hinweis zu Ausreißern: Die letzte Zeile ist wichtiger, als sie aussieht. Der wichtigste öffentliche Benchmark dieses Feldes veröffentlicht weder eine Korrelation noch ein Kappa zwischen den Annotatoren, sodass niemand, der die Arbeit liest, sagen kann, wie nah 0,693 an der menschlichen Obergrenze liegt.
3. Folgenreiche Prüfungen: Anbieterzahlen und die Aussprachelücke darin
Werte für ganze Tests wirken nahezu perfekt, und bei der Aussprache hören sie auf, so auszusehen. In Pearsons eigenen Versant-Daten ist die Aussprache mit 0,88 der schwächste Teilwert, während der Gesamtwert 0,97 erreicht. Der Abfall zieht sich durch Pearsons Dokumente: 0,81 in einer PTE-Academic-Präsentation und 0,85 für Sprechweise (Manner of Speaking), die Versant-Kategorie, die die Aussprache enthält.
Diese Werte liegen weit über dem gebündelten r = 0,606 aus Abschnitt 1. Ein Teil des Unterschieds ist Stichprobeneffekt: Testwerte aggregieren viele Aufgaben, und Validierungsstichproben decken oft eine große Bandbreite an Können ab (der Versant-Speaking-and-Listening-Bericht enthält unter seinen 260 Erwachsenen 26 Muttersprachler des Englischen (L1)), und große Bandbreiten erhöhen Korrelationen. Die Metaanalyse führt außerdem den Systementwickler und die Stichprobeneinheit unter ihren signifikanten Moderatoren auf. Anbieterzahlen sind als Obergrenzen unter günstigen Bedingungen zu lesen. Wie viel Gewicht diese Prüfungen haben, zeigen unsere Statistiken zu Englischprüfungen.
| Metrik | Wert | Quelle |
|---|---|---|
| Versant English Test, Korrelation Maschine gegen Mensch nach Wert, n = 143 | Gesamt 0,97, Satzbeherrschung 0,97, Wortschatz 0,96, Sprechflüssigkeit 0,94, Aussprache 0,88 | Pearson, Validierungszusammenfassung zu Versant 2022 (eigene Angabe des Anbieters, aktuellste verfügbare Daten) |
| Split-Half-Reliabilität des Aussprachewerts im Versant English Test: maschinelle Bewertung gegenüber menschlicher Bewertung, n = 143 | 0,97 gegenüber 0,99 | Pearson, Validierungszusammenfassung zu Versant 2022 (eigene Angabe des Anbieters) |
| Versant-Werte korreliert mit externen Prüfungen, jeweils n = 130: TOEFL-iBT-Sprechteil gegenüber IELTS-Sprechteil | 0,75 gegenüber 0,76 | Pearson, Validierungszusammenfassung zu Versant 2022 (eigene Angabe des Anbieters) |
| Versant English Speaking and Listening Test, Korrelation Maschine gegen Mensch, n = 260 | Gesamt 0,96, Sprechen 0,88, Sprechweise 0,85 | Pearson, Validierungsbericht zu Versant Speaking and Listening 2024 (eigene Angabe des Anbieters) |
| PTE-Academic-Sprechteil, Korrelation Maschine gegen Mensch nach Merkmal, N = 158 | Aussprache 0,81, Sprechflüssigkeit 0,82, Gesamt 0,96 | Pearson, MELTA-Präsentation zur automatisierten Bewertung 2018 (eigene Angabe des Anbieters, aktuellste verfügbare Daten) |
| Zeitleiste von ETS SpeechRater: Jahr der ersten Bereitstellung des Dienstes gegenüber dem Jahr, in dem Version 5.0 in Betrieb ging | 2006 gegenüber 2016 | Chen et al., ETS-Forschungsbericht 2018 |
Kontexthinweis: Die Split-Half-Reliabilität zeigt, wie konsistent ein Bewertungssystem mit sich selbst über zwei Hälften eines Tests ist. Eine Maschine kann bei diesem Maß 0,97 erreichen und trotzdem von Menschen abweichen, genau das Muster in den Aussprache-Zeilen von Versant.
4. Der speechocean762-Benchmark: Fortschritt nach Granularität
speechocean762 umfasst 5.000 englische Äußerungen von 250 Nicht-Muttersprachlern, die Hälfte davon Kinder, jede von fünf Experten bewertet. Seine Bewertungen gibt es auf drei Ebenen: Phon (ein einzelner Sprachlaut, kein Telefon), Wort und Äußerung. Die Metriken sind PCC, bei dem höher besser ist, und MSE (mittlerer quadratischer Fehler), bei dem niedriger besser ist. GOP, kurz für Goodness of Pronunciation, ist der klassische statistische Wert, den neuere Modelle zu übertreffen versuchen.
Der PCC auf Phonebene stieg von 0,45 auf 0,693 zwischen der Baseline von 2021 und einem Modell von 2023, und eine am 5. Februar 2026 überarbeitete Arbeit nennt 0,693 weiterhin als höchsten bekannten Wert. Die Übereinstimmung sinkt, je kleiner die Einheit wird: Äußerungswerte erreichen die 0,80er, während Phon- und Wortwerte in den 0,60ern bleiben. Das Mitteln über einen Satz verbirgt Fehler, sodass der Gesamtwert eines Lernenden verlässlich sein kann, während die Rückmeldung zu einem einzelnen Laut es nicht ist. Die Korpus-Arbeit weist außerdem darauf hin, dass die meisten Phonwerte, auf eine Skala von 0 bis 10 abgebildet, zwischen 8 und 10 liegen, korrekte Laute die Daten also dominieren.
| Metrik | Wert | Quelle |
|---|---|---|
| Ursprüngliche Baseline auf Phonebene: roher GOP-Wert gegenüber GOP-basierten Merkmalen | MSE 0,69 und PCC 0,25 gegenüber MSE 0,16 und PCC 0,45 | Zhang et al., Arbeit zu speechocean762 2021 |
| Transformer-Modell GOPT, Phonebene | MSE 0,085 ± 0,001, PCC 0,612 ± 0,003 | Gong et al., GOPT, ICASSP 2022 |
| Höchster für speechocean762 genannter PCC auf Phonebene | 0,693 | Chao et al., Interspeech 2023, zitiert in Cao et al., arXiv 2025 |
| Segmentierungsfreie GOP-Merkmale als Eingabe für GOPT, Phonebene | PCC 0,648 ± 0,002 | Cao et al., arXiv 2025 |
| Gesamt-PCC auf Wortebene gegenüber Gesamt-PCC auf Äußerungsebene, GOPT | 0,549 gegenüber 0,742 | Gong et al., GOPT, ICASSP 2022 |
| Gesamt-PCC auf Wortebene gegenüber Gesamt-PCC auf Äußerungsebene, Modell 3MH | 0,694 gegenüber 0,811 | Wang et al., GPT-4o-Studie zur Aussprache, arXiv 2025 |
| Modell HMamba auf Äußerungsebene: PCC für Genauigkeit, Sprechflüssigkeit und Prosodie | 0,807, 0,848 und 0,843 | Sara und Chowdhury, arXiv 2026 |
| Gebündelte Korrelation zwischen Maschine und Mensch nach Technologiegeneration: klassisches maschinelles Lernen, Deep Learning, Transformer | r = 0,597, r = 0,641, r = 0,680 | Wang und Min, Language Testing 2026 |
Hinweis zu Ausreißern: Dasselbe Modell 3MH erreicht bei der Wortbetonung nur 0,361 und bei der Vollständigkeit der Äußerung nur 0,374 (Wang et al., arXiv 2025). Das sind die schwierigsten Labels des Benchmarks.
5. Erkennung von Phonemfehlern: Präzision, Recall und das übersehene Drittel
Die Bewertung fragt, wie gut ein Laut war. Die Erkennung von Aussprachefehlern stellt für jedes Phonem eine Ja-Nein-Frage und meldet den F1-Wert, eine einzelne Kennzahl, die Präzision (wie viele Markierungen richtig waren) und Recall (wie viele echte Fehler erfasst wurden) ausbalanciert. Das beste L2-ARCTIC-Ergebnis in unseren Quellen ist ein F1-Wert von 71,77%, aus einem Preprint von 2026, 8,73 Punkte über (71,77 - 63,04) der besten Baseline eines Vergleichs von 2025.
Die Aufteilung zwischen den beiden Fehlerarten spiegelt eine Entwurfspriorität wider. Falschakzeptanz bedeutet, dass ein falscher Laut als korrekt durchgeht, und Falschzurückweisung bedeutet, dass ein korrekter Laut markiert wird. Die Zahlen ergänzen den Recall: 100 - 67,24 = 32,76, also bleibt jeder dritte echte Fehler unmarkiert. Die Arbeit von 2025 nennt die Falschzurückweisung die kritischste Metrik, weil unnötige Korrekturen Lernende frustrieren, und die Ergebnisse passen zu dieser Priorität: Lernende sehen wenige Fehlalarme, während viele echte Fehler unmarkiert bleiben.
| Metrik | Wert | Quelle |
|---|---|---|
| L2-ARCTIC-Benchmark: Sprecher insgesamt gegenüber Sprechern im Testsatz | 24 gegenüber 6 | Tu et al., PER-MDD, arXiv 2025 |
| F1-Gewinn eines frühen End-to-End-Detektors gegenüber der GOP-Methode gegenüber einer End-to-End-Baseline | 27,71% gegenüber 11,05% | Yan et al., Interspeech 2020 |
| F1 auf L2-ARCTIC: beste frühere Baseline (Joint-Align) gegenüber einem Retrieval-System ohne Trainingsbedarf (PER-MDD) | 63,04% gegenüber 69,60% | Tu et al., PER-MDD, arXiv 2025 |
| L2-ARCTIC, System CROTTC-IF: F1, Präzision und Recall | 71,77%, 76,94% und 67,24% | Geng et al., CROTTC-IF, arXiv 2026 |
| L2-ARCTIC, System CROTTC-IF: Falschzurückweisung gegenüber Falschakzeptanz | 3,39% gegenüber 32,76% | Geng et al., CROTTC-IF, arXiv 2026 |
| Phonfehlerrate auf L2-ARCTIC: CROTTC-IF gegenüber seinem akustischen Modell allein gegenüber PER-MDD | 46,52 gegenüber 17,48 gegenüber 104,08 | Geng et al., CROTTC-IF, arXiv 2026 |
| Erkennungs-F1 auf speechocean762: CROTTC-IF gegenüber HMamba gegenüber MuFFIN | 57,16% gegenüber 63,85% gegenüber 67,98% | Geng et al., arXiv 2026; Chao und Chen, HMamba, arXiv 2025 |
Hinweis zu Ausreißern: Phonfehlerraten über 100 sind kein Tippfehler. Die Autoren führen sie auf eingefügte Phone zurück, und sie zeigen, dass ein System Fehler gut erkennen und dennoch schlecht transkribieren kann. Bei Arabisch sehen die Ergebnisse ähnlich aus: Die Rangliste Iqra’Eval2 in derselben Arbeit von 2026 erreicht höchstens einen F1-Wert von 72,01%.
6. Kommerzielle APIs, Verbraucher-Apps und Chatbots
Die Lücke zwischen Diensten ist größer als die Lücke zwischen Forschungsmodellen. Ein Test von 2025 auf speechocean762 setzte Azure Pronunciation Assessment auf Äußerungsebene bei 0,782 an. Die beste GPT-4o-Konfiguration erreichte 0,502, und auf Phonemebene nur 0,249. Allzweck-Multimodalmodelle können zuhören, aber nach dieser Beleglage noch keinen einzelnen Laut beurteilen.
Tests außerhalb der Anbieterlabore fallen für kommerzielle Werkzeuge weniger schmeichelhaft aus. Wons Studie von 2025 mit 190 Vorlese-Aufnahmen koreanischer Grundschüler fand mäßige Korrelationen zwischen den Phonemwerten von Azure und menschlichen Urteilen, während die Wortfehlerraten der genauesten Systeme, nahe null, nur schwach mit den menschlichen Bewertungen korrelierten. Ein Erkenner, der jeden versteht, ist kein brauchbarer Stellvertreter für die Aussprache mehr. Die SmartSpeech-Zeile unten liefert einen zweiten Punkt: Ein Werkzeug kann stark mit Menschen korrelieren und den Durchschnittswert dennoch um mehr als fünf Punkte aufblähen.
| Metrik | Wert | Quelle |
|---|---|---|
| Aussage des Anbieters zur Übereinstimmung mit menschlichen Beurteilern | Pearson-Korrelation über 0,5 | Microsoft, Transparenzhinweis zu Pronunciation Assessment 2026 (eigene Angabe des Anbieters) |
| Azure Pronunciation Assessment auf speechocean762: PCC der Wortgenauigkeit gegenüber Gesamt-PCC der Äußerung | 0,623 gegenüber 0,782 | Wang et al., GPT-4o-Studie zur Aussprache, arXiv 2025 |
| Bestes GPT-4o-Ergebnis auf speechocean762: PCC für Phonem, Wort gesamt und Äußerung gesamt | 0,249, 0,277 und 0,502 | Wang et al., GPT-4o-Studie zur Aussprache, arXiv 2025 |
| Von Klinikern bewertete arabische Sprache, 40 Proben: PCC mit dem mittleren Kliniker-Wert, Harf-Speech gegenüber Azure | 0,791 gegenüber 0,635 | Azad et al., Harf-Speech, arXiv 2026 |
| Derselbe arabische Test: RMSE auf einer Skala von 0 bis 5, Harf-Speech gegenüber Azure | 1,05 gegenüber 1,28 | Azad et al., Harf-Speech, arXiv 2026 |
| Drei KI-Sprech-Apps gegenüber dem Durchschnitt menschlicher Bewerter, 30 Lernende: AI Speaking Master, TalkAI Language Practice, SmartSpeech AI Assessment | r = 0,854, 0,873 und 0,869 | Chen und Sun, PLOS One 2025 |
| Mittlerer SmartSpeech-Wert gegenüber mittlerem menschlichem Wert | 92,00 gegenüber 86,41, Differenz 5,589 (95%-KI 5,023 bis 6,155), Cohens d = 3,688 | Chen und Sun, PLOS One 2025 |
| Aussprachebewertung von Duolingo: Spearman-Korrelation mit Bewertungen menschlicher Experten | 0,82 | Blog des Duolingo English Test zu Cai et al. 2025 (eigene Zusammenfassung des Anbieters) |
Kontexthinweis: Die Harf-Speech-Zahlen stammen aus einem Preprint der Autoren des Systems selbst, der Vorsprung gegenüber Azure ist also mit Vorsicht zu behandeln. Duolingo beschreibt 0,82 als nahezu gleich der Übereinstimmung zwischen menschlichen Bewertern, doch der Blogbeitrag druckt den menschlichen Wert nicht ab.
7. Transfer und Fairness: Was außerhalb des Benchmarks passiert
Ein Großteil der oben genannten Benchmark-Belege stammt aus einem einzigen Korpus mandarinsprachiger Lernender und lässt sich nicht sauber übertragen. Dasselbe System, das auf speechocean762 bei der Genauigkeit 0,661 erzielte, fiel auf L2-ARCTIC auf 0,506, einen Korpus mit Sprechern mehrerer Muttersprachen, und ein erneutes Training mit den neuen Daten hob es nur auf 0,527. Die Anpassung an die Zielgruppe funktioniert bei der Erkennung besser: Eine Studie von 2026 hob den ROC-AUC durch Feinabstimmung auf die Lernenden selbst von 0,72 auf 0,85. ROC-AUC misst, wie gut ein System über alle Schwellenwerte hinweg Richtiges von Falschem trennt, wobei 0,5 dem Zufall entspricht.
Die Befunde zu Verzerrungen sind meist richtungsweisend, da nur wenige Arbeiten Gruppenunterschiede veröffentlichen. Dennoch fanden die ETS-Studie zu Teilnehmenden mit Sprechbeeinträchtigungen und Duolingos Arbeit in Language Learning messbare Probleme, auch bei Bewertungssystemen, die von großen Prüfungsorganisationen entwickelt wurden. Die darunterliegende Erkennungsschicht hat ihre eigenen Lücken, behandelt in unseren Statistiken zur Akzentverzerrung, und Kinder brauchen eigene Belege, wie unsere Statistiken zur Spracherkennung bei Kindern zeigen.
| Metrik | Wert | Quelle |
|---|---|---|
| Genauigkeits-PCC eines auf speechocean762 angepassten Bewertungsmodells: getestet auf speechocean762 gegenüber getestet auf L2-ARCTIC | 0,661 gegenüber 0,506 | Sara und Chowdhury, arXiv 2026 |
| Dasselbe Modell auf L2-ARCTIC nach erneutem Training mit L2-ARCTIC-Daten | 0,527 | Sara und Chowdhury, arXiv 2026 |
| ROC-AUC der Erkennung von Aussprachefehlern: Modell vor gegenüber nach der Feinabstimmung auf Nicht-Muttersprachler | 0,72 gegenüber 0,85 | Nijat et al., Applied Sciences 2026 |
| Erkennungs-F1 auf dem ERJ-Korpus: ohne Lernerdaten (Zero-Shot) gegenüber feinabgestimmt | 78,44% gegenüber 89,27% | Geng et al., CROTTC-IF, arXiv 2026 |
| Kindersprache (CMU Kids), echte Fehler, AUC: älteres GOP-DNN-Avg gegenüber segmentierungsfreiem GOP-CTC-SF-SD | 0,796 gegenüber 0,914 | Cao et al., arXiv 2025 |
| GOP-CTC-SF-SD bei Kindersprache: simulierte Fehler gegenüber echten Fehlern, AUC | 0,986 gegenüber 0,914 | Cao et al., arXiv 2025 |
| Teilnehmende mit Sprech- oder Hörbeeinträchtigungen, sechs Sprechaufgaben des TOEFL iBT | SpeechRater-Werte fielen tendenziell höher aus als die menschlichen Werte | Loukina und Buzick, ETS-Forschungsbericht 2017 (aktuellste verfügbare Daten) |
| Berichtete Verzerrungsquellen bei einem modernen Aussprache-Bewertungssystem | Audioqualität und Sprachfamiliengruppen | Cai et al., Language Learning 2025 |
Kontexthinweis: Die Bewertungslabels von L2-ARCTIC in den ersten beiden Zeilen sind Pseudo-Annotationen von Azure mit Expertenprüfung von 10 Sprechern, diese PCC messen also die Übereinstimmung mit einer anderen Maschine ebenso wie mit Menschen. Microsoft empfiehlt für den eigenen Dienst gesondert Audio mit mindestens 16 kHz und einen einzelnen Sprecher.
Zusammenfassung: Genauigkeit der KI-Aussprachebewertung in Zahlen
| Metrik | Wert | Quelle |
|---|---|---|
| Gebündelte Korrelation zwischen Maschine und Mensch: Aussprache gegenüber allen Konstrukten des Sprechens | r = 0,606 gegenüber r = 0,654 | Wang und Min, Language Testing 2026 |
| TOEFL Junior Sprechteil: Mensch gegen Mensch im Vergleich zu Mensch gegen Maschine | r = 0,89 gegenüber r = 0,81 | ETS, Bericht zur automatisierten Bewertung von TOEFL Junior 2015 |
| Drei Logopäden: Spanne des paarweisen PCC | 0,858 bis 0,927 | Azad et al., Harf-Speech, arXiv 2026 |
| Drei Englischlehrkräfte: stärkstes Paar gegenüber schwächstem Paar | r = 0,901 gegenüber r = 0,583 | Chen und Sun, PLOS One 2025 |
| Versant English Test: Korrelation Maschine gegen Mensch, Gesamt gegenüber Aussprache | 0,97 gegenüber 0,88 | Pearson, Validierungszusammenfassung zu Versant 2022 (eigene Angabe des Anbieters) |
| PTE-Academic-Sprechteil: Korrelation Maschine gegen Mensch für die Aussprache, N = 158 | 0,81 | Pearson, MELTA-Präsentation 2018 (eigene Angabe des Anbieters) |
| PCC der Baseline auf Phonebene bei speechocean762 | 0,45 | Zhang et al., Arbeit zu speechocean762 2021 |
| PCC von GOPT auf Phonebene | 0,612 | Gong et al., GOPT, ICASSP 2022 |
| Höchster für speechocean762 genannter PCC auf Phonebene | 0,693 | Chao et al., Interspeech 2023, zitiert in Cao et al., arXiv 2025 |
| Gesamt-PCC von 3MH auf Äußerungsebene | 0,811 | Wang et al., GPT-4o-Studie zur Aussprache, arXiv 2025 |
| Bester Erkennungs-F1 auf L2-ARCTIC in unseren Quellen | 71,77% | Geng et al., CROTTC-IF, arXiv 2026 |
| Falschzurückweisung gegenüber Falschakzeptanz in diesem System | 3,39% gegenüber 32,76% | Geng et al., CROTTC-IF, arXiv 2026 |
| PCC auf Äußerungsebene bei speechocean762: Azure gegenüber bester GPT-4o-Konfiguration | 0,782 gegenüber 0,502 | Wang et al., GPT-4o-Studie zur Aussprache, arXiv 2025 |
| Arabischer Test: PCC mit dem mittleren Kliniker-Wert, Harf-Speech gegenüber Azure | 0,791 gegenüber 0,635 | Azad et al., Harf-Speech, arXiv 2026 |
| Mittlerer SmartSpeech-Wert gegenüber mittlerem menschlichem Wert | 92,00 gegenüber 86,41 | Chen und Sun, PLOS One 2025 |
| ROC-AUC vor gegenüber nach der Feinabstimmung auf die Zielgruppe der Lernenden | 0,72 gegenüber 0,85 | Nijat et al., Applied Sciences 2026 |
Methodik und Quellen
Wir haben jede Studie, jeden Bericht und jedes technische Dokument direkt gelesen und die jeweils eigene Notation der Quelle beibehalten. Preprints sind als arXiv gekennzeichnet und nicht zwingend begutachtet.
- Wang und Min, The human-machine correlation in automated speech evaluation: A three-level meta-analysis, Language Testing, 2026.
- Zhang et al., speechocean762: An Open-Source Non-native English Speech Corpus For Pronunciation Assessment, 2021.
- Gong et al., Transformer-Based Multi-Aspect Multi-Granularity Non-Native English Speaker Pronunciation Assessment, ICASSP 2022.
- Chao et al., A Hierarchical Context-aware Modeling Approach for Multi-aspect and Multi-granular Pronunciation Assessment, Interspeech 2023.
- Cao et al., Segmentation-free Goodness of Pronunciation, arXiv 2025, überarbeitet am 5. Februar 2026.
- Sara und Chowdhury, Light-weight Pronunciation Assessment via Discrete Speech Token Surprisal, arXiv 2026.
- Wang et al., Exploring the Potential of Large Multimodal Models as Effective Alternatives for Pronunciation Assessment, arXiv 2025.
- Chao und Chen, HMamba-Arbeit, arXiv 2025.
- Tu et al., Mispronunciation Detection and Diagnosis Without Model Training, arXiv 2025.
- Geng et al., Beyond Acoustic Sparsity and Linguistic Bias, arXiv 2026.
- Yan et al., An End-to-End Mispronunciation Detection System for L2 English Speech, Interspeech 2020.
- Azad et al., Harf-Speech: A Clinically Aligned Framework for Arabic Phoneme-Level Speech Assessment, arXiv 2026.
- Chen und Sun, Evaluating automated evaluation systems for spoken English proficiency, PLOS One, 2025.
- Won, Assessing the efficacy of word error rate as a proxy for pronunciation quality, Journal of Second Language Pronunciation, 2025.
- Nijat et al., Beyond Native Norms: A Perceptually Grounded and Fair Framework for Automatic Speech Assessment, Applied Sciences, 2026.
- Cai et al., Developing an Automatic Pronunciation Scorer, Language Learning, 2025, mit der Zusammenfassung im Blog des Duolingo English Test.
- Pearson, Versant English Test Description and Validation Summary, 2022.
- Pearson, Validierungsbericht zum Versant English Speaking and Listening Test, 2024.
- Pearson, MELTA-Präsentation zur automatisierten Bewertung, 2018.
- ETS, Automated Scoring for the TOEFL Junior Comprehensive Writing and Speaking Test, 2015.
- Loukina und Buzick, Use of Automated Scoring in Spoken Language Assessments for Test Takers With Speech Impairments, ETS-Forschungsbericht, 2017.
- Chen et al., Automated Scoring of Nonnative Speech Using the SpeechRater v. 5.0 Engine, ETS-Forschungsbericht, 2018.
- Microsoft, Characteristics and limitations of Pronunciation Assessment, 2026.
- Dalman und Kang, Listener Background in L2 Speech Evaluation, IntechOpen, 2019.
- Daten-Hinweis: Aktuellste verfügbare Daten: ETS 2015 und 2017, Pearson 2018 und 2022 sowie Dalman und Kang 2019, da wir keine neueren öffentlichen Entsprechungen fanden und ETS in den von uns lesbaren Dokumenten keine operativen Übereinstimmungswerte des TOEFL iBT veröffentlicht. Benchmarks sind zwischen Arbeiten nicht direkt vergleichbar, weil Trainingsdaten, Aufteilungen und Pseudo-Annotationen abweichen, und der Rekord von 0,693 ist das, was Cao et al. nach bestem Wissen angeben: Wir konnten das Abstract von HMamba lesen, aber nicht dessen Tabelle auf Phonebene, sodass ein neuerer Wert auf Phonebene existieren kann. CROTTC-IF ist auf speechocean762 nicht der beste Detektor, dort führen die 67,98% von MuFFIN dieselbe Tabelle an. Anbieterzahlen stammen aus den eigenen Validierungsstichproben der Anbieter. Wir fanden in den gelesenen Quellen, die PCC und ICC bevorzugen, kein brauchbares Cohens Kappa für die Aussprache, und die Zahlen von Wang und Min sowie von Loukina und Buzick stammen aus den veröffentlichten Abstracts. Die Stichprobe von Chen und Sun umfasst 30 Lernende und Harf-Speech nutzt 40 Proben, beide sind also klein.
Zuletzt aktualisiert: 31. Oktober 2026. Wir aktualisieren diese Zusammenstellung vierteljährlich, und die nächste Aktualisierung wird erwartet, wenn das ISCA Archive die nächsten Interspeech-Tagungsbände veröffentlicht.