Sur 67 études et 392 tailles d’effet, les scores des machines sont corrélés aux jugements humains sur la prononciation à r = 0,606, soit moins que les valeurs regroupées pour la fluidité ou l’élocution (delivery) (Wang et Min, Language Testing 2026). Les chiffres des benchmarks racontent la même histoire à une échelle plus fine : la meilleure corrélation de Pearson (PCC) au niveau du phonème citée sur le corpus speechocean762 est de 0,693, et un détecteur d’erreurs de pointe de 2026 manque encore environ une mauvaise prononciation réelle sur trois. Les éditeurs de tests rapportent des chiffres bien plus élevés pour les tests entiers, jusqu’à 0,97, alors que leurs propres sous-scores de prononciation se situent nettement en dessous. Ces chiffres mesurent l’accord, pas les ventes, ce qui explique que ce tour d’horizon soit distinct de nos statistiques sur l’apprentissage des langues, plus générales. Nous avons rassemblé des données issues de Language Testing, du corpus speechocean762, de rapports de recherche de l’ETS, de rapports de validation de Pearson, de PLOS One, de Language Learning et d’une douzaine d’autres articles et documents techniques.
TL;DR
- Corrélation machine-humain regroupée pour la prononciation : r = 0,606, contre r = 0,654 pour l’ensemble des construits d’expression orale (Wang et Min, Language Testing 2026).
- PCC au niveau du phone le plus élevé cité sur speechocean762 : 0,693, contre 0,45 pour la référence du corpus (Cao et al., arXiv 2025 ; Zhang et al., 2021).
- Sous-score de prononciation du Versant English Test : 0,88 de corrélation machine-humain, le plus bas de ses sous-scores (Pearson, synthèse de validation Versant 2022).
- TOEFL Junior Speaking, humain contre humain : r = 0,89, contre r = 0,81 pour humain contre machine (ETS, rapport sur la notation automatisée du TOEFL Junior 2015).
- Deux enseignants d’une même étude en classe ne s’accordaient qu’à r = 0,583, tandis qu’une autre paire atteignait r = 0,901 (Chen et Sun, PLOS One 2025).
- Meilleur F1 de détection des erreurs de prononciation sur L2-ARCTIC dans nos sources : 71,77% (Geng et al., arXiv 2026).
- Fausse acceptation de mauvaises prononciations réelles dans ce système : 32,76%, contre 3,39% de faux rejet de sons corrects (Geng et al., arXiv 2026).
- Meilleur résultat de GPT-4o sur speechocean762 : 0,502 au niveau de l’énoncé, contre 0,782 pour Azure Pronunciation Assessment (Wang et al., arXiv 2025).
- Une application grand public corrélait avec les enseignants à r = 0,869 tout en attribuant en moyenne 92,00 contre 86,41 pour les humains (Chen et Sun, PLOS One 2025).
- Adapter un détecteur d’un modèle général à un groupe d’apprenants cible a fait passer l’ROC-AUC de 0,72 à 0,85 (Nijat et al., Applied Sciences 2026).
1. La base de référence : ce que disent 67 études sur l’accord machine-humain
Le r de Pearson va de -1 à 1 et mesure si deux séries de scores montent et descendent ensemble. La valeur regroupée de r = 0,606 pour la prononciation est forte à cette échelle, mais son carré en montre la limite : .606 x .606 = 0,367, donc environ 37% de la variation des notes humaines est partagée avec la machine.
Le classement des construits est la surprise. L’élocution (delivery, c’est-à-dire, en évaluation de l’expression orale, la façon dont la parole sonne globalement plutôt que ce qu’elle dit) devance la prononciation avec une large marge : les systèmes saisissent donc mieux l’impression d’ensemble que le construit précis que suit ce tour d’horizon. La grammaire et le vocabulaire arrivent derrière tout le reste. La méta-analyse de Language Testing a aussi constaté que la précision de l’ASR n’était pas une variable modératrice significative, ce qui contredit l’hypothèse courante selon laquelle un meilleur système de reconnaissance vocale donne automatiquement un meilleur évaluateur.
| Métrique | Valeur | Source |
|---|---|---|
| Taille de la méta-analyse et corrélation machine-humain globale regroupée | 67 études, 392 tailles d’effet, r = 0,654 (p < 0,001) | Wang et Min, Language Testing 2026 |
| Corrélation regroupée pour l’élocution contre corrélation regroupée pour la prononciation | r = 0,784 contre r = 0,606 | Wang et Min, Language Testing 2026 |
| Corrélation regroupée pour la compétence orale globale contre corrélation regroupée pour la fluidité | r = 0,686 contre r = 0,618 | Wang et Min, Language Testing 2026 |
| Corrélation regroupée pour le contenu contre corrélation regroupée pour la grammaire et le vocabulaire | r = 0,574 contre r = 0,499 | Wang et Min, Language Testing 2026 |
| Variables modératrices à effet significatif contre sans effet significatif | 10 significatives (dont la tranche d’âge, l’expertise des évaluateurs et la fiabilité inter-évaluateurs) contre 4 non significatives (dont la précision de l’ASR) | Wang et Min, Language Testing 2026 |
| Plage de corrélation de Pearson qu’un fournisseur qualifie d’accord « Élevé » avec les juges humains | 0,5 à 1,0 | Microsoft, note de transparence de Pronunciation Assessment 2026 (ligne directrice du fournisseur lui-même) |
Note de contexte : sur l’échelle propre à Microsoft, même le construit le plus faible de la méta-analyse atteint presque le niveau « Élevé ». Des étiquettes de ce genre disent peu de chose sur la possibilité de se fier à un score pour un apprenant donné. Utilisée comme seuil de réussite, la ligne directrice de Microsoft validerait presque toutes les valeurs regroupées du tableau ci-dessus.
2. Le plafond humain : dans quelle mesure les évaluateurs s’accordent entre eux
Une machine ne peut pas être mesurée par rapport à un étalon parfait, car la référence humaine est elle aussi bruitée. Dans une étude de 2025, des paires d’enseignants formés ont obtenu des valeurs allant de r = 0,901 à r = 0,583, et cette valeur basse est inférieure à la corrélation regroupée pour la prononciation des machines de la section 1. L’échantillon n’était que de 30 étudiants et la tâche portait sur la compétence orale globale : cela illustre donc l’étendue des écarts, sans prouver que les machines battent les enseignants.
Les cliniciens de l’étude sur l’arabe ci-dessous s’accordaient bien plus étroitement que les enseignants, bien que pour une autre langue et une autre tâche, et la moyenne aide : l’étude de PLOS One passe de 0,713 pour un seul évaluateur à 0,882 pour la moyenne de trois. L’ICC, le coefficient de corrélation intraclasse, est une mesure différente du r de Pearson : dans sa forme d’accord absolu, il pénalise aussi les évaluateurs globalement plus sévères ou plus indulgents. La comparaison la plus utile est l’étude de l’ETS sur le TOEFL Junior, qui rapporte les deux chiffres sur les mêmes données. L’écart entre les deux est la mesure honnête de ce qui manque encore à l’automatisation. Le même problème de jugement des auditeurs traverse les scores de qualité de la parole synthétique.
| Métrique | Valeur | Source |
|---|---|---|
| TOEFL Junior Speaking au niveau du formulaire, cinq réponses : corrélation humain contre humain comparée à la corrélation humain contre machine | r = 0,89 contre r = 0,81 | ETS, rapport sur la notation automatisée du TOEFL Junior 2015 (données les plus récentes disponibles) |
| Trois orthophonistes notant la prononciation de l’arabe : plage du PCC par paires | 0,858 à 0,927 | Azad et al., Harf-Speech, arXiv 2026 |
| Les mêmes trois cliniciens : plage de l’ICC(2,1) par paires | 0,846 à 0,922 | Azad et al., Harf-Speech, arXiv 2026 |
| Trois enseignants d’anglais notant la compétence orale : accord d’un seul évaluateur, ICC(2,1) | 0,713 (IC à 95% de 0,539 à 0,835) | Chen et Sun, PLOS One 2025 |
| Les mêmes trois enseignants : accord du score moyenné, ICC(2,k) | 0,882 (IC à 95% de 0,778 à 0,938) | Chen et Sun, PLOS One 2025 |
| Les mêmes trois enseignants : paire la plus forte contre paire la plus faible | r = 0,901 contre r = 0,583 | Chen et Sun, PLOS One 2025 |
| Réduction de l’influence des variables d’auditeur sans rapport avec le construit après formation des évaluateurs : notes holistiques de compétence orale contre notes d’intelligibilité | 75% contre 50% | Dalman et Kang, IntechOpen 2019, résumant Kang et al. 2019 (données les plus récentes disponibles) |
| Statistique d’accord publiée pour les cinq annotateurs experts de speechocean762 | Aucune rapportée | Zhang et al., article speechocean762 2021 |
Note sur la valeur aberrante : la dernière ligne compte plus qu’il n’y paraît. Le principal benchmark public de ce domaine ne publie aucune corrélation ni aucun kappa entre annotateurs ; personne, en lisant son article, ne peut donc dire à quelle distance du plafond humain se situe 0,693.
3. Examens à enjeux élevés : chiffres des fournisseurs et écart de prononciation qu’ils recèlent
Les chiffres portant sur des tests entiers paraissent presque parfaits, et la prononciation est l’endroit où ils cessent de l’être. Dans les propres données Versant de Pearson, la prononciation est le sous-score le plus faible à 0,88 tandis que le score global atteint 0,97. La baisse est constante dans les documents de Pearson : 0,81 dans une présentation sur le PTE Academic, et 0,85 pour la Manière de parler, la catégorie de Versant qui contient la prononciation.
Ces chiffres sont bien supérieurs à la valeur regroupée r = 0,606 de la section 1. Une partie de l’écart tient à l’échantillonnage : les scores de test agrègent de nombreux items, et les échantillons de validation couvrent souvent un large éventail de niveaux (le rapport Versant Speaking and Listening inclut 26 locuteurs d’anglais L1 parmi ses 260 adultes), et les larges éventails augmentent les corrélations. La méta-analyse cite aussi le développeur du système et l’unité d’échantillon parmi ses variables modératrices significatives. Il faut lire les chiffres des fournisseurs comme des bornes supérieures obtenues dans des conditions favorables. Pour mesurer le poids de ces examens, voir nos statistiques sur le volume des tests d’anglais.
| Métrique | Valeur | Source |
|---|---|---|
| Versant English Test, corrélation machine-humain par score, n = 143 | Global 0,97, Maîtrise des phrases 0,97, Vocabulaire 0,96, Fluidité 0,94, Prononciation 0,88 | Pearson, synthèse de validation Versant 2022 (affirmation du fournisseur lui-même, données les plus récentes disponibles) |
| Fiabilité par bissection du score de prononciation du Versant English Test : notation machine contre notation humaine, n = 143 | 0,97 contre 0,99 | Pearson, synthèse de validation Versant 2022 (affirmation du fournisseur lui-même) |
| Scores Versant corrélés à des examens externes, n = 130 chacun : TOEFL iBT Expression orale contre IELTS Expression orale | 0,75 contre 0,76 | Pearson, synthèse de validation Versant 2022 (affirmation du fournisseur lui-même) |
| Versant English Speaking and Listening Test, corrélation machine-humain, n = 260 | Global .96, Expression orale .88, Manière de parler .85 | Pearson, rapport de validation du Versant Speaking and Listening Test 2024 (affirmation du fournisseur lui-même) |
| PTE Academic expression orale, corrélation machine-humain par critère, N = 158 | Prononciation 0,81, Fluidité 0,82, Global 0,96 | Pearson, présentation MELTA sur la notation automatisée 2018 (affirmation du fournisseur lui-même, données les plus récentes disponibles) |
| Chronologie d’ETS SpeechRater : année de premier déploiement du service contre année où la version 5.0 est devenue opérationnelle | 2006 contre 2016 | Chen et al., ETS Research Report 2018 |
Note de contexte : la fiabilité par bissection indique la cohérence d’un évaluateur avec lui-même entre les deux moitiés d’un test. Une machine peut atteindre 0,97 sur cette mesure tout en étant en désaccord avec les humains, et c’est précisément le schéma des lignes de prononciation de Versant.
4. Le benchmark speechocean762 : progrès selon la granularité
speechocean762 contient 5 000 énoncés en anglais de 250 locuteurs non natifs, dont la moitié d’enfants, chacun noté par cinq experts. Ses scores existent à trois niveaux : le phone (un seul son de parole, et non un téléphone), le mot et l’énoncé. Les métriques sont le PCC, où plus haut vaut mieux, et la MSE (erreur quadratique moyenne), où plus bas vaut mieux. Le GOP, ou Goodness of Pronunciation (qualité de la prononciation), est le score statistique classique que les modèles plus récents cherchent à dépasser.
Le PCC au niveau du phone est passé de 0,45 à 0,693 entre la référence de 2021 et un modèle de 2023, et un article révisé le 5 février 2026 cite encore 0,693 comme la valeur la plus élevée connue. L’accord diminue à mesure que l’unité rétrécit : les scores d’énoncé atteignent les 0,80 tandis que les scores de phone et de mot restent dans les 0,60. Faire la moyenne sur une phrase masque les erreurs, de sorte que le score global d’un apprenant peut être fiable alors que le retour sur un seul son ne l’est pas. L’article du corpus note aussi que la plupart des scores de phone, ramenés à une échelle de 0 à 10, se situent entre 8 et 10 : les sons corrects dominent donc les données.
| Métrique | Valeur | Source |
|---|---|---|
| Référence initiale au niveau du phone : valeur GOP brute contre caractéristiques fondées sur le GOP | MSE 0,69 et PCC 0,25 contre MSE 0,16 et PCC 0,45 | Zhang et al., article speechocean762 2021 |
| Modèle transformer GOPT, niveau du phone | MSE 0,085 ± 0,001, PCC 0,612 ± 0,003 | Gong et al., GOPT, ICASSP 2022 |
| PCC au niveau du phone le plus élevé cité pour speechocean762 | 0,693 | Chao et al., Interspeech 2023, cité dans Cao et al., arXiv 2025 |
| Caractéristiques GOP sans segmentation fournies à GOPT, niveau du phone | PCC 0,648 ± 0,002 | Cao et al., arXiv 2025 |
| PCC total au niveau du mot contre PCC total au niveau de l’énoncé, GOPT | 0,549 contre 0,742 | Gong et al., GOPT, ICASSP 2022 |
| PCC total au niveau du mot contre PCC total au niveau de l’énoncé, modèle 3MH | 0,694 contre 0,811 | Wang et al., étude GPT-4o sur la prononciation, arXiv 2025 |
| Modèle HMamba au niveau de l’énoncé : PCC de la justesse, de la fluidité et de la prosodie | 0,807, 0,848 et 0,843 | Sara et Chowdhury, arXiv 2026 |
| Corrélation machine-humain regroupée par génération technologique : apprentissage automatique traditionnel, apprentissage profond, transformer | r = 0,597, r = 0,641, r = 0,680 | Wang et Min, Language Testing 2026 |
Note sur la valeur aberrante : le même modèle 3MH n’atteint que 0,361 pour l’accent de mot et 0,374 pour l’exhaustivité de l’énoncé (Wang et al., arXiv 2025). Ce sont les deux étiquettes les plus difficiles du benchmark.
5. Détection d’erreurs de phonèmes : précision, rappel et le tiers manqué
La notation demande dans quelle mesure un son était bon. La détection des erreurs de prononciation pose une question oui ou non pour chaque phonème et rapporte le F1, un score unique qui équilibre la précision (combien de signalements étaient justes) et le rappel (combien d’erreurs réelles ont été détectées). Le meilleur résultat sur L2-ARCTIC dans nos sources est un F1 de 71,77%, issu d’un préprint de 2026, soit 8,73 points au-dessus (71,77 - 63,04) de la meilleure référence d’une comparaison de 2025.
La répartition entre les deux types d’erreur reflète une priorité de conception. La fausse acceptation signifie qu’un son erroné passe pour correct, et le faux rejet qu’un son correct est signalé. Les chiffres sont complémentaires du rappel : 100 - 67,24 = 32,76, donc une erreur réelle sur trois n’est pas signalée. L’article de 2025 qualifie le faux rejet de métrique la plus critique parce que corriger à tort les apprenants les frustre, et les résultats correspondent à cette priorité : l’apprenant voit peu de fausses alertes tandis que beaucoup de vraies erreurs ne sont pas signalées.
| Métrique | Valeur | Source |
|---|---|---|
| Benchmark L2-ARCTIC : nombre total de locuteurs contre locuteurs de l’ensemble de test | 24 contre 6 | Tu et al., PER-MDD, arXiv 2025 |
| Gain de F1 d’un des premiers détecteurs de bout en bout par rapport à la méthode GOP contre par rapport à une référence de bout en bout | 27,71% contre 11,05% | Yan et al., Interspeech 2020 |
| F1 sur L2-ARCTIC : meilleure référence antérieure (Joint-Align) contre système par recherche sans entraînement (PER-MDD) | 63,04% contre 69,60% | Tu et al., PER-MDD, arXiv 2025 |
| L2-ARCTIC, système CROTTC-IF : F1, précision et rappel | 71,77%, 76,94% et 67,24% | Geng et al., CROTTC-IF, arXiv 2026 |
| L2-ARCTIC, système CROTTC-IF : faux rejet contre fausse acceptation | 3,39% contre 32,76% | Geng et al., CROTTC-IF, arXiv 2026 |
| Taux d’erreur de phones sur L2-ARCTIC : CROTTC-IF contre son seul modèle acoustique contre PER-MDD | 46,52 contre 17,48 contre 104,08 | Geng et al., CROTTC-IF, arXiv 2026 |
| F1 de détection sur speechocean762 : CROTTC-IF contre HMamba contre MuFFIN | 57,16% contre 63,85% contre 67,98% | Geng et al., arXiv 2026 ; Chao et Chen, HMamba, arXiv 2025 |
Note sur la valeur aberrante : les taux d’erreur de phones supérieurs à 100 ne sont pas une coquille. Les auteurs les attribuent à des phones insérés, et ils montrent qu’un système peut bien détecter les erreurs tout en transcrivant mal. Les résultats pour l’arabe sont similaires : le classement Iqra’Eval2 du même article de 2026 plafonne à un F1 de 72,01%.
6. API commerciales, applications grand public et chatbots
L’écart entre les services est plus grand que l’écart entre les modèles de recherche. Un test de 2025 sur speechocean762 a placé Azure Pronunciation Assessment à 0,782 au niveau de l’énoncé. La meilleure configuration de GPT-4o a atteint 0,502, et seulement 0,249 au niveau du phonème. Les modèles multimodaux généralistes savent écouter, mais, au vu de ces éléments, ils ne peuvent pas encore juger un son isolé.
Les tests menés hors des laboratoires des fournisseurs sont moins flatteurs pour les outils commerciaux. L’étude de Won de 2025 sur 190 enregistrements de lecture à voix haute d’apprenants coréens d’école élémentaire a trouvé des corrélations modérées entre les scores de phonèmes d’Azure et les jugements humains, tandis que les taux d’erreur de mots des systèmes les plus précis, proches de zéro, ne corrélaient que faiblement avec les notes humaines. Un système de reconnaissance qui comprend tout le monde cesse d’être un indicateur indirect utile de la prononciation. La ligne SmartSpeech ci-dessous montre un second point : un outil peut avoir une forte corrélation avec les humains et gonfler quand même le score moyen de plus de cinq points.
| Métrique | Valeur | Source |
|---|---|---|
| Déclaration du fournisseur sur l’accord avec les juges humains | Corrélation de Pearson supérieure à 0,5 | Microsoft, note de transparence de Pronunciation Assessment 2026 (affirmation du fournisseur lui-même) |
| Azure Pronunciation Assessment sur speechocean762 : PCC de la justesse au niveau du mot contre PCC total au niveau de l’énoncé | 0,623 contre 0,782 | Wang et al., étude GPT-4o sur la prononciation, arXiv 2025 |
| Meilleur résultat de GPT-4o sur speechocean762 : PCC du phonème, total du mot et total de l’énoncé | 0,249, 0,277 et 0,502 | Wang et al., étude GPT-4o sur la prononciation, arXiv 2025 |
| Parole en arabe notée par des cliniciens, 40 échantillons : PCC avec le score moyen des cliniciens, Harf-Speech contre Azure | 0,791 contre 0,635 | Azad et al., Harf-Speech, arXiv 2026 |
| Même test en arabe : RMSE sur une échelle de 0 à 5, Harf-Speech contre Azure | 1,05 contre 1,28 | Azad et al., Harf-Speech, arXiv 2026 |
| Trois applications d’expression orale par IA contre la moyenne des évaluateurs humains, 30 étudiants : AI Speaking Master, TalkAI Language Practice, SmartSpeech AI Assessment | r = 0,854, 0,873 et 0,869 | Chen et Sun, PLOS One 2025 |
| Score moyen de SmartSpeech contre score moyen humain | 92,00 contre 86,41, différence de 5,589 (IC à 95% de 5,023 à 6,155), d de Cohen = 3,688 | Chen et Sun, PLOS One 2025 |
| Évaluateur de prononciation de Duolingo : corrélation de Spearman avec les notes d’experts humains | 0,82 | Blog du Duolingo English Test sur Cai et al. 2025 (résumé du fournisseur lui-même) |
Note de contexte : les chiffres de Harf-Speech proviennent d’un préprint des auteurs mêmes du système ; sa supériorité sur Azure est donc à prendre avec précaution. Duolingo décrit 0,82 comme presque équivalent à l’accord entre évaluateurs humains, mais l’article de blog n’imprime pas le chiffre humain.
7. Transfert et équité : ce qui se passe hors du benchmark
Une grande partie des données de benchmark ci-dessus provient d’un seul corpus d’apprenants locuteurs de mandarin, et elle ne se transpose pas proprement. Le même système qui obtenait 0,661 pour la justesse sur speechocean762 est tombé à 0,506 sur L2-ARCTIC, un corpus de locuteurs de plusieurs langues maternelles, et le réentraînement sur les nouvelles données ne l’a relevé qu’à 0,527. S’adapter au groupe cible fonctionne mieux pour la détection : une étude de 2026 a fait passer l’ROC-AUC de 0,72 à 0,85 par ajustement fin sur les apprenants eux-mêmes. L’ROC-AUC mesure dans quelle mesure un système sépare le juste du faux sur tous les seuils, 0,5 correspondant au hasard.
Les constats de biais sont surtout indicatifs, car peu d’articles publient des écarts entre groupes. Pourtant, l’étude de l’ETS sur les candidats ayant des troubles de la parole et l’article de Duolingo dans Language Learning ont tous deux relevé des problèmes mesurables, y compris dans des évaluateurs conçus par de grandes organisations de tests. La couche de reconnaissance sous-jacente a ses propres lacunes, traitées dans nos statistiques sur le biais d’accent, et les enfants exigent leurs propres données, comme le montrent nos statistiques sur la reconnaissance vocale des enfants.
| Métrique | Valeur | Source |
|---|---|---|
| PCC de justesse d’un modèle de notation ajusté sur speechocean762 : testé sur speechocean762 contre testé sur L2-ARCTIC | 0,661 contre 0,506 | Sara et Chowdhury, arXiv 2026 |
| Même modèle sur L2-ARCTIC après réentraînement sur des données L2-ARCTIC | 0,527 | Sara et Chowdhury, arXiv 2026 |
| ROC-AUC de détection des erreurs de prononciation : modèle avant contre après ajustement fin sur des apprenants non natifs | 0,72 contre 0,85 | Nijat et al., Applied Sciences 2026 |
| F1 de détection sur le corpus ERJ : sans données d’apprenants (zero-shot) contre ajusté finement | 78,44% contre 89,27% | Geng et al., CROTTC-IF, arXiv 2026 |
| Parole d’enfants (CMU Kids), erreurs réelles, AUC : GOP-DNN-Avg plus ancien contre GOP-CTC-SF-SD sans segmentation | 0,796 contre 0,914 | Cao et al., arXiv 2025 |
| GOP-CTC-SF-SD sur la parole d’enfants : erreurs simulées contre erreurs réelles, AUC | 0,986 contre 0,914 | Cao et al., arXiv 2025 |
| Candidats avec troubles de la parole ou de l’audition, six items d’expression orale du TOEFL iBT | Les scores de SpeechRater avaient tendance à être plus élevés que les scores humains | Loukina et Buzick, ETS Research Report 2017 (données les plus récentes disponibles) |
| Sources de biais rapportées dans un évaluateur de prononciation moderne | Qualité audio et groupes de familles de langues | Cai et al., Language Learning 2025 |
Note de contexte : les étiquettes de notation L2-ARCTIC des deux premières lignes sont des pseudo-étiquettes d’Azure avec relecture experte de 10 locuteurs ; ces PCC mesurent donc autant l’accord avec une autre machine qu’avec des humains. Microsoft recommande par ailleurs un audio de 16 kHz ou plus et un seul locuteur pour son propre service.
Résumé : la précision de la notation de la prononciation par IA en chiffres
| Métrique | Valeur | Source |
|---|---|---|
| Corrélation machine-humain regroupée : prononciation contre tous les construits d’expression orale | r = 0,606 contre r = 0,654 | Wang et Min, Language Testing 2026 |
| TOEFL Junior Speaking : humain contre humain comparé à humain contre machine | r = 0,89 contre r = 0,81 | ETS, rapport sur la notation automatisée du TOEFL Junior 2015 |
| Trois orthophonistes : plage du PCC par paires | 0,858 à 0,927 | Azad et al., Harf-Speech, arXiv 2026 |
| Trois enseignants d’anglais : paire la plus forte contre paire la plus faible | r = 0,901 contre r = 0,583 | Chen et Sun, PLOS One 2025 |
| Versant English Test : corrélation machine-humain globale contre prononciation | 0,97 contre 0,88 | Pearson, synthèse de validation Versant 2022 (affirmation du fournisseur lui-même) |
| PTE Academic expression orale : corrélation machine-humain de la prononciation, N = 158 | 0,81 | Pearson, présentation MELTA 2018 (affirmation du fournisseur lui-même) |
| PCC de référence au niveau du phone sur speechocean762 | 0,45 | Zhang et al., article speechocean762 2021 |
| PCC de GOPT au niveau du phone | 0,612 | Gong et al., GOPT, ICASSP 2022 |
| PCC au niveau du phone le plus élevé cité sur speechocean762 | 0,693 | Chao et al., Interspeech 2023, cité dans Cao et al., arXiv 2025 |
| PCC total de 3MH au niveau de l’énoncé | 0,811 | Wang et al., étude GPT-4o sur la prononciation, arXiv 2025 |
| Meilleur F1 de détection sur L2-ARCTIC dans nos sources | 71,77% | Geng et al., CROTTC-IF, arXiv 2026 |
| Faux rejet contre fausse acceptation dans ce système | 3,39% contre 32,76% | Geng et al., CROTTC-IF, arXiv 2026 |
| PCC au niveau de l’énoncé sur speechocean762 : Azure contre la meilleure configuration de GPT-4o | 0,782 contre 0,502 | Wang et al., étude GPT-4o sur la prononciation, arXiv 2025 |
| Test en arabe : PCC avec le score moyen des cliniciens, Harf-Speech contre Azure | 0,791 contre 0,635 | Azad et al., Harf-Speech, arXiv 2026 |
| Score moyen de SmartSpeech contre score moyen humain | 92,00 contre 86,41 | Chen et Sun, PLOS One 2025 |
| ROC-AUC avant contre après ajustement fin sur les apprenants cibles | 0,72 contre 0,85 | Nijat et al., Applied Sciences 2026 |
Méthodologie et sources
Nous avons lu directement chaque étude, rapport ou document technique et conservé la notation propre à chaque source. Les préprints sont signalés par arXiv et n’ont pas nécessairement été évalués par des pairs.
- Wang et Min, The human-machine correlation in automated speech evaluation: A three-level meta-analysis, Language Testing, 2026.
- Zhang et al., speechocean762: An Open-Source Non-native English Speech Corpus For Pronunciation Assessment, 2021.
- Gong et al., Transformer-Based Multi-Aspect Multi-Granularity Non-Native English Speaker Pronunciation Assessment, ICASSP 2022.
- Chao et al., A Hierarchical Context-aware Modeling Approach for Multi-aspect and Multi-granular Pronunciation Assessment, Interspeech 2023.
- Cao et al., Segmentation-free Goodness of Pronunciation, arXiv 2025, révisé le 5 février 2026.
- Sara et Chowdhury, Light-weight Pronunciation Assessment via Discrete Speech Token Surprisal, arXiv 2026.
- Wang et al., Exploring the Potential of Large Multimodal Models as Effective Alternatives for Pronunciation Assessment, arXiv 2025.
- Chao et Chen, article HMamba, arXiv 2025.
- Tu et al., Mispronunciation Detection and Diagnosis Without Model Training, arXiv 2025.
- Geng et al., Beyond Acoustic Sparsity and Linguistic Bias, arXiv 2026.
- Yan et al., An End-to-End Mispronunciation Detection System for L2 English Speech, Interspeech 2020.
- Azad et al., Harf-Speech: A Clinically Aligned Framework for Arabic Phoneme-Level Speech Assessment, arXiv 2026.
- Chen et Sun, Evaluating automated evaluation systems for spoken English proficiency, PLOS One, 2025.
- Won, Assessing the efficacy of word error rate as a proxy for pronunciation quality, Journal of Second Language Pronunciation, 2025.
- Nijat et al., Beyond Native Norms: A Perceptually Grounded and Fair Framework for Automatic Speech Assessment, Applied Sciences, 2026.
- Cai et al., Developing an Automatic Pronunciation Scorer, Language Learning, 2025, avec le résumé du blog du Duolingo English Test.
- Pearson, Versant English Test Description and Validation Summary, 2022.
- Pearson, Versant English Speaking and Listening Test validation report, 2024.
- Pearson, MELTA automated scoring presentation, 2018.
- ETS, Automated Scoring for the TOEFL Junior Comprehensive Writing and Speaking Test, 2015.
- Loukina et Buzick, Use of Automated Scoring in Spoken Language Assessments for Test Takers With Speech Impairments, ETS Research Report, 2017.
- Chen et al., Automated Scoring of Nonnative Speech Using the SpeechRater v. 5.0 Engine, ETS Research Report, 2018.
- Microsoft, Characteristics and limitations of Pronunciation Assessment, 2026.
- Dalman et Kang, Listener Background in L2 Speech Evaluation, IntechOpen, 2019.
- Note sur les données : données les plus récentes disponibles : ETS 2015 et 2017, Pearson 2018 et 2022, et Dalman et Kang 2019, faute d’équivalents publics plus récents, et l’ETS ne publie pas de chiffres d’accord opérationnels du TOEFL iBT dans les documents que nous avons pu lire. Les benchmarks ne sont pas directement comparables d’un article à l’autre, car les données d’entraînement, les découpages et les pseudo-étiquettes diffèrent, et le record de 0,693 est ce que Cao et al. affirment au meilleur de leur connaissance : nous avons pu lire le résumé de HMamba mais pas son tableau au niveau du phone, de sorte qu’un chiffre plus récent au niveau du phone peut exister. CROTTC-IF n’est pas le meilleur détecteur sur speechocean762, où les 67,98% de MuFFIN mènent dans le même tableau. Les chiffres des fournisseurs proviennent de leurs propres échantillons de validation. Nous n’avons trouvé aucun kappa de Cohen exploitable pour la prononciation dans les sources lues, qui privilégient le PCC et l’ICC, et les chiffres de Wang et Min ainsi que de Loukina et Buzick proviennent des résumés publiés. L’échantillon de Chen et Sun compte 30 étudiants et Harf-Speech utilise 40 échantillons : les deux sont donc petits.
Dernière mise à jour : 31 octobre 2026. Nous actualisons ce tour d’horizon chaque trimestre, et la prochaine révision est attendue lorsque l’ISCA Archive publiera les prochains actes d’Interspeech.