En 67 estudios y 392 tamaños del efecto, las puntuaciones de las máquinas se correlacionan con los juicios humanos sobre la pronunciación en r = 0,606, por debajo de las cifras agrupadas de fluidez o elocución (Wang y Min, Language Testing 2026). Las cifras de los benchmarks cuentan una historia parecida con más detalle: la mejor correlación de Pearson (PCC) a nivel de fonema citada en el corpus speechocean762 es 0,693, y un detector de errores líder de 2026 todavía deja pasar aproximadamente uno de cada tres errores de pronunciación reales. Los proveedores de exámenes informan cifras mucho más altas para pruebas completas, de hasta 0,97, aunque sus propias subpuntuaciones de pronunciación quedan bastante por debajo. Esas cifras miden concordancia, no ventas, y por eso este informe queda aparte de nuestras estadísticas de aprendizaje de idiomas, más amplias. Reunimos datos de Language Testing, del corpus speechocean762, de informes de investigación de ETS, de informes de validación de Pearson, de PLOS One, de Language Learning y de una docena más de artículos y documentos técnicos.
TL;DR
- Correlación máquina-humano agrupada para la pronunciación: r = 0,606, frente a r = 0,654 en todos los constructos de expresión oral (Wang y Min, Language Testing 2026).
- Mayor PCC a nivel de fono citado en speechocean762: 0,693, frente a una línea base del corpus de 0,45 (Cao et al., arXiv 2025; Zhang et al., 2021).
- Subpuntuación de Pronunciación del Versant English Test: correlación máquina-humano de 0,88, la más baja de sus subpuntuaciones (Pearson, resumen de validación de Versant 2022).
- Humano frente a humano en la expresión oral de TOEFL Junior: r = 0,89, frente a r = 0,81 de humano frente a máquina (ETS, informe de puntuación automática de TOEFL Junior 2015).
- Dos profesores de un estudio en aula coincidieron solo en r = 0,583, mientras que otro par alcanzó r = 0,901 (Chen y Sun, PLOS One 2025).
- Mejor F1 de detección de errores de pronunciación en L2-ARCTIC en nuestras fuentes: 71,77% (Geng et al., arXiv 2026).
- Falsa aceptación de errores de pronunciación reales en ese sistema: 32,76%, frente a 3,39% de falso rechazo de sonidos correctos (Geng et al., arXiv 2026).
- Mejor resultado de GPT-4o en speechocean762: 0,502 a nivel de enunciado, frente a 0,782 de Azure Pronunciation Assessment (Wang et al., arXiv 2025).
- Una aplicación de consumo se correlacionó con los profesores en r = 0,869, pero puntuó 92,00 de media frente a 86,41 de los humanos (Chen y Sun, PLOS One 2025).
- Pasar un detector de un modelo general a un grupo de estudiantes objetivo elevó el ROC-AUC de 0,72 a 0,85 (Nijat et al., Applied Sciences 2026).
1. La Línea Base: Lo Que Dicen 67 Estudios sobre la Concordancia entre Máquina y Humano
La r de Pearson va de -1 a 1 y mide si dos conjuntos de puntuaciones suben y bajan juntos. La cifra agrupada de pronunciación, r = 0,606, es fuerte en esa escala, pero elevarla al cuadrado muestra el límite: 0,606 x 0,606 = 0,367, es decir, alrededor del 37% de la variación de las puntuaciones humanas es compartida con la máquina.
El orden de los constructos es la sorpresa. La elocución (en la evaluación de la expresión oral, cómo suena el habla en conjunto y no lo que dice) supera a la pronunciación por un amplio margen, de modo que los sistemas son mejores en la impresión general que en el constructo específico que sigue este informe. La gramática y el vocabulario quedan por detrás de todo lo demás. El metaanálisis de Language Testing también halló que la precisión del ASR no fue un moderador significativo, lo que debilita la suposición habitual de que un mejor reconocedor de voz significa automáticamente un mejor evaluador.
| Métrica | Valor | Fuente |
|---|---|---|
| Tamaño del metaanálisis y correlación máquina-humano global agrupada | 67 estudios, 392 tamaños del efecto, r = 0,654 (p < 0,001) | Wang y Min, Language Testing 2026 |
| Correlación agrupada de la elocución frente a la correlación agrupada de la pronunciación | r = 0,784 frente a r = 0,606 | Wang y Min, Language Testing 2026 |
| Correlación agrupada de la competencia oral global frente a la correlación agrupada de la fluidez | r = 0,686 frente a r = 0,618 | Wang y Min, Language Testing 2026 |
| Correlación agrupada del contenido frente a la correlación agrupada de la gramática y el vocabulario | r = 0,574 frente a r = 0,499 | Wang y Min, Language Testing 2026 |
| Variables moderadoras con efecto significativo frente a las que no lo tienen | 10 significativas (incluidos el grupo de edad, la experiencia del evaluador y la fiabilidad entre evaluadores) frente a 4 no significativas (incluida la precisión del ASR) | Wang y Min, Language Testing 2026 |
| Banda de correlación de Pearson que un proveedor etiqueta como concordancia “Alta” con jueces humanos | 0,5 a 1,0 | Microsoft, nota de transparencia de Pronunciation Assessment 2026 (pauta del propio proveedor) |
Nota de contexto: en la escala de la propia Microsoft, incluso el constructo más débil del metaanálisis casi alcanza “Alta”. Etiquetas así dicen poco sobre si una puntuación es fiable para un estudiante concreto. Usada como nota de corte, la pauta de Microsoft aprobaría casi todas las cifras agrupadas de la tabla anterior.
2. El Techo Humano: Cuánto Coinciden los Evaluadores entre Sí
A una máquina no se la puede medir contra un patrón perfecto, porque la referencia humana también tiene ruido. Los pares de profesores formados de un estudio de 2025 fueron desde r = 0,901 hasta r = 0,583, y esa cifra más baja queda por debajo de la correlación agrupada de pronunciación de las máquinas de la sección 1. La muestra era de solo 30 estudiantes y la tarea era la competencia oral global, así que ilustra la dispersión pero no demuestra que las máquinas superen a los profesores.
Los clínicos del estudio en árabe que sigue coincidieron mucho más entre sí que los profesores, aunque en otro idioma y con otra tarea, y promediar ayuda: el estudio de PLOS One pasa de 0,713 para un solo evaluador a 0,882 para la media de tres. El ICC, el coeficiente de correlación intraclase, es una vara de medir distinta de la r de Pearson: en su forma de acuerdo absoluto también penaliza a los evaluadores por ser, en general, más severos o más indulgentes. La comparación más útil es el estudio de ETS sobre TOEFL Junior, que informa ambas cifras sobre los mismos datos. La brecha entre las dos es la medida honesta de lo que a la automatización aún le falta. El mismo problema del juicio del oyente atraviesa las puntuaciones de calidad del habla sintética.
| Métrica | Valor | Fuente |
|---|---|---|
| Expresión oral de TOEFL Junior a nivel de formulario, cinco respuestas: correlación humano frente a humano comparada con la correlación humano frente a máquina | r = 0,89 frente a r = 0,81 | ETS, informe de puntuación automática de TOEFL Junior 2015 (datos más recientes disponibles) |
| Tres logopedas puntuando la pronunciación en árabe: rango del PCC entre pares | 0,858 a 0,927 | Azad et al., Harf-Speech, arXiv 2026 |
| Los mismos tres clínicos: rango del ICC(2,1) entre pares | 0,846 a 0,922 | Azad et al., Harf-Speech, arXiv 2026 |
| Tres profesores de inglés puntuando la competencia oral: acuerdo de un solo evaluador, ICC(2,1) | 0,713 (IC del 95% de 0,539 a 0,835) | Chen y Sun, PLOS One 2025 |
| Los mismos tres profesores: acuerdo de la puntuación promediada, ICC(2,k) | 0,882 (IC del 95% de 0,778 a 0,938) | Chen y Sun, PLOS One 2025 |
| Los mismos tres profesores: el par más fuerte frente al par más débil | r = 0,901 frente a r = 0,583 | Chen y Sun, PLOS One 2025 |
| Reducción de la influencia de las variables del oyente irrelevantes para el rasgo tras la formación de evaluadores: valoraciones holísticas de la competencia oral frente a valoraciones de la comprensibilidad | 75% frente a 50% | Dalman y Kang, IntechOpen 2019, que resume a Kang et al. 2019 (datos más recientes disponibles) |
| Estadístico de acuerdo publicado para los cinco anotadores expertos de speechocean762 | Ninguno informado | Zhang et al., artículo de speechocean762 2021 |
Nota sobre valores atípicos: la última fila importa más de lo que parece. El principal benchmark público de este campo no publica ninguna correlación ni kappa entre anotadores, así que nadie que lea su artículo puede decir cuán cerca está 0,693 del techo humano.
3. Exámenes de Alto Impacto: Cifras de los Proveedores y la Brecha de Pronunciación en Ellas
Las cifras de pruebas completas parecen casi perfectas, y la pronunciación es donde dejan de parecerlo. En los datos propios de Versant de Pearson, la Pronunciación es la subpuntuación más débil, con 0,88, mientras que la puntuación Global llega a 0,97. La caída es coherente en los documentos de Pearson: 0,81 en una presentación de PTE Academic y 0,85 para Manera de Hablar, la categoría de Versant que contiene la pronunciación.
Estas cifras están muy por encima de la r = 0,606 agrupada de la sección 1. Parte de la diferencia es de muestreo: las puntuaciones de un examen agregan muchos ítems y las muestras de validación suelen abarcar un amplio rango de nivel (el informe de Versant Speaking and Listening incluye a 26 hablantes de inglés como L1 entre sus 260 adultos), y los rangos amplios elevan las correlaciones. El metaanálisis también incluye al desarrollador del sistema y a la unidad de muestra entre sus moderadores significativos. Lea las cifras de los proveedores como límites superiores obtenidos en condiciones favorables. Para saber cuánto peso tienen estos exámenes, consulte nuestras estadísticas de volumen de exámenes de inglés.
| Métrica | Valor | Fuente |
|---|---|---|
| Versant English Test, correlación máquina frente a humano por puntuación, n = 143 | Global 0,97, Dominio de Oraciones 0,97, Vocabulario 0,96, Fluidez 0,94, Pronunciación 0,88 | Pearson, resumen de validación de Versant 2022 (afirmación del propio proveedor, datos más recientes disponibles) |
| Fiabilidad de dos mitades de la puntuación de Pronunciación del Versant English Test: puntuación automática frente a puntuación humana, n = 143 | 0,97 frente a 0,99 | Pearson, resumen de validación de Versant 2022 (afirmación del propio proveedor) |
| Puntuaciones de Versant correlacionadas con exámenes externos, n = 130 cada uno: expresión oral de TOEFL iBT frente a expresión oral de IELTS | 0,75 frente a 0,76 | Pearson, resumen de validación de Versant 2022 (afirmación del propio proveedor) |
| Versant English Speaking and Listening Test, correlación máquina frente a humano, n = 260 | Global 0,96, Expresión oral 0,88, Manera de Hablar 0,85 | Pearson, informe de validación de Versant Speaking and Listening 2024 (afirmación del propio proveedor) |
| Expresión oral de PTE Academic, correlación máquina frente a humano por rasgo, N = 158 | Pronunciación 0,81, Fluidez 0,82, Global 0,96 | Pearson, presentación sobre puntuación automática en MELTA 2018 (afirmación del propio proveedor, datos más recientes disponibles) |
| Cronología de SpeechRater de ETS: año en que se desplegó por primera vez el servicio frente al año en que la versión 5.0 entró en operación | 2006 frente a 2016 | Chen et al., informe de investigación de ETS 2018 |
Nota de contexto: la fiabilidad de dos mitades muestra cuán consistente es un evaluador consigo mismo entre las dos mitades de un examen. Una máquina puede alcanzar 0,97 en esa medida y aun así discrepar de los humanos, que es exactamente el patrón de las filas de Pronunciación de Versant.
4. El Benchmark speechocean762: Avances por Granularidad
speechocean762 contiene 5.000 enunciados en inglés de 250 hablantes no nativos, la mitad de ellos niños, cada uno puntuado por cinco expertos. Sus puntuaciones existen en tres niveles: fono (un único sonido del habla, no un teléfono), palabra y enunciado. Las métricas son el PCC, donde más alto es mejor, y el MSE (error cuadrático medio), donde más bajo es mejor. El GOP, o Goodness of Pronunciation, es la puntuación estadística clásica que los modelos más nuevos intentan superar.
El PCC a nivel de fono subió de 0,45 a 0,693 entre la línea base de 2021 y un modelo de 2023, y un artículo revisado el 5 de febrero de 2026 sigue citando 0,693 como la cifra más alta conocida. La concordancia cae a medida que la unidad se reduce: las puntuaciones de enunciado llegan a los 0,80, mientras que las de fono y de palabra se quedan en los 0,60. Promediar sobre una oración oculta errores, de modo que la puntuación global de un estudiante puede ser fiable mientras que la retroalimentación sobre un solo sonido no lo es. El artículo del corpus también señala que la mayoría de las puntuaciones de fono, asignadas a una escala de 0 a 10, caen entre 8 y 10, por lo que los sonidos correctos dominan los datos.
| Métrica | Valor | Fuente |
|---|---|---|
| Línea base original a nivel de fono: valor GOP en bruto frente a características basadas en GOP | MSE 0,69 y PCC 0,25 frente a MSE 0,16 y PCC 0,45 | Zhang et al., artículo de speechocean762 2021 |
| Modelo transformer GOPT, nivel de fono | MSE 0,085 ± 0,001, PCC 0,612 ± 0,003 | Gong et al., GOPT, ICASSP 2022 |
| Mayor PCC a nivel de fono citado para speechocean762 | 0,693 | Chao et al., Interspeech 2023, citado en Cao et al., arXiv 2025 |
| Características GOP sin segmentación alimentando a GOPT, nivel de fono | PCC 0,648 ± 0,002 | Cao et al., arXiv 2025 |
| PCC total a nivel de palabra frente a PCC total a nivel de enunciado, GOPT | 0,549 frente a 0,742 | Gong et al., GOPT, ICASSP 2022 |
| PCC total a nivel de palabra frente a PCC total a nivel de enunciado, modelo 3MH | 0,694 frente a 0,811 | Wang et al., estudio de pronunciación con GPT-4o, arXiv 2025 |
| Modelo HMamba a nivel de enunciado: PCC de precisión, fluidez y prosodia | 0,807, 0,848 y 0,843 | Sara y Chowdhury, arXiv 2026 |
| Correlación máquina-humano agrupada por generación tecnológica: aprendizaje automático tradicional, aprendizaje profundo, transformer | r = 0,597, r = 0,641, r = 0,680 | Wang y Min, Language Testing 2026 |
Nota sobre valores atípicos: el mismo modelo 3MH alcanza solo 0,361 en acento léxico y 0,374 en completitud del enunciado (Wang et al., arXiv 2025). Esas dos son las etiquetas más difíciles del benchmark.
5. Detección de Errores de Fonemas: Precisión, Exhaustividad y el Tercio Omitido
La puntuación pregunta cuán bueno fue un sonido. La detección de errores de pronunciación plantea una pregunta de sí o no para cada fonema e informa el F1, una puntuación única que equilibra la precisión (cuántas alertas fueron correctas) y la exhaustividad (cuántos errores reales se detectaron). El mejor resultado en L2-ARCTIC de nuestras fuentes es un F1 de 71,77%, de un preprint de 2026, 8,73 puntos por encima (71,77 - 63,04) de la mejor línea base de una comparación de 2025.
La división entre los dos tipos de error refleja una prioridad de diseño. La falsa aceptación significa que un sonido incorrecto pasa por correcto, y el falso rechazo significa que un sonido correcto es marcado. Las cifras son complementarias de la exhaustividad: 100 - 67,24 = 32,76, de modo que uno de cada tres errores reales no se marca. El artículo de 2025 califica el falso rechazo como la métrica más crítica porque corregir sin motivo a los estudiantes los frustra, y los resultados encajan con esa prioridad: el estudiante ve pocas falsas alarmas mientras muchos errores verdaderos quedan sin marcar.
| Métrica | Valor | Fuente |
|---|---|---|
| Benchmark L2-ARCTIC: total de hablantes frente a hablantes del conjunto de prueba | 24 frente a 6 | Tu et al., PER-MDD, arXiv 2025 |
| Mejora de F1 de un detector de extremo a extremo inicial sobre el método GOP frente a una línea base de extremo a extremo | 27,71% frente a 11,05% | Yan et al., Interspeech 2020 |
| F1 en L2-ARCTIC: mejor línea base previa (Joint-Align) frente a un sistema de recuperación que no necesita entrenamiento (PER-MDD) | 63,04% frente a 69,60% | Tu et al., PER-MDD, arXiv 2025 |
| L2-ARCTIC, sistema CROTTC-IF: F1, precisión y exhaustividad | 71,77%, 76,94% y 67,24% | Geng et al., CROTTC-IF, arXiv 2026 |
| L2-ARCTIC, sistema CROTTC-IF: falso rechazo frente a falsa aceptación | 3,39% frente a 32,76% | Geng et al., CROTTC-IF, arXiv 2026 |
| Tasa de error de fonos en L2-ARCTIC: CROTTC-IF frente a su modelo acústico solo frente a PER-MDD | 46,52 frente a 17,48 frente a 104,08 | Geng et al., CROTTC-IF, arXiv 2026 |
| F1 de detección en speechocean762: CROTTC-IF frente a HMamba frente a MuFFIN | 57,16% frente a 63,85% frente a 67,98% | Geng et al., arXiv 2026; Chao y Chen, HMamba, arXiv 2025 |
Nota sobre valores atípicos: las tasas de error de fonos superiores a 100 no son un error tipográfico. Los autores las atribuyen a fonos insertados, y muestran que un sistema puede detectar bien los errores y transcribir mal. Los resultados en árabe son similares: la tabla de clasificación Iqra’Eval2 del mismo artículo de 2026 tiene como máximo un F1 de 72,01%.
6. API Comerciales, Aplicaciones de Consumo y Chatbots
La distancia entre servicios es mayor que la distancia entre modelos de investigación. Una prueba de 2025 en speechocean762 situó a Azure Pronunciation Assessment en 0,782 a nivel de enunciado. La mejor configuración de GPT-4o alcanzó 0,502 y, a nivel de fonema, solo 0,249. Los modelos multimodales de propósito general pueden escuchar, pero con esta evidencia aún no pueden juzgar un solo sonido.
Las pruebas realizadas fuera de los laboratorios de los proveedores son menos favorables para las herramientas comerciales. El estudio de Won de 2025 sobre 190 grabaciones de lectura en voz alta de estudiantes coreanos de primaria halló correlaciones moderadas entre las puntuaciones de fonema de Azure y los juicios humanos, mientras que las tasas de error de palabras de los sistemas más precisos, cercanas a cero, se correlacionaron solo débilmente con las valoraciones humanas. Un reconocedor que entiende a todos deja de ser un buen indicador indirecto de la pronunciación. La fila de SmartSpeech de abajo aporta un segundo punto: una herramienta puede correlacionarse con fuerza con los humanos y aun así inflar la puntuación media en más de cinco puntos.
| Métrica | Valor | Fuente |
|---|---|---|
| Declaración del proveedor sobre la concordancia con jueces humanos | Correlación de Pearson superior a 0,5 | Microsoft, nota de transparencia de Pronunciation Assessment 2026 (afirmación del propio proveedor) |
| Azure Pronunciation Assessment en speechocean762: PCC de precisión de palabra frente a PCC total de enunciado | 0,623 frente a 0,782 | Wang et al., estudio de pronunciación con GPT-4o, arXiv 2025 |
| Mejor resultado de GPT-4o en speechocean762: PCC de fonema, total de palabra y total de enunciado | 0,249, 0,277 y 0,502 | Wang et al., estudio de pronunciación con GPT-4o, arXiv 2025 |
| Habla en árabe puntuada por clínicos, 40 muestras: PCC con la puntuación media de los clínicos, Harf-Speech frente a Azure | 0,791 frente a 0,635 | Azad et al., Harf-Speech, arXiv 2026 |
| La misma prueba en árabe: RMSE en una escala de 0 a 5, Harf-Speech frente a Azure | 1,05 frente a 1,28 | Azad et al., Harf-Speech, arXiv 2026 |
| Tres aplicaciones de expresión oral con IA frente al promedio de los evaluadores humanos, 30 estudiantes: AI Speaking Master, TalkAI Language Practice, SmartSpeech AI Assessment | r = 0,854, 0,873 y 0,869 | Chen y Sun, PLOS One 2025 |
| Puntuación media de SmartSpeech frente a puntuación media humana | 92,00 frente a 86,41, diferencia de 5,589 (IC del 95% de 5,023 a 6,155), d de Cohen = 3,688 | Chen y Sun, PLOS One 2025 |
| Evaluador de pronunciación de Duolingo: correlación de Spearman con las valoraciones de expertos humanos | 0,82 | Blog de Duolingo English Test sobre Cai et al. 2025 (resumen del propio proveedor) |
Nota de contexto: las cifras de Harf-Speech proceden de un preprint de los propios autores del sistema, así que conviene tomar con cautela su ventaja sobre Azure. Duolingo describe 0,82 como casi igual a la concordancia entre evaluadores humanos, pero la entrada del blog no publica la cifra humana.
7. Transferencia y Equidad: Qué Pasa Fuera del Benchmark
Gran parte de la evidencia de benchmark anterior proviene de un único corpus de estudiantes de habla mandarina, y no se traslada limpiamente. El mismo sistema que obtuvo 0,661 de precisión en speechocean762 cayó a 0,506 en L2-ARCTIC, un corpus con hablantes de varias lenguas maternas, y reentrenarlo con los datos nuevos solo lo llevó a 0,527. Adaptarse al grupo objetivo funciona mejor para la detección: un estudio de 2026 elevó el ROC-AUC de 0,72 a 0,85 mediante ajuste fino con los propios estudiantes. El ROC-AUC mide cuán bien un sistema separa lo correcto de lo incorrecto en todos los umbrales, donde 0,5 equivale al azar.
Los hallazgos sobre sesgo son sobre todo direccionales, ya que pocos artículos publican brechas por grupo. Aun así, el estudio de ETS sobre examinados con deficiencias del habla y el artículo de Duolingo en Language Learning hallaron problemas medibles, incluso en evaluadores creados por grandes organizaciones de exámenes. La capa de reconocimiento que hay debajo tiene sus propias brechas, tratadas en nuestras estadísticas de sesgo de acento, y los niños necesitan su propia evidencia, como muestran nuestras estadísticas de reconocimiento del habla infantil.
| Métrica | Valor | Fuente |
|---|---|---|
| PCC de precisión de un modelo de puntuación ajustado en speechocean762: probado en speechocean762 frente a probado en L2-ARCTIC | 0,661 frente a 0,506 | Sara y Chowdhury, arXiv 2026 |
| El mismo modelo en L2-ARCTIC tras reentrenar con datos de L2-ARCTIC | 0,527 | Sara y Chowdhury, arXiv 2026 |
| ROC-AUC de la detección de errores de pronunciación: modelo antes frente a después del ajuste fino con estudiantes no nativos | 0,72 frente a 0,85 | Nijat et al., Applied Sciences 2026 |
| F1 de detección en el corpus ERJ: sin datos de estudiantes (zero-shot) frente a ajuste fino | 78,44% frente a 89,27% | Geng et al., CROTTC-IF, arXiv 2026 |
| Habla infantil (CMU Kids), errores reales, AUC: GOP-DNN-Avg más antiguo frente a GOP-CTC-SF-SD sin segmentación | 0,796 frente a 0,914 | Cao et al., arXiv 2025 |
| GOP-CTC-SF-SD en habla infantil: errores simulados frente a errores reales, AUC | 0,986 frente a 0,914 | Cao et al., arXiv 2025 |
| Examinados con deficiencias del habla o de la audición, seis ítems de expresión oral de TOEFL iBT | Las puntuaciones de SpeechRater tendieron a ser más altas que las humanas | Loukina y Buzick, informe de investigación de ETS 2017 (datos más recientes disponibles) |
| Fuentes de sesgo informadas en un evaluador de pronunciación moderno | Calidad del audio y grupos de familias lingüísticas | Cai et al., Language Learning 2025 |
Nota de contexto: las etiquetas de puntuación de L2-ARCTIC de las dos primeras filas son pseudoetiquetas de Azure con revisión experta de 10 hablantes, así que esos PCC miden la concordancia con otra máquina tanto como con humanos. Microsoft aconseja por separado audio de 16 kHz o superior y un único hablante para su propio servicio.
Resumen: Precisión de la Evaluación de Pronunciación con IA en Cifras
| Métrica | Valor | Fuente |
|---|---|---|
| Correlación máquina-humano agrupada: pronunciación frente a todos los constructos de expresión oral | r = 0,606 frente a r = 0,654 | Wang y Min, Language Testing 2026 |
| Expresión oral de TOEFL Junior: humano frente a humano comparado con humano frente a máquina | r = 0,89 frente a r = 0,81 | ETS, informe de puntuación automática de TOEFL Junior 2015 |
| Tres logopedas: rango del PCC entre pares | 0,858 a 0,927 | Azad et al., Harf-Speech, arXiv 2026 |
| Tres profesores de inglés: el par más fuerte frente al par más débil | r = 0,901 frente a r = 0,583 | Chen y Sun, PLOS One 2025 |
| Versant English Test: correlación máquina-humano Global frente a Pronunciación | 0,97 frente a 0,88 | Pearson, resumen de validación de Versant 2022 (afirmación del propio proveedor) |
| Expresión oral de PTE Academic: correlación máquina-humano de Pronunciación, N = 158 | 0,81 | Pearson, presentación en MELTA 2018 (afirmación del propio proveedor) |
| PCC de la línea base a nivel de fono de speechocean762 | 0,45 | Zhang et al., artículo de speechocean762 2021 |
| PCC de GOPT a nivel de fono | 0,612 | Gong et al., GOPT, ICASSP 2022 |
| Mayor PCC a nivel de fono citado en speechocean762 | 0,693 | Chao et al., Interspeech 2023, citado en Cao et al., arXiv 2025 |
| PCC total de 3MH a nivel de enunciado | 0,811 | Wang et al., estudio de pronunciación con GPT-4o, arXiv 2025 |
| Mejor F1 de detección en L2-ARCTIC en nuestras fuentes | 71,77% | Geng et al., CROTTC-IF, arXiv 2026 |
| Falso rechazo frente a falsa aceptación en ese sistema | 3,39% frente a 32,76% | Geng et al., CROTTC-IF, arXiv 2026 |
| PCC a nivel de enunciado en speechocean762: Azure frente a la mejor configuración de GPT-4o | 0,782 frente a 0,502 | Wang et al., estudio de pronunciación con GPT-4o, arXiv 2025 |
| Prueba en árabe: PCC con la puntuación media de los clínicos, Harf-Speech frente a Azure | 0,791 frente a 0,635 | Azad et al., Harf-Speech, arXiv 2026 |
| Puntuación media de SmartSpeech frente a puntuación media humana | 92,00 frente a 86,41 | Chen y Sun, PLOS One 2025 |
| ROC-AUC antes frente a después del ajuste fino con los estudiantes objetivo | 0,72 frente a 0,85 | Nijat et al., Applied Sciences 2026 |
Metodología y Fuentes
Leímos cada estudio, informe o documento técnico directamente y conservamos la notación propia de cada fuente. Los preprints se identifican como arXiv y no necesariamente han pasado por revisión por pares.
- Wang y Min, The human-machine correlation in automated speech evaluation: A three-level meta-analysis, Language Testing, 2026.
- Zhang et al., speechocean762: An Open-Source Non-native English Speech Corpus For Pronunciation Assessment, 2021.
- Gong et al., Transformer-Based Multi-Aspect Multi-Granularity Non-Native English Speaker Pronunciation Assessment, ICASSP 2022.
- Chao et al., A Hierarchical Context-aware Modeling Approach for Multi-aspect and Multi-granular Pronunciation Assessment, Interspeech 2023.
- Cao et al., Segmentation-free Goodness of Pronunciation, arXiv 2025, revisado el 5 de febrero de 2026.
- Sara y Chowdhury, Light-weight Pronunciation Assessment via Discrete Speech Token Surprisal, arXiv 2026.
- Wang et al., Exploring the Potential of Large Multimodal Models as Effective Alternatives for Pronunciation Assessment, arXiv 2025.
- Chao y Chen, artículo de HMamba, arXiv 2025.
- Tu et al., Mispronunciation Detection and Diagnosis Without Model Training, arXiv 2025.
- Geng et al., Beyond Acoustic Sparsity and Linguistic Bias, arXiv 2026.
- Yan et al., An End-to-End Mispronunciation Detection System for L2 English Speech, Interspeech 2020.
- Azad et al., Harf-Speech: A Clinically Aligned Framework for Arabic Phoneme-Level Speech Assessment, arXiv 2026.
- Chen y Sun, Evaluating automated evaluation systems for spoken English proficiency, PLOS One, 2025.
- Won, Assessing the efficacy of word error rate as a proxy for pronunciation quality, Journal of Second Language Pronunciation, 2025.
- Nijat et al., Beyond Native Norms: A Perceptually Grounded and Fair Framework for Automatic Speech Assessment, Applied Sciences, 2026.
- Cai et al., Developing an Automatic Pronunciation Scorer, Language Learning, 2025, con el resumen del blog de Duolingo English Test.
- Pearson, Versant English Test Description and Validation Summary, 2022.
- Pearson, informe de validación de Versant English Speaking and Listening Test, 2024.
- Pearson, presentación sobre puntuación automática en MELTA, 2018.
- ETS, Automated Scoring for the TOEFL Junior Comprehensive Writing and Speaking Test, 2015.
- Loukina y Buzick, Use of Automated Scoring in Spoken Language Assessments for Test Takers With Speech Impairments, informe de investigación de ETS, 2017.
- Chen et al., Automated Scoring of Nonnative Speech Using the SpeechRater v. 5.0 Engine, informe de investigación de ETS, 2018.
- Microsoft, Characteristics and limitations of Pronunciation Assessment, 2026.
- Dalman y Kang, Listener Background in L2 Speech Evaluation, IntechOpen, 2019.
- Nota sobre los datos: datos más recientes disponibles: ETS 2015 y 2017, Pearson 2018 y 2022, y Dalman y Kang 2019, porque no encontramos equivalentes públicos más nuevos, y ETS no publica cifras operativas de concordancia de TOEFL iBT en los documentos que pudimos leer. Los benchmarks no son directamente comparables entre artículos, porque los datos de entrenamiento, las particiones y las pseudoetiquetas difieren, y el récord de 0,693 es lo que Cao et al. afirman hasta donde saben: pudimos leer el resumen de HMamba pero no su tabla a nivel de fono, así que puede existir una cifra más reciente a nivel de fono. CROTTC-IF no es el mejor detector en speechocean762, donde el 67,98% de MuFFIN lidera la misma tabla. Las cifras de los proveedores proceden de las muestras de validación de los propios proveedores. No encontramos un kappa de Cohen utilizable para la pronunciación en las fuentes que leímos, que privilegian el PCC y el ICC, y las cifras de Wang y Min y de Loukina y Buzick proceden de los resúmenes publicados. La muestra de Chen y Sun es de 30 estudiantes y Harf-Speech usa 40 muestras, así que ambas son pequeñas.
Última actualización: 31 de octubre de 2026. Actualizamos este informe trimestralmente, y la próxima revisión se espera cuando el ISCA Archive publique las próximas actas de Interspeech.