Em 67 estudos e 392 tamanhos de efeito, as notas das máquinas se correlacionam com os julgamentos humanos de pronúncia em r = 0,606, abaixo dos valores agrupados de fluência ou elocução (Wang e Min, Language Testing 2026). Os números dos benchmarks contam uma história parecida em escala mais fina: a melhor correlação de Pearson (PCC) em nível de fonema citada no corpus speechocean762 é 0,693, e um dos principais detectores de erros de 2026 ainda deixa passar cerca de um erro de pronúncia real em cada três. Os fornecedores de exames divulgam valores bem mais altos para testes inteiros, até 0,97, embora suas próprias subnotas de pronúncia fiquem bem abaixo disso. Esses números medem concordância, não vendas, e é por isso que este levantamento fica separado de nossas estatísticas de aprendizado de idiomas, mais amplas. Reunimos dados do Language Testing, do corpus speechocean762, de relatórios de pesquisa da ETS, de relatórios de validação da Pearson, do PLOS One, do Language Learning e de mais uma dúzia de artigos e documentos técnicos.
TL;DR
- Correlação máquina-humano agrupada para pronúncia: r = 0,606, contra r = 0,654 em todos os construtos de fala (Wang e Min, Language Testing 2026).
- Maior PCC em nível de fone citado no speechocean762: 0,693, acima da linha de base de 0,45 do corpus (Cao et al., arXiv 2025; Zhang et al., 2021).
- Subnota de Pronúncia do Versant English Test: correlação máquina-humano de 0,88, a mais baixa entre suas subnotas (Pearson, resumo de validação do Versant 2022).
- Humano vs humano na fala do TOEFL Junior: r = 0,89, contra r = 0,81 de humano vs máquina (ETS, relatório de pontuação automatizada do TOEFL Junior 2015).
- Dois professores em um estudo de sala de aula concordaram em apenas r = 0,583, enquanto outro par chegou a r = 0,901 (Chen e Sun, PLOS One 2025).
- Melhor F1 de detecção de erros de pronúncia no L2-ARCTIC relatado em nossas fontes: 71,77% (Geng et al., arXiv 2026).
- Falsa aceitação de erros de pronúncia reais nesse sistema: 32,76%, contra 3,39% de falsa rejeição de sons corretos (Geng et al., arXiv 2026).
- Melhor resultado do GPT-4o no speechocean762: 0,502 em nível de enunciado, contra 0,782 do Azure Pronunciation Assessment (Wang et al., arXiv 2025).
- Um aplicativo de consumo se correlacionou com os professores em r = 0,869, mas deu em média 92,00 contra 86,41 dos humanos (Chen e Sun, PLOS One 2025).
- Levar um detector de um modelo geral para um grupo-alvo de aprendizes elevou o ROC-AUC de 0,72 para 0,85 (Nijat et al., Applied Sciences 2026).
1. A Linha de Base: O Que 67 Estudos Dizem sobre a Concordância Entre Máquina e Humano
O r de Pearson vai de -1 a 1 e mede se dois conjuntos de notas sobem e descem juntos. O valor agrupado de pronúncia, de r = 0,606, é forte nessa escala, mas elevá-lo ao quadrado mostra o limite: 0,606 x 0,606 = 0,367, ou seja, cerca de 37% da variação nas notas humanas é compartilhada com a máquina.
A ordem entre os construtos é a surpresa. A elocução (na avaliação de fala, como a fala soa de modo geral, e não o que ela diz) supera a pronúncia por ampla margem, de modo que os sistemas se saem melhor na impressão geral do que no construto específico que este levantamento acompanha. Gramática e vocabulário ficam atrás de todos os demais. A metanálise do Language Testing também constatou que a acurácia do ASR não foi um moderador significativo, o que enfraquece a suposição comum de que um reconhecedor de fala melhor significa automaticamente um avaliador melhor.
| Métrica | Valor | Fonte |
|---|---|---|
| Tamanho da metanálise e correlação máquina-humano geral agrupada | 67 estudos, 392 tamanhos de efeito, r = 0,654 (p < 0,001) | Wang e Min, Language Testing 2026 |
| Correlação agrupada para elocução vs correlação agrupada para pronúncia | r = 0,784 vs r = 0,606 | Wang e Min, Language Testing 2026 |
| Correlação agrupada para proficiência oral geral vs correlação agrupada para fluência | r = 0,686 vs r = 0,618 | Wang e Min, Language Testing 2026 |
| Correlação agrupada para conteúdo vs correlação agrupada para gramática e vocabulário | r = 0,574 vs r = 0,499 | Wang e Min, Language Testing 2026 |
| Variáveis moderadoras com efeito significativo vs sem efeito significativo | 10 significativas (incluindo faixa etária, expertise do avaliador e confiabilidade entre avaliadores) vs 4 não significativas (incluindo a acurácia do ASR) | Wang e Min, Language Testing 2026 |
| Faixa de correlação de Pearson que um fornecedor classifica como concordância “Alta” com avaliadores humanos | 0,5 a 1,0 | Microsoft, nota de transparência do Pronunciation Assessment 2026 (diretriz do próprio fornecedor) |
Nota de contexto: na escala da própria Microsoft, até o construto mais fraco da metanálise quase chega a “Alta”. Rótulos assim dizem pouco sobre se uma nota é confiável para um aprendiz específico. Usada como nota de corte, a diretriz da Microsoft aprovaria quase todos os valores agrupados da tabela acima.
2. O Teto Humano: Quanto os Avaliadores Concordam Entre Si
Uma máquina não pode ser medida contra um padrão perfeito, porque a referência humana também tem ruído. Pares de professores treinados em um estudo de 2025 ficaram entre r = 0,901 e r = 0,583, e esse valor mais baixo está abaixo da correlação agrupada de pronúncia das máquinas na seção 1. A amostra tinha apenas 30 alunos e a tarefa era proficiência oral geral, então ela ilustra a dispersão, mas não prova que as máquinas superam os professores.
Os clínicos do estudo em árabe abaixo concordaram muito mais entre si do que os professores, embora em outro idioma e em outra tarefa, e tirar a média ajuda: o estudo do PLOS One passa de 0,713 para um único avaliador a 0,882 para a média de três. O ICC, o coeficiente de correlação intraclasse, é uma régua diferente do r de Pearson: em sua forma de concordância absoluta, ele também penaliza os avaliadores por serem, no geral, mais rigorosos ou mais lenientes. A comparação mais útil é o estudo do ETS sobre o TOEFL Junior, que relata os dois números nos mesmos dados. A diferença entre eles é a medida honesta do que a automação ainda não alcança. O mesmo problema de julgamento do ouvinte atravessa as notas de qualidade de fala sintética.
| Métrica | Valor | Fonte |
|---|---|---|
| Fala do TOEFL Junior em nível de formulário, cinco respostas: correlação humano vs humano comparada à correlação humano vs máquina | r = 0,89 vs r = 0,81 | ETS, relatório de pontuação automatizada do TOEFL Junior 2015 (dados mais recentes disponíveis) |
| Três fonoaudiólogos avaliando a pronúncia em árabe: faixa do PCC entre pares | 0,858 a 0,927 | Azad et al., Harf-Speech, arXiv 2026 |
| Os mesmos três clínicos: faixa do ICC(2,1) entre pares | 0,846 a 0,922 | Azad et al., Harf-Speech, arXiv 2026 |
| Três professores de inglês avaliando proficiência oral: concordância de um único avaliador, ICC(2,1) | 0,713 (IC de 95% 0,539 a 0,835) | Chen e Sun, PLOS One 2025 |
| Os mesmos três professores: concordância da nota média, ICC(2,k) | 0,882 (IC de 95% 0,778 a 0,938) | Chen e Sun, PLOS One 2025 |
| Os mesmos três professores: par mais forte vs par mais fraco | r = 0,901 vs r = 0,583 | Chen e Sun, PLOS One 2025 |
| Redução da influência de variáveis do ouvinte irrelevantes para o traço após o treinamento de avaliadores: avaliações holísticas de proficiência oral vs avaliações de compreensibilidade | 75% vs 50% | Dalman e Kang, IntechOpen 2019, resumindo Kang et al. 2019 (dados mais recentes disponíveis) |
| Estatística de concordância publicada para os cinco anotadores especialistas do speechocean762 | Nenhuma informada | Zhang et al., artigo do speechocean762 2021 |
Nota sobre valores atípicos: a última linha importa mais do que parece. O principal benchmark público da área não publica correlação nem kappa entre anotadores, então ninguém que leia o artigo consegue dizer o quão perto 0,693 está do teto humano.
3. Exames de Alto Risco: Números dos Fornecedores e a Lacuna de Pronúncia Dentro Deles
Os valores de testes inteiros parecem quase perfeitos, e a pronúncia é onde deixam de parecer. Nos dados do próprio Versant da Pearson, a Pronúncia é a subnota mais fraca, com 0,88, enquanto a nota Geral chega a 0,97. A queda é consistente nos documentos da Pearson: 0,81 em uma apresentação do PTE Academic e 0,85 para Modo de Falar, a categoria do Versant que contém a pronúncia.
Esses valores estão muito acima do r = 0,606 agrupado da seção 1. Parte da diferença é amostral: as notas de um exame agregam muitos itens, e as amostras de validação costumam abranger uma ampla faixa de habilidade (o relatório do Versant Speaking and Listening inclui 26 falantes de inglês como L1 entre seus 260 adultos), e faixas amplas elevam as correlações. A metanálise também lista o desenvolvedor do sistema e a unidade amostral entre seus moderadores significativos. Leia os números dos fornecedores como limites superiores obtidos em condições favoráveis. Para saber o peso desses exames, veja nossas estatísticas de volume de exames de inglês.
| Métrica | Valor | Fonte |
|---|---|---|
| Versant English Test, correlação máquina vs humano por nota, n = 143 | Geral 0,97, Domínio de Frases 0,97, Vocabulário 0,96, Fluência 0,94, Pronúncia 0,88 | Pearson, resumo de validação do Versant 2022 (afirmação do próprio fornecedor, dados mais recentes disponíveis) |
| Confiabilidade por metades da nota de Pronúncia do Versant English Test: pontuação por máquina vs pontuação humana, n = 143 | 0,97 vs 0,99 | Pearson, resumo de validação do Versant 2022 (afirmação do próprio fornecedor) |
| Notas do Versant correlacionadas com exames externos, n = 130 cada: fala do TOEFL iBT vs fala do IELTS | 0,75 vs 0,76 | Pearson, resumo de validação do Versant 2022 (afirmação do próprio fornecedor) |
| Versant English Speaking and Listening Test, correlação máquina vs humano, n = 260 | Geral 0,96, Fala 0,88, Modo de Falar 0,85 | Pearson, relatório de validação do Versant Speaking and Listening 2024 (afirmação do próprio fornecedor) |
| Fala do PTE Academic, correlação máquina vs humano por traço, N = 158 | Pronúncia 0,81, Fluência 0,82, Geral 0,96 | Pearson, apresentação sobre pontuação automatizada na MELTA 2018 (afirmação do próprio fornecedor, dados mais recentes disponíveis) |
| Cronologia do SpeechRater da ETS: ano em que o serviço foi implantado pela primeira vez vs ano em que a versão 5.0 entrou em operação | 2006 vs 2016 | Chen et al., relatório de pesquisa da ETS 2018 |
Nota de contexto: a confiabilidade por metades mostra o quanto um avaliador automático é consistente consigo mesmo entre duas metades de um exame. Uma máquina pode chegar a 0,97 nessa medida e ainda assim discordar dos humanos, que é exatamente o padrão nas linhas de Pronúncia do Versant.
4. O Benchmark speechocean762: Progresso por Granularidade
O speechocean762 reúne 5.000 enunciados em inglês de 250 falantes não nativos, metade deles crianças, cada um avaliado por cinco especialistas. Suas notas existem em três níveis: fone (um único som de fala, não um telefone), palavra e enunciado. As métricas são o PCC, em que mais alto é melhor, e o MSE (erro quadrático médio), em que mais baixo é melhor. O GOP, ou Goodness of Pronunciation, é a pontuação estatística clássica que os modelos mais novos tentam superar.
O PCC em nível de fone subiu de 0,45 para 0,693 entre a linha de base de 2021 e um modelo de 2023, e um artigo revisado em 5 de fevereiro de 2026 ainda cita 0,693 como o maior valor conhecido. A concordância cai à medida que a unidade diminui: as notas de enunciado chegam à casa dos 0,80, enquanto as de fone e de palavra ficam na casa dos 0,60. A média ao longo de uma frase esconde erros, então a nota geral de um aprendiz pode ser confiável enquanto o feedback sobre um único som não é. O artigo do corpus também observa que a maioria das notas de fone, mapeadas para uma escala de 0 a 10, fica entre 8 e 10, de modo que os sons corretos dominam os dados.
| Métrica | Valor | Fonte |
|---|---|---|
| Linha de base original em nível de fone: valor bruto do GOP vs atributos baseados em GOP | MSE 0,69 e PCC 0,25 vs MSE 0,16 e PCC 0,45 | Zhang et al., artigo do speechocean762 2021 |
| Modelo transformer GOPT, nível de fone | MSE 0,085 ± 0,001, PCC 0,612 ± 0,003 | Gong et al., GOPT, ICASSP 2022 |
| Maior PCC em nível de fone citado para o speechocean762 | 0,693 | Chao et al., Interspeech 2023, citado em Cao et al., arXiv 2025 |
| Atributos de GOP sem segmentação alimentando o GOPT, nível de fone | PCC 0,648 ± 0,002 | Cao et al., arXiv 2025 |
| PCC total em nível de palavra vs PCC total em nível de enunciado, GOPT | 0,549 vs 0,742 | Gong et al., GOPT, ICASSP 2022 |
| PCC total em nível de palavra vs PCC total em nível de enunciado, modelo 3MH | 0,694 vs 0,811 | Wang et al., estudo de pronúncia com GPT-4o, arXiv 2025 |
| Modelo HMamba em nível de enunciado: PCC de acurácia, fluência e prosódia | 0,807, 0,848 e 0,843 | Sara e Chowdhury, arXiv 2026 |
| Correlação máquina-humano agrupada por geração de tecnologia: aprendizado de máquina tradicional, aprendizado profundo, transformer | r = 0,597, r = 0,641, r = 0,680 | Wang e Min, Language Testing 2026 |
Nota sobre valores atípicos: o mesmo modelo 3MH chega a apenas 0,361 para acento de palavra e 0,374 para completude do enunciado (Wang et al., arXiv 2025). Esses dois são os rótulos mais difíceis do benchmark.
5. Detecção de Erros de Fonemas: Precisão, Revocação e o Terço Não Detectado
A pontuação pergunta quão bom foi um som. A detecção de erros de pronúncia faz uma pergunta de sim ou não para cada fonema e informa o F1, uma nota única que equilibra a precisão (quantos alertas estavam certos) e a revocação (quantos erros reais foram capturados). O melhor resultado no L2-ARCTIC em nossas fontes é um F1 de 71,77%, de um preprint de 2026, 8,73 pontos acima (71,77 - 63,04) da melhor linha de base de uma comparação de 2025.
A divisão entre os dois tipos de erro reflete uma prioridade de projeto. A falsa aceitação significa que um som errado passa por correto, e a falsa rejeição significa que um som correto é sinalizado. Os números são complementares à revocação: 100 - 67,24 = 32,76, então um erro real em cada três não é sinalizado. O artigo de 2025 chama a falsa rejeição de métrica mais crítica, porque corrigir aprendizes sem necessidade os frustra, e os resultados se encaixam nessa prioridade: o aprendiz vê poucos falsos alarmes enquanto muitos erros verdadeiros passam sem ser sinalizados.
| Métrica | Valor | Fonte |
|---|---|---|
| Benchmark L2-ARCTIC: total de falantes vs falantes no conjunto de teste | 24 vs 6 | Tu et al., PER-MDD, arXiv 2025 |
| Ganho de F1 de um detector de ponta a ponta inicial sobre o método GOP vs sobre uma linha de base de ponta a ponta | 27,71% vs 11,05% | Yan et al., Interspeech 2020 |
| F1 no L2-ARCTIC: melhor linha de base anterior (Joint-Align) vs sistema de recuperação que não exige treinamento (PER-MDD) | 63,04% vs 69,60% | Tu et al., PER-MDD, arXiv 2025 |
| L2-ARCTIC, sistema CROTTC-IF: F1, precisão e revocação | 71,77%, 76,94% e 67,24% | Geng et al., CROTTC-IF, arXiv 2026 |
| L2-ARCTIC, sistema CROTTC-IF: falsa rejeição vs falsa aceitação | 3,39% vs 32,76% | Geng et al., CROTTC-IF, arXiv 2026 |
| Taxa de erro de fone no L2-ARCTIC: CROTTC-IF vs seu modelo acústico isolado vs PER-MDD | 46,52 vs 17,48 vs 104,08 | Geng et al., CROTTC-IF, arXiv 2026 |
| F1 de detecção no speechocean762: CROTTC-IF vs HMamba vs MuFFIN | 57,16% vs 63,85% vs 67,98% | Geng et al., arXiv 2026; Chao e Chen, HMamba, arXiv 2025 |
Nota sobre valores atípicos: taxas de erro de fone acima de 100 não são um erro de digitação. Os autores as atribuem a fones inseridos, e elas mostram que um sistema pode detectar bem os erros e transcrever mal. Os resultados em árabe são parecidos: o ranking Iqra’Eval2 do mesmo artigo de 2026 tem como máximo um F1 de 72,01%.
6. APIs Comerciais, Aplicativos de Consumo e Chatbots
A distância entre serviços é maior do que a distância entre modelos de pesquisa. Um teste de 2025 no speechocean762 colocou o Azure Pronunciation Assessment em 0,782 em nível de enunciado. A melhor configuração do GPT-4o chegou a 0,502 e, em nível de fonema, a apenas 0,249. Modelos multimodais de uso geral conseguem ouvir, mas, por essa evidência, ainda não conseguem julgar um único som.
Testes fora dos laboratórios dos fornecedores são menos lisonjeiros com as ferramentas comerciais. O estudo de Won de 2025 com 190 gravações de leitura em voz alta de aprendizes coreanos do ensino fundamental encontrou correlações moderadas entre as notas de fonema do Azure e os julgamentos humanos, enquanto as taxas de erro de palavras dos sistemas mais precisos, próximas de zero, se correlacionaram apenas fracamente com as avaliações humanas. Um reconhecedor que entende todo mundo deixa de ser um bom indicador indireto de pronúncia. A linha do SmartSpeech abaixo traz um segundo ponto: uma ferramenta pode se correlacionar fortemente com os humanos e ainda assim inflar a nota média em mais de cinco pontos.
| Métrica | Valor | Fonte |
|---|---|---|
| Declaração do fornecedor sobre a concordância com avaliadores humanos | Correlação de Pearson acima de 0,5 | Microsoft, nota de transparência do Pronunciation Assessment 2026 (afirmação do próprio fornecedor) |
| Azure Pronunciation Assessment no speechocean762: PCC de acurácia de palavra vs PCC total de enunciado | 0,623 vs 0,782 | Wang et al., estudo de pronúncia com GPT-4o, arXiv 2025 |
| Melhor resultado do GPT-4o no speechocean762: PCC de fonema, total de palavra e total de enunciado | 0,249, 0,277 e 0,502 | Wang et al., estudo de pronúncia com GPT-4o, arXiv 2025 |
| Fala em árabe avaliada por clínicos, 40 amostras: PCC com a nota média dos clínicos, Harf-Speech vs Azure | 0,791 vs 0,635 | Azad et al., Harf-Speech, arXiv 2026 |
| Mesmo teste em árabe: RMSE em escala de 0 a 5, Harf-Speech vs Azure | 1,05 vs 1,28 | Azad et al., Harf-Speech, arXiv 2026 |
| Três aplicativos de fala com IA vs a média dos avaliadores humanos, 30 alunos: AI Speaking Master, TalkAI Language Practice, SmartSpeech AI Assessment | r = 0,854, 0,873 e 0,869 | Chen e Sun, PLOS One 2025 |
| Nota média do SmartSpeech vs nota média humana | 92,00 vs 86,41, diferença de 5,589 (IC de 95% 5,023 a 6,155), d de Cohen = 3,688 | Chen e Sun, PLOS One 2025 |
| Avaliador de pronúncia do Duolingo: correlação de Spearman com avaliações humanas de especialistas | 0,82 | Blog do Duolingo English Test sobre Cai et al. 2025 (resumo do próprio fornecedor) |
Nota de contexto: os valores do Harf-Speech vêm de um preprint dos próprios autores do sistema, então trate com cautela a vitória dele sobre o Azure. O Duolingo descreve 0,82 como quase igual à concordância entre avaliadores humanos, mas a publicação do blog não traz o valor humano.
7. Transferência e Justiça: O Que Acontece Fora do Benchmark
Boa parte da evidência de benchmark acima vem de um único corpus de aprendizes falantes de mandarim, e ela não se transfere de forma limpa. O mesmo sistema que obteve 0,661 em acurácia no speechocean762 caiu para 0,506 no L2-ARCTIC, um corpus com falantes de várias línguas nativas, e o retreinamento com os novos dados o levou apenas a 0,527. Adaptar-se ao grupo-alvo funciona melhor para a detecção: um estudo de 2026 elevou o ROC-AUC de 0,72 para 0,85 com ajuste fino nos próprios aprendizes. O ROC-AUC mede o quanto um sistema separa o certo do errado em todos os limiares, sendo 0,5 o acaso.
Os achados sobre viés são em sua maioria direcionais, já que poucos artigos publicam diferenças por grupo. Ainda assim, o estudo da ETS sobre candidatos com deficiências de fala e o artigo do Duolingo no Language Learning encontraram problemas mensuráveis, inclusive em avaliadores criados por grandes organizações de exames. A camada de reconhecimento por baixo tem suas próprias lacunas, tratadas em nossas estatísticas de viés de sotaque, e as crianças precisam de evidência própria, como mostram nossas estatísticas de reconhecimento de fala infantil.
| Métrica | Valor | Fonte |
|---|---|---|
| PCC de acurácia de um modelo de pontuação ajustado no speechocean762: testado no speechocean762 vs testado no L2-ARCTIC | 0,661 vs 0,506 | Sara e Chowdhury, arXiv 2026 |
| Mesmo modelo no L2-ARCTIC após retreinamento com dados do L2-ARCTIC | 0,527 | Sara e Chowdhury, arXiv 2026 |
| ROC-AUC da detecção de erros de pronúncia: modelo antes vs depois do ajuste fino com aprendizes não nativos | 0,72 vs 0,85 | Nijat et al., Applied Sciences 2026 |
| F1 de detecção no corpus ERJ: sem dados de aprendizes (zero-shot) vs com ajuste fino | 78,44% vs 89,27% | Geng et al., CROTTC-IF, arXiv 2026 |
| Fala infantil (CMU Kids), erros reais, AUC: GOP-DNN-Avg mais antigo vs GOP-CTC-SF-SD sem segmentação | 0,796 vs 0,914 | Cao et al., arXiv 2025 |
| GOP-CTC-SF-SD em fala infantil: erros simulados vs erros reais, AUC | 0,986 vs 0,914 | Cao et al., arXiv 2025 |
| Candidatos com deficiências de fala ou audição, seis itens de fala do TOEFL iBT | As notas do SpeechRater tenderam a ser mais altas do que as notas humanas | Loukina e Buzick, relatório de pesquisa da ETS 2017 (dados mais recentes disponíveis) |
| Fontes de viés relatadas em um avaliador de pronúncia moderno | Qualidade do áudio e grupos de famílias linguísticas | Cai et al., Language Learning 2025 |
Nota de contexto: os rótulos de pontuação do L2-ARCTIC nas duas primeiras linhas são pseudorrótulos do Azure com revisão de especialistas de 10 falantes, então esses PCC medem a concordância com outra máquina tanto quanto com humanos. A Microsoft recomenda separadamente áudio de 16 kHz ou superior e um único falante para o seu próprio serviço.
Resumo: Precisão da Avaliação de Pronúncia por IA em Números
| Métrica | Valor | Fonte |
|---|---|---|
| Correlação máquina-humano agrupada: pronúncia vs todos os construtos de fala | r = 0,606 vs r = 0,654 | Wang e Min, Language Testing 2026 |
| Fala do TOEFL Junior: humano vs humano comparado a humano vs máquina | r = 0,89 vs r = 0,81 | ETS, relatório de pontuação automatizada do TOEFL Junior 2015 |
| Três fonoaudiólogos: faixa do PCC entre pares | 0,858 a 0,927 | Azad et al., Harf-Speech, arXiv 2026 |
| Três professores de inglês: par mais forte vs par mais fraco | r = 0,901 vs r = 0,583 | Chen e Sun, PLOS One 2025 |
| Versant English Test: correlação máquina-humano Geral vs Pronúncia | 0,97 vs 0,88 | Pearson, resumo de validação do Versant 2022 (afirmação do próprio fornecedor) |
| Fala do PTE Academic: correlação máquina-humano de Pronúncia, N = 158 | 0,81 | Pearson, apresentação na MELTA 2018 (afirmação do próprio fornecedor) |
| PCC da linha de base em nível de fone do speechocean762 | 0,45 | Zhang et al., artigo do speechocean762 2021 |
| PCC do GOPT em nível de fone | 0,612 | Gong et al., GOPT, ICASSP 2022 |
| Maior PCC em nível de fone citado no speechocean762 | 0,693 | Chao et al., Interspeech 2023, citado em Cao et al., arXiv 2025 |
| PCC total do 3MH em nível de enunciado | 0,811 | Wang et al., estudo de pronúncia com GPT-4o, arXiv 2025 |
| Melhor F1 de detecção no L2-ARCTIC em nossas fontes | 71,77% | Geng et al., CROTTC-IF, arXiv 2026 |
| Falsa rejeição vs falsa aceitação nesse sistema | 3,39% vs 32,76% | Geng et al., CROTTC-IF, arXiv 2026 |
| PCC em nível de enunciado no speechocean762: Azure vs melhor configuração do GPT-4o | 0,782 vs 0,502 | Wang et al., estudo de pronúncia com GPT-4o, arXiv 2025 |
| Teste em árabe: PCC com a nota média dos clínicos, Harf-Speech vs Azure | 0,791 vs 0,635 | Azad et al., Harf-Speech, arXiv 2026 |
| Nota média do SmartSpeech vs nota média humana | 92,00 vs 86,41 | Chen e Sun, PLOS One 2025 |
| ROC-AUC antes vs depois do ajuste fino com os aprendizes-alvo | 0,72 vs 0,85 | Nijat et al., Applied Sciences 2026 |
Metodologia e Fontes
Lemos cada estudo, relatório ou documento técnico diretamente e mantivemos a notação própria de cada fonte. Os preprints são identificados como arXiv e não necessariamente passaram por revisão por pares.
- Wang e Min, The human-machine correlation in automated speech evaluation: A three-level meta-analysis, Language Testing, 2026.
- Zhang et al., speechocean762: An Open-Source Non-native English Speech Corpus For Pronunciation Assessment, 2021.
- Gong et al., Transformer-Based Multi-Aspect Multi-Granularity Non-Native English Speaker Pronunciation Assessment, ICASSP 2022.
- Chao et al., A Hierarchical Context-aware Modeling Approach for Multi-aspect and Multi-granular Pronunciation Assessment, Interspeech 2023.
- Cao et al., Segmentation-free Goodness of Pronunciation, arXiv 2025, revisado em 5 de fevereiro de 2026.
- Sara e Chowdhury, Light-weight Pronunciation Assessment via Discrete Speech Token Surprisal, arXiv 2026.
- Wang et al., Exploring the Potential of Large Multimodal Models as Effective Alternatives for Pronunciation Assessment, arXiv 2025.
- Chao e Chen, artigo do HMamba, arXiv 2025.
- Tu et al., Mispronunciation Detection and Diagnosis Without Model Training, arXiv 2025.
- Geng et al., Beyond Acoustic Sparsity and Linguistic Bias, arXiv 2026.
- Yan et al., An End-to-End Mispronunciation Detection System for L2 English Speech, Interspeech 2020.
- Azad et al., Harf-Speech: A Clinically Aligned Framework for Arabic Phoneme-Level Speech Assessment, arXiv 2026.
- Chen e Sun, Evaluating automated evaluation systems for spoken English proficiency, PLOS One, 2025.
- Won, Assessing the efficacy of word error rate as a proxy for pronunciation quality, Journal of Second Language Pronunciation, 2025.
- Nijat et al., Beyond Native Norms: A Perceptually Grounded and Fair Framework for Automatic Speech Assessment, Applied Sciences, 2026.
- Cai et al., Developing an Automatic Pronunciation Scorer, Language Learning, 2025, com o resumo no blog do Duolingo English Test.
- Pearson, Versant English Test Description and Validation Summary, 2022.
- Pearson, relatório de validação do Versant English Speaking and Listening Test, 2024.
- Pearson, apresentação sobre pontuação automatizada na MELTA, 2018.
- ETS, Automated Scoring for the TOEFL Junior Comprehensive Writing and Speaking Test, 2015.
- Loukina e Buzick, Use of Automated Scoring in Spoken Language Assessments for Test Takers With Speech Impairments, relatório de pesquisa da ETS, 2017.
- Chen et al., Automated Scoring of Nonnative Speech Using the SpeechRater v. 5.0 Engine, relatório de pesquisa da ETS, 2018.
- Microsoft, Characteristics and limitations of Pronunciation Assessment, 2026.
- Dalman e Kang, Listener Background in L2 Speech Evaluation, IntechOpen, 2019.
- Nota sobre os dados: dados mais recentes disponíveis: ETS 2015 e 2017, Pearson 2018 e 2022, e Dalman e Kang 2019, pois não encontramos equivalentes públicos mais novos, e a ETS não publica números operacionais de concordância do TOEFL iBT nos documentos que pudemos ler. Os benchmarks não são diretamente comparáveis entre artigos, porque os dados de treinamento, as divisões e os pseudorrótulos diferem, e o recorde de 0,693 é o que Cao et al. afirmam até onde sabem: pudemos ler o resumo do HMamba, mas não sua tabela em nível de fone, então pode existir um valor mais novo em nível de fone. O CROTTC-IF não é o melhor detector no speechocean762, onde os 67,98% do MuFFIN lideram a mesma tabela. Os números dos fornecedores vêm das amostras de validação dos próprios fornecedores. Não encontramos um kappa de Cohen utilizável para pronúncia nas fontes que lemos, que privilegiam o PCC e o ICC, e os valores de Wang e Min e de Loukina e Buzick vêm dos resumos publicados. A amostra de Chen e Sun é de 30 alunos e o Harf-Speech usa 40 amostras, então ambas são pequenas.
Última atualização: 31 de outubro de 2026. Atualizamos este levantamento trimestralmente, e a próxima revisão é esperada quando o ISCA Archive publicar os próximos anais do Interspeech.