Cinco sistemas comerciais de reconhecimento de fala tiveram taxa de erro de palavras (WER) média de 0,35 para falantes negros contra 0,19 para falantes brancos (Stanford, Koenecke et al., PNAS 2020), e um estudo publicado em 2026 ainda encontrou WER médio de 20% contra 15% em quatro sistemas comerciais (Universidade de Washington, Scott et al., LREC 2026). Os benchmarks escondem essa diferença: o Whisper large registra 2,7% no LibriSpeech test-clean e 19,7% em um corpus de sotaques internacionais do inglês (Universidade de Edimburgo, artigo do EdAcc 2023). Para falantes com disartria relacionada à doença de Parkinson, um reconhecedor que erra 3,4% na fala típica erra 36,3% (Speech Accessibility Project, JSLHR 2024). Reunimos dados da PNAS, do artigo do OpenAI Whisper, do conjunto Fair-Speech da Meta, do Speech Accessibility Project, do Mozilla Common Voice e de mais de uma dúzia de outras fontes revisadas por pares, mantendo a notação de cada fonte (algumas informam o WER como fração, como 0,35, a maioria como porcentagem, como 19,7%). A mesma métrica está por trás das regras de precisão de legendas ao vivo, e por isso alguns pontos de WER importam muito além do laboratório.
TL;DR
- Cinco sistemas ASR comerciais tiveram WER médio de 0,35 para falantes negros contra 0,19 para falantes brancos, e 23% contra 1,6% dos trechos ficaram inutilizáveis com WER acima de 0,5 (Stanford, Koenecke et al., PNAS 2020).
- Quatro sistemas comerciais tiveram WER médio de 20% para falantes afro-americanos contra 15% para falantes americanos caucasianos, um aumento relativo de 33% (Universidade de Washington, Scott et al., LREC 2026).
- O Whisper large registra 2,7% de WER no LibriSpeech test-clean e 19,7% no conjunto de teste de inglês com sotaque EdAcc (Universidade de Edimburgo, artigo do EdAcc 2023).
- O Whisper-large-v2 teve 9,52 para falantes negros ou afro-americanos contra 3,96 para falantes brancos em comandos de voz (Meta, Fair-Speech Dataset 2024).
- Um reconhecedor de holandês chegou a 55,9% de WER em fala lida de não nativos contra 26,1% para nativos (TU Delft, Feng et al., Quantifying Bias in ASR 2021).
- A fala disártrica levou um WER de base de 3,4% a 36,3%, e o ajuste fino o reduziu para 23,7% (Speech Accessibility Project, JSLHR 2024).
- O melhor sistema do Interspeech 2025 Speech Accessibility Project Challenge chegou a 8,11% de WER contra 17,82% da linha de base whisper-large-v2 (Zheng et al., Interspeech 2025).
- Seis sistemas ASR tiveram WER médio de 0,281 em fala gaga contra 0,105 quando as disfluências foram removidas (Mujtaba et al., NAACL 2024).
- O Common Voice Scripted Speech v27.0 reúne 29.295 horas validadas em 295 idiomas, contra um total mundial de mais de 7.000 idiomas (Mozilla Common Voice 2026; Pratap et al., artigo do MMS 2023).
- O AWS General Transcribe teve WER mediana de 50% para pacientes negros em atendimento domiciliar contra 33% para pacientes brancos, P = 0,016 (Zolnoori et al., JAMIA Open 2024).
- Taquígrafos judiciais certificados com 95% de precisão tiveram em média 82,9% de precisão de palavras em inglês afro-americano (Jones et al., Language 2019).
- 93% dos participantes afro-americanos de um estudo de diário de duas semanas modificaram seu dialeto para serem compreendidos pela tecnologia de voz (Mengesha et al., Frontiers in Artificial Intelligence 2021).
1. Disparidades Raciais e de Dialeto em ASR Comercial e Aberto
O número canônico tem seis anos e não foi aposentado por evidências melhores. Na auditoria da PNAS com Amazon, Apple, Google, IBM e Microsoft, o WER médio foi de 0,35 para falantes negros e de 0,19 para falantes brancos, uma diferença de 0,16 (0,35 menos 0,19) medida em 19,8 horas de áudio de 73 falantes negros e 42 brancos pareados por idade e gênero. Os autores localizaram o problema nos modelos acústicos, porque a diferença persistiu em frases idênticas: a Microsoft, o melhor sistema, teve 0,13 contra 0,07 em enunciados pareados. Dado mais recente disponível para uma auditoria com cinco fornecedores: Koenecke et al., PNAS 2020.
A evidência mais nova, extraída de corpora diferentes, mostra taxas de erro menores no geral e uma diferença que não se fechou. Uma equipe da Universidade de Washington relata um aumento relativo de 33% para falantes afro-americanos em quatro sistemas comerciais, e o próprio conjunto de comandos de voz da Meta mostra o Whisper-large-v2 com 9,52 para falantes negros ou afro-americanos contra 3,96 para falantes brancos. A equipe de Washington associa seus erros à variação na qualidade das vogais entre dialetos, o que ecoa o diagnóstico de 2020 sobre os modelos acústicos.
| Métrica | Valor | Fonte |
|---|---|---|
| WER médio, falantes negros vs brancos, cinco sistemas comerciais | 0,35 vs 0,19 | Stanford (Koenecke et al.), PNAS 2020 |
| Melhor e pior fornecedor, falantes negros vs brancos | Microsoft 0,27 vs 0,15; Apple 0,45 vs 0,23 | Stanford (Koenecke et al.), PNAS 2020 |
| Trechos com WER acima de 0,5 (transcrições inutilizáveis) | 23% dos trechos de falantes negros vs 1,6% dos de falantes brancos | Stanford (Koenecke et al.), PNAS 2020 |
| WER médio, falantes afro-americanos vs americanos caucasianos, quatro sistemas comerciais | 20% vs 15% (aumento relativo de 33%) | Universidade de Washington (Scott et al.), LREC 2026 |
| WER médio, falantes ChicanX e Yakama, mesmos quatro sistemas | 23% e 21% | Universidade de Washington (Scott et al.), LREC 2026 |
| WER, falantes negros ou afro-americanos vs brancos, Whisper-large-v2 e Whisper-small | 9,52 vs 3,96; 16,99 vs 4,51 | Meta (Veliche et al.), Fair-Speech Dataset 2024 |
| Diferença relativa de WER entre grupos étnicos, Whisper-large-v2 vs modelo de vídeo semissupervisionado da Meta | 61,13% vs 31,04% | Meta (Veliche et al.), Fair-Speech Dataset 2024 |
Contexto: a avaliação de Washington usou 16 falantes (quatro por grupo) e reflete o desempenho dos sistemas em 2022, embora o artigo tenha aparecido nos anais do LREC 2026. O Fair-Speech cobre 593 falantes dos EUA e cerca de 26,5 mil enunciados, e seus autores afirmam que, para os modelos Whisper, a diferença relativa é maior que 40% em todas as dimensões medidas.
2. WER de Benchmark vs Fala do Mundo Real
O benchmark de referência é fala lida e limpa, não conversa. O artigo do Whisper deixa isso claro em sua própria tabela: o mesmo modelo que marca 2,7 no LibriSpeech Clean marca 25,5 no CHiME6 e 16,2 no CORAAL, o corpus de entrevistas em African American Language. O Whisper large vai de 2,7% de WER no LibriSpeech test-clean para 19,7% no EdAcc, um conjunto de conversas por videochamada entre amigos com mais de 40 sotaques do inglês autodeclarados.
E esse ainda é o modelo robusto. Um sistema wav2vec 2.0 com 2,9% no LibriSpeech chegou a 36,1% nas mesmas conversas com sotaque. Só o estilo de fala já muda o resultado: um reconhecedor de holandês teve em média 36,2% de WER em fala lida e 47,5% em fala de interação homem-máquina do mesmo grupo de falantes (TU Delft, Feng et al., Quantifying Bias in ASR 2021).
| Métrica | Valor | Fonte |
|---|---|---|
| WER do Whisper Large V2, LibriSpeech Clean | 2,7 | OpenAI (Radford et al.), artigo do Whisper 2022 |
| WER do Whisper Large V2, CHiME6 e CORAAL | 25,5 e 16,2 | OpenAI (Radford et al.), artigo do Whisper 2022 |
| WER médio nos conjuntos de dados da Tabela 2 do artigo, wav2vec 2.0 Large vs Whisper Large V2 | 29,3 vs 12,8 (redução relativa média de erro de 55,2%) | OpenAI (Radford et al.), artigo do Whisper 2022 |
| WER do Whisper large, EdAcc test vs LibriSpeech test-clean | 19,7% vs 2,7% | Universidade de Edimburgo (Sanabria et al.), artigo do EdAcc 2023 |
| WER do wav2vec 2.0 e de um sistema comercial, EdAcc test vs LibriSpeech test-clean | 36,1 vs 2,9; 18,7 vs 3,8 | Universidade de Edimburgo (Sanabria et al.), artigo do EdAcc 2023 |
| Melhor WER médio, faixa de formato curto em inglês; Whisper Large v3 na mesma faixa | 5,42; 7,44 | Artigo do Open ASR Leaderboard (Srivastav et al.), v4 de março de 2026 |
| Sistemas avaliados | 86 sistemas de 26 organizações em 12 conjuntos de dados; 74 de código aberto | Artigo do Open ASR Leaderboard (Srivastav et al.), v4 de março de 2026 |
Contexto: o Open ASR Leaderboard reporta médias sobre conjuntos de teste selecionados, e as tabelas que lemos não trazem divisão demográfica dos falantes, de modo que uma média de 5,42 não diz nada sobre quem está na cauda. O número do CORAAL é o mais próximo que o artigo do Whisper chega de um número específico de dialeto: o Whisper reduziu o erro do wav2vec 2.0 nesse corpus de 35,6 para 16,2, e ele continuou sendo seis vezes a pontuação do LibriSpeech Clean (16,2 dividido por 2,7).
3. Sotaques Não Nativos e Regionais
As diferenças de sotaque são medidas principalmente em inglês e, na maioria, com corpora pequenos ou autosselecionados. A auditoria mais ampla que encontramos, com 2.713 falantes do Speech Accent Archive nascidos em 171 países, não usa WER: ela reporta informação de palavras perdida (WIL) e constata que ela é 0,14 menor para falantes cuja primeira língua é o inglês (P<0,001). Em inglês pan-africano com sotaque, o Whisper-large teve WER de 0,240 na fala geral e de 0,375 na fala clínica, e os três sistemas comerciais em nuvem testados foram piores.
Os sotaques regionais de uma primeira língua seguem o mesmo padrão. Nas legendas automáticas do YouTube, 80 falantes de cinco regiões dialetais (Califórnia, Geórgia, Nova Inglaterra, Nova Zelândia e Escócia) mostraram reconhecimento sistematicamente pior para falantes escoceses (Universidade de Washington, Tatman, ACL Ethics in NLP Workshop 2017). Em holandês, adolescentes flamengos lendo em voz alta foram reconhecidos com 40,5% de WER por um modelo treinado com holandês dos Países Baixos. Esses erros se acumulam adiante, já que uma frase de origem mal reconhecida é a entrada de todo pipeline de tradução fala para fala.
| Métrica | Valor | Fonte |
|---|---|---|
| Tamanho do corpus EdAcc | Quase 40 horas, mais de 40 sotaques autodeclarados, 51 primeiras línguas | Universidade de Edimburgo (Sanabria et al.), artigo do EdAcc 2023 |
| Diferença de WIL, falantes com inglês vs outra primeira língua, todos os serviços | 0,14 menor para falantes com inglês como primeira língua (P<0,001); 2.713 falantes, 212 primeiras línguas | DiChristofano et al., Global Performance Disparities Between English-Language Accents (arXiv) 2023 |
| Diferença de WIL por serviço | Google 0,17; Amazon 0,14; Microsoft 0,11 | DiChristofano et al., Global Performance Disparities Between English-Language Accents (arXiv) 2023 |
| WER do Whisper-large em inglês pan-africano, domínio geral vs clínico | 0,240 vs 0,375 | Olatunji et al., AfriSpeech-200, TACL 2023 |
| WER de nuvens comerciais em inglês pan-africano, ambos os domínios | Azure 0,391; AWS 0,442; GCP 0,578 | Olatunji et al., AfriSpeech-200, TACL 2023 |
| WER do Whisper-medium em inglês pan-africano, pré-treinado vs ajustado no AfriSpeech | 0,332 vs 0,216 | Olatunji et al., AfriSpeech-200, TACL 2023 |
| WER de ASR em holandês em fala lida, não nativos vs nativos | 55,9% vs 26,1% | TU Delft (Feng et al.), Quantifying Bias in ASR 2021 |
| WER de ASR em holandês em fala lida, adolescentes flamengos vs adolescentes de quatro regiões dos Países Baixos | 40,5% vs 19,3%, 22,9%, 16,8% e 17,9% | TU Delft (Feng et al.), Quantifying Bias in ASR 2021 |
Ponto fora da curva: ser não nativo nem sempre prevê resultados piores. Em comandos de voz do Fair-Speech, o Whisper-large-v2 teve 3,78 para falantes de segunda língua e 6,11 para falantes de primeira língua (Meta, Fair-Speech Dataset 2024), um lembrete de que as diferenças entre grupos são propriedades de um conjunto de dados e de uma tarefa, não constantes. Nos dados em holandês, o erro não diminuiu conforme a proficiência dos aprendizes adultos aumentou: 57,2, 56,5 e 57,0 nos níveis A1, A2 e B1 do CEF. Dado mais recente disponível: as transcrições do arquivo de sotaques foram executadas em 2021, e o AfriSpeech-200 (200,70 horas, 2.463 falantes, 120 sotaques, 13 países) foi lançado em 2023.
4. Disparidades de Gênero, Idade e Renda
Nenhum eixo demográfico tem uma direção fixa, e essa é a conclusão. As legendas do YouTube eram piores para mulheres em 2017. Os sistemas comerciais eram piores para homens em 2020. O Whisper-large-v2 teve 7,91 para falantes homens contra 3,86 para falantes mulheres no Fair-Speech, aproximadamente o dobro (7,91 dividido por 3,86 é 2,05). Um sistema auditado em um conjunto de dados pode parecer justo em gênero e falhar em outro.
A idade se comporta da mesma forma. O grupo do Fair-Speech com maior erro não foi o mais velho, mas a faixa de 31 a 45 anos, enquanto em holandês o pior grupo nativo foi o das crianças. A fala infantil é um ponto fraco recorrente: o Whisper-Small começou com 13,93% de WER no conjunto de teste MyST de fala de crianças antes de qualquer adaptação (Kid-Whisper, 2024).
| Métrica | Valor | Fonte |
|---|---|---|
| WER médio em cinco sistemas comerciais, homens negros vs mulheres negras; homens brancos vs mulheres brancas | 0,41 vs 0,30; 0,21 vs 0,17 | Stanford (Koenecke et al.), PNAS 2020 |
| WER do Whisper-large-v2, falantes homens vs mulheres | 7,91 vs 3,86 | Meta (Veliche et al.), Fair-Speech Dataset 2024 |
| WER do Whisper-large-v2 por faixa etária, 18-22, 23-30, 31-45, 46-65 | 4,46, 4,62, 7,48, 3,65 | Meta (Veliche et al.), Fair-Speech Dataset 2024 |
| WER do Whisper-large-v2 por renda domiciliar, baixa, média, alta | 5,4, 6,38, 3,62 | Meta (Veliche et al.), Fair-Speech Dataset 2024 |
| WER das legendas do YouTube, mulheres vs homens | Maior para mulheres (t(78) = -3,5, p < 0,01), 80 falantes | Universidade de Washington (Tatman), ACL Ethics in NLP Workshop 2017 |
| WER de ASR em holandês em fala lida, crianças, adolescentes e idosos nativos | 35,3%, 18,4%, 24,2% | TU Delft (Feng et al.), Quantifying Bias in ASR 2021 |
| WER do Whisper no MyST de fala infantil, antes vs depois do ajuste fino | Small de 13,93% para 9,11%; Medium de 13,23% para 8,61% | Attia et al., Kid-Whisper 2024 |
Contexto: as faixas de renda do Fair-Speech são baixa (US$ 50 mil ou menos), média (de US$ 50 mil a US$ 100 mil) e alta (US$ 100 mil ou mais), e a faixa alta é o menor grupo do conjunto de dados (41 falantes na tabela do artigo). Dado mais recente disponível sobre diferenças de gênero em legendas: Tatman 2017, medido em uma tarefa de lista de palavras isoladas que a autora descreve como particularmente difícil para o ASR.
5. Fala Atípica, Disártrica e com Disfluências
Aqui as diferenças são de uma ordem de grandeza, não de alguns pontos. No primeiro pacote de dados do Speech Accessibility Project, um reconhecedor de base com 3,4% de WER para falantes típicos transcreveu falantes com disartria relacionada à doença de Parkinson com 36,3%. O ajuste fino com 190 falantes de treinamento reduziu esse valor para 23,7%, e dois dos 42 falantes de teste permaneceram em 67,10% e 93,08%.
São os dados, não a arquitetura, que movem esses números. O Interspeech 2025 Speech Accessibility Project Challenge deu às equipes cerca de 415 horas de 524 participantes, e 12 de 22 equipes superaram a linha de base whisper-large-v2; os cinco melhores modelos tiveram em média 10,06% de WER para doença de Parkinson e 7,36% para ELA, contra uma linha de base de 17,09% e 16,88%. A personalização vai ainda mais longe: o Project Euphonia, do Google, relatou 4,6% de WER para modelos personalizados em frases curtas. As pausas criam um modo de falha separado, já que o Whisper alucinou texto em 1,7% dos segmentos de falantes com afasia contra 1,2% de um grupo de controle (Koenecke et al., Careless Whisper, FAccT 2024).
| Métrica | Valor | Fonte |
|---|---|---|
| WER de base, falantes típicos vs disartria relacionada à doença de Parkinson; após ajuste fino | 3,4% vs 36,3%; 23,7% | Speech Accessibility Project (Hasegawa-Johnson et al.), JSLHR 2024 |
| Linha de base Whisper-large-v2 vs melhor equipe, conjunto Test2 do desafio | 17,82% vs 8,11% de WER (melhor SemScore 88,44%) | Zheng et al., Interspeech 2025 Speech Accessibility Project Challenge |
| Dados e participação no desafio | Cerca de 415 horas, 524 participantes, cinco etiologias; 12 de 22 equipes superaram a linha de base em WER | Zheng et al., Interspeech 2025 Speech Accessibility Project Challenge |
| Modelos personalizados vs independentes de falante, 432 falantes com fala atípica | 4,6% vs 31% de WER | Google Research (Green et al.), Interspeech 2021 |
| WER mediano em frases de automação residencial, fala gravemente comprometida, antes vs depois da personalização | Cerca de 89% para 13% | Google Research, blog do Project Euphonia 2021 |
| Corpus do Project Euphonia (em agosto de 2021) | Mais de 1 milhão de enunciados, mais de 1.400 horas, 1.330 falantes | Google Research, blog do Project Euphonia 2021 |
| WER médio em seis sistemas ASR, fala gaga vs disfluências removidas | 0,281 vs 0,105 | Mujtaba et al., Lost in Transcription, NAACL 2024 |
| WER do reconhecimento de fala para pessoas que gaguejam, antes vs depois de mudanças no sistema (91 participantes gravados) | 25,4% para 9,9%; enunciados cortados 79,1% menos vezes | Lea et al., CHI 2023 |
Contexto: a doença de Parkinson responde por 73,4% do corpus de treinamento do desafio em duração, de modo que os 8,11% de destaque descrevem principalmente uma etiologia; síndrome de Down, paralisia cerebral e AVC não foram reportados separadamente por causa do pequeno número de testes. No estudo sobre gagueira, o Whisper foi o mais preciso dos seis sistemas e mesmo assim foi de 0,063 para 0,121. Dado mais recente disponível sobre a precisão de modelos personalizados: Green et al., Interspeech 2021.
6. Idiomas de Poucos Recursos e Cobertura dos Conjuntos de Dados
O erro acompanha as horas de treinamento quase mecanicamente. Os autores do Whisper relatam uma correlação ao quadrado de 0,83 entre o log do WER e o log das horas de treinamento por idioma, e estimam que o WER cai pela metade a cada aumento de 16 vezes nos dados de treinamento. Das 680.000 horas de treinamento do Whisper, 117.000 cobrem 96 idiomas além do inglês, e o artigo observa que a maioria dos idiomas tem menos de 1.000 horas.
A cobertura se expandiu mais rápido que a evidência de precisão. O artigo do MMS estimou o mundo em mais de 7.000 idiomas, com a tecnologia de fala dando suporte a cerca de 100, e o Omnilingual ASR agora afirma cobrir mais de 1.600. O benchmark multilíngue padrão, o FLEURS, cobre 102 idiomas com aproximadamente 12 horas de supervisão cada (Conneau et al., FLEURS 2022), de modo que a maioria dos idiomas adicionados recentemente não tem uma régua pública compartilhada. Acompanhamos a cobertura do lado dos modelos em mais detalhe em nossas estatísticas de modelos multilíngues de base para fala.
| Métrica | Valor | Fonte |
|---|---|---|
| Dados de treinamento do Whisper | 680.000 horas no total; 117.000 horas cobrindo 96 idiomas além do inglês | OpenAI (Radford et al.), artigo do Whisper 2022 |
| Relação entre horas de treinamento por idioma e WER | Correlação ao quadrado de 0,83; o WER cai pela metade a cada aumento de 16 vezes nos dados | OpenAI (Radford et al.), artigo do Whisper 2022 |
| Idiomas do mundo vs idiomas atendidos pela tecnologia de fala | Mais de 7.000 vs cerca de 100 | Pratap et al., artigo do MMS (Scaling Speech Technology to 1,000+ Languages) 2023 |
| Cobertura e precisão do MMS | ASR para 1.107 idiomas; WER reduzido a menos da metade em relação ao Whisper em 54 idiomas do FLEURS | Pratap et al., artigo do MMS (Scaling Speech Technology to 1,000+ Languages) 2023 |
| Cobertura do Omnilingual ASR | Mais de 1.600 idiomas, mais de 500 nunca antes atendidos por ASR | Equipe do Omnilingual ASR, arXiv 2511.09690, 2025 |
| Dados de pré-treinamento do Google USM | 12 milhões de horas de áudio sem rótulos cobrindo mais de 300 idiomas; conjunto rotulado com 1/7 do tamanho do do Whisper | Artigo do Google USM (Zhang et al.) 2023 |
| Common Voice Scripted Speech v27.0 | 295 idiomas; 42.593 horas no total; 29.295 horas validadas | Mozilla Common Voice, cv-dataset v27.0 2026 |
| Divisão por gênero no Common Voice v27.0, inglês e alemão | Inglês 0,4318 masculino, 0,1776 feminino, 0,3894 não declarado; alemão 0,5786 masculino, 0,0818 feminino | Mozilla Common Voice, cv-dataset v27.0 2026 |
Ponto fora da curva: nas estatísticas do Common Voice v27.0, o catalão tem mais áudio gravado que o inglês (3.940,31 horas no total contra 3.795,9), enquanto o menor idioma que lemos tem 25 clipes de 2 usuários. O esforço voluntário, não a população de falantes, decide quais idiomas recebem dados. O conjunto Spontaneous Speech, mais próximo do uso real, é bem menor: 541 horas no total em 80 idiomas na v5.0.
7. Consequências em Tribunais, Clínicas, Contratações e Assistentes de Voz
Os riscos aumentam quando uma transcrição vira registro oficial. Os humanos estabelecem uma base ruim: taquígrafos judiciais certificados com 95% de precisão tiveram em média 82,9% de precisão de palavras e 59,5% de precisão em nível de frase em inglês afro-americano, e suas transcrições mudaram o quem, o quê, o quando ou o onde em 31% das vezes (Jones et al., Language 2019). Nossas estatísticas de precisão do reconhecimento de fala em tribunais tratam dos pilotos automatizados que herdam esse problema.
A evidência clínica é recente e de amostra pequena. Em visitas domiciliares de saúde gravadas, dois sistemas da Amazon mostraram, cada um, uma diferença mediana de WER de 17 pontos entre pacientes negros e brancos (50 menos 33, e 54 menos 37), enquanto o Whisper foi igualmente ruim para ambos. A contratação é o único cenário com resultado tranquilizador: o viés de transcrição apareceu em quase todas as comparações, e os autores constataram que ele não se propagou para as pontuações das entrevistas. O custo relatado pelos usuários é comportamental, já que quase todos os participantes de um estudo de diário de duas semanas mudaram sua forma de falar.
| Métrica | Valor | Fonte |
|---|---|---|
| Precisão dos taquígrafos judiciais em inglês afro-americano, nível de palavra vs nível de frase (padrão de certificação 95%) | 82,9% vs 59,5% | Jones et al., Testifying While Black, Language 2019 |
| Transcrições que mudaram o quem, o quê, o quando ou o onde | 31%; 27 taquígrafos judiciais, 9 falantes, 83 frases | Jones et al., Testifying While Black, Language 2019 |
| WER mediano, pacientes negros vs brancos em atendimento domiciliar, AWS General e AWS Medical | 50% vs 33% (P = 0,016); 54% vs 37% (P = 0,0012) | Zolnoori et al., JAMIA Open 2024 |
| WER mediano, pacientes negros vs brancos, Whisper large-v3 | 75% vs 72% (P = 0,66); 35 pacientes | Zolnoori et al., JAMIA Open 2024 |
| Taxa de erro em notas clínicas ditadas: rascunho do reconhecimento de fala, após o transcritor, nota assinada | 7,4%, 0,4%, 0,3%; 217 notas | Zhou et al., JAMA Network Open 2018 |
| Transcrições do Whisper com texto alucinado; parcela das alucinações com danos explícitos | 1,4% de 13.140 segmentos; 38% | Koenecke et al., Careless Whisper, FAccT 2024 |
| Entrevistas em vídeo simuladas transcritas por quatro métodos de ASR e uma pessoa | N = 1.014 e N = 414; viés significativo do ASR em quase todas as comparações, sem viés de medição relevante nas pontuações | Hickman et al., Journal of Applied Psychology 2025 |
| Usuários afro-americanos de tecnologia de voz que modificaram o dialeto para serem compreendidos | 93% (n = 28 de 30); 77% relataram frustração com erros | Mengesha et al., Frontiers in Artificial Intelligence 2021 |
Contexto: o estudo com taquígrafos judiciais mede transcritores humanos, não software, e o estudo de ditado clínico é o dado mais recente disponível sobre taxas de erro em notas assinadas (Zhou et al., JAMA Network Open 2018). Os experimentos de alucinação foram realizados em 2023; os autores constataram que 19% das 312 transcrições alucinadas envolviam violência, 13% associações imprecisas e 8% falsa autoridade, e que não houve alucinações comparáveis quando os segmentos afetados foram reprocessados em sistemas de outros fornecedores (Careless Whisper). O resultado sobre contratação (Hickman et al.) vem de entrevistas simuladas, não de decisões reais de seleção.
Resumo: Viés de Sotaque e Taxa de Erro de Palavras no Reconhecimento de Fala em Números
| Métrica | Valor | Fonte |
|---|---|---|
| WER médio, falantes negros vs brancos, cinco sistemas comerciais | 0,35 vs 0,19 | Stanford (Koenecke et al.), PNAS 2020 |
| WER médio, falantes afro-americanos vs americanos caucasianos, quatro sistemas comerciais | 20% vs 15% | Universidade de Washington (Scott et al.), LREC 2026 |
| WER do Whisper-large-v2, falantes negros ou afro-americanos vs brancos | 9,52 vs 3,96 | Meta (Veliche et al.), Fair-Speech Dataset 2024 |
| WER do Whisper-large-v2, falantes homens vs mulheres | 7,91 vs 3,86 | Meta (Veliche et al.), Fair-Speech Dataset 2024 |
| WER do Whisper large, inglês com sotaque do EdAcc vs LibriSpeech test-clean | 19,7% vs 2,7% | Universidade de Edimburgo (Sanabria et al.), artigo do EdAcc 2023 |
| WER do Whisper Large V2, CORAAL vs LibriSpeech Clean | 16,2 vs 2,7 | OpenAI (Radford et al.), artigo do Whisper 2022 |
| Melhor WER médio, faixa de formato curto em inglês do Open ASR Leaderboard | 5,42 entre 86 sistemas avaliados | Artigo do Open ASR Leaderboard (Srivastav et al.), v4 de março de 2026 |
| WER do Whisper-large em inglês pan-africano, geral vs clínico | 0,240 vs 0,375 | Olatunji et al., AfriSpeech-200, TACL 2023 |
| Diferença de WIL, falantes com inglês vs outra primeira língua | 0,14 (P<0,001) | DiChristofano et al., arXiv 2023 |
| WER de ASR em holandês em fala lida, não nativos vs nativos | 55,9% vs 26,1% | TU Delft (Feng et al.), Quantifying Bias in ASR 2021 |
| WER de base, fala típica vs disártrica relacionada à doença de Parkinson | 3,4% vs 36,3% | Speech Accessibility Project (Hasegawa-Johnson et al.), JSLHR 2024 |
| Linha de base Whisper-large-v2 vs melhor sistema do desafio em fala disártrica | 17,82% vs 8,11% | Zheng et al., Interspeech 2025 Speech Accessibility Project Challenge |
| WER de modelos personalizados vs independentes de falante, fala atípica | 4,6% vs 31% | Google Research (Green et al.), Interspeech 2021 |
| WER médio em seis sistemas, versões gagas vs fluentes | 0,281 vs 0,105 | Mujtaba et al., Lost in Transcription, NAACL 2024 |
| Horas de treinamento do Whisper, total vs além do inglês | 680.000 vs 117.000 (96 idiomas) | OpenAI (Radford et al.), artigo do Whisper 2022 |
| Common Voice Scripted Speech v27.0 | 295 idiomas, 29.295 horas validadas | Mozilla Common Voice, cv-dataset v27.0 2026 |
| WER mediano, pacientes negros vs brancos em atendimento domiciliar, AWS General | 50% vs 33% (P = 0,016) | Zolnoori et al., JAMIA Open 2024 |
| Precisão de palavras de taquígrafos judiciais em inglês afro-americano vs padrão de certificação | 82,9% vs 95% | Jones et al., Testifying While Black, Language 2019 |
| Usuários de tecnologia de voz que modificaram o dialeto | 93% (n = 28 de 30) | Mengesha et al., Frontiers in Artificial Intelligence 2021 |
Metodologia e Fontes
Realizamos 23 buscas e lemos o artigo primário, a página do conjunto de dados ou o registro do periódico de cada número acima. O WER é reportado na notação de cada fonte: frações em Koenecke et al., AfriSpeech-200 e Mujtaba et al., porcentagens nas demais. Números com mais de três anos são sinalizados nas seções como dado mais recente disponível.
- Koenecke et al., Racial disparities in automated speech recognition, PNAS 2020
- Scott, Liang, Wassink e Levow, A Sociophonetic Analysis of Racial Bias in Commercial ASR Systems Using the Pacific Northwest English Corpus, LREC 2026
- Veliche et al. (Meta), Towards measuring fairness in speech recognition: Fair-Speech dataset, 2024
- Radford et al. (OpenAI), Robust Speech Recognition via Large-Scale Weak Supervision, 2022
- Sanabria et al. (Universidade de Edimburgo), The Edinburgh International Accents of English Corpus, ICASSP 2023
- Srivastav et al., artigo do Open ASR Leaderboard, v4 de março de 2026
- DiChristofano, Shuster, Chandra e Patwari, Global Performance Disparities Between English-Language Accents in Automatic Speech Recognition, 2023
- Olatunji et al., AfriSpeech-200: Pan-African Accented Speech Dataset for Clinical and General Domain ASR, TACL 2023
- Feng, Kudina, Halpern e Scharenborg (TU Delft), Quantifying Bias in Automatic Speech Recognition, 2021
- Tatman (Universidade de Washington), Gender and Dialect Bias in YouTube’s Automatic Captions, ACL Ethics in NLP Workshop 2017
- Attia et al., Kid-Whisper, 2024
- Hasegawa-Johnson et al., Community-Supported Shared Infrastructure in Support of Speech Accessibility, JSLHR 2024
- Zheng et al., The Interspeech 2025 Speech Accessibility Project Challenge
- Green et al. (Google Research), Automatic Speech Recognition of Disordered Speech, Interspeech 2021 e o blog do conjunto de dados do Project Euphonia, 2021
- Mujtaba et al., Lost in Transcription, NAACL 2024
- Lea et al., From User Perceptions to Technical Improvement: Enabling People Who Stutter to Better Use Speech Recognition, CHI 2023
- Koenecke et al., Careless Whisper: Speech-to-Text Hallucination Harms, FAccT 2024
- Pratap et al., Scaling Speech Technology to 1,000+ Languages (MMS), 2023; Omnilingual ASR, 2025; Google USM, 2023; FLEURS, 2022
- Mozilla Common Voice, repositório cv-dataset e estatísticas da v27.0, 2026
- Jones, Kalbfeld, Hancock e Clark, Testifying While Black, Language 95(2), 2019
- Zolnoori et al., Decoding disparities, JAMIA Open 2024
- Zhou et al., Analysis of Errors in Dictated Clinical Documents Assisted by Speech Recognition Software and Professional Transcriptionists, JAMA Network Open 2018
- Hickman, Langer, Saef e Tay, Automated speech recognition bias in personnel selection, Journal of Applied Psychology 2025
- Mengesha et al., Impact of Automated Speech Recognition Errors on African Americans, Frontiers in Artificial Intelligence 2021
- Nota sobre os dados: várias fontes se contradizem ou medem coisas diferentes. O texto do artigo do Whisper informa um WER de 2,5 no LibriSpeech clean, enquanto sua Tabela 2 lista 2,7 (usamos a tabela). O resumo do Careless Whisper diz que cerca de 1% das transcrições foram alucinadas e a seção de resultados diz 1,4% (usamos 1,4%), e seus autores observam que os experimentos datam de 2023. Os 36,3% e 23,7% do resumo do Speech Accessibility Project correspondem às linhas de prompts não compartilhados do artigo; em todos os prompts de teste, o valor após o ajuste fino é 18,72%. O texto do Fair-Speech menciona 50 falantes na faixa de renda mais alta, enquanto sua tabela lista 41. DiChristofano et al. reportam informação de palavras perdida, não WER, de modo que suas diferenças não são comparáveis com as demais linhas. A avaliação de Scott et al. foi realizada em 2022 com 16 falantes e publicada em 2026. O Open ASR Leaderboard muda continuamente: a versão de outubro de 2025 do artigo listava 64 modelos com melhor WER médio de 5,63, e a versão de março de 2026, 86 sistemas e 5,42. Os totais de horas do Common Voice vêm dos dados do gráfico de lançamentos do repositório, e as proporções de gênero, de seu arquivo de estatísticas da v27.0. Em Testifying While Black, a página do periódico fica atrás de uma verificação de acesso, então os números foram lidos no resumo do artigo publicado pelo autor principal; esse resumo traz dois números diferentes de compreensão de paráfrases, que por isso deixamos de fora. Não conseguimos verificar uma afirmação muito repetida sobre o WER de um fornecedor de contratação para falantes não nativos e a descartamos.
Última atualização: 11 de outubro de 2026. Atualizamos este levantamento trimestralmente, e a próxima revisão é esperada quando a Mozilla publicar o Common Voice Scripted Speech v28.0.