Diante de 301.317 clipes de áudio puramente sem fala, o Whisper large-v3 escreveu texto para 121.378 deles (40,3%), e 9,1% dessas saídas fabricadas eram loops da mesma frase repetida (Barański et al., ICASSP 2025). Na biblioteca de sons urbanos UrbanSound8K, outra equipe mediu saída de texto em 99,97% dos clipes (Wang et al., Calm-Whisper, Interspeech 2025). Em fala real a taxa é muito menor, mas não se distribui de maneira uniforme: no corpus AphasiaBank, segmentos de falantes com afasia tiveram alucinações com mais frequência do que os segmentos de controle, e trechos não vocais mais longos previam a alucinação (Koenecke et al., ACM FAccT 2024). Os rankings não captam isso, porque o Open ASR Leaderboard classifica os modelos apenas por taxa de erro de palavras e velocidade (Srivastav et al., artigo do Open ASR Leaderboard 2026), a mesma métrica por trás das diferenças de sotaque e dialeto que acompanhamos separadamente. Agregamos dados de artigos de Cornell, Carnegie Mellon, Hugging Face, Interspeech e ICASSP, da AssemblyAI, da Associated Press e de trabalhos de 2026 no arXiv sobre detecção e mitigação.
Neste levantamento, “alucinação” significa texto em uma transcrição que não tem nenhuma base no áudio: palavras, frases ou sentenças inteiras inventadas, em oposição a entender errado uma palavra que de fato foi dita.
TL;DR
- O Whisper large-v3 produziu texto em 40,3% de 301.317 clipes sem fala, 9,1% deles em loop (Barański et al., ICASSP 2025).
- O Whisper large-v3 produziu texto em 99,97% dos clipes de ruído do UrbanSound8K antes de um ajuste fino direcionado (Wang et al., Calm-Whisper, Interspeech 2025).
- Clipes com gagueira tiveram alucinações em 14% com o Whisper v2 e 2,9% com o v3 (Sridhar e Wu, Interspeech 2025).
- O Universal-1 informou uma redução relativa de 30% na taxa de alucinação em relação ao Whisper large-v3, alegação do próprio fornecedor (AssemblyAI, Anatomy of Industrial Scale Multilingual ASR 2024).
- A Taxa de Erro de Alucinação se correlaciona com a mudança de distribuição em α = 0,91 (Atwany et al., arXiv 2025).
- Os índices de alucinação do SHALLOW acompanham o WER em ρs > 0,80 apenas na faixa de 10-30% de WER (Koudounas et al., arXiv 2025).
- O Whisper turbo ainda gerou saída lexical em 74,3% dos clipes sem fala (Borodin et al., The Null Token Knows, arXiv 2026).
- O Open ASR Leaderboard informa apenas WER e RTFx, com sistemas baseados em Conformer 3,77 vezes mais rápidos que os baseados em Whisper (Srivastav et al., artigo do Open ASR Leaderboard 2026).
- A correção do Calm-Whisper elevou o WER no LibriSpeech test-clean apenas de 2,12% para 2,19% (Wang et al., Calm-Whisper, Interspeech 2025).
- Uma referência com VAD do WhisperX teve média de 5,24% de alucinação sem fala, com 0% de rejeição indevida (Abbasihafshejani e Jadliwala, arXiv 2026).
1. Com Que Frequência o ASR Inventa Texto em Fala Real
Os números controlados em fala real são pequenos, e essa é justamente a armadilha. 187 de 13.140 segmentos do AphasiaBank (1,4%) produziram de forma consistente texto fabricado no Whisper no estudo Careless Whisper, enquanto os mesmos segmentos enviados à Amazon e ao Google não produziram nenhuma fabricação comparável. Uma taxa baixa que atinge um histórico médico, uma entrevista ou um registro judicial é um risco diferente de uma palavra entendida errado, porque frases inventadas são lidas com fluidez e ninguém pensa em conferi-las.
Os relatos de campo reunidos pela Associated Press em outubro de 2024 são muito mais altos e não são comparáveis com os números de laboratório: um engenheiro de aprendizado de máquina contou à AP que encontrou alucinações em cerca de metade das mais de 100 horas de transcrições do Whisper que analisou. São inspeções de usuários individuais, sem uma definição compartilhada, portanto trate-as como um sinal de exposição, não como uma taxa.
| Métrica | Valor | Fonte |
|---|---|---|
| Segmentos do AphasiaBank que produziram texto alucinado de forma consistente no Whisper (execuções de abril a maio de 2023) | 187 de 13.140 segmentos (1,4%) | Koenecke et al., Careless Whisper, ACM FAccT 2024 |
| Segmentos com alucinação que ainda tiveram alucinação ao serem reprocessados em dezembro de 2023 | 12 de 187 | Koenecke et al., Careless Whisper, ACM FAccT 2024 |
| Taxa de Erro de Alucinação do Whisper large-v3, LibriSpeech versus LibriSpeech com ruído adicionado | 0,3% vs. 0,4% | Atwany et al., Lost in Transcription, arXiv 2025 |
| Transcrições de reuniões públicas com alucinações, inspecionadas por um pesquisador da University of Michigan | 8 de cada 10 | Investigação da Associated Press, outubro de 2024 |
| Transcrições do Whisper com alucinações, relatadas por um desenvolvedor | Quase todas as 26.000 | Investigação da Associated Press, outubro de 2024 |
| Taxa de fabricação (5 ou mais palavras consecutivas inseridas ou substituídas por hora), Universal-1 versus Whisper large-v3 | Redução relativa de 41% (alegação do próprio fornecedor) | AssemblyAI, Anatomy of Industrial Scale Multilingual ASR 2024 |
| Taxa geral de alucinação (5 ou mais erros consecutivos por hora), Universal-1 versus Whisper large-v3 e versus Canary-1B | Reduções relativas de 30% e 22% (alegação do próprio fornecedor) | AssemblyAI, Anatomy of Industrial Scale Multilingual ASR 2024 |
Contexto: na nova execução de dezembro de 2023, a maioria dos casos reproduzíveis, mas não todos, deixou de ter alucinações: 12 de 187 é 6,4% (cálculo nosso). A comparação com Amazon e Google foi feita em 27 de janeiro de 2024. Os números da AssemblyAI são reduções relativas medidas em 146 horas de dados de teste em inglês escolhidos pelo fornecedor, e as taxas absolutas por hora aparecem apenas em uma figura.
2. Silêncio, Ruído e Áudio Sem Fala: O Pior Caso
Em áudio sem nenhuma fala, a transcrição correta é vazia, então toda palavra de saída é fabricada. Isso faz do áudio sem fala o teste de estresse mais limpo, e os resultados são claros: dependendo do conjunto de dados e da regra de contagem, o Whisper large-v3 escreve texto em algo entre 21,35% e 100% dos clipes sem fala nos estudos abaixo. A dispersão não é ruído da pesquisa. Ela reflete bibliotecas de som, durações de clipe e definições diferentes, e é por isso que não existe uma única “taxa de alucinação do Whisper”.
Maior não é necessariamente melhor aqui. Na auditoria do Null Token de agosto de 2026, o Whisper small gerou saída lexical em mais clipes do que o large-v3, enquanto no estudo de steering de junho de 2026 o large-v3 foi pior que o small no conjunto de teste combinado. O Canary-1B, um modelo que não é Whisper, ficou na mesma faixa. Separar vozes do som de fundo é um campo de pesquisa por si só (veja nossas estatísticas de separação de fala); os reconhecedores que pulam essa etapa herdam o problema.
| Métrica | Valor | Fonte |
|---|---|---|
| Inferências do Whisper large-v3 em áudio sem fala (AudioSet, MUSAN, UrbanSound8K, FSD50K, ruído e silêncio) que produziram texto | 121.378 de 301.317 (40,3%); 11.049 delas (9,1%) envolveram loops | Barański et al., ICASSP 2025 |
| Taxa de alucinação do Whisper large-v3 em clipes de sons urbanos do UrbanSound8K | 99,97% | Wang et al., Calm-Whisper, Interspeech 2025 |
| Whisper large-v3 versus Whisper small, taxa de alucinação em um conjunto de teste combinado sem fala (WHAM!, FSD50k, UrbanSound8K) | 86,8% vs. 72,6% | Aparin et al., Whisper Hallucination Detection and Mitigation, arXiv 2026 |
| Taxa de alucinação do Whisper large-v3 no UrbanSound8K, medição separada de 2026 | 95,2% | Aparin et al., Whisper Hallucination Detection and Mitigation, arXiv 2026 |
| Parcela de clipes sem fala com saída lexical, Whisper small, large-v3 e turbo | 96,2%, 77,0% e 74,3% | Borodin et al., The Null Token Knows, arXiv 2026 |
| Parcela de clipes sem fala com saída lexical, Canary-1B (subconjunto) | 79,3% | Borodin et al., The Null Token Knows, arXiv 2026 |
| Saída não vazia em 200 amostras de ruído ambiente do AudioSet, Whisper large-v3, Canary-1B e Universal-1 | 100%, 100% e 10,5% (teste do próprio fornecedor) | AssemblyAI, Anatomy of Industrial Scale Multilingual ASR 2024 |
Contexto: um terceiro artigo de 2026 mediu o Whisper large-v3 em 76,08% no UrbanSound8K, 44,25% no ESC-50 e 21,35% em um subconjunto filtrado do FSD50K (Abbasihafshejani e Jadliwala, arXiv 2026). “Saída lexical” no artigo do Null Token significa qualquer letra restante depois que um normalizador remove marcações de eventos, pontuação e dígitos, uma contagem mais ampla do que comparar frases inteiras.
3. O Que É Inventado: Frases Típicas e Duração do Clipe
As alucinações do Whisper em áudio sem fala não são aleatórias. Duas frases, “thank you” (24,76%) e “thanks for watching” (10,32%), respondem por cerca de 35% de todas as alucinações em áudio sem fala no estudo do ICASSP 2025. São despedidas de vídeos, um padrão compatível com texto de treinamento extraído de legendas de vídeos online, e não de transcrições verificadas (interpretação nossa, não uma medição dos autores).
A repetição também é a brecha prática para a defesa: como um pequeno conjunto de saídas se repete, os autores montaram uma “bag of hallucinations” (bolsa de alucinações), uma lista de saídas fabricadas frequentes que pode ser filtrada depois da transcrição. A duração importa tanto quanto o conteúdo. Acrescentar 30 segundos de som sem fala a clipes de fala de 10 segundos produziu alucinações detectadas em 44,5% dos arquivos, contra 0,3% com 1 segundo de preenchimento.
| Métrica | Valor | Fonte |
|---|---|---|
| Parcela das alucinações em áudio sem fala que foram “thank you” e “thanks for watching” | 24,76% e 10,32% | Barański et al., ICASSP 2025 |
| Saídas alucinadas únicas; saídas que apareceram mais de uma vez; parcela de todas as alucinações coberta por essas repetições | 41.231 únicas; 1.270 repetidas; 67,08% | Barański et al., ICASSP 2025 |
| Alucinações detectadas ao acrescentar 1 s versus 30 s de som sem fala antes ou depois da fala | 0,3% vs. 44,5% | Barański et al., ICASSP 2025 |
| Dados de treinamento do Whisper large-v3 | 1 milhão de horas de áudio com rótulos fracos mais 4 milhões de horas com pseudo-rótulos | OpenAI, ficha do modelo Whisper large-v3 |
| Dados de treinamento do Whisper original (lançamento de 2022) | 680.000 horas de supervisão multilíngue e multitarefa | Radford et al., artigo do Whisper 2022 |
| Alucinações em modelos construídos com 8% de ruído injetado, parcela dos conjuntos de avaliação | 1-2% para a maioria dos modelos; 8% para um modelo | Frieske e Shi, Hallucinations in Neural ASR, arXiv 2024 |
Contexto: “rótulos fracos” significa que o texto associado a cada gravação não foi verificado palavra por palavra com o áudio, e “pseudo-rótulos” significa que o texto foi produzido por um modelo anterior. Os próprios autores do Whisper listam “complete hallucination where the model will output a transcript entirely unrelated to the actual audio” (alucinação completa, em que o modelo gera uma transcrição totalmente sem relação com o áudio real) entre os modos de falha conhecidos em áudio longo (Radford et al., 2022). Dados mais recentes disponíveis para o conjunto de treinamento original: artigo do Whisper, 2022.
4. Quem Sofre Alucinações: Padrões de Fala com Pausas e Repetições
O risco de alucinação segue a forma do áudio, e alguns falantes produzem áudio com mais silêncio ou mais sons repetidos. O Whisper v2 teve alucinações em 14% dos clipes de podcast com gagueira, contra 3,3% dos clipes fluentes, segundo o benchmark de gagueira do Interspeech 2025, que reuniu 2.621 clipes do conjunto de podcasts SEP-28K. O Whisper v3 reduziu muito os dois números, mas os clipes com gagueira ainda tiveram alucinações cerca de três vezes mais do que os fluentes (2,9% vs. 0,9%).
Na afasia (um distúrbio que afeta a linguagem), a equipe do Careless Whisper encontrou o mecanismo nas pausas: falantes com afasia tinham parcelas não vocais muito maiores em suas gravações, e parcelas não vocais maiores previam a alucinação. Para entender como esses padrões de fala são comuns, veja nossas estatísticas demográficas da gagueira.
| Métrica | Valor | Fonte |
|---|---|---|
| Segmentos de áudio com afasia versus controle que produziram alucinações no Whisper | 1,7% vs. 1,2% (regressão: p=0,019) | Koenecke et al., Careless Whisper, ACM FAccT 2024 |
| Taxa de alucinação com afasia versus controle, grupos pareados por dados demográficos dos participantes | 1,82% vs. 1,16% (valor de p = 0,044) | Koenecke et al., Careless Whisper, ACM FAccT 2024 |
| Parcela da duração total da gravação que é não vocal, falantes com afasia versus falantes de controle | 41% vs. 15% | Koenecke et al., Careless Whisper, ACM FAccT 2024 |
| Clipes com gagueira versus fluentes com alucinações, Whisper v2 | 14% (293 de 2.086) vs. 3,3% (18 de 534) | Sridhar e Wu, Interspeech 2025 |
| Clipes com gagueira versus fluentes com alucinações, Whisper v3 | 2,9% (61 de 2.086) vs. 0,9% (5 de 534) | Sridhar e Wu, Interspeech 2025 |
| Clipes com repetições de som (repetir o primeiro som de uma palavra) que tiveram alucinações, Whisper v2 versus v3 | 22,6% vs. 6,9% | Sridhar e Wu, Interspeech 2025 |
| Clipes com prolongamentos (alongar um som) que tiveram alucinações, Whisper v2 versus v3 | 15,4% vs. 1,47% | Sridhar e Wu, Interspeech 2025 |
Contexto: o artigo sobre gagueira detectou candidatas a alucinação executando o Whisper duas vezes em cada clipe e sinalizando grandes divergências, e depois revisou manualmente cada sinalização. As contagens de clipes diferem ligeiramente entre as seções (2.079 clipes com gagueira amostrados, 2.086 na contagem de alucinações), por isso citamos cada número com seu próprio denominador.
5. Medindo a Alucinação: Métricas Propostas Além do WER
A taxa de erro de palavras conta substituições, remoções e inserções, mas não distingue uma palavra entendida errado de uma frase inventada. A Taxa de Erro de Alucinação proposta por pesquisadores da Carnegie Mellon e da MBZUAI se correlaciona com a mudança de distribuição em α = 0,91, ou seja, as alucinações aumentam na medida em que o áudio de teste se afasta do áudio de treinamento (Atwany et al., 2025). O pipeline deles usa um LLM como juiz, o que o torna barato o bastante para rodar em escala.
O benchmark SHALLOW divide a alucinação em quatro eixos: lexical (palavras inventadas), fonético (erros de som parecido), morfológico (formas de palavra erradas) e semântico (significado alterado). Sua principal constatação é onde o WER deixa de ser informativo: as correlações são fortes com taxas de erro baixas e desabam à medida que o WER sobe, justamente onde a alucinação mais importa.
| Métrica | Valor | Fonte |
|---|---|---|
| Concordância nos rótulos de alucinação, humano versus humano e humano versus GPT-4o-mini | 0,71 vs. 0,60 | Atwany et al., Lost in Transcription, arXiv 2025 |
| Custo do pipeline de rotulagem com LLM versus avaliação humana | $78 por 1 milhão de segmentos, cerca de 375 vezes mais barato | Atwany et al., Lost in Transcription, arXiv 2025 |
| Correlação entre os índices do SHALLOW e o WER, com 10-30% de WER versus com 90% de WER (par lexical-semântico) | ρs > 0,80 vs. abaixo de -0,45 | Koudounas et al., SHALLOW, arXiv 2025 |
| Teste sintético: correlação com o WER, fabricação lexical versus erros semânticos | ρ = 0,98 vs. ρ = 0,15 | Koudounas et al., SHALLOW, arXiv 2025 |
| Modelos e conjuntos de dados de teste na avaliação do SHALLOW | 12 modelos, 10 conjuntos de dados | Koudounas et al., SHALLOW, arXiv 2025 |
| Limiares usados para separar alucinações de erros fonéticos | Similaridade de cosseno 0,2; WER 30; perplexidade 200 | Frieske e Shi, Hallucinations in Neural ASR, arXiv 2024 |
| Sinalização de alucinação por duas execuções usada no benchmark de gagueira | WER entre execuções acima de 0,6, F1 do BERT abaixo de 0,6, ou mais de 4 palavras inseridas | Sridhar e Wu, Interspeech 2025 |
Contexto: essas métricas não são intercambiáveis. A AssemblyAI conta sequências de 5 ou mais erros consecutivos por hora de áudio, o artigo do Null Token conta clipes com qualquer letra em áudio de referência vazia, e a Taxa de Erro de Alucinação conta exemplos rotulados como alucinações. Um 2% em uma escala não diz nada sobre um 2% em outra.
6. WER do Ranking Versus Alucinação: Comparações entre Modelos
O artigo do Open ASR Leaderboard do Hugging Face é a referência da área para precisão e velocidade, e seu escopo é explícito: ele informa WER e RTFx (fator de tempo real inverso, quantos segundos de áudio um sistema processa por segundo) e mais nada. O artigo não discute alucinações nem loops de repetição como erros dos modelos. Ainda assim, seus dados de velocidade importam para este tema, porque as famílias Conformer mais rápidas (um desenho de codificador que combina convolução e atenção) são as alternativas óbvias ao Whisper nesse ranking.
As tabelas da CMU e do SHALLOW mostram por que uma classificação por WER não é uma classificação por segurança. O Whisper large-v3 registrou um WER acima de 65% em fala simulada de controle de tráfego aéreo, enquanto sua taxa de alucinação ficou bem mais baixa, e o inverso aconteceu em um conjunto adversarial. Os padrões de precisão em legendagem de transmissões enfrentam uma divisão parecida entre sincronia, completude e correção (veja nossas estatísticas de padrões de precisão de legendas).
| Métrica | Valor | Fonte |
|---|---|---|
| Métricas informadas pelo Open ASR Leaderboard | Somente WER e RTFx | Srivastav et al., artigo do Open ASR Leaderboard, v4 de março de 2026 |
| RTFx médio, sistemas baseados em Conformer versus baseados em Whisper | 758 vs. 201 (3,77 vezes mais rápidos) | Srivastav et al., artigo do Open ASR Leaderboard, v4 de março de 2026 |
| WER e RTFx do Whisper Large v3 na faixa de inglês de longa duração | 11,2 de WER; RTFx 68,6 | Srivastav et al., artigo do Open ASR Leaderboard, v4 de março de 2026 |
| Posição do melhor modelo TDT e do melhor modelo CTC na precisão de inglês de curta duração | 10º e 34º | Srivastav et al., artigo do Open ASR Leaderboard, v4 de março de 2026 |
| WER versus Taxa de Erro de Alucinação do Whisper large-v3 no ATCOsim (fala simulada de controle de tráfego aéreo) | 65,3% vs. 17,6% | Atwany et al., Lost in Transcription, arXiv 2025 |
| WER versus Taxa de Erro de Alucinação do Whisper large-v3 em um conjunto de teste adversarial | 33,3% vs. 49,8% | Atwany et al., Lost in Transcription, arXiv 2025 |
| Whisper-Large-v3 versus Canary, WER médio; índice médio de fabricação lexical | 14,20 vs. 14,26; 6,74 vs. 5,43 | Koudounas et al., SHALLOW, arXiv 2025 |
Contexto: TDT e CTC são métodos de decodificação que emitem texto alinhado aos quadros de áudio, em vez de gerar texto livre token por token como o decodificador do Whisper. O ranking observa que eles oferecem RTFx substancialmente melhor com precisão menor. O WER médio quase idêntico de Whisper-Large-v3 e Canary no SHALLOW esconde que o Canary fez menos fabricações lexicais.
7. Resultados de Mitigação: VAD, Mudanças na Decodificação e Edições no Modelo
A correção mais confiável continua sendo não enviar silêncio ao modelo. O Silero VAD reduziu o WER em fala com preenchimento de som sem fala de 104,8% para 8,0% nos experimentos de preenchimento descritos na seção 3, e acrescentar a remoção de loops mais o filtro da bolsa de alucinações o levou a 6,5%. VAD (detecção de atividade de voz) é um modelo separado que decide se um trecho de áudio contém fala. No próprio artigo do Whisper, o VAD era uma das heurísticas de decodificação em um caminho que vai de 11,0 de WER médio em áudio longo com decodificação gulosa até 10,0 com todas as heurísticas (Radford et al., 2022).
As correções no lado do modelo funcionam, mas cada uma desloca o erro para outro lugar. O Calm-Whisper ajustou apenas 3 cabeças de atenção (números 1, 6 e 11) e manteve o WER quase estável. As intervenções de steering e de fim de texto também suprimiram a maior parte da fabricação, mas passaram a apagar fala real ou a arruinar o reconhecimento de chinês. Os autores do token nulo dizem com clareza: os métodos de abstenção devem ser avaliados pelos custos de supressão e de remoção, e não apenas pela redução de alucinações.
| Métrica | Valor | Fonte |
|---|---|---|
| WER em fala com preenchimento de som sem fala: sem processamento versus Silero VAD versus Silero VAD mais remoção de loops e filtro da bolsa de alucinações | 104,8% vs. 8,0% vs. 6,5% | Barański et al., ICASSP 2025 |
| Alucinações detectadas com largura de beam 1 versus largura de beam 5 | 19,5% vs. 28,2% | Barański et al., ICASSP 2025 |
| Calm-Whisper: taxa de alucinação no UrbanSound8K antes versus depois; WER no LibriSpeech test-clean antes versus depois | 99,97% vs. 15,51%; 2,12% vs. 2,19% | Wang et al., Calm-Whisper, Interspeech 2025 |
| Steering com autoencoder esparso, Whisper small, conjunto de teste combinado sem fala | 72,63% vs. 14,11% | Aparin et al., Whisper Hallucination Detection and Mitigation, arXiv 2026 |
| Mesmo steering no Whisper large-v3: taxa de erro de caracteres em chinês no AISHELL-1 antes versus depois | 10,54 vs. 66,24 | Aparin et al., Whisper Hallucination Detection and Mitigation, arXiv 2026 |
| Intervenção no token de fim de texto (token nulo), Whisper small: taxa de saída lexical; palavras de referência apagadas por minuto | 91,7% vs. 3,3%; 33,05 vs. 1,58 | Borodin et al., The Null Token Knows, arXiv 2026 |
| Referência com VAD do WhisperX: taxa média de alucinação sem fala; rejeição indevida de fala real | 5,24%; 0% | Abbasihafshejani e Jadliwala, arXiv 2026 |
| Whisper versus WhisperX no TED-LIUM: taxa de erro de inserção; sequências repetidas de 5 palavras | 7,7 vs. 6,7; 221 vs. 189 | Bain et al., artigo do WhisperX 2023 |
Contexto: o resultado da largura de beam contraria a intuição, já que os autores do Whisper usam busca em feixe com 5 beams para reduzir loops de repetição em fala, enquanto no preenchimento sem fala o beam mais largo produziu mais alucinações detectadas. O Calm-Whisper também reduziu as alucinações de vários tokens (mais de cinco tokens) de 742 para 91. Os dados do WhisperX são de 2023, portanto esses são os dados mais recentes disponíveis para esse benchmark.
Resumo: Alucinação em Reconhecimento de Fala em Números
| Métrica | Valor | Fonte |
|---|---|---|
| Clipes sem fala do Whisper large-v3 que produziram texto | 40,3% de 301.317 | Barański et al., ICASSP 2025 |
| Taxa de alucinação do Whisper large-v3 em ruído do UrbanSound8K | 99,97% | Wang et al., Calm-Whisper, Interspeech 2025 |
| Whisper large-v3 versus Whisper small, conjunto de teste combinado sem fala | 86,8% vs. 72,6% | Aparin et al., arXiv 2026 |
| Saída lexical do Whisper turbo em clipes sem fala | 74,3% | Borodin et al., The Null Token Knows, arXiv 2026 |
| Segmentos do AphasiaBank com alucinações reproduzíveis do Whisper | 187 de 13.140 (1,4%) | Koenecke et al., Careless Whisper, ACM FAccT 2024 |
| Transcrições de reuniões públicas com alucinações, um pesquisador de Michigan | 8 de cada 10 | Investigação da Associated Press, outubro de 2024 |
| Taxa de alucinação, Universal-1 versus Whisper large-v3 | Redução relativa de 30% (alegação do próprio fornecedor) | AssemblyAI, 2024 |
| Clipes com gagueira versus fluentes com alucinações, Whisper v2 | 14% vs. 3,3% | Sridhar e Wu, Interspeech 2025 |
| WER versus HER do Whisper large-v3 em um conjunto adversarial | 33,3% vs. 49,8% | Atwany et al., arXiv 2025 |
| Correlação do SHALLOW com o WER, faixa de 10-30% de WER | ρs > 0,80 | Koudounas et al., SHALLOW, arXiv 2025 |
| RTFx médio, baseados em Conformer versus baseados em Whisper | 758 vs. 201 | Srivastav et al., v4 de março de 2026 |
| WER do Calm-Whisper no LibriSpeech test-clean antes versus depois da correção | 2,12% vs. 2,19% | Wang et al., Calm-Whisper, Interspeech 2025 |
| Intervenção com token nulo: palavras apagadas por minuto | 33,05 vs. 1,58 | Borodin et al., arXiv 2026 |
| Steering com autoencoder esparso, taxa de alucinação do Whisper small | 72,63% vs. 14,11% | Aparin et al., arXiv 2026 |
| Referência com VAD do WhisperX, taxa de alucinação e rejeição indevida | 5,24%; 0% | Abbasihafshejani e Jadliwala, arXiv 2026 |
| Taxa de erro de inserção do Whisper versus WhisperX no TED-LIUM | 7,7 vs. 6,7 | Bain et al., artigo do WhisperX 2023 |
Metodologia e Fontes
Lemos o artigo original, a ficha do modelo ou a reportagem investigativa por trás de cada número acima e citamos cada um na notação da própria fonte (porcentagens, frações, ρ ou α). Quando o texto e as tabelas de um artigo divergem, usamos o valor da tabela ou a frase explícita e sinalizamos o conflito abaixo.
- Koenecke et al., Careless Whisper: Speech-to-Text Hallucination Harms, ACM FAccT 2024
- Burke e Schellmann, investigação da Associated Press sobre a transcrição do Whisper, outubro de 2024, com o resumo do Cornell Chronicle sobre o estudo Careless Whisper, junho de 2024
- Barański et al., Investigation of Whisper ASR Hallucinations Induced by Non-Speech Audio, ICASSP 2025
- Wang et al., Calm-Whisper: Reduce Whisper Hallucination On Non-Speech By Calming Crazy Heads Down, Interspeech 2025
- Sridhar e Wu, J-j-j-just Stutter: Benchmarking Whisper’s Performance Disparities on Different Stuttering Patterns, Interspeech 2025
- Atwany et al., Lost in Transcription, Found in Distribution Shift: Demystifying Hallucination in Speech Foundation Models, arXiv 2025
- Koudounas et al., Hallucination Benchmark for Speech Foundation Models (SHALLOW), arXiv 2025
- Srivastav et al., artigo do Open ASR Leaderboard, v4 de março de 2026
- Borodin et al., The Null Token Knows: Reducing Message-Free Hallucination in ASR and NMT, arXiv 2026
- Aparin et al., Whisper Hallucination Detection and Mitigation via Hidden Representation Steering and Sparse AutoEncoders, arXiv 2026
- Abbasihafshejani e Jadliwala, Reducing Hallucinated Transcripts in Whisper via Hallucination Space Projection, arXiv 2026
- AssemblyAI (McCann Ramirez, Chkhetiani et al.), Anatomy of Industrial Scale Multilingual ASR, 2024
- Bain et al., WhisperX: Time-Accurate Speech Transcription of Long-Form Audio, 2023
- Radford et al., Robust Speech Recognition via Large-Scale Weak Supervision (artigo do Whisper), 2022
- OpenAI, ficha do modelo Whisper large-v3 no Hugging Face
- Frieske e Shi, Hallucinations in Neural Automatic Speech Recognition: Identifying Errors and Hallucinatory Models, arXiv 2024
- Nota sobre os dados: o resumo do artigo Careless Whisper diz que cerca de 1% das transcrições tiveram alucinações, enquanto o corpo do texto relata 1,4% (187 de 13.140 segmentos) e 312 transcrições com alucinações em duas execuções; a AP descreveu o mesmo trabalho como 187 alucinações em mais de 13.000 clipes. O artigo Hallucination Space Projection relata uma média de referência de 31,31% que não corresponde aos seus próprios valores por conjunto de dados (citamos apenas os valores por conjunto de dados e a referência do WhisperX). O artigo de steering informa 95,2% para o Whisper large-v3 no UrbanSound8K em uma tabela e 95,98% em outra. O benchmark de gagueira usa 2.079 e 2.086 como totais de clipes com gagueira em seções diferentes. Atwany et al., SHALLOW, o artigo do Null Token (submetido ao AAAI-27), o artigo de steering e o artigo de projeção são preprints do arXiv sem veículo revisado por pares confirmado no momento da leitura. Os números da AssemblyAI são alegações do próprio fornecedor, e os números da AP são relatos de campo individuais, não medições controladas. O artigo do Whisper (2022), o WhisperX (2023) e Frieske e Shi (2024) são os dados mais recentes disponíveis para seus benchmarks específicos.
Última atualização: 24 de outubro de 2026. Atualizamos este levantamento trimestralmente, e a próxima revisão é esperada quando os anais do ICASSP 2027 e a próxima revisão do artigo do Open ASR Leaderboard forem publicados.