Ante 301.317 clips de audio puramente sin voz, Whisper large-v3 escribió texto para 121.378 de ellos (40,3%), y el 9,1% de esas salidas fabricadas eran bucles de la misma frase repetida (Barański et al., ICASSP 2025). En la biblioteca de sonidos urbanos UrbanSound8K, otro equipo midió salida de texto en el 99,97% de los clips (Wang et al., Calm-Whisper, Interspeech 2025). Con voz real la tasa es mucho menor, pero no se reparte de forma pareja: en el corpus AphasiaBank, los segmentos de hablantes con afasia tuvieron alucinaciones con más frecuencia que los de control, y los tramos no vocales más largos predecían la alucinación (Koenecke et al., ACM FAccT 2024). Las clasificaciones públicas no lo detectan, porque el Open ASR Leaderboard ordena los modelos solo por tasa de error de palabras y velocidad (Srivastav et al., artículo del Open ASR Leaderboard 2026), la misma métrica detrás de las brechas de acento y dialecto que analizamos por separado. Reunimos datos de artículos de Cornell, Carnegie Mellon, Hugging Face, Interspeech e ICASSP, de AssemblyAI, de la Associated Press y de trabajos de 2026 en arXiv sobre detección y mitigación.
En este informe, “alucinación” significa texto en una transcripción que no tiene ninguna base en el audio: palabras, frases u oraciones completas inventadas, a diferencia de entender mal una palabra que sí se dijo.
TL;DR
- Whisper large-v3 produjo texto en el 40,3% de 301.317 clips sin voz, el 9,1% de ellos en bucle (Barański et al., ICASSP 2025).
- Whisper large-v3 produjo texto en el 99,97% de los clips de ruido de UrbanSound8K antes de un ajuste fino dirigido (Wang et al., Calm-Whisper, Interspeech 2025).
- Los clips con tartamudez tuvieron alucinaciones en el 14% con Whisper v2 y el 2,9% con v3 (Sridhar y Wu, Interspeech 2025).
- Universal-1 reportó una reducción relativa del 30% en su tasa de alucinación frente a Whisper large-v3, afirmación del propio proveedor (AssemblyAI, Anatomy of Industrial Scale Multilingual ASR 2024).
- La Tasa de Error de Alucinación se correlaciona con el cambio de distribución en α = 0,91 (Atwany et al., arXiv 2025).
- Las puntuaciones de alucinación de SHALLOW siguen al WER con ρs > 0,80 solo en la banda de WER del 10-30% (Koudounas et al., arXiv 2025).
- Whisper turbo aún dio salida léxica en el 74,3% de los clips sin voz (Borodin et al., The Null Token Knows, arXiv 2026).
- El Open ASR Leaderboard reporta solo WER y RTFx, con sistemas basados en Conformer 3,77 veces más rápidos que los basados en Whisper (Srivastav et al., artículo del Open ASR Leaderboard 2026).
- La corrección de Calm-Whisper elevó el WER en LibriSpeech test-clean solo del 2,12% al 2,19% (Wang et al., Calm-Whisper, Interspeech 2025).
- Una línea base con VAD de WhisperX promedió un 5,24% de alucinación sin voz con un 0% de rechazo indebido (Abbasihafshejani y Jadliwala, arXiv 2026).
1. Con Qué Frecuencia el ASR Inventa Texto en Voz Real
Las cifras controladas con voz real son pequeñas, y esa es justamente la trampa. 187 de 13.140 segmentos de AphasiaBank (1,4%) produjeron de forma sistemática texto fabricado en Whisper en el estudio Careless Whisper, mientras que los mismos segmentos enviados a Amazon y Google no produjeron ninguna fabricación comparable. Una tasa baja que cae sobre una historia clínica, una entrevista o un registro judicial es un riesgo distinto al de una palabra mal entendida, porque las frases inventadas se leen con fluidez y a nadie se le ocurre verificarlas.
Los reportes de campo recogidos por la Associated Press en octubre de 2024 son mucho más altos y no son comparables con las cifras de laboratorio: un ingeniero de aprendizaje automático dijo a la AP que encontró alucinaciones en cerca de la mitad de las más de 100 horas de transcripciones de Whisper que analizó. Son inspecciones de usuarios individuales, sin una definición compartida, así que conviene tratarlas como una señal de exposición y no como una tasa.
| Métrica | Valor | Fuente |
|---|---|---|
| Segmentos de AphasiaBank que produjeron texto alucinado de forma sistemática en Whisper (ejecuciones de abril a mayo de 2023) | 187 de 13.140 segmentos (1,4%) | Koenecke et al., Careless Whisper, ACM FAccT 2024 |
| Segmentos con alucinación que siguieron alucinando al volver a ejecutarse en diciembre de 2023 | 12 de 187 | Koenecke et al., Careless Whisper, ACM FAccT 2024 |
| Tasa de Error de Alucinación de Whisper large-v3, LibriSpeech frente a LibriSpeech con ruido añadido | 0,3% frente a 0,4% | Atwany et al., Lost in Transcription, arXiv 2025 |
| Transcripciones de reuniones públicas con alucinaciones, inspeccionadas por un investigador de la University of Michigan | 8 de cada 10 | Investigación de la Associated Press, octubre de 2024 |
| Transcripciones de Whisper con alucinaciones, reportadas por un desarrollador | Casi todas las 26.000 | Investigación de la Associated Press, octubre de 2024 |
| Tasa de fabricación (5 o más palabras consecutivas insertadas o sustituidas por hora), Universal-1 frente a Whisper large-v3 | Reducción relativa del 41% (afirmación del propio proveedor) | AssemblyAI, Anatomy of Industrial Scale Multilingual ASR 2024 |
| Tasa global de alucinación (5 o más errores consecutivos por hora), Universal-1 frente a Whisper large-v3 y frente a Canary-1B | Reducciones relativas del 30% y del 22% (afirmación del propio proveedor) | AssemblyAI, Anatomy of Industrial Scale Multilingual ASR 2024 |
Contexto: en la nueva ejecución de diciembre de 2023, la mayoría de los casos reproducibles, aunque no todos, dejaron de alucinar: 12 de 187 es el 6,4% (cálculo nuestro). La comparación con Amazon y Google se realizó el 27 de enero de 2024. Las cifras de AssemblyAI son reducciones relativas medidas sobre 146 horas de datos de prueba en inglés elegidos por el proveedor, y las tasas absolutas por hora aparecen solo en una figura.
2. Silencio, Ruido y Audio Sin Voz: El Peor Caso
En un audio sin ninguna voz, la transcripción correcta está vacía, así que cada palabra de salida es fabricada. Eso convierte al audio sin voz en la prueba de estrés más limpia, y los resultados son contundentes: según el conjunto de datos y la regla de conteo, Whisper large-v3 escribe texto en entre el 21,35% y el 100% de los clips sin voz en los estudios que siguen. La dispersión no es ruido de la investigación. Refleja bibliotecas de sonido, duraciones de clip y definiciones distintas, y por eso no existe una única “tasa de alucinación de Whisper”.
Aquí más grande no es necesariamente mejor. En la auditoría del Null Token de agosto de 2026, Whisper small dio salida léxica en más clips que large-v3, mientras que en el estudio de steering de junio de 2026 large-v3 fue peor que small en el conjunto de prueba combinado. Canary-1B, un modelo que no es Whisper, quedó en el mismo rango. Separar las voces del sonido de fondo es un campo de investigación en sí mismo (véanse nuestras estadísticas de separación de voz); los reconocedores que se saltan ese paso heredan el problema.
| Métrica | Valor | Fuente |
|---|---|---|
| Inferencias de Whisper large-v3 sobre audio sin voz (AudioSet, MUSAN, UrbanSound8K, FSD50K, ruido y silencio) que produjeron texto | 121.378 de 301.317 (40,3%); 11.049 de ellas (9,1%) implicaron bucles | Barański et al., ICASSP 2025 |
| Tasa de alucinación de Whisper large-v3 en clips de sonidos urbanos de UrbanSound8K | 99,97% | Wang et al., Calm-Whisper, Interspeech 2025 |
| Whisper large-v3 frente a Whisper small, tasa de alucinación en un conjunto de prueba combinado sin voz (WHAM!, FSD50k, UrbanSound8K) | 86,8% frente a 72,6% | Aparin et al., Whisper Hallucination Detection and Mitigation, arXiv 2026 |
| Tasa de alucinación de Whisper large-v3 en UrbanSound8K, medición independiente de 2026 | 95,2% | Aparin et al., Whisper Hallucination Detection and Mitigation, arXiv 2026 |
| Proporción de clips sin voz con salida léxica, Whisper small, large-v3 y turbo | 96,2%, 77,0% y 74,3% | Borodin et al., The Null Token Knows, arXiv 2026 |
| Proporción de clips sin voz con salida léxica, Canary-1B (subconjunto) | 79,3% | Borodin et al., The Null Token Knows, arXiv 2026 |
| Salida no vacía en 200 muestras de ruido ambiental de AudioSet, Whisper large-v3, Canary-1B y Universal-1 | 100%, 100% y 10,5% (prueba del propio proveedor) | AssemblyAI, Anatomy of Industrial Scale Multilingual ASR 2024 |
Contexto: un tercer artículo de 2026 midió Whisper large-v3 en 76,08% en UrbanSound8K, 44,25% en ESC-50 y 21,35% en un subconjunto filtrado de FSD50K (Abbasihafshejani y Jadliwala, arXiv 2026). “Salida léxica” en el artículo del Null Token significa cualquier letra que quede después de que un normalizador elimine etiquetas de eventos, puntuación y dígitos, un conteo más amplio que comparar frases completas.
3. Qué Se Inventa: Frases Típicas y Duración del Clip
Las alucinaciones de Whisper en audio sin voz no son aleatorias. Dos frases, “thank you” (24,76%) y “thanks for watching” (10,32%), representan cerca del 35% de todas las alucinaciones en audio sin voz en el estudio de ICASSP 2025. Son despedidas de videos, un patrón coherente con texto de entrenamiento tomado de subtítulos de videos en línea y no de transcripciones verificadas (interpretación nuestra, no una medición de los autores).
La repetición es también la puerta práctica para la defensa: como un conjunto pequeño de salidas se repite, los autores construyeron una “bag of hallucinations” (bolsa de alucinaciones), una lista de salidas fabricadas frecuentes que puede filtrarse después de la transcripción. La duración importa tanto como el contenido. Añadir 30 segundos de sonido sin voz a clips de voz de 10 segundos produjo alucinaciones detectadas en el 44,5% de los archivos, frente al 0,3% con 1 segundo de relleno.
| Métrica | Valor | Fuente |
|---|---|---|
| Proporción de alucinaciones en audio sin voz que fueron “thank you” y “thanks for watching” | 24,76% y 10,32% | Barański et al., ICASSP 2025 |
| Salidas alucinadas únicas; salidas que aparecieron más de una vez; proporción de todas las alucinaciones cubierta por esas repeticiones | 41.231 únicas; 1.270 repetidas; 67,08% | Barański et al., ICASSP 2025 |
| Alucinaciones detectadas al añadir 1 s frente a 30 s de sonido sin voz antes o después de la voz | 0,3% frente a 44,5% | Barański et al., ICASSP 2025 |
| Datos de entrenamiento de Whisper large-v3 | 1 millón de horas de audio con etiquetas débiles más 4 millones de horas con pseudoetiquetas | OpenAI, ficha del modelo Whisper large-v3 |
| Datos de entrenamiento del Whisper original (lanzamiento de 2022) | 680.000 horas de supervisión multilingüe y multitarea | Radford et al., artículo de Whisper 2022 |
| Alucinaciones en modelos construidos con un 8% de ruido inyectado, proporción de los conjuntos de evaluación | 1-2% para la mayoría de los modelos; 8% para un modelo | Frieske y Shi, Hallucinations in Neural ASR, arXiv 2024 |
Contexto: “etiquetas débiles” significa que el texto asociado a cada grabación no se verificó palabra por palabra con el audio, y “pseudoetiquetas” significa que el texto lo produjo un modelo anterior. Los propios autores de Whisper incluyen “complete hallucination where the model will output a transcript entirely unrelated to the actual audio” (alucinación completa, en la que el modelo genera una transcripción totalmente ajena al audio real) entre sus modos de fallo conocidos en audio largo (Radford et al., 2022). Datos más recientes disponibles para el conjunto de entrenamiento original: artículo de Whisper, 2022.
4. Quiénes Sufren Alucinaciones: Patrones de Habla con Pausas y Repeticiones
El riesgo de alucinación sigue la forma del audio, y algunos hablantes producen audio con más silencio o más sonidos repetidos. Whisper v2 tuvo alucinaciones en el 14% de los clips de pódcast con tartamudez frente al 3,3% de los clips fluidos, según el benchmark de tartamudez de Interspeech 2025, que extrajo 2.621 clips del conjunto de pódcast SEP-28K. Whisper v3 redujo mucho ambas cifras, pero los clips con tartamudez aún tuvieron alucinaciones unas tres veces más a menudo que los fluidos (2,9% frente a 0,9%).
En la afasia (un trastorno que afecta al lenguaje), el equipo de Careless Whisper encontró el mecanismo en las pausas: los hablantes con afasia tenían proporciones no vocales mucho mayores en sus grabaciones, y las proporciones no vocales mayores predecían la alucinación. Para ver qué tan comunes son estos patrones de habla, consulte nuestras estadísticas demográficas de la tartamudez.
| Métrica | Valor | Fuente |
|---|---|---|
| Segmentos de audio con afasia frente a control que produjeron alucinaciones en Whisper | 1,7% frente a 1,2% (regresión: p=0,019) | Koenecke et al., Careless Whisper, ACM FAccT 2024 |
| Tasa de alucinación con afasia frente a control, grupos emparejados por datos demográficos de los participantes | 1,82% frente a 1,16% (valor p = 0,044) | Koenecke et al., Careless Whisper, ACM FAccT 2024 |
| Proporción de la duración total de la grabación que es no vocal, hablantes con afasia frente a hablantes de control | 41% frente a 15% | Koenecke et al., Careless Whisper, ACM FAccT 2024 |
| Clips con tartamudez frente a fluidos con alucinaciones, Whisper v2 | 14% (293 de 2.086) frente a 3,3% (18 de 534) | Sridhar y Wu, Interspeech 2025 |
| Clips con tartamudez frente a fluidos con alucinaciones, Whisper v3 | 2,9% (61 de 2.086) frente a 0,9% (5 de 534) | Sridhar y Wu, Interspeech 2025 |
| Clips con repeticiones de sonidos (repetir el primer sonido de una palabra) que tuvieron alucinaciones, Whisper v2 frente a v3 | 22,6% frente a 6,9% | Sridhar y Wu, Interspeech 2025 |
| Clips con prolongaciones (alargar un sonido) que tuvieron alucinaciones, Whisper v2 frente a v3 | 15,4% frente a 1,47% | Sridhar y Wu, Interspeech 2025 |
Contexto: el artículo sobre tartamudez detectó candidatas a alucinación ejecutando Whisper dos veces sobre cada clip y marcando las grandes discrepancias, y luego revisó cada marca a mano. Sus cifras de clips difieren ligeramente entre secciones (2.079 clips con tartamudez muestreados, 2.086 en el recuento de alucinaciones), por eso citamos cada cifra con su propio denominador.
5. Medir la Alucinación: Métricas Propuestas Más Allá del WER
La tasa de error de palabras cuenta sustituciones, eliminaciones e inserciones, pero no distingue una palabra mal entendida de una oración inventada. La Tasa de Error de Alucinación propuesta por investigadores de Carnegie Mellon y MBZUAI se correlaciona con el cambio de distribución en α = 0,91, es decir, las alucinaciones aumentan a medida que el audio de prueba se aleja del audio de entrenamiento (Atwany et al., 2025). Su canal usa un LLM como juez, lo que lo hace lo bastante barato para ejecutarlo a gran escala.
El benchmark SHALLOW divide la alucinación en cuatro ejes: léxico (palabras inventadas), fonético (errores de sonidos parecidos), morfológico (formas de palabra erróneas) y semántico (significado alterado). Su hallazgo clave es dónde el WER deja de ser informativo: las correlaciones son fuertes con tasas de error bajas y se desploman a medida que el WER sube, justo donde la alucinación más importa.
| Métrica | Valor | Fuente |
|---|---|---|
| Concordancia en las etiquetas de alucinación, humano frente a humano y humano frente a GPT-4o-mini | 0,71 frente a 0,60 | Atwany et al., Lost in Transcription, arXiv 2025 |
| Costo del canal de etiquetado con LLM frente a la evaluación humana | $78 por 1 millón de segmentos, unas 375 veces más barato | Atwany et al., Lost in Transcription, arXiv 2025 |
| Correlación entre las puntuaciones de SHALLOW y el WER, con 10-30% de WER frente a 90% de WER (par léxico-semántico) | ρs > 0,80 frente a menos de -0,45 | Koudounas et al., SHALLOW, arXiv 2025 |
| Prueba sintética: correlación con el WER, fabricación léxica frente a errores semánticos | ρ = 0,98 frente a ρ = 0,15 | Koudounas et al., SHALLOW, arXiv 2025 |
| Modelos y conjuntos de datos de prueba en la evaluación de SHALLOW | 12 modelos, 10 conjuntos de datos | Koudounas et al., SHALLOW, arXiv 2025 |
| Umbrales usados para separar las alucinaciones de los errores fonéticos | Similitud coseno 0,2; WER 30; perplejidad 200 | Frieske y Shi, Hallucinations in Neural ASR, arXiv 2024 |
| Marca de alucinación por dos ejecuciones usada en el benchmark de tartamudez | WER entre ejecuciones superior a 0,6, F1 de BERT inferior a 0,6, o más de 4 palabras insertadas | Sridhar y Wu, Interspeech 2025 |
Contexto: estas métricas no son intercambiables. AssemblyAI cuenta series de 5 o más errores consecutivos por hora de audio, el artículo del Null Token cuenta clips con cualquier letra sobre audio de referencia vacío, y la Tasa de Error de Alucinación cuenta ejemplos etiquetados como alucinaciones. Un 2% en una escala no dice nada sobre un 2% en otra.
6. WER de la Clasificación Frente a Alucinación: Comparación de Modelos
El artículo del Open ASR Leaderboard de Hugging Face es la referencia del campo en precisión y velocidad, y su alcance es explícito: reporta WER y RTFx (factor de tiempo real inverso, cuántos segundos de audio procesa un sistema por segundo) y nada más. El artículo no trata las alucinaciones ni los bucles de repetición como errores de los modelos. Aun así, sus datos de velocidad importan para este tema, porque las familias Conformer más rápidas (un diseño de codificador que combina convolución y atención) son las alternativas obvias a Whisper en esa clasificación.
Las tablas de CMU y SHALLOW muestran por qué una clasificación por WER no es una clasificación por seguridad. Whisper large-v3 registró un WER superior al 65% con voz simulada de control de tráfico aéreo mientras su tasa de alucinación se mantuvo mucho más baja, y lo contrario ocurrió con un conjunto adversarial. Los estándares de precisión en los subtítulos de radiodifusión enfrentan una división similar entre sincronía, integridad y corrección (véanse nuestras estadísticas de estándares de precisión de subtítulos).
| Métrica | Valor | Fuente |
|---|---|---|
| Métricas que reporta el Open ASR Leaderboard | Solo WER y RTFx | Srivastav et al., artículo del Open ASR Leaderboard, v4 de marzo de 2026 |
| RTFx medio, sistemas basados en Conformer frente a basados en Whisper | 758 frente a 201 (3,77 veces más rápidos) | Srivastav et al., artículo del Open ASR Leaderboard, v4 de marzo de 2026 |
| WER y RTFx de Whisper Large v3 en la pista de inglés de larga duración | 11,2 de WER; RTFx 68,6 | Srivastav et al., artículo del Open ASR Leaderboard, v4 de marzo de 2026 |
| Posición del mejor modelo TDT y del mejor modelo CTC en precisión de inglés de corta duración | 10.º y 34.º | Srivastav et al., artículo del Open ASR Leaderboard, v4 de marzo de 2026 |
| WER frente a Tasa de Error de Alucinación de Whisper large-v3 en ATCOsim (voz simulada de control de tráfico aéreo) | 65,3% frente a 17,6% | Atwany et al., Lost in Transcription, arXiv 2025 |
| WER frente a Tasa de Error de Alucinación de Whisper large-v3 en un conjunto de prueba adversarial | 33,3% frente a 49,8% | Atwany et al., Lost in Transcription, arXiv 2025 |
| Whisper-Large-v3 frente a Canary, WER medio; puntuación media de fabricación léxica | 14,20 frente a 14,26; 6,74 frente a 5,43 | Koudounas et al., SHALLOW, arXiv 2025 |
Contexto: TDT y CTC son métodos de decodificación que emiten texto alineado con las tramas de audio, en lugar de generar texto libre token por token como el decodificador de Whisper. La clasificación señala que ofrecen un RTFx sustancialmente mejor con menor precisión. El WER medio casi idéntico de Whisper-Large-v3 y Canary en SHALLOW oculta que Canary cometió menos fabricaciones léxicas.
7. Resultados de Mitigación: VAD, Cambios en la Decodificación y Ediciones del Modelo
La solución más fiable sigue siendo no enviar silencio al modelo. Silero VAD redujo el WER en voz con relleno de sonido sin voz del 104,8% al 8,0% en los experimentos de relleno descritos en la sección 3, y añadir la eliminación de bucles más el filtro de la bolsa de alucinaciones lo llevó al 6,5%. VAD (detección de actividad de voz) es un modelo aparte que decide si un tramo de audio contiene voz. En el propio artículo de Whisper, el VAD era una de las heurísticas de decodificación en un camino que va de 11,0 de WER medio en audio largo con decodificación voraz a 10,0 con todas las heurísticas (Radford et al., 2022).
Las correcciones del lado del modelo funcionan, pero cada una traslada el error a otra parte. Calm-Whisper ajustó solo 3 cabezas de atención (números 1, 6 y 11) y dejó el WER casi intacto. Las intervenciones de steering y de fin de texto también suprimieron la mayor parte de la fabricación, pero empezaron a eliminar voz real o a arruinar el reconocimiento del chino. Los autores del token nulo lo dicen sin rodeos: los métodos de abstención deben juzgarse por sus costos de supresión y de eliminación, no solo por la reducción de alucinaciones.
| Métrica | Valor | Fuente |
|---|---|---|
| WER en voz con relleno de sonido sin voz: sin procesamiento frente a Silero VAD frente a Silero VAD más eliminación de bucles y filtro de la bolsa de alucinaciones | 104,8% frente a 8,0% frente a 6,5% | Barański et al., ICASSP 2025 |
| Alucinaciones detectadas con tamaño de beam 1 frente a tamaño de beam 5 | 19,5% frente a 28,2% | Barański et al., ICASSP 2025 |
| Calm-Whisper: tasa de alucinación en UrbanSound8K antes frente a después; WER en LibriSpeech test-clean antes frente a después | 99,97% frente a 15,51%; 2,12% frente a 2,19% | Wang et al., Calm-Whisper, Interspeech 2025 |
| Steering con autoencoder disperso, Whisper small, conjunto de prueba combinado sin voz | 72,63% frente a 14,11% | Aparin et al., Whisper Hallucination Detection and Mitigation, arXiv 2026 |
| El mismo steering en Whisper large-v3: tasa de error de caracteres en chino en AISHELL-1 antes frente a después | 10,54 frente a 66,24 | Aparin et al., Whisper Hallucination Detection and Mitigation, arXiv 2026 |
| Intervención en el token de fin de texto (token nulo), Whisper small: tasa de salida léxica; palabras de referencia eliminadas por minuto | 91,7% frente a 3,3%; 33,05 frente a 1,58 | Borodin et al., The Null Token Knows, arXiv 2026 |
| Línea base con VAD de WhisperX: tasa media de alucinación sin voz; rechazo indebido de voz real | 5,24%; 0% | Abbasihafshejani y Jadliwala, arXiv 2026 |
| Whisper frente a WhisperX en TED-LIUM: tasa de error de inserción; secuencias repetidas de 5 palabras | 7,7 frente a 6,7; 221 frente a 189 | Bain et al., artículo de WhisperX 2023 |
Contexto: el resultado del tamaño de beam va contra la intuición, ya que los autores de Whisper usan búsqueda en haz con 5 beams para reducir los bucles de repetición en voz, mientras que con relleno sin voz el haz más ancho produjo más alucinaciones detectadas. Calm-Whisper también redujo las alucinaciones de varios tokens (más de cinco tokens) de 742 a 91. Los datos de WhisperX son de 2023, por lo que son los datos más recientes disponibles para ese benchmark.
Resumen: La Alucinación en el Reconocimiento de Voz en Cifras
| Métrica | Valor | Fuente |
|---|---|---|
| Clips sin voz de Whisper large-v3 que produjeron texto | 40,3% de 301.317 | Barański et al., ICASSP 2025 |
| Tasa de alucinación de Whisper large-v3 en ruido de UrbanSound8K | 99,97% | Wang et al., Calm-Whisper, Interspeech 2025 |
| Whisper large-v3 frente a Whisper small, conjunto de prueba combinado sin voz | 86,8% frente a 72,6% | Aparin et al., arXiv 2026 |
| Salida léxica de Whisper turbo en clips sin voz | 74,3% | Borodin et al., The Null Token Knows, arXiv 2026 |
| Segmentos de AphasiaBank con alucinaciones reproducibles de Whisper | 187 de 13.140 (1,4%) | Koenecke et al., Careless Whisper, ACM FAccT 2024 |
| Transcripciones de reuniones públicas con alucinaciones, un investigador de Michigan | 8 de cada 10 | Investigación de la Associated Press, octubre de 2024 |
| Tasa de alucinación, Universal-1 frente a Whisper large-v3 | Reducción relativa del 30% (afirmación del propio proveedor) | AssemblyAI, 2024 |
| Clips con tartamudez frente a fluidos con alucinaciones, Whisper v2 | 14% frente a 3,3% | Sridhar y Wu, Interspeech 2025 |
| WER frente a HER de Whisper large-v3 en un conjunto adversarial | 33,3% frente a 49,8% | Atwany et al., arXiv 2025 |
| Correlación de SHALLOW con el WER, banda de WER del 10-30% | ρs > 0,80 | Koudounas et al., SHALLOW, arXiv 2025 |
| RTFx medio, basados en Conformer frente a basados en Whisper | 758 frente a 201 | Srivastav et al., v4 de marzo de 2026 |
| WER de Calm-Whisper en LibriSpeech test-clean antes frente a después de la corrección | 2,12% frente a 2,19% | Wang et al., Calm-Whisper, Interspeech 2025 |
| Intervención con token nulo: palabras eliminadas por minuto | 33,05 frente a 1,58 | Borodin et al., arXiv 2026 |
| Steering con autoencoder disperso, tasa de alucinación de Whisper small | 72,63% frente a 14,11% | Aparin et al., arXiv 2026 |
| Línea base con VAD de WhisperX, tasa de alucinación y rechazo indebido | 5,24%; 0% | Abbasihafshejani y Jadliwala, arXiv 2026 |
| Tasa de error de inserción de Whisper frente a WhisperX en TED-LIUM | 7,7 frente a 6,7 | Bain et al., artículo de WhisperX 2023 |
Metodología y Fuentes
Leímos el artículo original, la ficha del modelo o la investigación periodística detrás de cada cifra anterior y citamos cada una en la notación de la propia fuente (porcentajes, fracciones, ρ o α). Cuando el texto y las tablas de un artículo discrepan, usamos el valor de la tabla o la frase explícita y señalamos el conflicto más abajo.
- Koenecke et al., Careless Whisper: Speech-to-Text Hallucination Harms, ACM FAccT 2024
- Burke y Schellmann, investigación de la Associated Press sobre la transcripción de Whisper, octubre de 2024, con el resumen de Cornell Chronicle sobre el estudio Careless Whisper, junio de 2024
- Barański et al., Investigation of Whisper ASR Hallucinations Induced by Non-Speech Audio, ICASSP 2025
- Wang et al., Calm-Whisper: Reduce Whisper Hallucination On Non-Speech By Calming Crazy Heads Down, Interspeech 2025
- Sridhar y Wu, J-j-j-just Stutter: Benchmarking Whisper’s Performance Disparities on Different Stuttering Patterns, Interspeech 2025
- Atwany et al., Lost in Transcription, Found in Distribution Shift: Demystifying Hallucination in Speech Foundation Models, arXiv 2025
- Koudounas et al., Hallucination Benchmark for Speech Foundation Models (SHALLOW), arXiv 2025
- Srivastav et al., artículo del Open ASR Leaderboard, v4 de marzo de 2026
- Borodin et al., The Null Token Knows: Reducing Message-Free Hallucination in ASR and NMT, arXiv 2026
- Aparin et al., Whisper Hallucination Detection and Mitigation via Hidden Representation Steering and Sparse AutoEncoders, arXiv 2026
- Abbasihafshejani y Jadliwala, Reducing Hallucinated Transcripts in Whisper via Hallucination Space Projection, arXiv 2026
- AssemblyAI (McCann Ramirez, Chkhetiani et al.), Anatomy of Industrial Scale Multilingual ASR, 2024
- Bain et al., WhisperX: Time-Accurate Speech Transcription of Long-Form Audio, 2023
- Radford et al., Robust Speech Recognition via Large-Scale Weak Supervision (artículo de Whisper), 2022
- OpenAI, ficha del modelo Whisper large-v3 en Hugging Face
- Frieske y Shi, Hallucinations in Neural Automatic Speech Recognition: Identifying Errors and Hallucinatory Models, arXiv 2024
- Nota sobre los datos: el resumen del artículo Careless Whisper dice que cerca del 1% de las transcripciones tuvo alucinaciones, mientras que el cuerpo reporta 1,4% (187 de 13.140 segmentos) y 312 transcripciones con alucinaciones en dos ejecuciones; la AP describió el mismo trabajo como 187 alucinaciones en más de 13.000 clips. El artículo Hallucination Space Projection reporta una media de referencia del 31,31% que no coincide con sus propias cifras por conjunto de datos (citamos solo los valores por conjunto de datos y su línea base de WhisperX). El artículo de steering da 95,2% para Whisper large-v3 en UrbanSound8K en una tabla y 95,98% en otra. El benchmark de tartamudez usa 2.079 y 2.086 como totales de clips con tartamudez en distintas secciones. Atwany et al., SHALLOW, el artículo del Null Token (enviado a AAAI-27), el artículo de steering y el de proyección son preprints de arXiv sin un medio con revisión por pares confirmado al momento de la lectura. Las cifras de AssemblyAI son afirmaciones del propio proveedor, y las de la AP son reportes de campo individuales, no mediciones controladas. El artículo de Whisper (2022), WhisperX (2023) y Frieske y Shi (2024) son los datos más recientes disponibles para sus benchmarks específicos.
Última actualización: 24 de octubre de 2026. Actualizamos este informe trimestralmente, y la próxima revisión se espera cuando se publiquen las actas de ICASSP 2027 y la siguiente revisión del artículo del Open ASR Leaderboard.