Soumis à 301 317 clips d’audio purement hors parole, Whisper large-v3 a écrit du texte pour 121 378 d’entre eux (40,3%), et 9,1% de ces sorties fabriquées étaient des boucles de la même phrase répétée (Barański et al., ICASSP 2025). Sur la bibliothèque UrbanSound8K de sons urbains, une autre équipe a mesuré une sortie de texte sur 99,97% des clips (Wang et al., Calm-Whisper, Interspeech 2025). Sur de la parole réelle, le taux est bien plus faible mais inégalement réparti : dans le corpus AphasiaBank, les segments de locuteurs aphasiques ont halluciné plus souvent que les segments témoins, et des plages non vocales plus longues prédisaient l’hallucination (Koenecke et al., ACM FAccT 2024). Les classements ne détectent pas cela, car l’Open ASR Leaderboard classe les modèles sur le seul taux d’erreur sur les mots et la vitesse (Srivastav et al., article Open ASR Leaderboard 2026), la même métrique que celle qui sous-tend les écarts d’accent et de dialecte que nous avons suivis séparément. Nous avons agrégé des données issues d’articles de Cornell, Carnegie Mellon, Hugging Face, Interspeech et ICASSP, d’AssemblyAI, de l’Associated Press et de travaux arXiv de 2026 sur la détection et l’atténuation.
Dans ce tour d’horizon, une « hallucination » désigne un texte de transcription sans fondement dans l’audio : des mots, des phrases ou des phrases entières inventés, par opposition à un mot réellement prononcé mais mal entendu.
TL;DR
- Whisper large-v3 a produit du texte pour 40,3% de 301 317 clips hors parole, dont 9,1% en boucle (Barański et al., ICASSP 2025).
- Whisper large-v3 a produit du texte pour 99,97% des clips de bruit d’UrbanSound8K avant un réglage fin ciblé (Wang et al., Calm-Whisper, Interspeech 2025).
- Les clips avec bégaiement ont halluciné à 14% avec Whisper v2 et à 2,9% avec v3 (Sridhar et Wu, Interspeech 2025).
- Universal-1 a rapporté une réduction relative de 30% de son taux d’hallucination par rapport à Whisper large-v3, une affirmation du fournisseur lui-même (AssemblyAI, Anatomy of Industrial Scale Multilingual ASR 2024).
- Le taux d’erreur d’hallucination est corrélé au décalage de distribution à α = 0,91 (Atwany et al., arXiv 2025).
- Les scores d’hallucination SHALLOW suivent le WER à ρs > 0,80 uniquement dans la bande de WER de 10 à 30% (Koudounas et al., arXiv 2025).
- Whisper turbo a encore produit une sortie lexicale sur 74,3% des clips hors parole (Borodin et al., The Null Token Knows, arXiv 2026).
- L’Open ASR Leaderboard ne rapporte que le WER et le RTFx, les systèmes à base de Conformer étant 3,77 fois plus rapides que ceux à base de Whisper (Srivastav et al., article Open ASR Leaderboard 2026).
- Le correctif de Calm-Whisper n’a fait passer le WER sur LibriSpeech test-clean que de 2,12% à 2,19% (Wang et al., Calm-Whisper, Interspeech 2025).
- Une base de référence WhisperX avec VAD a obtenu en moyenne 5,24% d’hallucination hors parole avec 0% de rejet à tort (Abbasihafshejani et Jadliwala, arXiv 2026).
1. À quelle fréquence l’ASR invente du texte sur de la parole réelle
Les chiffres contrôlés sur de la parole réelle sont faibles, et c’est précisément le piège. 187 des 13 140 segments d’AphasiaBank (1,4%) ont produit de façon reproductible du texte fabriqué dans Whisper dans l’étude Careless Whisper, alors que les mêmes segments passés dans Amazon et Google n’ont produit aucune fabrication comparable. Un faible taux qui tombe sur un dossier médical, un entretien ou un procès-verbal judiciaire est un risque différent d’un mot mal entendu, car les phrases inventées se lisent avec fluidité et personne ne songe à les vérifier.
Les témoignages du terrain recueillis par l’Associated Press en octobre 2024 sont bien plus élevés et ne sont pas comparables aux chiffres de laboratoire : un ingénieur en apprentissage automatique a déclaré à l’AP avoir trouvé des hallucinations dans environ la moitié des plus de 100 heures de transcriptions Whisper qu’il a analysées. Il s’agit d’inspections réalisées par des utilisateurs individuels, sans définition commune ; il faut donc y voir un signal d’exposition, non un taux.
| Métrique | Valeur | Source |
|---|---|---|
| Segments d’AphasiaBank ayant produit de façon reproductible du texte halluciné dans Whisper (exécutions d’avril-mai 2023) | 187 sur 13 140 segments (1,4%) | Koenecke et al., Careless Whisper, ACM FAccT 2024 |
| Segments hallucinants qui hallucinaient encore lors de la nouvelle exécution de décembre 2023 | 12 sur 187 | Koenecke et al., Careless Whisper, ACM FAccT 2024 |
| Taux d’erreur d’hallucination de Whisper large-v3, LibriSpeech contre LibriSpeech avec bruit ajouté | 0,3% contre 0,4% | Atwany et al., Lost in Transcription, arXiv 2025 |
| Transcriptions de réunions publiques avec hallucinations, inspectées par un chercheur de l’Université du Michigan | 8 sur 10 | Enquête de l’Associated Press, octobre 2024 |
| Transcriptions Whisper avec hallucinations, rapportées par un développeur | Presque toutes sur 26 000 | Enquête de l’Associated Press, octobre 2024 |
| Taux de fabrication (5+ mots insérés ou substitués consécutifs par heure), Universal-1 contre Whisper large-v3 | Réduction relative de 41% (affirmation du fournisseur lui-même) | AssemblyAI, Anatomy of Industrial Scale Multilingual ASR 2024 |
| Taux global d’hallucination (5+ erreurs consécutives par heure), Universal-1 contre Whisper large-v3 et contre Canary-1B | Réductions relatives de 30% et 22% (affirmation du fournisseur lui-même) | AssemblyAI, Anatomy of Industrial Scale Multilingual ASR 2024 |
Contexte : lors de la nouvelle exécution de décembre 2023, la plupart des cas reproductibles, mais pas tous, avaient cessé d’halluciner : 12 sur 187, soit 6,4% (notre calcul). La comparaison avec Amazon et Google a été réalisée le 27 janvier 2024. Les chiffres d’AssemblyAI sont des réductions relatives mesurées sur 146 heures de données de test en anglais choisies par le fournisseur, et les taux absolus par heure n’apparaissent que dans une figure.
2. Silence, bruit et audio hors parole : le pire cas
Sur un audio sans aucune parole, la transcription correcte est vide, si bien que chaque mot en sortie est fabriqué. Cela fait du hors-parole le test de contrainte le plus net, et les résultats sont frappants : selon le jeu de données et la règle de comptage, Whisper large-v3 écrit du texte pour 21,35% à 100% des clips hors parole dans les études ci-dessous. Cet écart n’est pas du bruit dans la recherche. Il reflète des bibliothèques sonores, des durées de clips et des définitions différentes, raison pour laquelle il n’existe aucun « taux d’hallucination de Whisper » unique.
Plus gros ne veut pas dire fiablement meilleur ici. Dans l’audit Null Token d’août 2026, Whisper small a produit une sortie lexicale sur plus de clips que large-v3, tandis que dans l’étude de pilotage de juin 2026 large-v3 était pire que small sur le jeu de test combiné. Canary-1B, un modèle non Whisper, se situait dans la même plage. Séparer les voix du bruit de fond est un domaine de recherche à part entière (voir nos statistiques sur la séparation de la parole) ; les reconnaisseurs qui sautent cette étape héritent du problème.
| Métrique | Valeur | Source |
|---|---|---|
| Inférences de Whisper large-v3 sur de l’audio hors parole (AudioSet, MUSAN, UrbanSound8K, FSD50K, bruit et silence) ayant produit du texte | 121 378 sur 301 317 (40,3%) ; 11 049 d’entre elles (9,1%) comportaient une boucle | Barański et al., ICASSP 2025 |
| Taux d’hallucination de Whisper large-v3 sur les clips de sons urbains d’UrbanSound8K | 99,97% | Wang et al., Calm-Whisper, Interspeech 2025 |
| Whisper large-v3 contre Whisper small, taux d’hallucination sur un jeu de test hors parole combiné (WHAM!, FSD50k, UrbanSound8K) | 86,8% contre 72,6% | Aparin et al., Whisper Hallucination Detection and Mitigation, arXiv 2026 |
| Taux d’hallucination de Whisper large-v3 sur UrbanSound8K, mesure distincte de 2026 | 95,2% | Aparin et al., Whisper Hallucination Detection and Mitigation, arXiv 2026 |
| Part des clips hors parole avec sortie lexicale, Whisper small, large-v3 et turbo | 96,2%, 77,0% et 74,3% | Borodin et al., The Null Token Knows, arXiv 2026 |
| Part des clips hors parole avec sortie lexicale, Canary-1B (sous-ensemble) | 79,3% | Borodin et al., The Null Token Knows, arXiv 2026 |
| Sortie non vide sur 200 échantillons de bruit ambiant d’AudioSet, Whisper large-v3, Canary-1B et Universal-1 | 100%, 100% et 10,5% (test du fournisseur lui-même) | AssemblyAI, Anatomy of Industrial Scale Multilingual ASR 2024 |
Contexte : un troisième article de 2026 a mesuré Whisper large-v3 à 76,08% sur UrbanSound8K, 44,25% sur ESC-50 et 21,35% sur un sous-ensemble filtré de FSD50K (Abbasihafshejani et Jadliwala, arXiv 2026). Dans l’article Null Token, « sortie lexicale » désigne toute lettre restante après qu’un normaliseur a retiré les balises d’événements, la ponctuation et les chiffres, un comptage plus large que la correspondance de phrases entières.
3. Ce qui est inventé : empreintes de phrases et durée des clips
Les hallucinations hors parole de Whisper ne sont pas aléatoires. Deux phrases, « thank you » (24,76%) et « thanks for watching » (10,32%), représentent environ 35% de toutes les hallucinations sur de l’audio hors parole dans l’étude ICASSP 2025. Ce sont des formules de clôture de vidéos, un schéma cohérent avec des textes d’entraînement tirés de sous-titres de vidéos en ligne plutôt que de transcriptions vérifiées (notre interprétation, pas la mesure des auteurs).
La répétition est aussi la porte d’entrée pratique de la défense : comme un petit ensemble de sorties revient sans cesse, les auteurs ont construit un « sac d’hallucinations », une liste de sorties fabriquées fréquentes qui peut être filtrée après la transcription. La durée compte autant que le contenu. Ajouter 30 secondes de son hors parole à des clips de parole de 10 secondes a produit des hallucinations détectées dans 44,5% des fichiers, contre 0,3% avec 1 seconde d’ajout.
| Métrique | Valeur | Source |
|---|---|---|
| Part des hallucinations hors parole qui étaient « thank you » et « thanks for watching » | 24,76% et 10,32% | Barański et al., ICASSP 2025 |
| Sorties hallucinées uniques ; sorties apparues plus d’une fois ; part de toutes les hallucinations couverte par ces répétitions | 41 231 uniques ; 1 270 répétées ; 67,08% | Barański et al., ICASSP 2025 |
| Hallucinations détectées lorsque 1 s contre 30 s de son hors parole sont ajoutées avant ou après la parole | 0,3% contre 44,5% | Barański et al., ICASSP 2025 |
| Données d’entraînement de Whisper large-v3 | 1 million d’heures faiblement étiquetées plus 4 millions d’heures d’audio pseudo-étiqueté | OpenAI, fiche du modèle Whisper large-v3 |
| Données d’entraînement de Whisper d’origine (version de 2022) | 680 000 heures de supervision multilingue et multitâche | Radford et al., article Whisper 2022 |
| Hallucinations de modèles construits avec 8% de bruit injecté, part des jeux de données d’évaluation | 1-2% pour la plupart des modèles ; 8% pour un modèle | Frieske et Shi, Hallucinations in Neural ASR, arXiv 2024 |
Contexte : « faiblement étiqueté » signifie que le texte associé à chaque enregistrement n’a pas été vérifié mot à mot par rapport à l’audio, et « pseudo-étiqueté » que le texte a été produit par un modèle antérieur. Les auteurs de Whisper eux-mêmes citent l’« hallucination complète où le modèle produit une transcription entièrement étrangère à l’audio réel » parmi leurs modes de défaillance connus en format long (Radford et al., 2022). Données les plus récentes disponibles pour le jeu d’entraînement d’origine : article Whisper, 2022.
4. Qui subit les hallucinations : schémas de parole avec pauses et répétitions
Le risque d’hallucination suit la forme de l’audio, et certains locuteurs produisent un audio comportant plus de silence ou plus de sons répétés. Whisper v2 a halluciné sur 14% des clips de podcasts avec bégaiement contre 3,3% des clips fluides, selon le benchmark sur le bégaiement d’Interspeech 2025, qui a tiré 2 621 clips du jeu de données de podcasts SEP-28K. Whisper v3 a nettement réduit les deux chiffres, mais les clips avec bégaiement ont tout de même halluciné environ trois fois plus souvent que les clips fluides (2,9% contre 0,9%).
Pour l’aphasie (un trouble qui affecte le langage), l’équipe de Careless Whisper a trouvé le mécanisme dans les pauses : les locuteurs aphasiques avaient des parts non vocales bien plus longues dans leurs enregistrements, et ces parts plus longues prédisaient l’hallucination. Pour mesurer la fréquence de ces schémas de parole, voir nos statistiques démographiques sur le bégaiement.
| Métrique | Valeur | Source |
|---|---|---|
| Segments audio avec aphasie contre témoins ayant produit des hallucinations dans Whisper | 1,7% contre 1,2% (régression : p=0,019) | Koenecke et al., Careless Whisper, ACM FAccT 2024 |
| Taux d’hallucination aphasie contre témoins, groupes appariés sur les données démographiques des participants | 1,82% contre 1,16% (valeur p = 0,044) | Koenecke et al., Careless Whisper, ACM FAccT 2024 |
| Part de la durée totale d’enregistrement qui est non vocale, locuteurs aphasiques contre locuteurs témoins | 41% contre 15% | Koenecke et al., Careless Whisper, ACM FAccT 2024 |
| Clips avec bégaiement contre fluides avec hallucinations, Whisper v2 | 14% (293 sur 2 086) contre 3,3% (18 sur 534) | Sridhar et Wu, Interspeech 2025 |
| Clips avec bégaiement contre fluides avec hallucinations, Whisper v3 | 2,9% (61 sur 2 086) contre 0,9% (5 sur 534) | Sridhar et Wu, Interspeech 2025 |
| Clips avec répétitions de sons (répétition du premier son d’un mot) ayant halluciné, Whisper v2 contre v3 | 22,6% contre 6,9% | Sridhar et Wu, Interspeech 2025 |
| Clips avec prolongations (étirement d’un son) ayant halluciné, Whisper v2 contre v3 | 15,4% contre 1,47% | Sridhar et Wu, Interspeech 2025 |
Contexte : l’article sur le bégaiement a détecté les hallucinations candidates en exécutant Whisper deux fois sur chaque clip et en signalant les désaccords importants, puis a examiné chaque signalement à la main. Ses nombres de clips diffèrent légèrement d’une section à l’autre (2 079 clips avec bégaiement échantillonnés, 2 086 dans le décompte des hallucinations) ; nous citons donc chaque chiffre avec son propre dénominateur.
5. Mesurer l’hallucination : métriques proposées au-delà du WER
Le taux d’erreur sur les mots compte les substitutions, les suppressions et les insertions, mais il ne distingue pas un mot mal entendu d’une phrase inventée. Le taux d’erreur d’hallucination proposé par des chercheurs de Carnegie Mellon et de MBZUAI est corrélé au décalage de distribution à α = 0,91, ce qui signifie que les hallucinations augmentent en même temps que l’éloignement de l’audio de test par rapport à l’audio d’entraînement (Atwany et al., 2025). Leur chaîne de traitement utilise un LLM comme juge, ce qui la rend assez économique pour fonctionner à grande échelle.
Le benchmark SHALLOW découpe l’hallucination selon quatre axes : lexical (mots inventés), phonétique (erreurs de sonorité proche), morphologique (formes de mots erronées) et sémantique (sens modifié). Sa principale conclusion porte sur le point où le WER cesse d’être informatif : les corrélations sont fortes à faible taux d’erreur et s’effondrent quand le WER augmente, c’est-à-dire précisément là où l’hallucination compte le plus.
| Métrique | Valeur | Source |
|---|---|---|
| Accord sur les étiquettes d’hallucination, humain contre humain et humain contre GPT-4o-mini | 0,71 contre 0,60 | Atwany et al., Lost in Transcription, arXiv 2025 |
| Coût de la chaîne d’étiquetage par LLM contre l’évaluation humaine | 78 $ pour 1 M de segments, environ 375 fois moins cher | Atwany et al., Lost in Transcription, arXiv 2025 |
| Corrélation entre les scores SHALLOW et le WER, à 10-30% de WER contre à 90% de WER (paire lexical-sémantique) | ρs > 0,80 contre inférieur à -0,45 | Koudounas et al., SHALLOW, arXiv 2025 |
| Test synthétique : corrélation avec le WER, fabrication lexicale contre erreurs sémantiques | ρ = 0,98 contre ρ = 0,15 | Koudounas et al., SHALLOW, arXiv 2025 |
| Modèles et jeux de données de test dans l’évaluation SHALLOW | 12 modèles, 10 jeux de données | Koudounas et al., SHALLOW, arXiv 2025 |
| Seuils utilisés pour séparer les hallucinations des erreurs phonétiques | Similarité cosinus 0,2 ; WER 30 ; perplexité 200 | Frieske et Shi, Hallucinations in Neural ASR, arXiv 2024 |
| Signalement d’hallucination par deux exécutions utilisé dans le benchmark sur le bégaiement | WER entre exécutions supérieur à 0,6, BERT F1 inférieur à 0,6, ou plus de 4 mots insérés | Sridhar et Wu, Interspeech 2025 |
Contexte : ces métriques ne sont pas interchangeables. AssemblyAI compte les séquences de 5 erreurs consécutives ou plus par heure d’audio, l’article Null Token compte les clips contenant une lettre quelconque sur un audio à référence vide, et le taux d’erreur d’hallucination compte les exemples étiquetés comme hallucinations. Un 2% sur une échelle ne dit rien d’un 2% sur une autre.
6. WER du classement contre hallucination : comparaisons de modèles
L’article de l’Open ASR Leaderboard de Hugging Face est la référence du domaine pour la précision et la vitesse, et son périmètre est explicite : il rapporte le WER et le RTFx (facteur temps réel inverse, soit le nombre de secondes d’audio qu’un système traite par seconde) et rien d’autre. L’article ne traite pas les hallucinations ni les boucles de répétition comme des erreurs de modèle. Ses données de vitesse comptent tout de même pour ce sujet, car les familles Conformer plus rapides (une conception d’encodeur qui mélange convolution et attention) sont les alternatives évidentes à Whisper sur ce classement.
Les tableaux de CMU et de SHALLOW montrent pourquoi un classement par WER n’est pas un classement par sûreté. Whisper large-v3 a affiché un WER supérieur à 65% sur de la parole simulée de contrôle du trafic aérien alors que son taux d’hallucination restait bien plus bas, et l’inverse s’est produit sur un jeu adversarial. Les normes de précision du sous-titrage de diffusion connaissent un clivage semblable entre synchronisation, exhaustivité et exactitude (voir nos statistiques sur les normes de précision des sous-titres).
| Métrique | Valeur | Source |
|---|---|---|
| Métriques rapportées par l’Open ASR Leaderboard | WER et RTFx uniquement | Srivastav et al., article Open ASR Leaderboard, v4 mars 2026 |
| RTFx moyen, systèmes à base de Conformer contre à base de Whisper | 758 contre 201 (3,77 fois plus rapides) | Srivastav et al., article Open ASR Leaderboard, v4 mars 2026 |
| WER et RTFx de Whisper Large v3 sur la piste anglaise de format long | 11,2 de WER ; RTFx 68,6 | Srivastav et al., article Open ASR Leaderboard, v4 mars 2026 |
| Rang du meilleur modèle TDT et du meilleur modèle CTC en précision anglaise de format court | 10e et 34e | Srivastav et al., article Open ASR Leaderboard, v4 mars 2026 |
| WER de Whisper large-v3 contre taux d’erreur d’hallucination sur ATCOsim (parole simulée de contrôle du trafic aérien) | 65,3% contre 17,6% | Atwany et al., Lost in Transcription, arXiv 2025 |
| WER de Whisper large-v3 contre taux d’erreur d’hallucination sur un jeu de test adversarial | 33,3% contre 49,8% | Atwany et al., Lost in Transcription, arXiv 2025 |
| Whisper-Large-v3 contre Canary, WER moyen ; score moyen de fabrication lexicale | 14,20 contre 14,26 ; 6,74 contre 5,43 | Koudounas et al., SHALLOW, arXiv 2025 |
Contexte : TDT et CTC sont des méthodes de décodage qui émettent un texte aligné sur les trames audio, plutôt que de générer du texte libre jeton par jeton comme le décodeur de Whisper. Le classement note qu’elles offrent un RTFx nettement meilleur pour une précision plus faible. Le WER moyen quasi identique de Whisper-Large-v3 et de Canary dans SHALLOW masque le fait que Canary a commis moins de fabrications lexicales.
7. Résultats d’atténuation : VAD, changements de décodage et modifications du modèle
Le correctif le plus fiable reste de ne pas envoyer de silence au modèle. Silero VAD a fait passer le WER sur de la parole complétée par du son hors parole de 104,8% à 8,0% dans les expériences d’ajout décrites à la section 3, et l’ajout d’un retrait des boucles et du filtre du sac d’hallucinations l’a ramené à 6,5%. La VAD (détection d’activité vocale) est un modèle distinct qui décide si un segment d’audio contient de la parole. Dans l’article de Whisper lui-même, la VAD était l’une des heuristiques de décodage sur une trajectoire allant de 11,0 de WER moyen en format long avec décodage glouton à 10,0 avec toutes les heuristiques (Radford et al., 2022).
Les correctifs côté modèle fonctionnent, mais chacun déplace l’erreur ailleurs. Calm-Whisper n’a réglé finement que 3 têtes d’attention (numéros 1, 6 et 11) et a laissé le WER presque inchangé. Les interventions de pilotage et de fin de texte ont aussi supprimé l’essentiel de la fabrication, mais ont commencé à effacer de la vraie parole ou à ruiner la reconnaissance du chinois. Les auteurs du jeton nul le disent sans détour : les méthodes d’abstention doivent être jugées à la fois sur la suppression et sur le coût d’effacement, et non sur la seule réduction des hallucinations.
| Métrique | Valeur | Source |
|---|---|---|
| WER sur de la parole complétée par du son hors parole : aucun traitement contre Silero VAD contre Silero VAD plus retrait des boucles et filtre du sac d’hallucinations | 104,8% contre 8,0% contre 6,5% | Barański et al., ICASSP 2025 |
| Hallucinations détectées avec une largeur de faisceau de 1 contre 5 | 19,5% contre 28,2% | Barański et al., ICASSP 2025 |
| Calm-Whisper : taux d’hallucination sur UrbanSound8K avant contre après ; WER sur LibriSpeech test-clean avant contre après | 99,97% contre 15,51% ; 2,12% contre 2,19% | Wang et al., Calm-Whisper, Interspeech 2025 |
| Pilotage par autoencodeur parcimonieux, Whisper small, jeu de test hors parole combiné | 72,63% contre 14,11% | Aparin et al., Whisper Hallucination Detection and Mitigation, arXiv 2026 |
| Même pilotage sur Whisper large-v3 : taux d’erreur sur les caractères du chinois AISHELL-1 avant contre après | 10,54 contre 66,24 | Aparin et al., Whisper Hallucination Detection and Mitigation, arXiv 2026 |
| Intervention sur la fin de texte (jeton nul), Whisper small : taux de sortie lexicale ; mots de référence supprimés par minute | 91,7% contre 3,3% ; 33,05 contre 1,58 | Borodin et al., The Null Token Knows, arXiv 2026 |
| Base de référence WhisperX avec VAD : taux moyen d’hallucination hors parole ; rejet à tort de la vraie parole | 5,24% ; 0% | Abbasihafshejani et Jadliwala, arXiv 2026 |
| Whisper contre WhisperX sur TED-LIUM : taux d’erreur d’insertion ; séquences répétées de 5 mots | 7,7 contre 6,7 ; 221 contre 189 | Bain et al., article WhisperX 2023 |
Contexte : le résultat sur la largeur de faisceau va à l’encontre de l’intuition, puisque les auteurs de Whisper utilisent une recherche en faisceau à 5 faisceaux pour réduire les boucles de répétition sur la parole, alors que sur l’ajout hors parole le faisceau plus large a produit davantage d’hallucinations détectées. Calm-Whisper a aussi fait passer les hallucinations à plusieurs jetons (plus de cinq jetons) de 742 à 91. Les données de WhisperX datent de 2023 ; ce sont donc les plus récentes disponibles pour ce benchmark.
Résumé : l’hallucination en reconnaissance vocale en chiffres
| Métrique | Valeur | Source |
|---|---|---|
| Clips hors parole de Whisper large-v3 ayant produit du texte | 40,3% de 301 317 | Barański et al., ICASSP 2025 |
| Taux d’hallucination de Whisper large-v3 sur le bruit d’UrbanSound8K | 99,97% | Wang et al., Calm-Whisper, Interspeech 2025 |
| Whisper large-v3 contre Whisper small, jeu de test hors parole combiné | 86,8% contre 72,6% | Aparin et al., arXiv 2026 |
| Sortie lexicale de Whisper turbo sur des clips hors parole | 74,3% | Borodin et al., The Null Token Knows, arXiv 2026 |
| Segments d’AphasiaBank avec hallucinations Whisper reproductibles | 187 sur 13 140 (1,4%) | Koenecke et al., Careless Whisper, ACM FAccT 2024 |
| Transcriptions de réunions publiques avec hallucinations, un chercheur du Michigan | 8 sur 10 | Enquête de l’Associated Press, octobre 2024 |
| Taux d’hallucination, Universal-1 contre Whisper large-v3 | Réduction relative de 30% (affirmation du fournisseur lui-même) | AssemblyAI, 2024 |
| Clips avec bégaiement contre fluides qui hallucinent, Whisper v2 | 14% contre 3,3% | Sridhar et Wu, Interspeech 2025 |
| WER contre HER de Whisper large-v3 sur un jeu adversarial | 33,3% contre 49,8% | Atwany et al., arXiv 2025 |
| Corrélation SHALLOW avec le WER, bande de WER de 10-30% | ρs > 0,80 | Koudounas et al., SHALLOW, arXiv 2025 |
| RTFx moyen, à base de Conformer contre à base de Whisper | 758 contre 201 | Srivastav et al., v4 mars 2026 |
| WER de Calm-Whisper sur LibriSpeech test-clean avant contre après le correctif | 2,12% contre 2,19% | Wang et al., Calm-Whisper, Interspeech 2025 |
| Intervention sur le jeton nul : mots supprimés par minute | 33,05 contre 1,58 | Borodin et al., arXiv 2026 |
| Pilotage par autoencodeur parcimonieux, taux d’hallucination de Whisper small | 72,63% contre 14,11% | Aparin et al., arXiv 2026 |
| Base de référence WhisperX avec VAD : taux d’hallucination et rejet à tort | 5,24% ; 0% | Abbasihafshejani et Jadliwala, arXiv 2026 |
| Taux d’erreur d’insertion de Whisper contre WhisperX sur TED-LIUM | 7,7 contre 6,7 | Bain et al., article WhisperX 2023 |
Méthodologie et sources
Nous avons lu l’article primaire, la fiche de modèle ou l’enquête journalistique derrière chaque chiffre ci-dessus et citons chacun dans la notation de la source (pourcentages, fractions, ρ ou α). Lorsque le texte et les tableaux d’un article se contredisent, nous avons retenu la valeur du tableau ou la phrase explicite et signalé le conflit ci-dessous.
- Koenecke et al., Careless Whisper: Speech-to-Text Hallucination Harms, ACM FAccT 2024
- Burke et Schellmann, enquête de l’Associated Press sur la transcription Whisper, octobre 2024, avec le résumé du Cornell Chronicle sur l’étude Careless Whisper, juin 2024
- Barański et al., Investigation of Whisper ASR Hallucinations Induced by Non-Speech Audio, ICASSP 2025
- Wang et al., Calm-Whisper: Reduce Whisper Hallucination On Non-Speech By Calming Crazy Heads Down, Interspeech 2025
- Sridhar et Wu, J-j-j-just Stutter: Benchmarking Whisper’s Performance Disparities on Different Stuttering Patterns, Interspeech 2025
- Atwany et al., Lost in Transcription, Found in Distribution Shift: Demystifying Hallucination in Speech Foundation Models, arXiv 2025
- Koudounas et al., Hallucination Benchmark for Speech Foundation Models (SHALLOW), arXiv 2025
- Srivastav et al., article Open ASR Leaderboard, v4 mars 2026
- Borodin et al., The Null Token Knows: Reducing Message-Free Hallucination in ASR and NMT, arXiv 2026
- Aparin et al., Whisper Hallucination Detection and Mitigation via Hidden Representation Steering and Sparse AutoEncoders, arXiv 2026
- Abbasihafshejani et Jadliwala, Reducing Hallucinated Transcripts in Whisper via Hallucination Space Projection, arXiv 2026
- AssemblyAI (McCann Ramirez, Chkhetiani et al.), Anatomy of Industrial Scale Multilingual ASR, 2024
- Bain et al., WhisperX: Time-Accurate Speech Transcription of Long-Form Audio, 2023
- Radford et al., Robust Speech Recognition via Large-Scale Weak Supervision (article Whisper), 2022
- OpenAI, fiche du modèle Whisper large-v3 sur Hugging Face
- Frieske et Shi, Hallucinations in Neural Automatic Speech Recognition: Identifying Errors and Hallucinatory Models, arXiv 2024
- Note sur les données : le résumé de Careless Whisper indique qu’environ 1% des transcriptions ont halluciné, alors que le corps de l’article rapporte 1,4% (187 segments sur 13 140) et 312 transcriptions hallucinées sur deux exécutions ; l’AP a décrit le même travail comme 187 hallucinations dans plus de 13 000 clips. L’article Hallucination Space Projection rapporte une base de référence moyenne de 31,31% qui ne correspond pas à ses propres chiffres par jeu de données (nous ne citons que les valeurs par jeu de données et sa base de référence WhisperX). L’article sur le pilotage donne 95,2% pour Whisper large-v3 sur UrbanSound8K dans un tableau et 95,98% dans un autre. Le benchmark sur le bégaiement utilise 2 079 et 2 086 comme totaux de clips avec bégaiement selon les sections. Atwany et al., SHALLOW, l’article Null Token (soumis à AAAI-27), l’article sur le pilotage et l’article sur la projection sont des préprints arXiv sans lieu de publication évalué par les pairs confirmé au moment de la lecture. Les chiffres d’AssemblyAI sont des affirmations du fournisseur lui-même, et les chiffres de l’AP sont des témoignages individuels du terrain, non des mesures contrôlées. L’article Whisper (2022), WhisperX (2023) et Frieske et Shi (2024) constituent les données les plus récentes disponibles pour leurs benchmarks respectifs.
Dernière mise à jour : 24 octobre 2026. Nous actualisons ce tour d’horizon chaque trimestre, et la prochaine révision est attendue lors de la publication des actes d’ICASSP 2027 et de la prochaine version de l’article de l’Open ASR Leaderboard.