Bei 301.317 Clips reinen Nicht-Sprach-Audios schrieb Whisper large-v3 für 121.378 davon Text (40,3%), und 9,1% dieser erfundenen Ausgaben waren Schleifen derselben, immer wiederholten Phrase (Barański et al., ICASSP 2025). Auf der Stadtgeräusch-Bibliothek UrbanSound8K maß ein anderes Team Textausgabe bei 99,97% der Clips (Wang et al., Calm-Whisper, Interspeech 2025). Bei echter Sprache liegt die Rate weit niedriger, ist aber nicht gleichmäßig verteilt: Im AphasiaBank-Korpus halluzinierten Segmente von Sprechern mit Aphasie häufiger als Kontrollsegmente, und längere nichtvokale Abschnitte sagten Halluzinationen voraus (Koenecke et al., ACM FAccT 2024). Ranglisten erfassen das nicht, weil das Open ASR Leaderboard Modelle nur nach Wortfehlerrate und Geschwindigkeit einordnet (Srivastav et al., Open-ASR-Leaderboard-Paper 2026), also nach derselben Metrik, die auch hinter den Akzent- und Dialektlücken steht, die wir separat ausgewertet haben. Wir haben Daten aus Papers von Cornell, Carnegie Mellon, Hugging Face, Interspeech und ICASSP, von AssemblyAI, der Associated Press sowie aus arXiv-Arbeiten von 2026 zu Erkennung und Gegenmaßnahmen zusammengeführt.
In dieser Zusammenstellung bedeutet “Halluzination” Text in einem Transkript, der keine Grundlage im Audio hat: erfundene Wörter, Phrasen oder ganze Sätze, im Unterschied zum Verhören eines Wortes, das tatsächlich gesagt wurde.
TL;DR
- Whisper large-v3 erzeugte bei 40,3% von 301.317 Clips ohne Sprache Text, 9,1% davon als Schleife (Barański et al., ICASSP 2025).
- Whisper large-v3 erzeugte bei 99,97% der UrbanSound8K-Rauschclips Text, bevor ein gezieltes Fine-Tuning erfolgte (Wang et al., Calm-Whisper, Interspeech 2025).
- Clips mit Stottern halluzinierten bei Whisper v2 zu 14% und bei v3 zu 2,9% (Sridhar und Wu, Interspeech 2025).
- Universal-1 meldete eine relative Senkung seiner Halluzinationsrate um 30% gegenüber Whisper large-v3, eine Angabe des Anbieters selbst (AssemblyAI, Anatomy of Industrial Scale Multilingual ASR 2024).
- Die Halluzinationsfehlerrate korreliert mit der Verteilungsverschiebung bei α = 0,91 (Atwany et al., arXiv 2025).
- Die SHALLOW-Halluzinationswerte folgen dem WER bei ρs > 0,80 nur im WER-Band von 10-30% (Koudounas et al., arXiv 2025).
- Whisper turbo lieferte bei 74,3% der Clips ohne Sprache weiterhin lexikalische Ausgabe (Borodin et al., The Null Token Knows, arXiv 2026).
- Das Open ASR Leaderboard weist nur WER und RTFx aus, wobei Conformer-basierte Systeme 3,77-mal schneller sind als Whisper-basierte (Srivastav et al., Open-ASR-Leaderboard-Paper 2026).
- Calm-Whispers Korrektur hob den WER auf LibriSpeech test-clean nur von 2,12% auf 2,19% (Wang et al., Calm-Whisper, Interspeech 2025).
- Eine WhisperX-VAD-Baseline erreichte im Schnitt 5,24% Halluzination bei Nicht-Sprache bei 0% fälschlicher Zurückweisung (Abbasihafshejani und Jadliwala, arXiv 2026).
1. Wie oft ASR bei echter Sprache Text erfindet
Die kontrollierten Zahlen zu echter Sprache sind klein, und genau das ist die Falle. 187 von 13.140 AphasiaBank-Segmenten (1,4%) erzeugten bei Whisper reproduzierbar erfundenen Text, so die Careless-Whisper-Studie, während dieselben Segmente über Amazon und Google keine vergleichbaren Erfindungen hervorbrachten. Eine niedrige Rate, die eine Krankengeschichte, ein Interview oder ein Gerichtsprotokoll trifft, ist ein anderes Risiko als ein verhörtes Wort, denn erfundene Sätze lesen sich flüssig, und niemand käme auf die Idee, sie zu prüfen.
Die von der Associated Press im Oktober 2024 gesammelten Praxisberichte liegen deutlich höher und sind mit den Labor-Zahlen nicht vergleichbar: Ein Machine-Learning-Ingenieur sagte der AP, er habe in etwa der Hälfte der über 100 Stunden Whisper-Transkripte, die er analysierte, Halluzinationen gefunden. Das sind Prüfungen einzelner Nutzer ohne gemeinsame Definition, daher sind sie als Hinweis auf die Gefährdung zu verstehen, nicht als Rate.
| Metrik | Wert | Quelle |
|---|---|---|
| AphasiaBank-Segmente, die bei Whisper reproduzierbar halluzinierten Text erzeugten (Läufe April-Mai 2023) | 187 von 13.140 Segmenten (1,4%) | Koenecke et al., Careless Whisper, ACM FAccT 2024 |
| Halluzinierende Segmente, die bei erneutem Lauf im Dezember 2023 weiterhin halluzinierten | 12 von 187 | Koenecke et al., Careless Whisper, ACM FAccT 2024 |
| Halluzinationsfehlerrate von Whisper large-v3, LibriSpeech gegenüber LibriSpeech mit zugefügtem Rauschen | 0,3% gegenüber 0,4% | Atwany et al., Lost in Transcription, arXiv 2025 |
| Transkripte öffentlicher Sitzungen mit Halluzinationen, geprüft von einem Forscher der University of Michigan | 8 von 10 | Recherche der Associated Press, Oktober 2024 |
| Whisper-Transkripte mit Halluzinationen, gemeldet von einem Entwickler | Fast alle von 26.000 | Recherche der Associated Press, Oktober 2024 |
| Erfindungsrate (5+ aufeinanderfolgende eingefügte oder ersetzte Wörter pro Stunde), Universal-1 gegenüber Whisper large-v3 | 41% relative Senkung (Angabe des Anbieters selbst) | AssemblyAI, Anatomy of Industrial Scale Multilingual ASR 2024 |
| Gesamt-Halluzinationsrate (5+ aufeinanderfolgende Fehler pro Stunde), Universal-1 gegenüber Whisper large-v3 und gegenüber Canary-1B | 30% und 22% relative Senkung (Angabe des Anbieters selbst) | AssemblyAI, Anatomy of Industrial Scale Multilingual ASR 2024 |
Kontext: Beim erneuten Lauf im Dezember 2023 hatten die meisten, aber nicht alle der reproduzierbaren Fälle aufgehört zu halluzinieren: 12 von 187 sind 6,4% (eigene Berechnung). Der Vergleich mit Amazon und Google wurde am 27. Januar 2024 durchgeführt. Die AssemblyAI-Zahlen sind relative Senkungen, gemessen auf 146 Stunden englischer Testdaten, die der Anbieter ausgewählt hat; absolute Raten pro Stunde erscheinen nur in einer Abbildung.
2. Stille, Rauschen und Audio ohne Sprache: der schlimmste Fall
Bei Audio ganz ohne Sprache ist das korrekte Transkript leer, sodass jedes ausgegebene Wort erfunden ist. Das macht Nicht-Sprache zum saubersten Stresstest, und die Ergebnisse sind eindeutig: Je nach Datensatz und Zählregel schreibt Whisper large-v3 bei 21,35% bis 100% der Clips ohne Sprache Text, so die folgenden Studien. Die Streuung ist kein Rauschen der Forschung. Sie spiegelt unterschiedliche Geräuschbibliotheken, Cliplängen und Definitionen wider, weshalb es keine einzelne “Whisper-Halluzinationsrate” gibt.
Größer ist hier nicht verlässlich besser. In der Null-Token-Prüfung vom August 2026 lieferte Whisper small bei mehr Clips lexikalische Ausgabe als large-v3, während in der Steering-Studie vom Juni 2026 large-v3 auf dem kombinierten Testsatz schlechter abschnitt als small. Canary-1B, ein Modell ohne Whisper-Bezug, lag im selben Bereich. Das Trennen von Stimmen und Hintergrundgeräuschen ist ein eigenes Forschungsfeld (siehe unsere Statistiken zur Sprachtrennung); Erkenner, die diesen Schritt auslassen, erben das Problem.
| Metrik | Wert | Quelle |
|---|---|---|
| Whisper-large-v3-Inferenzen auf Audio ohne Sprache (AudioSet, MUSAN, UrbanSound8K, FSD50K, Rauschen und Stille), die Text erzeugten | 121.378 von 301.317 (40,3%); 11.049 davon (9,1%) mit Schleifen | Barański et al., ICASSP 2025 |
| Halluzinationsrate von Whisper large-v3 auf UrbanSound8K-Stadtgeräusch-Clips | 99,97% | Wang et al., Calm-Whisper, Interspeech 2025 |
| Whisper large-v3 gegenüber Whisper small, Halluzinationsrate auf einem kombinierten Testsatz ohne Sprache (WHAM!, FSD50k, UrbanSound8K) | 86,8% gegenüber 72,6% | Aparin et al., Whisper Hallucination Detection and Mitigation, arXiv 2026 |
| Halluzinationsrate von Whisper large-v3 auf UrbanSound8K, separate Messung von 2026 | 95,2% | Aparin et al., Whisper Hallucination Detection and Mitigation, arXiv 2026 |
| Anteil der Clips ohne Sprache mit lexikalischer Ausgabe, Whisper small, large-v3 und turbo | 96,2%, 77,0% und 74,3% | Borodin et al., The Null Token Knows, arXiv 2026 |
| Anteil der Clips ohne Sprache mit lexikalischer Ausgabe, Canary-1B (Teilmenge) | 79,3% | Borodin et al., The Null Token Knows, arXiv 2026 |
| Nicht leere Ausgabe bei 200 AudioSet-Umgebungsgeräusch-Proben, Whisper large-v3, Canary-1B und Universal-1 | 100%, 100% und 10,5% (Test des Anbieters selbst) | AssemblyAI, Anatomy of Industrial Scale Multilingual ASR 2024 |
Kontext: Ein drittes Paper von 2026 maß Whisper large-v3 mit 76,08% auf UrbanSound8K, 44,25% auf ESC-50 und 21,35% auf einer gefilterten FSD50K-Teilmenge (Abbasihafshejani und Jadliwala, arXiv 2026). “Lexikalische Ausgabe” bedeutet im Null-Token-Paper jeden Buchstaben, der übrig bleibt, nachdem ein Normalisierer Ereignismarkierungen, Satzzeichen und Ziffern entfernt hat, eine weitere Zählung als der Abgleich ganzer Phrasen.
3. Was erfunden wird: typische Phrasen und Cliplänge
Die Halluzinationen von Whisper bei Nicht-Sprache sind nicht zufällig. Zwei Phrasen, “thank you” (24,76%) und “thanks for watching” (10,32%), machen rund 35% aller Halluzinationen bei Audio ohne Sprache aus, so die ICASSP-2025-Studie. Das sind Verabschiedungen aus Videos, ein Muster, das zu Trainingstext aus Untertiteln von Online-Videos passt statt aus geprüften Transkripten (unsere Deutung, keine Messung der Autoren).
Die Wiederholung ist auch der praktische Ansatzpunkt für die Abwehr: Weil eine kleine Menge von Ausgaben immer wiederkehrt, bauten die Autoren eine “Bag of Hallucinations”, eine Liste häufiger erfundener Ausgaben, die nach der Transkription herausgefiltert werden kann. Die Länge zählt ebenso wie der Inhalt. Wurden 10 Sekunden lange Sprachclips mit 30 Sekunden Nicht-Sprach-Ton aufgefüllt, ergaben sich erkannte Halluzinationen in 44,5% der Dateien, gegenüber 0,3% bei 1 Sekunde Auffüllung.
| Metrik | Wert | Quelle |
|---|---|---|
| Anteil der Halluzinationen bei Nicht-Sprache, die “thank you” und “thanks for watching” waren | 24,76% und 10,32% | Barański et al., ICASSP 2025 |
| Einzigartige halluzinierte Ausgaben; Ausgaben, die mehr als einmal auftraten; Anteil aller Halluzinationen, den diese Wiederholungen abdecken | 41.231 einzigartig; 1.270 wiederholt; 67,08% | Barański et al., ICASSP 2025 |
| Erkannte Halluzinationen, wenn 1 s gegenüber 30 s Nicht-Sprach-Ton vor oder nach der Sprache eingefügt wird | 0,3% gegenüber 44,5% | Barański et al., ICASSP 2025 |
| Trainingsdaten von Whisper large-v3 | 1 Million Stunden schwach annotiertes plus 4 Millionen Stunden pseudo-annotiertes Audio | OpenAI, Modellkarte Whisper large-v3 |
| Trainingsdaten des ursprünglichen Whisper (Veröffentlichung 2022) | 680.000 Stunden mehrsprachige und multitaskfähige Supervision | Radford et al., Whisper-Paper 2022 |
| Halluzinationen bei Modellen, die mit 8% eingespeistem Rauschen gebaut wurden, Anteil der Evaluationsdatensätze | 1-2% bei den meisten Modellen; 8% bei einem Modell | Frieske und Shi, Hallucinations in Neural ASR, arXiv 2024 |
Kontext: “Schwach annotiert” bedeutet, dass der zu jeder Aufnahme gehörende Text nicht Wort für Wort mit dem Audio abgeglichen wurde, und “pseudo-annotiert” bedeutet, dass der Text von einem früheren Modell erzeugt wurde. Die Whisper-Autoren selbst nennen “complete hallucination where the model will output a transcript entirely unrelated to the actual audio” (vollständige Halluzination, bei der das Modell ein Transkript ausgibt, das mit dem tatsächlichen Audio nichts zu tun hat) unter ihren bekannten Fehlermustern bei Langform-Audio (Radford et al., 2022). Aktuellste verfügbare Daten zum ursprünglichen Trainingsdatensatz: Whisper-Paper, 2022.
4. Wen es trifft: Sprechmuster mit Pausen und Wiederholungen
Das Halluzinationsrisiko folgt der Form des Audios, und manche Sprecher erzeugen Audio mit mehr Stille oder mehr wiederholten Lauten. Whisper v2 halluzinierte bei 14% der Podcast-Clips mit Stottern gegenüber 3,3% der flüssigen Clips, so der Stotter-Benchmark von Interspeech 2025, der 2.621 Clips aus dem Podcast-Datensatz SEP-28K zog. Whisper v3 senkte beide Zahlen deutlich, aber Clips mit Stottern halluzinierten immer noch etwa dreimal so häufig wie flüssige (2,9% gegenüber 0,9%).
Bei Aphasie (einer Störung, die die Sprache betrifft) fand das Careless-Whisper-Team den Mechanismus in den Pausen: Sprecher mit Aphasie hatten in ihren Aufnahmen deutlich größere nichtvokale Anteile, und größere nichtvokale Anteile sagten Halluzinationen voraus. Wie verbreitet diese Sprechmuster sind, zeigen unsere demografischen Statistiken zum Stottern.
| Metrik | Wert | Quelle |
|---|---|---|
| Audiosegmente mit Aphasie gegenüber Kontrolle, die bei Whisper Halluzinationen erzeugten | 1,7% gegenüber 1,2% (Regression: p=0,019) | Koenecke et al., Careless Whisper, ACM FAccT 2024 |
| Halluzinationsrate bei Aphasie gegenüber Kontrolle, Gruppen nach demografischen Daten der Teilnehmer angeglichen | 1,82% gegenüber 1,16% (p-Wert = 0,044) | Koenecke et al., Careless Whisper, ACM FAccT 2024 |
| Anteil der Gesamtaufnahmedauer, der nichtvokal ist, Sprecher mit Aphasie gegenüber Kontrollsprechern | 41% gegenüber 15% | Koenecke et al., Careless Whisper, ACM FAccT 2024 |
| Clips mit Stottern gegenüber flüssigen Clips mit Halluzinationen, Whisper v2 | 14% (293 von 2.086) gegenüber 3,3% (18 von 534) | Sridhar und Wu, Interspeech 2025 |
| Clips mit Stottern gegenüber flüssigen Clips mit Halluzinationen, Whisper v3 | 2,9% (61 von 2.086) gegenüber 0,9% (5 von 534) | Sridhar und Wu, Interspeech 2025 |
| Clips mit Lautwiederholungen (Wiederholung des ersten Lautes eines Wortes), die halluzinierten, Whisper v2 gegenüber v3 | 22,6% gegenüber 6,9% | Sridhar und Wu, Interspeech 2025 |
| Clips mit Dehnungen (Verlängerung eines Lautes), die halluzinierten, Whisper v2 gegenüber v3 | 15,4% gegenüber 1,47% | Sridhar und Wu, Interspeech 2025 |
Kontext: Das Stotter-Paper erkannte Halluzinationskandidaten, indem es Whisper zweimal pro Clip laufen ließ und große Abweichungen markierte, und prüfte dann jede Markierung von Hand. Die Clip-Zahlen weichen zwischen den Abschnitten leicht ab (2.079 gezogene Clips mit Stottern, 2.086 in der Halluzinationszählung), deshalb nennen wir jede Zahl mit ihrem eigenen Nenner.
5. Halluzinationen messen: Metriken jenseits des WER
Die Wortfehlerrate zählt Ersetzungen, Auslassungen und Einfügungen, kann aber ein verhörtes Wort nicht von einem erfundenen Satz unterscheiden. Die von Forschern der Carnegie Mellon und der MBZUAI vorgeschlagene Halluzinationsfehlerrate korreliert mit der Verteilungsverschiebung bei α = 0,91, das heißt, Halluzinationen nehmen im Gleichschritt damit zu, wie weit das Testaudio vom Trainingsaudio abweicht (Atwany et al., 2025). Ihre Pipeline nutzt ein LLM als Richter, was sie billig genug macht, um sie in großem Maßstab laufen zu lassen.
Der SHALLOW-Benchmark teilt die Halluzination in vier Achsen: lexikalisch (erfundene Wörter), phonetisch (klangähnliche Fehler), morphologisch (falsche Wortformen) und semantisch (veränderte Bedeutung). Sein Kernbefund betrifft die Stelle, an der der WER seine Aussagekraft verliert: Die Korrelationen sind bei niedrigen Fehlerraten stark und brechen ein, wenn der WER steigt, genau dort, wo Halluzinationen am meisten zählen.
| Metrik | Wert | Quelle |
|---|---|---|
| Übereinstimmung bei Halluzinationslabels, Mensch gegenüber Mensch und Mensch gegenüber GPT-4o-mini | 0,71 gegenüber 0,60 | Atwany et al., Lost in Transcription, arXiv 2025 |
| Kosten der LLM-Labeling-Pipeline gegenüber menschlicher Bewertung | $78 pro 1 Million Segmente, etwa 375-mal günstiger | Atwany et al., Lost in Transcription, arXiv 2025 |
| Korrelation zwischen SHALLOW-Werten und WER, bei 10-30% WER gegenüber bei 90% WER (lexikalisch-semantisches Paar) | ρs > 0,80 gegenüber unter -0,45 | Koudounas et al., SHALLOW, arXiv 2025 |
| Synthetischer Test: Korrelation mit dem WER, lexikalische Erfindung gegenüber semantischen Fehlern | ρ = 0,98 gegenüber ρ = 0,15 | Koudounas et al., SHALLOW, arXiv 2025 |
| Modelle und Testdatensätze in der SHALLOW-Evaluation | 12 Modelle, 10 Datensätze | Koudounas et al., SHALLOW, arXiv 2025 |
| Schwellenwerte zur Trennung von Halluzinationen und phonetischen Fehlern | Kosinus-Ähnlichkeit 0,2; WER 30; Perplexität 200 | Frieske und Shi, Hallucinations in Neural ASR, arXiv 2024 |
| Halluzinationsmarkierung über zwei Läufe im Stotter-Benchmark | WER zwischen den Läufen über 0,6, BERT-F1 unter 0,6 oder mehr als 4 eingefügte Wörter | Sridhar und Wu, Interspeech 2025 |
Kontext: Diese Metriken sind nicht austauschbar. AssemblyAI zählt Serien von 5 oder mehr aufeinanderfolgenden Fehlern pro Audiostunde, das Null-Token-Paper zählt Clips mit irgendeinem Buchstaben bei Audio mit leerer Referenz, und die Halluzinationsfehlerrate zählt als Halluzinationen gelabelte Beispiele. Ein Wert von 2% auf der einen Skala sagt nichts über 2% auf einer anderen.
6. Rangliste-WER gegenüber Halluzination: Modellvergleiche
Das Paper zum Open ASR Leaderboard von Hugging Face ist die Referenz des Fachs für Genauigkeit und Geschwindigkeit, und sein Umfang ist eindeutig: Es weist WER und RTFx (inverser Echtzeitfaktor, also wie viele Sekunden Audio ein System pro Sekunde verarbeitet) aus und sonst nichts. Das Paper behandelt Halluzinationen oder Wiederholungsschleifen nicht als Modellfehler. Seine Geschwindigkeitsdaten sind für dieses Thema trotzdem wichtig, weil die schnelleren Conformer-Familien (ein Encoder-Entwurf, der Faltung und Attention verbindet) in dieser Rangliste die naheliegenden Alternativen zu Whisper sind.
Die Tabellen von CMU und SHALLOW zeigen, warum eine Rangfolge nach WER keine Rangfolge nach Sicherheit ist. Whisper large-v3 erreichte bei simulierter Flugverkehrskontroll-Sprache einen WER über 65%, während seine Halluzinationsrate deutlich niedriger blieb, und bei einem adversarialen Testsatz war es umgekehrt. Genauigkeitsstandards bei Rundfunk-Untertiteln kennen eine ähnliche Aufspaltung zwischen Timing, Vollständigkeit und Korrektheit (siehe unsere Statistiken zu Genauigkeitsstandards für Untertitel).
| Metrik | Wert | Quelle |
|---|---|---|
| Vom Open ASR Leaderboard ausgewiesene Metriken | Nur WER und RTFx | Srivastav et al., Open-ASR-Leaderboard-Paper, v4 März 2026 |
| Durchschnittlicher RTFx, Conformer-basierte gegenüber Whisper-basierten Systemen | 758 gegenüber 201 (3,77-mal schneller) | Srivastav et al., Open-ASR-Leaderboard-Paper, v4 März 2026 |
| WER und RTFx von Whisper Large v3 in der Langform-Englisch-Wertung | 11,2 WER; RTFx 68,6 | Srivastav et al., Open-ASR-Leaderboard-Paper, v4 März 2026 |
| Rang des besten TDT-Modells und des besten CTC-Modells bei der Genauigkeit für Kurzform-Englisch | 10. und 34. | Srivastav et al., Open-ASR-Leaderboard-Paper, v4 März 2026 |
| WER gegenüber Halluzinationsfehlerrate von Whisper large-v3 auf ATCOsim (simulierte Flugverkehrskontroll-Sprache) | 65,3% gegenüber 17,6% | Atwany et al., Lost in Transcription, arXiv 2025 |
| WER gegenüber Halluzinationsfehlerrate von Whisper large-v3 auf einem adversarialen Testsatz | 33,3% gegenüber 49,8% | Atwany et al., Lost in Transcription, arXiv 2025 |
| Whisper-Large-v3 gegenüber Canary, durchschnittlicher WER; durchschnittlicher Wert für lexikalische Erfindung | 14,20 gegenüber 14,26; 6,74 gegenüber 5,43 | Koudounas et al., SHALLOW, arXiv 2025 |
Kontext: TDT und CTC sind Dekodierverfahren, die Text ausgeben, der an die Audioframes gekoppelt ist, statt wie der Decoder von Whisper freien Text Token für Token zu erzeugen. Die Rangliste vermerkt, dass sie bei geringerer Genauigkeit deutlich besseren RTFx bieten. Der nahezu identische durchschnittliche WER von Whisper-Large-v3 und Canary in SHALLOW verbirgt, dass Canary weniger lexikalische Erfindungen produzierte.
7. Ergebnisse der Gegenmaßnahmen: VAD, Änderungen an der Dekodierung und Modelleingriffe
Die verlässlichste Lösung bleibt, dem Modell gar keine Stille zu schicken. Silero VAD senkte den WER bei mit Nicht-Sprach-Ton aufgefüllter Sprache von 104,8% auf 8,0% in den in Abschnitt 3 beschriebenen Auffüll-Experimenten, und die Ergänzung um das Entfernen von Schleifen plus den Filter der Halluzinationsliste brachte ihn auf 6,5%. VAD (Sprachaktivitätserkennung) ist ein separates Modell, das entscheidet, ob ein Audioabschnitt Sprache enthält. Im Whisper-Paper selbst war VAD eine der Dekodier-Heuristiken auf einem Weg von 11,0 durchschnittlichem Langform-WER bei gieriger Dekodierung zu 10,0 mit allen Heuristiken (Radford et al., 2022).
Korrekturen auf Modellseite wirken, aber jede verschiebt den Fehler an eine andere Stelle. Calm-Whisper passte nur 3 Attention-Köpfe an (Nummern 1, 6 und 11) und hielt den WER nahezu unverändert. Auch Steering- und Textende-Eingriffe unterdrückten den Großteil der Erfindungen, begannen dann aber, echte Sprache zu löschen oder die Erkennung von Chinesisch zu ruinieren. Die Null-Token-Autoren sagen es klar: Enthaltungsmethoden sollten sowohl nach Unterdrückungs- als auch nach Löschkosten beurteilt werden, nicht allein nach der Halluzinationsreduktion.
| Metrik | Wert | Quelle |
|---|---|---|
| WER bei mit Nicht-Sprach-Ton aufgefüllter Sprache: keine Verarbeitung gegenüber Silero VAD gegenüber Silero VAD plus Entfernen von Schleifen und Filter der Halluzinationsliste | 104,8% gegenüber 8,0% gegenüber 6,5% | Barański et al., ICASSP 2025 |
| Erkannte Halluzinationen bei Beam-Größe 1 gegenüber Beam-Größe 5 | 19,5% gegenüber 28,2% | Barański et al., ICASSP 2025 |
| Calm-Whisper: Halluzinationsrate auf UrbanSound8K vorher gegenüber nachher; WER auf LibriSpeech test-clean vorher gegenüber nachher | 99,97% gegenüber 15,51%; 2,12% gegenüber 2,19% | Wang et al., Calm-Whisper, Interspeech 2025 |
| Steering mit Sparse-Autoencoder, Whisper small, kombinierter Testsatz ohne Sprache | 72,63% gegenüber 14,11% | Aparin et al., Whisper Hallucination Detection and Mitigation, arXiv 2026 |
| Dasselbe Steering bei Whisper large-v3: Zeichenfehlerrate für Chinesisch auf AISHELL-1 vorher gegenüber nachher | 10,54 gegenüber 66,24 | Aparin et al., Whisper Hallucination Detection and Mitigation, arXiv 2026 |
| Eingriff am Textende-Token (Null-Token), Whisper small: Rate lexikalischer Ausgabe; gelöschte Referenzwörter pro Minute | 91,7% gegenüber 3,3%; 33,05 gegenüber 1,58 | Borodin et al., The Null Token Knows, arXiv 2026 |
| WhisperX-VAD-Baseline: durchschnittliche Halluzinationsrate bei Nicht-Sprache; fälschliche Zurückweisung echter Sprache | 5,24%; 0% | Abbasihafshejani und Jadliwala, arXiv 2026 |
| Whisper gegenüber WhisperX auf TED-LIUM: Einfügungsfehlerrate; wiederholte 5-Wort-Sequenzen | 7,7 gegenüber 6,7; 221 gegenüber 189 | Bain et al., WhisperX-Paper 2023 |
Kontext: Das Beam-Ergebnis läuft der Intuition zuwider, denn die Whisper-Autoren nutzen Beam Search mit 5 Beams, um Wiederholungsschleifen bei Sprache zu verringern, während bei der Nicht-Sprach-Auffüllung der breitere Beam mehr erkannte Halluzinationen erzeugte. Calm-Whisper senkte außerdem Halluzinationen aus mehreren Token (mehr als fünf Token) von 742 auf 91. Die WhisperX-Daten stammen aus 2023, sind also die aktuellsten verfügbaren Daten für diesen Benchmark.
Zusammenfassung: Halluzinationen in der Spracherkennung in Zahlen
| Metrik | Wert | Quelle |
|---|---|---|
| Whisper-large-v3-Clips ohne Sprache, die Text erzeugten | 40,3% von 301.317 | Barański et al., ICASSP 2025 |
| Halluzinationsrate von Whisper large-v3 bei UrbanSound8K-Rauschen | 99,97% | Wang et al., Calm-Whisper, Interspeech 2025 |
| Whisper large-v3 gegenüber Whisper small, kombinierter Testsatz ohne Sprache | 86,8% gegenüber 72,6% | Aparin et al., arXiv 2026 |
| Lexikalische Ausgabe von Whisper turbo bei Clips ohne Sprache | 74,3% | Borodin et al., The Null Token Knows, arXiv 2026 |
| AphasiaBank-Segmente mit reproduzierbaren Whisper-Halluzinationen | 187 von 13.140 (1,4%) | Koenecke et al., Careless Whisper, ACM FAccT 2024 |
| Transkripte öffentlicher Sitzungen mit Halluzinationen, ein Forscher aus Michigan | 8 von 10 | Recherche der Associated Press, Oktober 2024 |
| Halluzinationsrate, Universal-1 gegenüber Whisper large-v3 | 30% relative Senkung (Angabe des Anbieters selbst) | AssemblyAI, 2024 |
| Clips mit Stottern gegenüber flüssigen Clips mit Halluzinationen, Whisper v2 | 14% gegenüber 3,3% | Sridhar und Wu, Interspeech 2025 |
| WER gegenüber HER von Whisper large-v3 auf einem adversarialen Testsatz | 33,3% gegenüber 49,8% | Atwany et al., arXiv 2025 |
| Korrelation SHALLOW mit WER, WER-Band 10-30% | ρs > 0,80 | Koudounas et al., SHALLOW, arXiv 2025 |
| Durchschnittlicher RTFx, Conformer-basiert gegenüber Whisper-basiert | 758 gegenüber 201 | Srivastav et al., v4 März 2026 |
| WER von Calm-Whisper auf LibriSpeech test-clean vor gegenüber nach der Korrektur | 2,12% gegenüber 2,19% | Wang et al., Calm-Whisper, Interspeech 2025 |
| Null-Token-Eingriff: gelöschte Wörter pro Minute | 33,05 gegenüber 1,58 | Borodin et al., arXiv 2026 |
| Steering mit Sparse-Autoencoder, Halluzinationsrate von Whisper small | 72,63% gegenüber 14,11% | Aparin et al., arXiv 2026 |
| WhisperX-VAD-Baseline, Halluzinationsrate und fälschliche Zurückweisung | 5,24%; 0% | Abbasihafshejani und Jadliwala, arXiv 2026 |
| Einfügungsfehlerrate Whisper gegenüber WhisperX auf TED-LIUM | 7,7 gegenüber 6,7 | Bain et al., WhisperX-Paper 2023 |
Methodik und Quellen
Wir haben für jede obige Zahl das zugrunde liegende Paper, die Modellkarte oder die Nachrichtenrecherche gelesen und zitieren jede in der Notation der Quelle selbst (Prozentwerte, Brüche, ρ oder α). Wo Text und Tabellen eines Papers voneinander abweichen, haben wir den Tabellenwert oder den ausdrücklichen Satz verwendet und den Widerspruch unten vermerkt.
- Koenecke et al., Careless Whisper: Speech-to-Text Hallucination Harms, ACM FAccT 2024
- Burke und Schellmann, Recherche der Associated Press zur Whisper-Transkription, Oktober 2024, mit der Zusammenfassung des Cornell Chronicle zur Careless-Whisper-Studie, Juni 2024
- Barański et al., Investigation of Whisper ASR Hallucinations Induced by Non-Speech Audio, ICASSP 2025
- Wang et al., Calm-Whisper: Reduce Whisper Hallucination On Non-Speech By Calming Crazy Heads Down, Interspeech 2025
- Sridhar und Wu, J-j-j-just Stutter: Benchmarking Whisper’s Performance Disparities on Different Stuttering Patterns, Interspeech 2025
- Atwany et al., Lost in Transcription, Found in Distribution Shift: Demystifying Hallucination in Speech Foundation Models, arXiv 2025
- Koudounas et al., Hallucination Benchmark for Speech Foundation Models (SHALLOW), arXiv 2025
- Srivastav et al., Open-ASR-Leaderboard-Paper, v4 März 2026
- Borodin et al., The Null Token Knows: Reducing Message-Free Hallucination in ASR and NMT, arXiv 2026
- Aparin et al., Whisper Hallucination Detection and Mitigation via Hidden Representation Steering and Sparse AutoEncoders, arXiv 2026
- Abbasihafshejani und Jadliwala, Reducing Hallucinated Transcripts in Whisper via Hallucination Space Projection, arXiv 2026
- AssemblyAI (McCann Ramirez, Chkhetiani et al.), Anatomy of Industrial Scale Multilingual ASR, 2024
- Bain et al., WhisperX: Time-Accurate Speech Transcription of Long-Form Audio, 2023
- Radford et al., Robust Speech Recognition via Large-Scale Weak Supervision (Whisper-Paper), 2022
- OpenAI, Modellkarte Whisper large-v3 auf Hugging Face
- Frieske und Shi, Hallucinations in Neural Automatic Speech Recognition: Identifying Errors and Hallucinatory Models, arXiv 2024
- Daten-Hinweis: Das Abstract von Careless Whisper nennt etwa 1% halluzinierte Transkriptionen, während der Haupttext 1,4% (187 von 13.140 Segmenten) und 312 halluzinierte Transkriptionen über zwei Läufe berichtet; die AP beschrieb dieselbe Arbeit als 187 Halluzinationen in mehr als 13.000 Clips. Das Paper zur Hallucination Space Projection berichtet einen Baseline-Durchschnitt von 31,31%, der nicht zu seinen eigenen Werten je Datensatz passt (wir zitieren nur die Werte je Datensatz und seine WhisperX-Baseline). Das Steering-Paper nennt für Whisper large-v3 auf UrbanSound8K in einer Tabelle 95,2% und in einer anderen 95,98%. Der Stotter-Benchmark verwendet in verschiedenen Abschnitten 2.079 und 2.086 als Gesamtzahl der Clips mit Stottern. Atwany et al., SHALLOW, das Null-Token-Paper (bei AAAI-27 eingereicht), das Steering-Paper und das Projektions-Paper sind arXiv-Preprints ohne bestätigtes Peer-Review-Medium zum Zeitpunkt der Lektüre. Die AssemblyAI-Zahlen sind Angaben des Anbieters selbst, und die AP-Zahlen sind einzelne Praxisberichte, keine kontrollierten Messungen. Das Whisper-Paper (2022), WhisperX (2023) sowie Frieske und Shi (2024) sind die aktuellsten verfügbaren Daten für ihre jeweiligen Benchmarks.
Zuletzt aktualisiert: 24. Oktober 2026. Wir aktualisieren diese Zusammenstellung vierteljährlich, und die nächste Aktualisierung wird erwartet, wenn die ICASSP-2027-Tagungsbände und die nächste Fassung des Open-ASR-Leaderboard-Papers erscheinen.