Po podaniu 301 317 klipów czystego dźwięku bez mowy Whisper large-v3 zapisał tekst dla 121 378 z nich (40,3%), a 9,1% tych zmyślonych wyników stanowiły pętle tej samej powtarzanej frazy (Barański i in., ICASSP 2025). Na bibliotece dźwięków miejskich UrbanSound8K osobny zespół zmierzył wyjście tekstowe dla 99,97% klipów (Wang i in., Calm-Whisper, Interspeech 2025). Na prawdziwej mowie odsetek jest znacznie niższy, ale nierówno rozłożony: w korpusie AphasiaBank segmenty od osób z afazją halucynowały częściej niż segmenty kontrolne, a dłuższe fragmenty bez głosu zapowiadały halucynację (Koenecke i in., ACM FAccT 2024). Rankingi tego nie wychwytują, ponieważ Open ASR Leaderboard porządkuje modele wyłącznie według współczynnika błędów słów i szybkości (Srivastav i in., artykuł o Open ASR Leaderboard 2026), czyli tej samej metryki, która stoi za lukami akcentowymi i dialektalnymi, które śledziliśmy osobno. Zebraliśmy dane z prac Cornell, Carnegie Mellon, Hugging Face, Interspeech i ICASSP, od AssemblyAI i Associated Press oraz z prac arXiv z 2026 roku o wykrywaniu i łagodzeniu.
W tym zestawieniu “halucynacja” oznacza tekst w transkrypcji, który nie ma oparcia w nagraniu: zmyślone słowa, frazy lub całe zdania, w odróżnieniu od przesłyszenia słowa, które faktycznie padło.
TL;DR
- Whisper large-v3 zapisał tekst dla 40,3% z 301 317 klipów bez mowy, z czego 9,1% to pętle (Barański i in., ICASSP 2025).
- Whisper large-v3 zapisał tekst dla 99,97% klipów z szumem UrbanSound8K przed ukierunkowanym dostrajaniem (Wang i in., Calm-Whisper, Interspeech 2025).
- Klipy z jąkaniem halucynowały w 14% przypadków z Whisper v2 i w 2,9% z v3 (Sridhar i Wu, Interspeech 2025).
- Universal-1 podał względne obniżenie odsetka halucynacji o 30% wobec Whisper large-v3, co jest deklaracją samego dostawcy (AssemblyAI, Anatomy of Industrial Scale Multilingual ASR 2024).
- Współczynnik błędów halucynacji (Hallucination Error Rate) koreluje z przesunięciem rozkładu na poziomie α = 0,91 (Atwany i in., arXiv 2025).
- Wyniki halucynacji SHALLOW śledzą WER na poziomie ρs > 0,80 tylko w paśmie WER 10-30% (Koudounas i in., arXiv 2025).
- Whisper turbo nadal dawał wyjście leksykalne dla 74,3% klipów bez mowy (Borodin i in., The Null Token Knows, arXiv 2026).
- Open ASR Leaderboard podaje tylko WER i RTFx, a systemy oparte na Conformerze są 3,77x szybsze niż oparte na Whisperze (Srivastav i in., artykuł o Open ASR Leaderboard 2026).
- Poprawka Calm-Whisper podniosła WER na LibriSpeech test-clean tylko z 2,12% do 2,19% (Wang i in., Calm-Whisper, Interspeech 2025).
- Bazowy VAD z WhisperX osiągnął średnio 5,24% halucynacji na dźwięku bez mowy przy 0% fałszywych odrzuceń (Abbasihafshejani i Jadliwala, arXiv 2026).
1. Jak często ASR zmyśla tekst w prawdziwej mowie
Kontrolowane liczby dla prawdziwej mowy są małe i właśnie na tym polega pułapka. 187 z 13 140 segmentów AphasiaBank (1,4%) w powtarzalny sposób wygenerowało w Whisperze zmyślony tekst w badaniu Careless Whisper, podczas gdy te same segmenty przepuszczone przez Amazon i Google nie dały żadnych porównywalnych zmyśleń. Niski odsetek, który trafia w wywiad lekarski, rozmowę lub protokół sądowy, to inne ryzyko niż przesłyszane słowo, bo zmyślone zdania czyta się płynnie i nikt nie myśli o ich sprawdzaniu.
Raporty terenowe zebrane przez Associated Press w październiku 2024 są znacznie wyższe i nie dają się porównać z liczbami laboratoryjnymi: inżynier uczenia maszynowego powiedział AP, że znalazł halucynacje w mniej więcej połowie z ponad 100 godzin transkrypcji Whispera, które przeanalizował. To oględziny pojedynczych użytkowników, bez wspólnej definicji, więc traktuj je jako sygnał narażenia, a nie jako odsetek.
| Metryka | Wartość | Źródło |
|---|---|---|
| Segmenty AphasiaBank, które w Whisperze w powtarzalny sposób wygenerowały zhalucynowany tekst (przebiegi z kwietnia-maja 2023) | 187 z 13 140 segmentów (1,4%) | Koenecke i in., Careless Whisper, ACM FAccT 2024 |
| Segmenty z halucynacjami, które nadal halucynowały po ponownym uruchomieniu w grudniu 2023 | 12 z 187 | Koenecke i in., Careless Whisper, ACM FAccT 2024 |
| Współczynnik błędów halucynacji Whisper large-v3, LibriSpeech wobec LibriSpeech z dodanym szumem | 0,3% wobec 0,4% | Atwany i in., Lost in Transcription, arXiv 2025 |
| Transkrypcje posiedzeń publicznych z halucynacjami, sprawdzone przez badacza z University of Michigan | 8 na każde 10 | Śledztwo Associated Press, październik 2024 |
| Transkrypcje Whispera z halucynacjami, według jednego programisty | Prawie każda z 26 000 | Śledztwo Associated Press, październik 2024 |
| Odsetek zmyśleń (5 lub więcej kolejnych wstawionych lub zastąpionych słów na godzinę), Universal-1 wobec Whisper large-v3 | Względne obniżenie o 41% (deklaracja samego dostawcy) | AssemblyAI, Anatomy of Industrial Scale Multilingual ASR 2024 |
| Ogólny odsetek halucynacji (5 lub więcej kolejnych błędów na godzinę), Universal-1 wobec Whisper large-v3 i wobec Canary-1B | Względne obniżenie o 30% i 22% (deklaracja samego dostawcy) | AssemblyAI, Anatomy of Industrial Scale Multilingual ASR 2024 |
Kontekst: do ponownego uruchomienia w grudniu 2023 większość odtwarzalnych przypadków, choć nie wszystkie, przestała halucynować: 12 z 187 to 6,4% (nasze obliczenie). Porównanie z Amazon i Google przeprowadzono 27 stycznia 2024 roku. Liczby AssemblyAI to względne obniżenia zmierzone na 146 godzinach angielskich danych testowych wybranych przez dostawcę, a bezwzględne odsetki na godzinę pojawiają się tylko na wykresie.
2. Cisza, szum i dźwięk bez mowy: najgorszy przypadek
W nagraniu bez żadnej mowy poprawna transkrypcja jest pusta, więc każde słowo na wyjściu jest zmyślone. To czyni dźwięk bez mowy najczystszym testem obciążeniowym, a wyniki są wyraźne: w zależności od zbioru danych i reguły zliczania Whisper large-v3 zapisuje tekst dla od 21,35% do 100% klipów bez mowy w poniższych badaniach. Ten rozrzut nie jest szumem badań. Odzwierciedla różne biblioteki dźwięków, długości klipów i definicje, dlatego nie istnieje jeden “odsetek halucynacji Whispera”.
Większy nie znaczy tu pewnie lepszy. W sierpniowym audycie Null Token z 2026 roku Whisper small dał wyjście leksykalne dla większej liczby klipów niż large-v3, natomiast w czerwcowym badaniu sterowania z 2026 roku large-v3 wypadł gorzej niż small na połączonym zbiorze testowym. Canary-1B, model spoza rodziny Whisper, mieścił się w tym samym zakresie. Oddzielanie głosów od dźwięków tła to osobna dziedzina badań (zobacz nasze statystyki separacji mowy); rozpoznawacze, które pomijają ten krok, dziedziczą problem.
| Metryka | Wartość | Źródło |
|---|---|---|
| Wnioskowania Whisper large-v3 na dźwięku bez mowy (AudioSet, MUSAN, UrbanSound8K, FSD50K, szum i cisza), które dały tekst | 121 378 z 301 317 (40,3%); 11 049 z nich (9,1%) obejmowało pętle | Barański i in., ICASSP 2025 |
| Odsetek halucynacji Whisper large-v3 na klipach dźwięków miejskich UrbanSound8K | 99,97% | Wang i in., Calm-Whisper, Interspeech 2025 |
| Whisper large-v3 wobec Whisper small, odsetek halucynacji na połączonym zbiorze testowym bez mowy (WHAM!, FSD50k, UrbanSound8K) | 86,8% wobec 72,6% | Aparin i in., Whisper Hallucination Detection and Mitigation, arXiv 2026 |
| Odsetek halucynacji Whisper large-v3 na UrbanSound8K, osobny pomiar z 2026 roku | 95,2% | Aparin i in., Whisper Hallucination Detection and Mitigation, arXiv 2026 |
| Udział klipów bez mowy z wyjściem leksykalnym, Whisper small, large-v3 i turbo | 96,2%, 77,0% i 74,3% | Borodin i in., The Null Token Knows, arXiv 2026 |
| Udział klipów bez mowy z wyjściem leksykalnym, Canary-1B (podzbiór) | 79,3% | Borodin i in., The Null Token Knows, arXiv 2026 |
| Niepuste wyjście na 200 próbkach szumu otoczenia z AudioSet, Whisper large-v3, Canary-1B i Universal-1 | 100%, 100% i 10,5% (własny test dostawcy) | AssemblyAI, Anatomy of Industrial Scale Multilingual ASR 2024 |
Kontekst: trzecia praca z 2026 roku zmierzyła Whisper large-v3 na poziomie 76,08% na UrbanSound8K, 44,25% na ESC-50 i 21,35% na przefiltrowanym podzbiorze FSD50K (Abbasihafshejani i Jadliwala, arXiv 2026). “Wyjście leksykalne” w pracy o Null Token oznacza każdą literę, która zostaje po tym, jak normalizator usunie znaczniki zdarzeń, interpunkcję i cyfry, czyli szersze zliczanie niż dopasowywanie całych fraz.
3. Co jest zmyślane: odciski fraz i długość klipu
Halucynacje Whispera na dźwięku bez mowy nie są losowe. Dwie frazy, “dziękuję” (24,76%) i “dzięki za oglądanie” (10,32%), odpowiadają za około 35% wszystkich halucynacji na dźwięku bez mowy w badaniu ICASSP 2025. To formuły pożegnalne z filmów wideo, wzorzec zgodny z tekstami treningowymi czerpanymi z napisów do filmów online, a nie ze zweryfikowanych transkrypcji (nasza interpretacja, nie pomiar autorów).
Powtarzalność jest też praktycznym punktem zaczepienia obrony: ponieważ niewielki zestaw wyników się powtarza, autorzy zbudowali “worek halucynacji”, czyli listę częstych zmyślonych wyników, którą można odfiltrować po transkrypcji. Długość ma takie samo znaczenie jak treść. Dopełnienie 10-sekundowych klipów z mową 30 sekundami dźwięku bez mowy dało wykryte halucynacje w 44,5% plików, wobec 0,3% przy 1 sekundzie dopełnienia.
| Metryka | Wartość | Źródło |
|---|---|---|
| Udział halucynacji na dźwięku bez mowy, które były frazami “dziękuję” i “dzięki za oglądanie” | 24,76% i 10,32% | Barański i in., ICASSP 2025 |
| Unikalne zhalucynowane wyniki; wyniki, które pojawiły się więcej niż raz; udział wszystkich halucynacji objęty tymi powtórzeniami | 41 231 unikalnych; 1 270 powtórzonych; 67,08% | Barański i in., ICASSP 2025 |
| Wykryte halucynacje przy dodaniu 1 s wobec 30 s dźwięku bez mowy przed mową lub po niej | 0,3% wobec 44,5% | Barański i in., ICASSP 2025 |
| Dane treningowe Whisper large-v3 | 1 milion godzin audio ze słabymi etykietami plus 4 miliony godzin audio z pseudoetykietami | OpenAI, karta modelu Whisper large-v3 |
| Oryginalne dane treningowe Whisper (wydanie z 2022) | 680 000 godzin wielojęzycznego i wielozadaniowego nadzoru | Radford i in., artykuł o Whisper 2022 |
| Halucynacje w modelach zbudowanych z 8% wstrzykniętego szumu, udział zbiorów ewaluacyjnych | 1-2% dla większości modeli; 8% dla jednego modelu | Frieske i Shi, Hallucinations in Neural ASR, arXiv 2024 |
Kontekst: “słabe etykiety” oznaczają, że tekst przypisany do każdego nagrania nie został zweryfikowany słowo po słowie z dźwiękiem, a “pseudoetykiety” oznaczają, że tekst wytworzył wcześniejszy model. Sami autorzy Whispera wymieniają “całkowitą halucynację, w której model zwraca transkrypcję całkowicie niezwiązaną z faktycznym dźwiękiem” wśród znanych błędów przy długich nagraniach (Radford i in., 2022). Najnowsze dostępne dane dla oryginalnego zbioru treningowego: artykuł o Whisper, 2022.
4. Kto jest narażony na halucynacje: wzorce mowy z pauzami i powtórzeniami
Ryzyko halucynacji podąża za kształtem nagrania, a niektórzy mówcy tworzą nagrania z większą ilością ciszy lub powtarzanych dźwięków. Whisper v2 halucynował w 14% klipów z podcastów z jąkaniem wobec 3,3% klipów płynnych, według benchmarku jąkania z Interspeech 2025, który wykorzystał 2 621 klipów ze zbioru podcastów SEP-28K. Whisper v3 obniżył obie liczby znacząco, ale klipy z jąkaniem nadal halucynowały około trzy razy częściej niż płynne (2,9% wobec 0,9%).
W przypadku afazji (zaburzenia języka) zespół Careless Whisper znalazł mechanizm w pauzach: osoby z afazją miały znacznie większy udział fragmentów bez głosu w nagraniach, a większy udział takich fragmentów zapowiadał halucynację. Aby zobaczyć, jak powszechne są te wzorce mowy, zajrzyj do naszych statystyk demograficznych jąkania.
| Metryka | Wartość | Źródło |
|---|---|---|
| Segmenty audio z afazją wobec kontrolnych, które wygenerowały halucynacje w Whisperze | 1,7% wobec 1,2% (regresja: p = 0,019) | Koenecke i in., Careless Whisper, ACM FAccT 2024 |
| Odsetek halucynacji, afazja wobec grupy kontrolnej, grupy dopasowane pod względem danych demograficznych uczestników | 1,82% wobec 1,16% (wartość p = 0,044) | Koenecke i in., Careless Whisper, ACM FAccT 2024 |
| Udział całkowitego czasu nagrania bez głosu, osoby z afazją wobec osób kontrolnych | 41% wobec 15% | Koenecke i in., Careless Whisper, ACM FAccT 2024 |
| Klipy z jąkaniem wobec płynnych z halucynacjami, Whisper v2 | 14% (293 z 2 086) wobec 3,3% (18 z 534) | Sridhar i Wu, Interspeech 2025 |
| Klipy z jąkaniem wobec płynnych z halucynacjami, Whisper v3 | 2,9% (61 z 2 086) wobec 0,9% (5 z 534) | Sridhar i Wu, Interspeech 2025 |
| Klipy z powtórzeniami dźwięków (powtarzanie pierwszego dźwięku słowa), które halucynowały, Whisper v2 wobec v3 | 22,6% wobec 6,9% | Sridhar i Wu, Interspeech 2025 |
| Klipy z przeciąganiem dźwięków (wydłużanie dźwięku), które halucynowały, Whisper v2 wobec v3 | 15,4% wobec 1,47% | Sridhar i Wu, Interspeech 2025 |
Kontekst: praca o jąkaniu wykrywała kandydatów na halucynacje, uruchamiając Whispera dwukrotnie na każdym klipie i oznaczając duże rozbieżności, po czym ręcznie sprawdzała każdą flagę. Liczby klipów różnią się w niej nieznacznie między sekcjami (2 079 klipów z jąkaniem w próbie, 2 086 w zestawieniu halucynacji), dlatego każdą wartość podajemy z jej własnym mianownikiem.
5. Pomiar halucynacji: metryki proponowane poza WER
Współczynnik błędów słów liczy podstawienia, pominięcia i wstawienia, ale nie odróżni przesłyszanego słowa od zmyślonego zdania. Współczynnik błędów halucynacji (Hallucination Error Rate) zaproponowany przez badaczy z Carnegie Mellon i MBZUAI koreluje z przesunięciem rozkładu na poziomie α = 0,91, co oznacza, że halucynacje rosną wraz z tym, jak bardzo dźwięk testowy oddala się od treningowego (Atwany i in., 2025). Ich potok używa dużego modelu językowego jako sędziego, dzięki czemu jest dość tani, by uruchamiać go na dużą skalę.
Benchmark SHALLOW dzieli halucynacje na cztery osie: leksykalną (zmyślone słowa), fonetyczną (błędy brzmieniowo podobne), morfologiczną (błędne formy wyrazów) i semantyczną (zmieniony sens). Jego kluczowy wniosek dotyczy miejsca, w którym WER przestaje być informatywny: korelacje są silne przy niskich współczynnikach błędów i załamują się wraz ze wzrostem WER, czyli właśnie tam, gdzie halucynacje mają największe znaczenie.
| Metryka | Wartość | Źródło |
|---|---|---|
| Zgodność etykiet halucynacji, człowiek z człowiekiem i człowiek z GPT-4o-mini | 0,71 wobec 0,60 | Atwany i in., Lost in Transcription, arXiv 2025 |
| Koszt potoku etykietowania przez LLM wobec oceny przez ludzi | $78 za 1 mln segmentów, około 375 razy taniej | Atwany i in., Lost in Transcription, arXiv 2025 |
| Korelacja wyników SHALLOW z WER, przy WER 10-30% wobec WER 90% (para leksykalno-semantyczna) | ρs > 0,80 wobec poniżej -0,45 | Koudounas i in., SHALLOW, arXiv 2025 |
| Test syntetyczny: korelacja z WER, zmyślenia leksykalne wobec błędów semantycznych | ρ = 0,98 wobec ρ = 0,15 | Koudounas i in., SHALLOW, arXiv 2025 |
| Modele i zbiory testowe w ewaluacji SHALLOW | 12 modeli, 10 zbiorów danych | Koudounas i in., SHALLOW, arXiv 2025 |
| Progi użyte do oddzielenia halucynacji od błędów fonetycznych | Podobieństwo cosinusowe 0,2; WER 30; perpleksja 200 | Frieske i Shi, Hallucinations in Neural ASR, arXiv 2024 |
| Flaga halucynacji z dwóch przebiegów użyta w benchmarku jąkania | WER między przebiegami powyżej 0,6, BERT F1 poniżej 0,6 lub więcej niż 4 wstawione słowa | Sridhar i Wu, Interspeech 2025 |
Kontekst: te metryki nie są wymienne. AssemblyAI liczy serie 5 lub więcej kolejnych błędów na godzinę audio, praca o Null Token liczy klipy z jakąkolwiek literą na nagraniach z pustym wzorcem, a współczynnik błędów halucynacji liczy przykłady oznaczone jako halucynacje. 2% na jednej skali nic nie mówi o 2% na innej.
6. WER w rankingach a halucynacje: porównania modeli
Artykuł o Hugging Face Open ASR Leaderboard to punkt odniesienia dla dokładności i szybkości w tej dziedzinie, a jego zakres jest jasny: podaje WER i RTFx (odwrotny współczynnik czasu rzeczywistego, czyli ile sekund audio system przetwarza w ciągu sekundy) i nic poza tym. Artykuł nie omawia halucynacji ani pętli powtórzeń jako błędów modeli. Dane o szybkości nadal są ważne dla tego tematu, bo szybsze rodziny Conformer (konstrukcja enkodera łącząca splot i uwagę) to oczywiste alternatywy dla Whispera w tym rankingu.
Tabele CMU i SHALLOW pokazują, dlaczego ranking według WER nie jest rankingiem według bezpieczeństwa. Whisper large-v3 uzyskał WER powyżej 65% na symulowanej mowie kontroli ruchu lotniczego, a jego odsetek halucynacji pozostał znacznie niższy, natomiast na zbiorze adwersaryjnym zdarzyło się odwrotnie. Standardy dokładności w napisach do transmisji stają przed podobnym rozdziałem między czasem, kompletnością i poprawnością (zobacz nasze statystyki standardów dokładności napisów).
| Metryka | Wartość | Źródło |
|---|---|---|
| Metryki podawane przez Open ASR Leaderboard | Tylko WER i RTFx | Srivastav i in., artykuł o Open ASR Leaderboard, wersja 4 z marca 2026 |
| Średni RTFx, systemy oparte na Conformerze wobec opartych na Whisperze | 758 wobec 201 (3,77x szybciej) | Srivastav i in., artykuł o Open ASR Leaderboard, wersja 4 z marca 2026 |
| WER i RTFx Whisper Large v3 w angielskiej ścieżce nagrań długich | 11,2 WER; RTFx 68,6 | Srivastav i in., artykuł o Open ASR Leaderboard, wersja 4 z marca 2026 |
| Pozycja najlepszego modelu TDT i najlepszego modelu CTC pod względem dokładności dla angielskich nagrań krótkich | 10. i 34. | Srivastav i in., artykuł o Open ASR Leaderboard, wersja 4 z marca 2026 |
| WER wobec współczynnika błędów halucynacji Whisper large-v3 na ATCOsim (symulowana mowa kontroli ruchu lotniczego) | 65,3% wobec 17,6% | Atwany i in., Lost in Transcription, arXiv 2025 |
| WER wobec współczynnika błędów halucynacji Whisper large-v3 na adwersaryjnym zbiorze testowym | 33,3% wobec 49,8% | Atwany i in., Lost in Transcription, arXiv 2025 |
| Whisper-Large-v3 wobec Canary, średni WER; średni wynik zmyśleń leksykalnych | 14,20 wobec 14,26; 6,74 wobec 5,43 | Koudounas i in., SHALLOW, arXiv 2025 |
Kontekst: TDT i CTC to metody dekodowania, które emitują tekst dopasowany do ramek audio, zamiast generować swobodny tekst token po tokenie jak dekoder Whispera. Ranking zaznacza, że zapewniają one wyraźnie lepszy RTFx kosztem niższej dokładności. Prawie identyczny średni WER Whisper-Large-v3 i Canary w SHALLOW ukrywa, że Canary popełniał mniej zmyśleń leksykalnych.
7. Wyniki łagodzenia: VAD, zmiany w dekodowaniu i modyfikacje modelu
Najpewniejszą poprawką nadal jest niewysyłanie ciszy do modelu. Silero VAD obniżył WER na mowie dopełnionej dźwiękiem bez mowy ze 104,8% do 8,0% w eksperymentach z dopełnianiem opisanych w sekcji 3, a dodanie usuwania pętli i filtra worka halucynacji sprowadziło go do 6,5%. VAD (wykrywanie aktywności głosowej) to osobny model, który decyduje, czy fragment audio zawiera mowę. W artykule o Whisperze VAD był jedną z heurystyk dekodowania na drodze od średniego WER 11,0 dla nagrań długich przy dekodowaniu zachłannym do 10,0 przy wszystkich heurystykach (Radford i in., 2022).
Poprawki po stronie modelu działają, ale każda przesuwa błąd gdzie indziej. Calm-Whisper dostroił tylko 3 głowice uwagi (numery 1, 6 i 11) i utrzymał WER niemal bez zmian. Interwencje sterujące i na tokenie końca tekstu także tłumiły większość zmyśleń, ale zaczynały usuwać prawdziwą mowę lub psuły rozpoznawanie chińskiego. Autorzy pracy o tokenie pustym mówią to wprost: metody wstrzymania należy oceniać zarówno przez koszt tłumienia, jak i usuwania, a nie samą redukcję halucynacji.
| Metryka | Wartość | Źródło |
|---|---|---|
| WER na mowie dopełnionej dźwiękiem bez mowy: bez przetwarzania wobec Silero VAD wobec Silero VAD plus usuwanie pętli i filtr worka halucynacji | 104,8% wobec 8,0% wobec 6,5% | Barański i in., ICASSP 2025 |
| Wykryte halucynacje przy rozmiarze wiązki 1 wobec rozmiaru wiązki 5 | 19,5% wobec 28,2% | Barański i in., ICASSP 2025 |
| Calm-Whisper: odsetek halucynacji na UrbanSound8K przed wobec po; WER na LibriSpeech test-clean przed wobec po | 99,97% wobec 15,51%; 2,12% wobec 2,19% | Wang i in., Calm-Whisper, Interspeech 2025 |
| Sterowanie rzadkim autoenkoderem, Whisper small, połączony zbiór testowy bez mowy | 72,63% wobec 14,11% | Aparin i in., Whisper Hallucination Detection and Mitigation, arXiv 2026 |
| To samo sterowanie na Whisper large-v3: współczynnik błędów znaków chińskich na AISHELL-1 przed wobec po | 10,54 wobec 66,24 | Aparin i in., Whisper Hallucination Detection and Mitigation, arXiv 2026 |
| Interwencja na tokenie końca tekstu (token pusty), Whisper small: odsetek wyjść leksykalnych; usunięte słowa referencyjne na minutę | 91,7% wobec 3,3%; 33,05 wobec 1,58 | Borodin i in., The Null Token Knows, arXiv 2026 |
| Bazowy VAD z WhisperX: średni odsetek halucynacji na dźwięku bez mowy; fałszywe odrzucenia prawdziwej mowy | 5,24%; 0% | Abbasihafshejani i Jadliwala, arXiv 2026 |
| Whisper wobec WhisperX na TED-LIUM: współczynnik błędów wstawienia; powtórzone sekwencje 5 słów | 7,7 wobec 6,7; 221 wobec 189 | Bain i in., artykuł o WhisperX 2023 |
Kontekst: wynik dla rozmiaru wiązki jest sprzeczny z intuicją, bo autorzy Whispera stosują przeszukiwanie wiązkowe z 5 wiązkami, by ograniczyć pętle powtórzeń w mowie, podczas gdy przy dopełnianiu dźwiękiem bez mowy szersza wiązka dała więcej wykrytych halucynacji. Calm-Whisper obniżył też halucynacje wielotokenowe (powyżej pięciu tokenów) z 742 do 91. Dane WhisperX pochodzą z 2023 roku, więc to najnowsze dostępne dane dla tego benchmarku.
Podsumowanie: halucynacje w rozpoznawaniu mowy w liczbach
| Metryka | Wartość | Źródło |
|---|---|---|
| Klipy bez mowy, dla których Whisper large-v3 zapisał tekst | 40,3% z 301 317 | Barański i in., ICASSP 2025 |
| Odsetek halucynacji Whisper large-v3 na szumie UrbanSound8K | 99,97% | Wang i in., Calm-Whisper, Interspeech 2025 |
| Whisper large-v3 wobec Whisper small, połączony zbiór testowy bez mowy | 86,8% wobec 72,6% | Aparin i in., arXiv 2026 |
| Wyjście leksykalne Whisper turbo na klipach bez mowy | 74,3% | Borodin i in., The Null Token Knows, arXiv 2026 |
| Segmenty AphasiaBank z odtwarzalnymi halucynacjami Whispera | 187 z 13 140 (1,4%) | Koenecke i in., Careless Whisper, ACM FAccT 2024 |
| Transkrypcje posiedzeń publicznych z halucynacjami, jeden badacz z Michigan | 8 na każde 10 | Śledztwo Associated Press, październik 2024 |
| Odsetek halucynacji, Universal-1 wobec Whisper large-v3 | Względne obniżenie o 30% (deklaracja samego dostawcy) | AssemblyAI, 2024 |
| Klipy z jąkaniem wobec płynnych z halucynacjami, Whisper v2 | 14% wobec 3,3% | Sridhar i Wu, Interspeech 2025 |
| WER wobec HER Whisper large-v3 na zbiorze adwersaryjnym | 33,3% wobec 49,8% | Atwany i in., arXiv 2025 |
| Korelacja SHALLOW z WER, pasmo WER 10-30% | ρs > 0,80 | Koudounas i in., SHALLOW, arXiv 2025 |
| Średni RTFx, oparte na Conformerze wobec opartych na Whisperze | 758 wobec 201 | Srivastav i in., wersja 4 z marca 2026 |
| WER Calm-Whisper na LibriSpeech test-clean przed wobec po poprawce | 2,12% wobec 2,19% | Wang i in., Calm-Whisper, Interspeech 2025 |
| Interwencja na tokenie pustym: usunięte słowa na minutę | 33,05 wobec 1,58 | Borodin i in., arXiv 2026 |
| Sterowanie rzadkim autoenkoderem, odsetek halucynacji Whisper small | 72,63% wobec 14,11% | Aparin i in., arXiv 2026 |
| Odsetek halucynacji i fałszywych odrzuceń bazowego VAD z WhisperX | 5,24%; 0% | Abbasihafshejani i Jadliwala, arXiv 2026 |
| Współczynnik błędów wstawienia Whisper wobec WhisperX na TED-LIUM | 7,7 wobec 6,7 | Bain i in., artykuł o WhisperX 2023 |
Metodologia i źródła
Przeczytaliśmy pierwotny artykuł, kartę modelu lub śledztwo prasowe stojące za każdą liczbą powyżej i podajemy każdą w oryginalnej notacji źródła (procenty, ułamki, ρ lub α). Tam, gdzie tekst artykułu i jego tabele się różnią, użyliśmy wartości z tabeli lub wyraźnego zdania i zaznaczyliśmy rozbieżność poniżej.
- Koenecke i in., Careless Whisper: Speech-to-Text Hallucination Harms, ACM FAccT 2024
- Burke i Schellmann, śledztwo Associated Press w sprawie transkrypcji Whispera, październik 2024, wraz z podsumowaniem badania Careless Whisper w Cornell Chronicle, czerwiec 2024
- Barański i in., Investigation of Whisper ASR Hallucinations Induced by Non-Speech Audio, ICASSP 2025
- Wang i in., Calm-Whisper: Reduce Whisper Hallucination On Non-Speech By Calming Crazy Heads Down, Interspeech 2025
- Sridhar i Wu, J-j-j-just Stutter: Benchmarking Whisper’s Performance Disparities on Different Stuttering Patterns, Interspeech 2025
- Atwany i in., Lost in Transcription, Found in Distribution Shift: Demystifying Hallucination in Speech Foundation Models, arXiv 2025
- Koudounas i in., Hallucination Benchmark for Speech Foundation Models (SHALLOW), arXiv 2025
- Srivastav i in., artykuł o Open ASR Leaderboard, wersja 4 z marca 2026
- Borodin i in., The Null Token Knows: Reducing Message-Free Hallucination in ASR and NMT, arXiv 2026
- Aparin i in., Whisper Hallucination Detection and Mitigation via Hidden Representation Steering and Sparse AutoEncoders, arXiv 2026
- Abbasihafshejani i Jadliwala, Reducing Hallucinated Transcripts in Whisper via Hallucination Space Projection, arXiv 2026
- AssemblyAI (McCann Ramirez, Chkhetiani i in.), Anatomy of Industrial Scale Multilingual ASR, 2024
- Bain i in., WhisperX: Time-Accurate Speech Transcription of Long-Form Audio, 2023
- Radford i in., Robust Speech Recognition via Large-Scale Weak Supervision (artykuł o Whisper), 2022
- OpenAI, karta modelu Whisper large-v3 na Hugging Face
- Frieske i Shi, Hallucinations in Neural Automatic Speech Recognition: Identifying Errors and Hallucinatory Models, arXiv 2024
- Uwaga o danych: streszczenie Careless Whisper podaje, że około 1% transkrypcji zawierało halucynacje, podczas gdy treść pracy podaje 1,4% (187 z 13 140 segmentów) i 312 transkrypcji z halucynacjami w dwóch przebiegach; AP opisało tę samą pracę jako 187 halucynacji w ponad 13 000 klipów. Artykuł o Hallucination Space Projection podaje średni poziom bazowy 31,31%, który nie zgadza się z jego własnymi wartościami dla poszczególnych zbiorów (cytujemy tylko wartości dla poszczególnych zbiorów i jego bazowy WhisperX). Praca o sterowaniu podaje 95,2% dla Whisper large-v3 na UrbanSound8K w jednej tabeli i 95,98% w innej. Benchmark jąkania używa 2 079 i 2 086 jako łącznej liczby klipów z jąkaniem w różnych sekcjach. Prace Atwany i in., SHALLOW, o Null Token (zgłoszona do AAAI-27), o sterowaniu i o projekcji to preprinty arXiv bez potwierdzonego recenzowanego wydawcy w chwili czytania. Liczby AssemblyAI to deklaracje samego dostawcy, a liczby AP to indywidualne raporty terenowe, a nie pomiary kontrolowane. Artykuł o Whisper (2022), WhisperX (2023) oraz Frieske i Shi (2024) to najnowsze dostępne dane dla swoich konkretnych benchmarków.
Ostatnia aktualizacja: 24 października 2026 roku. Aktualizujemy to zestawienie kwartalnie, a kolejnego odświeżenia można się spodziewać po opublikowaniu materiałów konferencji ICASSP 2027 i kolejnej wersji artykułu o Open ASR Leaderboard.