Saf konuşma dışı ses içeren 301.317 kayıt verildiğinde Whisper large-v3 bunların 121.378’i (%40,3) için metin yazdı ve bu uydurma çıktıların %9,1’i aynı ifadenin tekrar edildiği döngülerdi (Barański ve ark., ICASSP 2025). Kent seslerinden oluşan UrbanSound8K kitaplığında ayrı bir ekip, kayıtların %99,97’sinde metin çıktısı ölçtü (Wang ve ark., Calm-Whisper, Interspeech 2025). Gerçek konuşmada oran çok daha düşük, ancak eşit dağılmıyor: AphasiaBank derleminde afazili konuşmacılara ait bölümler kontrol bölümlerinden daha sık halüsinasyon üretti ve ses çıkarılmayan sürelerin uzaması halüsinasyonu öngördü (Koenecke ve ark., ACM FAccT 2024). Liderlik tabloları bunu yakalamıyor, çünkü Open ASR Leaderboard modelleri yalnızca kelime hata oranına ve hıza göre sıralıyor (Srivastav ve ark., Open ASR Leaderboard makalesi 2026); bu, ayrıca izlediğimiz aksan ve lehçe farklarının arkasındaki ölçütle aynı. Cornell, Carnegie Mellon, Hugging Face, Interspeech ve ICASSP makalelerinden, AssemblyAI’dan, Associated Press’ten ve tespit ile azaltma üzerine 2026 arXiv çalışmalarından veri derledik.
Bu derlemede “halüsinasyon”, bir transkriptte sesle hiçbir ilgisi olmayan metin anlamına gelir: gerçekten söylenmiş bir kelimeyi yanlış duymanın aksine, uydurulmuş kelimeler, ifadeler veya cümlelerin tamamı.
TL;DR
- Whisper large-v3, 301.317 konuşma dışı kaydın %40,3’ü için metin üretti; bunların %9,1’i döngüydü (Barański ve ark., ICASSP 2025).
- Whisper large-v3, hedefli ince ayardan önce UrbanSound8K gürültü kayıtlarının %99,97’si için metin üretti (Wang ve ark., Calm-Whisper, Interspeech 2025).
- Kekeme kayıtlarda halüsinasyon oranı Whisper v2 ile %14, v3 ile %2,9 oldu (Sridhar ve Wu, Interspeech 2025).
- Universal-1, Whisper large-v3’e kıyasla halüsinasyon oranında %30 göreli azalma bildirdi; bu, üreticinin kendi iddiası (AssemblyAI, Anatomy of Industrial Scale Multilingual ASR 2024).
- Halüsinasyon Hata Oranı, dağılım kaymasıyla α = 0,91 düzeyinde ilişkili (Atwany ve ark., arXiv 2025).
- SHALLOW halüsinasyon puanları WER ile yalnızca %10-30 WER bandında ρs > 0,80 düzeyinde ilişkili (Koudounas ve ark., arXiv 2025).
- Whisper turbo, konuşma dışı kayıtların hâlâ %74,3’ünde sözcük çıktısı verdi (Borodin ve ark., The Null Token Knows, arXiv 2026).
- Open ASR Leaderboard yalnızca WER ve RTFx bildiriyor; Conformer tabanlı sistemler Whisper tabanlılardan 3,77 kat daha hızlı (Srivastav ve ark., Open ASR Leaderboard makalesi 2026).
- Calm-Whisper’ın düzeltmesi LibriSpeech test-clean WER değerini yalnızca %2,12’den %2,19’a çıkardı (Wang ve ark., Calm-Whisper, Interspeech 2025).
- Bir WhisperX VAD temel çizgisi, %0 yanlış reddiyle ortalama %5,24 konuşma dışı halüsinasyon oranına ulaştı (Abbasihafshejani ve Jadliwala, arXiv 2026).
1. ASR Gerçek Konuşmada Ne Sıklıkla Metin Uyduruyor
Gerçek konuşmadaki kontrollü rakamlar küçüktür ve tuzak tam olarak budur. Careless Whisper çalışmasında 13.140 AphasiaBank bölümünden 187’si (%1,4) Whisper’da güvenilir biçimde uydurma metin üretti; aynı bölümler Amazon ve Google üzerinden geçirildiğinde karşılaştırılabilir hiçbir uydurma ortaya çıkmadı. Tıbbi bir öykü, bir görüşme ya da bir mahkeme kaydı üzerine düşen düşük bir oran, yanlış duyulmuş bir kelimeden farklı bir risktir; çünkü uydurulan cümleler akıcı okunur ve kimse bunları kontrol etmeyi düşünmez.
Associated Press’in Ekim 2024’te derlediği saha raporları çok daha yüksektir ve laboratuvar rakamlarıyla karşılaştırılamaz: bir makine öğrenimi mühendisi AP’ye, analiz ettiği 100 saatten fazla Whisper transkriptinin yaklaşık yarısında halüsinasyon bulduğunu söyledi. Bunlar ortak bir tanımı olmayan bireysel kullanıcı incelemeleridir; bu yüzden bir oran olarak değil, maruziyet işareti olarak değerlendirin.
| Metrik | Değer | Kaynak |
|---|---|---|
| Whisper’da güvenilir biçimde halüsinasyonlu metin üreten AphasiaBank bölümleri (Nisan-Mayıs 2023 çalıştırmaları) | 13.140 bölümden 187’si (%1,4) | Koenecke ve ark., Careless Whisper, ACM FAccT 2024 |
| Aralık 2023’te yeniden çalıştırıldığında hâlâ halüsinasyon üreten halüsinasyonlu bölümler | 187’den 12’si | Koenecke ve ark., Careless Whisper, ACM FAccT 2024 |
| Whisper large-v3 Halüsinasyon Hata Oranı, LibriSpeech karşı gürültü eklenmiş LibriSpeech | %0,3 karşı %0,4 | Atwany ve ark., Lost in Transcription, arXiv 2025 |
| Michigan Üniversitesi’nden bir araştırmacının incelediği, halüsinasyon içeren kamu toplantısı transkriptleri | her 10’dan 8’i | Associated Press soruşturması, Ekim 2024 |
| Bir geliştiricinin bildirdiği, halüsinasyon içeren Whisper transkriptleri | 26.000 transkriptin neredeyse hepsi | Associated Press soruşturması, Ekim 2024 |
| Uydurma oranı (saatte 5+ ardışık eklenen veya değiştirilen kelime), Universal-1 karşı Whisper large-v3 | %41 göreli azalma (üreticinin kendi iddiası) | AssemblyAI, Anatomy of Industrial Scale Multilingual ASR 2024 |
| Genel halüsinasyon oranı (saatte 5+ ardışık hata), Universal-1 karşı Whisper large-v3 ve karşı Canary-1B | %30 ve %22 göreli azalma (üreticinin kendi iddiası) | AssemblyAI, Anatomy of Industrial Scale Multilingual ASR 2024 |
Bağlam: Aralık 2023’teki yeniden çalıştırmada, yeniden üretilebilen vakaların çoğu, ama hepsi değil, halüsinasyon üretmeyi bırakmıştı: 187’de 12, yani %6,4 (kendi hesabımız). Amazon ve Google karşılaştırması 27 Ocak 2024’te yapıldı. AssemblyAI rakamları, üreticinin seçtiği 146 saatlik İngilizce test verisinde ölçülen göreli azalmalardır ve saat başına mutlak oranlar yalnızca bir şekilde görünmektedir.
2. Sessizlik, Gürültü ve Konuşma Dışı Ses: En Kötü Senaryo
Hiç konuşma içermeyen seste doğru transkript boştur, dolayısıyla çıktıdaki her kelime uydurmadır. Bu da konuşma dışı sesi en temiz stres testi yapar ve sonuçlar çarpıcıdır: veri kümesine ve sayım kuralına bağlı olarak Whisper large-v3, aşağıdaki çalışmalarda konuşma dışı kayıtların %21,35’inden %100’üne kadar değişen bir bölümü için metin yazıyor. Bu dağılım araştırmadaki gürültü değildir. Farklı ses kitaplıklarını, kayıt uzunluklarını ve tanımları yansıtır; bu yüzden tek bir “Whisper halüsinasyon oranı” yoktur.
Burada daha büyük model güvenilir biçimde daha iyi değildir. Ağustos 2026 Null Token denetiminde Whisper small, large-v3’ten daha fazla kayıtta sözcük çıktısı verdi; Haziran 2026 yönlendirme çalışmasında ise large-v3, birleşik test setinde small’dan daha kötüydü. Whisper tabanlı olmayan Canary-1B de aynı aralıktaydı. Sesleri arka plan sesinden ayırmak başlı başına bir araştırma alanıdır (bkz. konuşma ayrıştırma istatistiklerimiz); bu adımı atlayan tanıyıcılar sorunu devralır.
| Metrik | Değer | Kaynak |
|---|---|---|
| Konuşma dışı seste (AudioSet, MUSAN, UrbanSound8K, FSD50K, gürültü ve sessizlik) metin üreten Whisper large-v3 çıkarımları | 301.317’den 121.378’i (%40,3); bunların 11.049’unda (%9,1) döngü vardı | Barański ve ark., ICASSP 2025 |
| UrbanSound8K kent sesi kayıtlarında Whisper large-v3 halüsinasyon oranı | %99,97 | Wang ve ark., Calm-Whisper, Interspeech 2025 |
| Whisper large-v3 karşı Whisper small, birleşik konuşma dışı test setinde (WHAM!, FSD50k, UrbanSound8K) halüsinasyon oranı | %86,8 karşı %72,6 | Aparin ve ark., Whisper Hallucination Detection and Mitigation, arXiv 2026 |
| UrbanSound8K’de Whisper large-v3 halüsinasyon oranı, ayrı bir 2026 ölçümü | %95,2 | Aparin ve ark., Whisper Hallucination Detection and Mitigation, arXiv 2026 |
| Sözcük çıktısı olan konuşma dışı kayıtların payı, Whisper small, large-v3 ve turbo | %96,2, %77,0 ve %74,3 | Borodin ve ark., The Null Token Knows, arXiv 2026 |
| Sözcük çıktısı olan konuşma dışı kayıtların payı, Canary-1B (alt küme) | %79,3 | Borodin ve ark., The Null Token Knows, arXiv 2026 |
| 200 AudioSet ortam gürültüsü örneğinde boş olmayan çıktı, Whisper large-v3, Canary-1B ve Universal-1 | %100, %100 ve %10,5 (üreticinin kendi testi) | AssemblyAI, Anatomy of Industrial Scale Multilingual ASR 2024 |
Bağlam: üçüncü bir 2026 makalesi Whisper large-v3 için UrbanSound8K’de %76,08, ESC-50’de %44,25 ve filtrelenmiş bir FSD50K alt kümesinde %21,35 ölçtü (Abbasihafshejani ve Jadliwala, arXiv 2026). Null Token makalesinde “sözcük çıktısı”, bir normalleştirici olay etiketlerini, noktalama işaretlerini ve rakamları temizledikten sonra geriye kalan herhangi bir harf anlamına gelir; bu, bütün ifadeleri eşleştirmekten daha geniş bir sayımdır.
3. Neler Uydurulur: İfade Parmak İzleri ve Kayıt Uzunluğu
Whisper’ın konuşma dışı halüsinasyonları rastgele değildir. ICASSP 2025 çalışmasında iki ifade, “thank you” (%24,76) ve “thanks for watching” (%10,32), konuşma dışı seste görülen tüm halüsinasyonların yaklaşık %35’ini oluşturuyor. Bunlar video kapanış cümleleridir; bu, doğrulanmış transkriptler yerine çevrimiçi video altyazılarından alınmış eğitim metinleriyle uyumlu bir örüntüdür (bu bizim yorumumuz, yazarların ölçümü değil).
Tekrar, savunma için de pratik bir fırsattır: küçük bir çıktı kümesi sürekli geri geldiği için yazarlar bir “halüsinasyon torbası” oluşturdu; bu, transkripsiyondan sonra filtrelenebilecek sık uydurma çıktıların listesidir. Süre de içerik kadar önemlidir. 10 saniyelik konuşma kayıtlarına 30 saniyelik konuşma dışı ses eklemek dosyaların %44,5’inde halüsinasyon tespit edilmesine yol açtı; 1 saniyelik eklemede bu oran %0,3’tü.
| Metrik | Değer | Kaynak |
|---|---|---|
| Konuşma dışı halüsinasyonlar içinde “thank you” ve “thanks for watching” payı | %24,76 ve %10,32 | Barański ve ark., ICASSP 2025 |
| Benzersiz halüsinasyon çıktıları; birden fazla kez görünen çıktılar; bu tekrarların kapsadığı tüm halüsinasyonların payı | 41.231 benzersiz; 1.270 tekrarlanan; %67,08 | Barański ve ark., ICASSP 2025 |
| Konuşmanın öncesine veya sonrasına 1 sn karşı 30 sn konuşma dışı ses eklendiğinde tespit edilen halüsinasyonlar | %0,3 karşı %44,5 | Barański ve ark., ICASSP 2025 |
| Whisper large-v3 eğitim verisi | 1 milyon saat zayıf etiketli artı 4 milyon saat sözde etiketli ses | OpenAI, Whisper large-v3 model kartı |
| Özgün Whisper eğitim verisi (2022 sürümü) | 680.000 saat çok dilli ve çok görevli denetim | Radford ve ark., Whisper makalesi 2022 |
| %8 enjekte edilmiş gürültüyle kurulan modellerin halüsinasyonları, değerlendirme veri kümelerindeki pay | çoğu model için %1-2; bir model için %8 | Frieske ve Shi, Hallucinations in Neural ASR, arXiv 2024 |
Bağlam: “zayıf etiketli”, her kayıtla eşleştirilen metnin sesle kelime kelime doğrulanmadığı anlamına gelir; “sözde etiketli” ise metnin daha önceki bir model tarafından üretildiği anlamına gelir. Whisper yazarlarının kendileri, bilinen uzun biçimli hata türleri arasında “modelin gerçek sesle tamamen ilgisiz bir transkript çıkardığı tam halüsinasyonu” sayar (Radford ve ark., 2022). Özgün eğitim kümesi için mevcut en güncel veri: Whisper makalesi, 2022.
4. Kime Halüsinasyon Üretiliyor: Duraklamalı ve Tekrarlı Konuşma Biçimleri
Halüsinasyon riski sesin biçimini izler ve bazı konuşmacılar daha fazla sessizlik ya da daha fazla tekrarlanan ses içeren kayıtlar üretir. SEP-28K podcast veri kümesinden 2.621 kayıt çeken Interspeech 2025 kekemelik kıyaslamasına göre Whisper v2, kekeme podcast kayıtlarının %14’ünde, akıcı kayıtların ise %3,3’ünde halüsinasyon üretti. Whisper v3 her iki sayıyı da keskin biçimde düşürdü, ancak kekeme kayıtlar yine de akıcı kayıtlardan yaklaşık üç kat daha sık halüsinasyon üretti (%2,9 karşı %0,9).
Afazide (dil işlevini etkileyen bir bozukluk) Careless Whisper ekibi mekanizmayı duraklamalarda buldu: afazili konuşmacıların kayıtlarında ses çıkarılmayan sürelerin payı çok daha uzundu ve bu pay halüsinasyonu öngördü. Bu konuşma örüntülerinin ne kadar yaygın olduğunu görmek için kekemelik demografisi istatistiklerimize bakın.
| Metrik | Değer | Kaynak |
|---|---|---|
| Whisper’da halüsinasyon üreten afazi karşı kontrol ses bölümleri | %1,7 karşı %1,2 (regresyon: p=0,019) | Koenecke ve ark., Careless Whisper, ACM FAccT 2024 |
| Katılımcı demografisine göre eşleştirilmiş gruplarda afazi karşı kontrol halüsinasyon oranı | %1,82 karşı %1,16 (p değeri = 0,044) | Koenecke ve ark., Careless Whisper, ACM FAccT 2024 |
| Toplam kayıt süresinde ses çıkarılmayan sürenin payı, afazili konuşmacılar karşı kontrol konuşmacıları | %41 karşı %15 | Koenecke ve ark., Careless Whisper, ACM FAccT 2024 |
| Halüsinasyonlu kekeme karşı akıcı kayıtlar, Whisper v2 | %14 (2.086’dan 293) karşı %3,3 (534’ten 18) | Sridhar ve Wu, Interspeech 2025 |
| Halüsinasyonlu kekeme karşı akıcı kayıtlar, Whisper v3 | %2,9 (2.086’dan 61) karşı %0,9 (534’ten 5) | Sridhar ve Wu, Interspeech 2025 |
| Ses tekrarı (bir kelimenin ilk sesinin tekrarlanması) içeren ve halüsinasyon üreten kayıtlar, Whisper v2 karşı v3 | %22,6 karşı %6,9 | Sridhar ve Wu, Interspeech 2025 |
| Uzatma (bir sesin uzatılması) içeren ve halüsinasyon üreten kayıtlar, Whisper v2 karşı v3 | %15,4 karşı %1,47 | Sridhar ve Wu, Interspeech 2025 |
Bağlam: kekemelik makalesi, aday halüsinasyonları her kayıtta Whisper’ı iki kez çalıştırıp büyük farklılıkları işaretleyerek tespit etti, ardından her işareti elle inceledi. Kayıt sayıları bölümler arasında hafifçe farklıdır (2.079 kekeme kayıt örneklendi, halüsinasyon sayımında 2.086), bu yüzden her rakamı kendi paydasıyla aktarıyoruz.
5. Halüsinasyonu Ölçmek: WER’in Ötesinde Önerilen Ölçütler
Kelime hata oranı (WER) yer değiştirmeleri, silmeleri ve eklemeleri sayar, ancak yanlış duyulmuş bir kelimeyi uydurulmuş bir cümleden ayıramaz. Carnegie Mellon ve MBZUAI araştırmacılarının önerdiği Halüsinasyon Hata Oranı, dağılım kaymasıyla α = 0,91 düzeyinde ilişkilidir; yani halüsinasyonlar, test sesinin eğitim sesinden ne kadar saptığıyla birlikte artar (Atwany ve ark., 2025). Bu iş hattı yargıç olarak bir LLM kullanır, bu da onu büyük ölçekte çalıştırılabilecek kadar ucuz kılar.
SHALLOW kıyaslaması halüsinasyonu dört eksene böler: sözcüksel (uydurulmuş kelimeler), fonetik (ses benzerliğinden doğan hatalar), morfolojik (yanlış kelime biçimleri) ve anlamsal (değişen anlam). Temel bulgusu, WER’in bilgilendirici olmaktan çıktığı yerdir: ilişkiler düşük hata oranlarında güçlüdür ve WER yükseldikçe çöker; halüsinasyonun en çok önem taşıdığı yer tam olarak burasıdır.
| Metrik | Değer | Kaynak |
|---|---|---|
| Halüsinasyon etiketlerinde uyum, insan karşı insan ve insan karşı GPT-4o-mini | 0,71 karşı 0,60 | Atwany ve ark., Lost in Transcription, arXiv 2025 |
| LLM etiketleme iş hattının maliyeti, insan değerlendirmesine karşı | 1 milyon bölüm başına $78, yaklaşık 375 kat daha ucuz | Atwany ve ark., Lost in Transcription, arXiv 2025 |
| SHALLOW puanları ile WER arasındaki ilişki, %10-30 WER karşı %90 WER (sözcüksel-anlamsal çift) | ρs > 0,80 karşı -0,45’in altında | Koudounas ve ark., SHALLOW, arXiv 2025 |
| Sentetik test: WER ile ilişki, sözcüksel uydurma karşı anlamsal hatalar | ρ = 0,98 karşı ρ = 0,15 | Koudounas ve ark., SHALLOW, arXiv 2025 |
| SHALLOW değerlendirmesindeki model ve test veri kümeleri | 12 model, 10 veri kümesi | Koudounas ve ark., SHALLOW, arXiv 2025 |
| Halüsinasyonları fonetik hatalardan ayırmak için kullanılan eşikler | Kosinüs benzerliği 0,2; WER 30; perplexity 200 | Frieske ve Shi, Hallucinations in Neural ASR, arXiv 2024 |
| Kekemelik kıyaslamasında kullanılan iki çalıştırmalı halüsinasyon işareti | Çalıştırmalar arası WER 0,6’nın üzerinde, BERT F1 0,6’nın altında veya 4’ten fazla eklenen kelime | Sridhar ve Wu, Interspeech 2025 |
Bağlam: bu ölçütler birbirinin yerine kullanılamaz. AssemblyAI, saat başına 5 veya daha fazla ardışık hata dizisini sayar; Null Token makalesi, referansı boş olan seste herhangi bir harf içeren kayıtları sayar; Halüsinasyon Hata Oranı ise halüsinasyon olarak etiketlenen örnekleri sayar. Bir ölçekteki %2, başka bir ölçekteki %2 hakkında hiçbir şey söylemez.
6. Liderlik Tablosu WER’i ve Halüsinasyon: Model Karşılaştırmaları
Hugging Face Open ASR Leaderboard makalesi, alanın doğruluk ve hız için referansıdır ve kapsamı açıktır: WER ve RTFx’i (ters gerçek zaman faktörü; bir sistemin saniyede kaç saniyelik ses işlediği) bildirir ve başka hiçbir şeyi bildirmez. Makale, halüsinasyonları veya tekrar döngülerini model hatası olarak ele almaz. Hız verileri yine de bu konu için önemlidir, çünkü daha hızlı Conformer aileleri (evrişim ile dikkati birleştiren bir kodlayıcı tasarımı) o liderlik tablosunda Whisper’a bariz alternatiflerdir.
CMU ve SHALLOW tabloları, WER’e göre bir sıralamanın güvenliğe göre bir sıralama olmadığını gösteriyor. Whisper large-v3, simüle edilmiş hava trafik kontrolü konuşmasında %65’in üzerinde WER elde ederken halüsinasyon oranı çok daha düşük kaldı, karşıt bir sette ise tersi oldu. Yayın altyazıcılığındaki doğruluk standartları da zamanlama, bütünlük ve doğruluk arasında benzer bir ayrımla karşı karşıyadır (bkz. altyazı doğruluk standartları istatistiklerimiz).
| Metrik | Değer | Kaynak |
|---|---|---|
| Open ASR Leaderboard’un bildirdiği ölçütler | yalnızca WER ve RTFx | Srivastav ve ark., Open ASR Leaderboard makalesi, v4 Mart 2026 |
| Ortalama RTFx, Conformer tabanlı karşı Whisper tabanlı sistemler | 758 karşı 201 (3,77 kat daha hızlı) | Srivastav ve ark., Open ASR Leaderboard makalesi, v4 Mart 2026 |
| Uzun biçimli İngilizce kolunda Whisper Large v3 WER ve RTFx değerleri | 11,2 WER; RTFx 68,6 | Srivastav ve ark., Open ASR Leaderboard makalesi, v4 Mart 2026 |
| İngilizce kısa biçimli doğrulukta en iyi TDT modelinin ve en iyi CTC modelinin sırası | 10. ve 34. | Srivastav ve ark., Open ASR Leaderboard makalesi, v4 Mart 2026 |
| ATCOsim’de (simüle edilmiş hava trafik kontrolü konuşması) Whisper large-v3 WER karşı Halüsinasyon Hata Oranı | %65,3 karşı %17,6 | Atwany ve ark., Lost in Transcription, arXiv 2025 |
| Karşıt bir test setinde Whisper large-v3 WER karşı Halüsinasyon Hata Oranı | %33,3 karşı %49,8 | Atwany ve ark., Lost in Transcription, arXiv 2025 |
| Whisper-Large-v3 karşı Canary, ortalama WER; ortalama sözcüksel uydurma puanı | 14,20 karşı 14,26; 6,74 karşı 5,43 | Koudounas ve ark., SHALLOW, arXiv 2025 |
Bağlam: TDT ve CTC, Whisper’ın kod çözücüsü gibi serbest metni belirteç belirteç üretmek yerine ses karelerine hizalı metin çıkaran kod çözme yöntemleridir. Liderlik tablosu, bunların daha düşük doğrulukla önemli ölçüde daha iyi RTFx sunduğunu belirtiyor. SHALLOW’da Whisper-Large-v3 ve Canary için neredeyse aynı ortalama WER, Canary’nin daha az sözcüksel uydurma yaptığını gizliyor.
7. Azaltma Sonuçları: VAD, Kod Çözme Değişiklikleri ve Model Müdahaleleri
En güvenilir çözüm hâlâ modele sessizlik göndermemektir. Silero VAD, 3. bölümde anlatılan dolgu deneylerinde konuşma dışı sesle doldurulmuş konuşmada WER’i %104,8’den %8,0’a düşürdü ve döngü giderme ile halüsinasyon torbası filtresinin eklenmesi bunu %6,5’e indirdi. VAD (ses etkinliği algılama), bir ses parçasında konuşma olup olmadığına karar veren ayrı bir modeldir. Whisper’ın kendi makalesinde VAD, açgözlü kod çözmeyle ortalama 11,0 olan uzun biçimli WER’i tüm sezgisel yöntemlerle 10,0’a indiren yoldaki kod çözme sezgilerinden biriydi (Radford ve ark., 2022).
Modelden yana düzeltmeler işe yarar, ancak her biri hatayı başka bir yere kaydırır. Calm-Whisper yalnızca 3 dikkat başını (1, 6 ve 11 numaralı) ince ayara tabi tuttu ve WER’i neredeyse sabit tuttu. Yönlendirme ve metin sonu müdahaleleri de uydurmanın çoğunu bastırdı, ancak gerçek konuşmayı silmeye veya Çince tanımayı bozmaya başladı. Boş belirteç yazarları bunu açıkça söylüyor: kaçınma yöntemleri yalnızca halüsinasyon azalmasına göre değil, hem bastırma hem silme maliyetlerine göre değerlendirilmelidir.
| Metrik | Değer | Kaynak |
|---|---|---|
| Konuşma dışı sesle doldurulmuş konuşmada WER: işleme yok karşı Silero VAD karşı Silero VAD artı döngü giderme ve halüsinasyon torbası filtresi | %104,8 karşı %8,0 karşı %6,5 | Barański ve ark., ICASSP 2025 |
| Işın boyutu 1 karşı ışın boyutu 5 ile tespit edilen halüsinasyonlar | %19,5 karşı %28,2 | Barański ve ark., ICASSP 2025 |
| Calm-Whisper: UrbanSound8K halüsinasyon oranı öncesi karşı sonrası; LibriSpeech test-clean WER öncesi karşı sonrası | %99,97 karşı %15,51; %2,12 karşı %2,19 | Wang ve ark., Calm-Whisper, Interspeech 2025 |
| Seyrek otokodlayıcı yönlendirmesi, Whisper small, birleşik konuşma dışı test seti | %72,63 karşı %14,11 | Aparin ve ark., Whisper Hallucination Detection and Mitigation, arXiv 2026 |
| Whisper large-v3’te aynı yönlendirme: AISHELL-1 Çince karakter hata oranı öncesi karşı sonrası | 10,54 karşı 66,24 | Aparin ve ark., Whisper Hallucination Detection and Mitigation, arXiv 2026 |
| Metin sonu (boş belirteç) müdahalesi, Whisper small: sözcük çıktısı oranı; dakikada silinen referans kelime sayısı | %91,7 karşı %3,3; 33,05 karşı 1,58 | Borodin ve ark., The Null Token Knows, arXiv 2026 |
| WhisperX VAD temel çizgisi: ortalama konuşma dışı halüsinasyon oranı; gerçek konuşmanın yanlış reddi | %5,24; %0 | Abbasihafshejani ve Jadliwala, arXiv 2026 |
| Whisper karşı WhisperX, TED-LIUM’da: ekleme hata oranı; tekrarlanan 5 kelimelik diziler | 7,7 karşı 6,7; 221 karşı 189 | Bain ve ark., WhisperX makalesi 2023 |
Bağlam: ışın boyutu sonucu sezgiye aykırıdır; çünkü Whisper yazarları konuşmada tekrar döngülerini azaltmak için 5 ışınlı ışın araması kullanır, oysa konuşma dışı dolguda daha geniş ışın daha fazla halüsinasyon tespit edilmesine yol açtı. Calm-Whisper ayrıca çok belirteçli halüsinasyonları (beşten fazla belirteç) 742’den 91’e düşürdü. WhisperX verileri 2023’e aittir, bu yüzden bu kıyaslama için mevcut en güncel veri budur.
Özet: Rakamlarla Konuşma Tanıma Halüsinasyonu
| Metrik | Değer | Kaynak |
|---|---|---|
| Metin üreten Whisper large-v3 konuşma dışı kayıtları | 301.317’nin %40,3’ü | Barański ve ark., ICASSP 2025 |
| UrbanSound8K gürültüsünde Whisper large-v3 halüsinasyon oranı | %99,97 | Wang ve ark., Calm-Whisper, Interspeech 2025 |
| Whisper large-v3 karşı Whisper small, birleşik konuşma dışı test seti | %86,8 karşı %72,6 | Aparin ve ark., arXiv 2026 |
| Konuşma dışı kayıtlarda Whisper turbo sözcük çıktısı | %74,3 | Borodin ve ark., The Null Token Knows, arXiv 2026 |
| Yeniden üretilebilir Whisper halüsinasyonu olan AphasiaBank bölümleri | 13.140’tan 187’si (%1,4) | Koenecke ve ark., Careless Whisper, ACM FAccT 2024 |
| Bir Michigan araştırmacısının incelediği halüsinasyonlu kamu toplantısı transkriptleri | her 10’dan 8’i | Associated Press soruşturması, Ekim 2024 |
| Halüsinasyon oranı, Universal-1 karşı Whisper large-v3 | %30 göreli azalma (üreticinin kendi iddiası) | AssemblyAI, 2024 |
| Halüsinasyon üreten kekeme karşı akıcı kayıtlar, Whisper v2 | %14 karşı %3,3 | Sridhar ve Wu, Interspeech 2025 |
| Karşıt bir sette Whisper large-v3 WER karşı HER | %33,3 karşı %49,8 | Atwany ve ark., arXiv 2025 |
| SHALLOW ile WER ilişkisi, %10-30 WER bandı | ρs > 0,80 | Koudounas ve ark., SHALLOW, arXiv 2025 |
| Ortalama RTFx, Conformer tabanlı karşı Whisper tabanlı | 758 karşı 201 | Srivastav ve ark., v4 Mart 2026 |
| Calm-Whisper düzeltmesi öncesi karşı sonrası LibriSpeech test-clean WER | %2,12 karşı %2,19 | Wang ve ark., Calm-Whisper, Interspeech 2025 |
| Boş belirteç müdahalesi: dakikada silinen kelime | 33,05 karşı 1,58 | Borodin ve ark., arXiv 2026 |
| Seyrek otokodlayıcı yönlendirmesi, Whisper small halüsinasyon oranı | %72,63 karşı %14,11 | Aparin ve ark., arXiv 2026 |
| WhisperX VAD temel çizgisi halüsinasyon oranı ve yanlış ret | %5,24; %0 | Abbasihafshejani ve Jadliwala, arXiv 2026 |
| Whisper karşı WhisperX TED-LIUM ekleme hata oranı | 7,7 karşı 6,7 | Bain ve ark., WhisperX makalesi 2023 |
Metodoloji ve Kaynaklar
Yukarıdaki her rakamın arkasındaki birincil makaleyi, model kartını veya haber soruşturmasını okuduk ve her birini kaynağın kendi gösterimiyle (yüzdeler, kesirler, ρ veya α) aktardık. Bir makalenin metni ile tabloları çelişirse tablo değerini veya açık cümleyi kullandık ve çelişkiyi aşağıda belirttik.
- Koenecke ve ark., Careless Whisper: Speech-to-Text Hallucination Harms, ACM FAccT 2024
- Burke ve Schellmann, Associated Press’in Whisper transkripsiyonu soruşturması, Ekim 2024, ayrıca Careless Whisper çalışmasının Cornell Chronicle özeti, Haziran 2024
- Barański ve ark., Investigation of Whisper ASR Hallucinations Induced by Non-Speech Audio, ICASSP 2025
- Wang ve ark., Calm-Whisper: Reduce Whisper Hallucination On Non-Speech By Calming Crazy Heads Down, Interspeech 2025
- Sridhar ve Wu, J-j-j-just Stutter: Benchmarking Whisper’s Performance Disparities on Different Stuttering Patterns, Interspeech 2025
- Atwany ve ark., Lost in Transcription, Found in Distribution Shift: Demystifying Hallucination in Speech Foundation Models, arXiv 2025
- Koudounas ve ark., Hallucination Benchmark for Speech Foundation Models (SHALLOW), arXiv 2025
- Srivastav ve ark., Open ASR Leaderboard makalesi, v4 Mart 2026
- Borodin ve ark., The Null Token Knows: Reducing Message-Free Hallucination in ASR and NMT, arXiv 2026
- Aparin ve ark., Whisper Hallucination Detection and Mitigation via Hidden Representation Steering and Sparse AutoEncoders, arXiv 2026
- Abbasihafshejani ve Jadliwala, Reducing Hallucinated Transcripts in Whisper via Hallucination Space Projection, arXiv 2026
- AssemblyAI (McCann Ramirez, Chkhetiani ve ark.), Anatomy of Industrial Scale Multilingual ASR, 2024
- Bain ve ark., WhisperX: Time-Accurate Speech Transcription of Long-Form Audio, 2023
- Radford ve ark., Robust Speech Recognition via Large-Scale Weak Supervision (Whisper makalesi), 2022
- OpenAI, Hugging Face üzerindeki Whisper large-v3 model kartı
- Frieske ve Shi, Hallucinations in Neural Automatic Speech Recognition: Identifying Errors and Hallucinatory Models, arXiv 2024
- Veri notu: Careless Whisper özeti transkripsiyonların yaklaşık %1’inde halüsinasyon olduğunu söylerken makalenin gövdesi %1,4 (13.140 bölümden 187’si) ve iki çalıştırmada toplam 312 halüsinasyonlu transkripsiyon bildiriyor; AP aynı çalışmayı 13.000’den fazla kayıtta 187 halüsinasyon olarak tanımladı. Hallucination Space Projection makalesi, kendi veri kümesi başına rakamlarıyla uyuşmayan %31,31 ortalama temel çizgi bildiriyor (yalnızca veri kümesi başına değerleri ve WhisperX temel çizgisini aktarıyoruz). Yönlendirme makalesi, Whisper large-v3 için UrbanSound8K’de bir tabloda %95,2, bir diğerinde %95,98 veriyor. Kekemelik kıyaslaması, kekeme kayıt toplamları olarak farklı bölümlerde 2.079 ve 2.086 kullanıyor. Atwany ve ark., SHALLOW, Null Token makalesi (AAAI-27’ye gönderildi), yönlendirme makalesi ve projeksiyon makalesi, okuduğumuz tarihte onaylanmış hakemli bir yayın yeri olmayan arXiv ön baskılarıdır. AssemblyAI rakamları üreticinin kendi iddialarıdır ve AP rakamları kontrollü ölçümler değil, bireysel saha raporlarıdır. Whisper makalesi (2022), WhisperX (2023) ve Frieske ile Shi (2024), kendi özel kıyaslamaları için mevcut en güncel verilerdir.
Son güncelleme: 24 Ekim 2026. Bu derlemeyi üç ayda bir güncelliyoruz ve bir sonraki yenilemenin, ICASSP 2027 bildirileri ve Open ASR Leaderboard makalesinin bir sonraki revizyonu yayımlandığında yapılması bekleniyor.