Diberi 301.317 klip audio non-ucapan murni, Whisper large-v3 menulis teks untuk 121.378 di antaranya (40,3%), dan 9,1% dari keluaran fabrikasi itu berupa perulangan frasa yang sama (Barański dkk., ICASSP 2025). Pada pustaka suara kota UrbanSound8K, tim lain mengukur keluaran teks pada 99,97% klip (Wang dkk., Calm-Whisper, Interspeech 2025). Pada ucapan nyata angkanya jauh lebih rendah tetapi tidak tersebar merata: dalam korpus AphasiaBank, segmen dari penutur dengan afasia berhalusinasi lebih sering daripada segmen kontrol, dan bagian tanpa suara yang lebih panjang memprediksi halusinasi (Koenecke dkk., ACM FAccT 2024). Papan peringkat tidak menangkap hal ini, karena Open ASR Leaderboard memeringkat model hanya berdasarkan tingkat kesalahan kata dan kecepatan (Srivastav dkk., makalah Open ASR Leaderboard 2026), metrik yang sama di balik kesenjangan aksen dan dialek yang kami lacak secara terpisah. Kami menghimpun data dari makalah Cornell, Carnegie Mellon, Hugging Face, Interspeech, dan ICASSP, AssemblyAI, Associated Press, serta karya arXiv 2026 tentang deteksi dan mitigasi.
Dalam rangkuman ini, “halusinasi” berarti teks dalam transkrip yang tidak memiliki dasar dalam audio: kata, frasa, atau kalimat utuh yang dikarang, berbeda dari salah dengar terhadap kata yang benar-benar diucapkan.
TL;DR
- Whisper large-v3 menghasilkan teks untuk 40,3% dari 301.317 klip non-ucapan, 9,1% di antaranya berupa perulangan (Barański dkk., ICASSP 2025).
- Whisper large-v3 menghasilkan teks untuk 99,97% klip derau UrbanSound8K sebelum penyetelan halus yang ditargetkan (Wang dkk., Calm-Whisper, Interspeech 2025).
- Klip dengan gagap berhalusinasi pada 14% dengan Whisper v2 dan 2,9% dengan v3 (Sridhar dan Wu, Interspeech 2025).
- Universal-1 melaporkan pengurangan relatif 30% pada tingkat halusinasinya dibandingkan Whisper large-v3, klaim dari vendor itu sendiri (AssemblyAI, Anatomy of Industrial Scale Multilingual ASR 2024).
- Tingkat Kesalahan Halusinasi berkorelasi dengan pergeseran distribusi pada α = 0,91 (Atwany dkk., arXiv 2025).
- Skor halusinasi SHALLOW mengikuti WER pada ρs > 0,80 hanya dalam rentang WER 10-30% (Koudounas dkk., arXiv 2025).
- Whisper turbo masih memberikan keluaran leksikal pada 74,3% klip non-ucapan (Borodin dkk., The Null Token Knows, arXiv 2026).
- Open ASR Leaderboard hanya melaporkan WER dan RTFx, dengan sistem berbasis Conformer 3,77 kali lebih cepat daripada yang berbasis Whisper (Srivastav dkk., makalah Open ASR Leaderboard 2026).
- Perbaikan Calm-Whisper hanya menaikkan WER LibriSpeech test-clean dari 2,12% menjadi 2,19% (Wang dkk., Calm-Whisper, Interspeech 2025).
- Garis dasar WhisperX VAD rata-rata mencapai 5,24% halusinasi non-ucapan dengan 0% penolakan keliru (Abbasihafshejani dan Jadliwala, arXiv 2026).
1. Seberapa Sering ASR Mengarang Teks pada Ucapan Nyata
Angka terkontrol pada ucapan nyata itu kecil, dan itulah jebakannya. 187 dari 13.140 segmen AphasiaBank (1,4%) secara konsisten menghasilkan teks fabrikasi di Whisper dalam studi Careless Whisper, sementara segmen yang sama yang dikirim melalui Amazon dan Google tidak menghasilkan fabrikasi sebanding sama sekali. Tingkat rendah yang jatuh pada riwayat medis, wawancara, atau catatan pengadilan adalah risiko yang berbeda dari kata yang salah dengar, karena kalimat karangan terbaca lancar dan tak ada yang terpikir untuk memeriksanya.
Laporan lapangan yang dihimpun Associated Press pada Oktober 2024 jauh lebih tinggi dan tidak sebanding dengan angka laboratorium: seorang insinyur pembelajaran mesin mengatakan kepada AP bahwa ia menemukan halusinasi pada sekitar separuh dari lebih dari 100 jam transkripsi Whisper yang ia analisis. Ini adalah pemeriksaan oleh pengguna perorangan, tanpa definisi bersama, jadi anggaplah sebagai sinyal paparan, bukan sebagai tingkat.
| Metrik | Nilai | Sumber |
|---|---|---|
| Segmen AphasiaBank yang secara konsisten menghasilkan teks halusinasi di Whisper (eksekusi April-Mei 2023) | 187 dari 13.140 segmen (1,4%) | Koenecke dkk., Careless Whisper, ACM FAccT 2024 |
| Segmen berhalusinasi yang masih berhalusinasi saat dijalankan ulang pada Desember 2023 | 12 dari 187 | Koenecke dkk., Careless Whisper, ACM FAccT 2024 |
| Tingkat Kesalahan Halusinasi Whisper large-v3, LibriSpeech vs LibriSpeech dengan derau tambahan | 0,3% vs 0,4% | Atwany dkk., Lost in Transcription, arXiv 2025 |
| Transkrip rapat publik dengan halusinasi, diperiksa oleh seorang peneliti University of Michigan | 8 dari setiap 10 | Investigasi Associated Press, Oktober 2024 |
| Transkrip Whisper dengan halusinasi, dilaporkan oleh seorang pengembang | Hampir semua dari 26.000 | Investigasi Associated Press, Oktober 2024 |
| Tingkat fabrikasi (5+ kata sisipan atau pengganti berturut-turut per jam), Universal-1 vs Whisper large-v3 | Pengurangan relatif 41% (klaim vendor itu sendiri) | AssemblyAI, Anatomy of Industrial Scale Multilingual ASR 2024 |
| Tingkat halusinasi keseluruhan (5+ kesalahan berturut-turut per jam), Universal-1 vs Whisper large-v3 dan vs Canary-1B | Pengurangan relatif 30% dan 22% (klaim vendor itu sendiri) | AssemblyAI, Anatomy of Industrial Scale Multilingual ASR 2024 |
Konteks: pada eksekusi ulang Desember 2023, sebagian besar kasus yang dapat direproduksi, tetapi tidak semuanya, sudah berhenti berhalusinasi: 12 dari 187 adalah 6,4% (perhitungan kami). Perbandingan Amazon dan Google dijalankan pada 27 Januari 2024. Angka AssemblyAI adalah pengurangan relatif yang diukur pada 146 jam data uji berbahasa Inggris yang dipilih vendor, dan tingkat absolut per jam hanya muncul dalam sebuah gambar.
2. Keheningan, Derau, dan Audio Non-Ucapan: Kasus Terburuk
Pada audio tanpa ucapan sama sekali, transkrip yang benar adalah kosong, sehingga setiap kata keluaran adalah fabrikasi. Itu menjadikan non-ucapan uji tekanan yang paling bersih, dan hasilnya mencolok: bergantung pada set data dan aturan penghitungan, Whisper large-v3 menulis teks untuk 21,35% hingga 100% klip non-ucapan di seluruh studi di bawah ini. Rentang ini bukan derau dalam penelitian. Ini mencerminkan pustaka suara, panjang klip, dan definisi yang berbeda, itulah sebabnya tidak ada satu pun “tingkat halusinasi Whisper”.
Lebih besar belum tentu lebih baik di sini. Dalam audit Null Token Agustus 2026, Whisper small memberikan keluaran leksikal pada lebih banyak klip daripada large-v3, sedangkan dalam studi pengarahan Juni 2026 large-v3 lebih buruk daripada small pada set uji gabungan. Canary-1B, model non-Whisper, berada dalam rentang yang sama. Memisahkan suara dari bunyi latar adalah bidang penelitian tersendiri (lihat statistik pemisahan ucapan kami); pengenal yang melewatkan langkah itu mewarisi masalahnya.
| Metrik | Nilai | Sumber |
|---|---|---|
| Inferensi Whisper large-v3 pada audio non-ucapan (AudioSet, MUSAN, UrbanSound8K, FSD50K, derau dan keheningan) yang menghasilkan teks | 121.378 dari 301.317 (40,3%); 11.049 di antaranya (9,1%) melibatkan perulangan | Barański dkk., ICASSP 2025 |
| Tingkat halusinasi Whisper large-v3 pada klip suara perkotaan UrbanSound8K | 99,97% | Wang dkk., Calm-Whisper, Interspeech 2025 |
| Whisper large-v3 vs Whisper small, tingkat halusinasi pada set uji gabungan non-ucapan (WHAM!, FSD50k, UrbanSound8K) | 86,8% vs 72,6% | Aparin dkk., Whisper Hallucination Detection and Mitigation, arXiv 2026 |
| Tingkat halusinasi Whisper large-v3 pada UrbanSound8K, pengukuran terpisah 2026 | 95,2% | Aparin dkk., Whisper Hallucination Detection and Mitigation, arXiv 2026 |
| Porsi klip non-ucapan dengan keluaran leksikal, Whisper small, large-v3 dan turbo | 96,2%, 77,0% dan 74,3% | Borodin dkk., The Null Token Knows, arXiv 2026 |
| Porsi klip non-ucapan dengan keluaran leksikal, Canary-1B (subset) | 79,3% | Borodin dkk., The Null Token Knows, arXiv 2026 |
| Keluaran tidak kosong pada 200 sampel derau lingkungan AudioSet, Whisper large-v3, Canary-1B dan Universal-1 | 100%, 100% dan 10,5% (uji vendor itu sendiri) | AssemblyAI, Anatomy of Industrial Scale Multilingual ASR 2024 |
Konteks: makalah ketiga di tahun 2026 mengukur Whisper large-v3 pada 76,08% di UrbanSound8K, 44,25% di ESC-50, dan 21,35% pada subset FSD50K yang disaring (Abbasihafshejani dan Jadliwala, arXiv 2026). “Keluaran leksikal” dalam makalah Null Token berarti huruf apa pun yang tersisa setelah normalisasi menghapus tag peristiwa, tanda baca, dan angka, penghitungan yang lebih luas daripada mencocokkan seluruh frasa.
3. Apa yang Dikarang: Sidik Jari Frasa dan Panjang Klip
Halusinasi non-ucapan Whisper tidak acak. Dua frasa, “thank you” (24,76%) dan “thanks for watching” (10,32%), menyumbang sekitar 35% dari semua halusinasi pada audio non-ucapan dalam studi ICASSP 2025. Itu adalah kalimat penutup video, pola yang konsisten dengan teks pelatihan yang diambil dari takarir video daring, bukan transkrip terverifikasi (interpretasi kami, bukan pengukuran para penulis).
Pengulangan juga menjadi celah praktis untuk pertahanan: karena sekumpulan kecil keluaran terus berulang, para penulis membangun “kantong halusinasi”, daftar keluaran fabrikasi yang sering muncul yang dapat disaring setelah transkripsi. Panjang sama pentingnya dengan isi. Menambahkan 30 detik bunyi non-ucapan ke klip ucapan 10 detik menghasilkan halusinasi terdeteksi pada 44,5% berkas, dibandingkan 0,3% dengan penambahan 1 detik.
| Metrik | Nilai | Sumber |
|---|---|---|
| Porsi halusinasi non-ucapan berupa “thank you” dan “thanks for watching” | 24,76% dan 10,32% | Barański dkk., ICASSP 2025 |
| Keluaran halusinasi unik; keluaran yang muncul lebih dari sekali; porsi semua halusinasi yang dicakup oleh pengulangan itu | 41.231 unik; 1.270 berulang; 67,08% | Barański dkk., ICASSP 2025 |
| Halusinasi terdeteksi ketika 1 dtk vs 30 dtk bunyi non-ucapan ditambahkan sebelum atau sesudah ucapan | 0,3% vs 44,5% | Barański dkk., ICASSP 2025 |
| Data pelatihan Whisper large-v3 | 1 juta jam berlabel lemah ditambah 4 juta jam audio berlabel semu | OpenAI, kartu model Whisper large-v3 |
| Data pelatihan Whisper asli (rilis 2022) | 680.000 jam supervisi multibahasa dan multitugas | Radford dkk., makalah Whisper 2022 |
| Halusinasi pada model yang dibangun dengan 8% derau yang disuntikkan, porsi set data evaluasi | 1-2% untuk sebagian besar model; 8% untuk satu model | Frieske dan Shi, Hallucinations in Neural ASR, arXiv 2024 |
Konteks: “berlabel lemah” berarti teks yang dipasangkan dengan setiap rekaman tidak diverifikasi kata demi kata terhadap audio, dan “berlabel semu” berarti teks itu dihasilkan oleh model sebelumnya. Para penulis Whisper sendiri mencantumkan “halusinasi lengkap, ketika model mengeluarkan transkrip yang sama sekali tidak berkaitan dengan audio sebenarnya” di antara mode kegagalan berformat panjang yang mereka ketahui (Radford dkk., 2022). Data terbaru yang tersedia untuk set pelatihan asli: makalah Whisper, 2022.
4. Siapa yang Mengalami Halusinasi: Pola Bicara dengan Jeda dan Pengulangan
Risiko halusinasi mengikuti bentuk audionya, dan sebagian penutur menghasilkan audio dengan lebih banyak keheningan atau lebih banyak bunyi berulang. Whisper v2 berhalusinasi pada 14% klip podcast dengan gagap dibandingkan 3,3% klip yang lancar, menurut tolok ukur gagap Interspeech 2025, yang mengambil 2.621 klip dari set data podcast SEP-28K. Whisper v3 memangkas kedua angka itu secara tajam, tetapi klip dengan gagap tetap berhalusinasi sekitar tiga kali lebih sering daripada klip yang lancar (2,9% vs 0,9%).
Untuk afasia (gangguan yang memengaruhi bahasa), tim Careless Whisper menemukan mekanismenya pada jeda: penutur dengan afasia memiliki porsi tanpa suara yang jauh lebih panjang dalam rekaman mereka, dan porsi tanpa suara yang lebih panjang memprediksi halusinasi. Untuk konteks seberapa umum pola bicara ini, lihat statistik demografi gagap kami.
| Metrik | Nilai | Sumber |
|---|---|---|
| Segmen audio afasia vs kontrol yang menghasilkan halusinasi di Whisper | 1,7% vs 1,2% (regresi: p=0,019) | Koenecke dkk., Careless Whisper, ACM FAccT 2024 |
| Tingkat halusinasi afasia vs kontrol, kelompok dicocokkan berdasarkan demografi peserta | 1,82% vs 1,16% (nilai p = 0,044) | Koenecke dkk., Careless Whisper, ACM FAccT 2024 |
| Porsi tanpa suara dari total durasi rekaman, penutur afasia vs penutur kontrol | 41% vs 15% | Koenecke dkk., Careless Whisper, ACM FAccT 2024 |
| Klip dengan gagap vs lancar yang berhalusinasi, Whisper v2 | 14% (293 dari 2.086) vs 3,3% (18 dari 534) | Sridhar dan Wu, Interspeech 2025 |
| Klip dengan gagap vs lancar yang berhalusinasi, Whisper v3 | 2,9% (61 dari 2.086) vs 0,9% (5 dari 534) | Sridhar dan Wu, Interspeech 2025 |
| Klip dengan pengulangan bunyi (mengulang bunyi pertama suatu kata) yang berhalusinasi, Whisper v2 vs v3 | 22,6% vs 6,9% | Sridhar dan Wu, Interspeech 2025 |
| Klip dengan perpanjangan bunyi (memanjangkan suatu bunyi) yang berhalusinasi, Whisper v2 vs v3 | 15,4% vs 1,47% | Sridhar dan Wu, Interspeech 2025 |
Konteks: makalah gagap mendeteksi kandidat halusinasi dengan menjalankan Whisper dua kali pada setiap klip dan menandai ketidaksesuaian besar, lalu meninjau setiap tanda secara manual. Jumlah kliknya sedikit berbeda antarbagian (2.079 klip dengan gagap disampel, 2.086 dalam rekapitulasi halusinasi), sehingga kami mengutip setiap angka dengan penyebutnya sendiri.
5. Mengukur Halusinasi: Metrik yang Diusulkan di Luar WER
Tingkat kesalahan kata menghitung substitusi, penghapusan, dan penyisipan, tetapi tidak bisa membedakan kata yang salah dengar dari kalimat karangan. Tingkat Kesalahan Halusinasi yang diusulkan peneliti Carnegie Mellon dan MBZUAI berkorelasi dengan pergeseran distribusi pada α = 0,91, artinya halusinasi naik seiring seberapa jauh audio uji menyimpang dari audio pelatihan (Atwany dkk., 2025). Alur kerja mereka menggunakan LLM sebagai juri, yang membuatnya cukup murah untuk dijalankan dalam skala besar.
Tolok ukur SHALLOW membagi halusinasi menjadi empat sumbu: leksikal (kata karangan), fonetik (kesalahan yang mirip bunyi), morfologis (bentuk kata yang salah), dan semantik (makna yang berubah). Temuan utamanya adalah di mana WER berhenti informatif: korelasi kuat pada tingkat kesalahan rendah dan runtuh ketika WER naik, yaitu tepat di tempat halusinasi paling berarti.
| Metrik | Nilai | Sumber |
|---|---|---|
| Kesepakatan pada label halusinasi, manusia vs manusia dan manusia vs GPT-4o-mini | 0,71 vs 0,60 | Atwany dkk., Lost in Transcription, arXiv 2025 |
| Biaya alur pelabelan LLM vs evaluasi manusia | $78 per 1 juta segmen, sekitar 375 kali lebih murah | Atwany dkk., Lost in Transcription, arXiv 2025 |
| Korelasi antara skor SHALLOW dan WER, pada WER 10-30% vs pada WER 90% (pasangan leksikal-semantik) | ρs > 0,80 vs di bawah -0,45 | Koudounas dkk., SHALLOW, arXiv 2025 |
| Uji sintetis: korelasi dengan WER, fabrikasi leksikal vs kesalahan semantik | ρ = 0,98 vs ρ = 0,15 | Koudounas dkk., SHALLOW, arXiv 2025 |
| Model dan set data uji dalam evaluasi SHALLOW | 12 model, 10 set data | Koudounas dkk., SHALLOW, arXiv 2025 |
| Ambang yang digunakan untuk memisahkan halusinasi dari kesalahan fonetik | Kemiripan kosinus 0,2; WER 30; perpleksitas 200 | Frieske dan Shi, Hallucinations in Neural ASR, arXiv 2024 |
| Penanda halusinasi dua eksekusi yang digunakan dalam tolok ukur gagap | WER antar-eksekusi di atas 0,6, BERT F1 di bawah 0,6, atau lebih dari 4 kata sisipan | Sridhar dan Wu, Interspeech 2025 |
Konteks: metrik-metrik ini tidak dapat dipertukarkan. AssemblyAI menghitung rangkaian 5 kesalahan berturut-turut atau lebih per jam audio, makalah Null Token menghitung klip dengan huruf apa pun pada audio berreferensi kosong, dan Tingkat Kesalahan Halusinasi menghitung contoh yang diberi label halusinasi. Angka 2% pada satu skala tidak mengatakan apa-apa tentang 2% pada skala lain.
6. WER Papan Peringkat vs Halusinasi: Perbandingan Model
Makalah Open ASR Leaderboard Hugging Face adalah rujukan bidang ini untuk akurasi dan kecepatan, dan cakupannya eksplisit: ia melaporkan WER dan RTFx (faktor waktu nyata terbalik, yaitu berapa detik audio yang diproses sistem per detik) dan tidak ada yang lain. Makalah itu tidak membahas halusinasi atau perulangan sebagai kesalahan model. Data kecepatannya tetap penting untuk topik ini, karena keluarga Conformer yang lebih cepat (rancangan encoder yang memadukan konvolusi dan atensi) adalah alternatif yang jelas bagi Whisper di papan peringkat itu.
Tabel CMU dan SHALLOW menunjukkan mengapa peringkat berdasarkan WER bukanlah peringkat berdasarkan keamanan. Whisper large-v3 mencatat WER di atas 65% pada ucapan simulasi pengendalian lalu lintas udara sementara tingkat halusinasinya tetap jauh lebih rendah, dan kebalikannya terjadi pada set adversarial. Standar akurasi dalam takarir siaran menghadapi pembagian serupa antara pewaktuan, kelengkapan, dan ketepatan (lihat statistik standar akurasi takarir kami).
| Metrik | Nilai | Sumber |
|---|---|---|
| Metrik yang dilaporkan oleh Open ASR Leaderboard | hanya WER dan RTFx | Srivastav dkk., makalah Open ASR Leaderboard, v4 Maret 2026 |
| Rata-rata RTFx, sistem berbasis Conformer vs berbasis Whisper | 758 vs 201 (3,77 kali lebih cepat) | Srivastav dkk., makalah Open ASR Leaderboard, v4 Maret 2026 |
| WER dan RTFx Whisper Large v3 pada jalur bahasa Inggris berformat panjang | WER 11,2; RTFx 68,6 | Srivastav dkk., makalah Open ASR Leaderboard, v4 Maret 2026 |
| Peringkat model TDT terbaik dan model CTC terbaik pada akurasi bahasa Inggris berformat pendek | ke-10 dan ke-34 | Srivastav dkk., makalah Open ASR Leaderboard, v4 Maret 2026 |
| WER Whisper large-v3 vs Tingkat Kesalahan Halusinasi pada ATCOsim (ucapan simulasi pengendalian lalu lintas udara) | 65,3% vs 17,6% | Atwany dkk., Lost in Transcription, arXiv 2025 |
| WER Whisper large-v3 vs Tingkat Kesalahan Halusinasi pada set uji adversarial | 33,3% vs 49,8% | Atwany dkk., Lost in Transcription, arXiv 2025 |
| Whisper-Large-v3 vs Canary, rata-rata WER; rata-rata skor fabrikasi leksikal | 14,20 vs 14,26; 6,74 vs 5,43 | Koudounas dkk., SHALLOW, arXiv 2025 |
Konteks: TDT dan CTC adalah metode dekode yang mengeluarkan teks selaras dengan bingkai audio, bukan menghasilkan teks bebas token demi token seperti dekoder Whisper. Papan peringkat mencatat bahwa keduanya menawarkan RTFx yang jauh lebih baik dengan akurasi lebih rendah. WER rata-rata yang hampir identik untuk Whisper-Large-v3 dan Canary dalam SHALLOW menyembunyikan bahwa Canary membuat lebih sedikit fabrikasi leksikal.
7. Hasil Mitigasi: VAD, Perubahan Dekode, dan Penyuntingan Model
Perbaikan paling andal tetap tidak mengirim keheningan ke model. Silero VAD menurunkan WER pada ucapan yang dilapisi bunyi non-ucapan dari 104,8% menjadi 8,0% dalam eksperimen penambahan yang dijelaskan di bagian 3, dan penambahan penghapusan perulangan serta filter kantong halusinasi membawanya ke 6,5%. VAD (deteksi aktivitas suara) adalah model terpisah yang memutuskan apakah suatu bagian audio mengandung ucapan. Dalam makalah Whisper sendiri, VAD adalah salah satu heuristik dekode pada lintasan dari rata-rata WER berformat panjang 11,0 dengan dekode rakus menjadi 10,0 dengan semua heuristik (Radford dkk., 2022).
Perbaikan di sisi model berhasil, tetapi masing-masing memindahkan kesalahan ke tempat lain. Calm-Whisper hanya menyetel halus 3 kepala atensi (nomor 1, 6, dan 11) dan menjaga WER hampir datar. Intervensi pengarahan dan akhir teks juga menekan sebagian besar fabrikasi, tetapi mulai menghapus ucapan nyata atau merusak pengenalan bahasa Mandarin. Para penulis token nol menyatakannya terus terang: metode abstain harus dinilai berdasarkan biaya penekanan sekaligus penghapusan, bukan hanya pengurangan halusinasi.
| Metrik | Nilai | Sumber |
|---|---|---|
| WER pada ucapan yang dilapisi bunyi non-ucapan: tanpa pemrosesan vs Silero VAD vs Silero VAD plus penghapusan perulangan dan filter kantong halusinasi | 104,8% vs 8,0% vs 6,5% | Barański dkk., ICASSP 2025 |
| Halusinasi terdeteksi dengan ukuran beam 1 vs ukuran beam 5 | 19,5% vs 28,2% | Barański dkk., ICASSP 2025 |
| Calm-Whisper: tingkat halusinasi UrbanSound8K sebelum vs sesudah; WER LibriSpeech test-clean sebelum vs sesudah | 99,97% vs 15,51%; 2,12% vs 2,19% | Wang dkk., Calm-Whisper, Interspeech 2025 |
| Pengarahan autoencoder jarang, Whisper small, set uji gabungan non-ucapan | 72,63% vs 14,11% | Aparin dkk., Whisper Hallucination Detection and Mitigation, arXiv 2026 |
| Pengarahan yang sama pada Whisper large-v3: tingkat kesalahan karakter bahasa Mandarin AISHELL-1 sebelum vs sesudah | 10,54 vs 66,24 | Aparin dkk., Whisper Hallucination Detection and Mitigation, arXiv 2026 |
| Intervensi akhir teks (token nol), Whisper small: tingkat keluaran leksikal; kata referensi yang dihapus per menit | 91,7% vs 3,3%; 33,05 vs 1,58 | Borodin dkk., The Null Token Knows, arXiv 2026 |
| Garis dasar WhisperX VAD: rata-rata tingkat halusinasi non-ucapan; penolakan keliru terhadap ucapan nyata | 5,24%; 0% | Abbasihafshejani dan Jadliwala, arXiv 2026 |
| Whisper vs WhisperX pada TED-LIUM: tingkat kesalahan penyisipan; rangkaian 5 kata yang berulang | 7,7 vs 6,7; 221 vs 189 | Bain dkk., makalah WhisperX 2023 |
Konteks: hasil ukuran beam berlawanan dengan intuisi, karena para penulis Whisper menggunakan pencarian beam dengan 5 beam untuk mengurangi perulangan pada ucapan, sedangkan pada penambahan non-ucapan beam yang lebih lebar menghasilkan lebih banyak halusinasi terdeteksi. Calm-Whisper juga menurunkan halusinasi multitoken (lebih dari lima token) dari 742 menjadi 91. Data WhisperX berasal dari 2023, sehingga ini adalah data terbaru yang tersedia untuk tolok ukur tersebut.
Ringkasan: Halusinasi Pengenalan Ucapan dalam Angka
| Metrik | Nilai | Sumber |
|---|---|---|
| Klip non-ucapan Whisper large-v3 yang menghasilkan teks | 40,3% dari 301.317 | Barański dkk., ICASSP 2025 |
| Tingkat halusinasi Whisper large-v3 pada derau UrbanSound8K | 99,97% | Wang dkk., Calm-Whisper, Interspeech 2025 |
| Whisper large-v3 vs Whisper small, set uji gabungan non-ucapan | 86,8% vs 72,6% | Aparin dkk., arXiv 2026 |
| Keluaran leksikal Whisper turbo pada klip non-ucapan | 74,3% | Borodin dkk., The Null Token Knows, arXiv 2026 |
| Segmen AphasiaBank dengan halusinasi Whisper yang dapat direproduksi | 187 dari 13.140 (1,4%) | Koenecke dkk., Careless Whisper, ACM FAccT 2024 |
| Transkrip rapat publik dengan halusinasi, seorang peneliti Michigan | 8 dari setiap 10 | Investigasi Associated Press, Oktober 2024 |
| Tingkat halusinasi, Universal-1 vs Whisper large-v3 | Pengurangan relatif 30% (klaim vendor itu sendiri) | AssemblyAI, 2024 |
| Klip dengan gagap vs lancar yang berhalusinasi, Whisper v2 | 14% vs 3,3% | Sridhar dan Wu, Interspeech 2025 |
| WER vs HER Whisper large-v3 pada set adversarial | 33,3% vs 49,8% | Atwany dkk., arXiv 2025 |
| Korelasi SHALLOW dengan WER, rentang WER 10-30% | ρs > 0,80 | Koudounas dkk., SHALLOW, arXiv 2025 |
| Rata-rata RTFx berbasis Conformer vs berbasis Whisper | 758 vs 201 | Srivastav dkk., v4 Maret 2026 |
| WER LibriSpeech test-clean Calm-Whisper sebelum vs sesudah perbaikan | 2,12% vs 2,19% | Wang dkk., Calm-Whisper, Interspeech 2025 |
| Intervensi token nol: kata yang dihapus per menit | 33,05 vs 1,58 | Borodin dkk., arXiv 2026 |
| Pengarahan autoencoder jarang, tingkat halusinasi Whisper small | 72,63% vs 14,11% | Aparin dkk., arXiv 2026 |
| Garis dasar WhisperX VAD: tingkat halusinasi dan penolakan keliru | 5,24%; 0% | Abbasihafshejani dan Jadliwala, arXiv 2026 |
| Tingkat kesalahan penyisipan Whisper vs WhisperX di TED-LIUM | 7,7 vs 6,7 | Bain dkk., makalah WhisperX 2023 |
Metodologi dan Sumber
Kami membaca makalah primer, kartu model, atau investigasi berita di balik setiap angka di atas dan mengutip masing-masing dalam notasi sumbernya sendiri (persentase, pecahan, ρ atau α). Ketika teks dan tabel sebuah makalah tidak sesuai, kami memakai nilai tabel atau kalimat eksplisit dan menandai konfliknya di bawah.
- Koenecke dkk., Careless Whisper: Speech-to-Text Hallucination Harms, ACM FAccT 2024
- Burke dan Schellmann, investigasi Associated Press tentang transkripsi Whisper, Oktober 2024, beserta ringkasan Cornell Chronicle tentang studi Careless Whisper, Juni 2024
- Barański dkk., Investigation of Whisper ASR Hallucinations Induced by Non-Speech Audio, ICASSP 2025
- Wang dkk., Calm-Whisper: Reduce Whisper Hallucination On Non-Speech By Calming Crazy Heads Down, Interspeech 2025
- Sridhar dan Wu, J-j-j-just Stutter: Benchmarking Whisper’s Performance Disparities on Different Stuttering Patterns, Interspeech 2025
- Atwany dkk., Lost in Transcription, Found in Distribution Shift: Demystifying Hallucination in Speech Foundation Models, arXiv 2025
- Koudounas dkk., Hallucination Benchmark for Speech Foundation Models (SHALLOW), arXiv 2025
- Srivastav dkk., makalah Open ASR Leaderboard, v4 Maret 2026
- Borodin dkk., The Null Token Knows: Reducing Message-Free Hallucination in ASR and NMT, arXiv 2026
- Aparin dkk., Whisper Hallucination Detection and Mitigation via Hidden Representation Steering and Sparse AutoEncoders, arXiv 2026
- Abbasihafshejani dan Jadliwala, Reducing Hallucinated Transcripts in Whisper via Hallucination Space Projection, arXiv 2026
- AssemblyAI (McCann Ramirez, Chkhetiani dkk.), Anatomy of Industrial Scale Multilingual ASR, 2024
- Bain dkk., WhisperX: Time-Accurate Speech Transcription of Long-Form Audio, 2023
- Radford dkk., Robust Speech Recognition via Large-Scale Weak Supervision (makalah Whisper), 2022
- OpenAI, kartu model Whisper large-v3 di Hugging Face
- Frieske dan Shi, Hallucinations in Neural Automatic Speech Recognition: Identifying Errors and Hallucinatory Models, arXiv 2024
- Catatan data: abstrak Careless Whisper menyebut sekitar 1% transkripsi berhalusinasi, sedangkan isi makalah melaporkan 1,4% (187 dari 13.140 segmen) dan 312 transkripsi berhalusinasi dalam dua eksekusi; AP menggambarkan karya yang sama sebagai 187 halusinasi dalam lebih dari 13.000 klip. Makalah Hallucination Space Projection melaporkan garis dasar rata-rata 31,31% yang tidak cocok dengan angka per set datanya sendiri (kami hanya mengutip nilai per set data dan garis dasar WhisperX-nya). Makalah pengarahan memberikan 95,2% untuk Whisper large-v3 pada UrbanSound8K di satu tabel dan 95,98% di tabel lain. Tolok ukur gagap menggunakan 2.079 dan 2.086 sebagai total klip dengan gagap di bagian yang berbeda. Atwany dkk., SHALLOW, makalah Null Token (diajukan ke AAAI-27), makalah pengarahan, dan makalah proyeksi adalah pracetak arXiv tanpa forum publikasi yang ditinjau sejawat yang terkonfirmasi pada saat dibaca. Angka AssemblyAI adalah klaim vendor itu sendiri, dan angka AP adalah laporan lapangan perorangan, bukan pengukuran terkontrol. Makalah Whisper (2022), WhisperX (2023), serta Frieske dan Shi (2024) adalah data terbaru yang tersedia untuk tolok ukur spesifik masing-masing.
Terakhir diperbarui: 24 Oktober 2026. Kami memperbarui rangkuman ini setiap kuartal, dan pembaruan berikutnya diperkirakan terjadi ketika prosiding ICASSP 2027 dan revisi berikutnya dari makalah Open ASR Leaderboard dipublikasikan.