Khi được đưa 301.317 đoạn âm thanh hoàn toàn không có lời nói, Whisper large-v3 đã viết ra văn bản cho 121.378 đoạn trong số đó (40,3%), và 9,1% các đầu ra bịa đặt này là vòng lặp của cùng một cụm từ (Barański và cs., ICASSP 2025). Trên thư viện âm thanh đô thị UrbanSound8K, một nhóm khác đo được đầu ra văn bản ở 99,97% số đoạn (Wang và cs., Calm-Whisper, Interspeech 2025). Với giọng nói thật, tỷ lệ thấp hơn nhiều nhưng không phân bố đều: trong kho dữ liệu AphasiaBank, các đoạn của người mắc chứng mất ngôn ngữ gặp ảo giác thường xuyên hơn các đoạn đối chứng, và những khoảng không phát âm dài hơn dự báo được ảo giác (Koenecke và cs., ACM FAccT 2024). Các bảng xếp hạng không bắt được điều này, vì Open ASR Leaderboard xếp hạng mô hình chỉ theo tỷ lệ lỗi từ và tốc độ (Srivastav và cs., bài báo Open ASR Leaderboard 2026), cũng chính là chỉ số đằng sau những khoảng cách về giọng vùng miền và phương ngữ mà chúng tôi đã theo dõi riêng. Chúng tôi tổng hợp dữ liệu từ các bài báo của Cornell, Carnegie Mellon, Hugging Face, Interspeech và ICASSP, AssemblyAI, Associated Press, cùng các công trình arXiv năm 2026 về phát hiện và giảm thiểu.
Trong bài tổng hợp này, “ảo giác” nghĩa là văn bản trong bản ghi chép không có cơ sở nào trong âm thanh: những từ, cụm từ hoặc cả câu bị bịa ra, khác với việc nghe nhầm một từ thực sự đã được nói.
Tóm tắt nhanh
- Whisper large-v3 tạo văn bản cho 40,3% trong 301.317 đoạn không có lời nói, 9,1% trong số đó là vòng lặp (Barański và cs., ICASSP 2025).
- Whisper large-v3 tạo văn bản cho 99,97% đoạn tiếng ồn UrbanSound8K trước khi tinh chỉnh có mục tiêu (Wang và cs., Calm-Whisper, Interspeech 2025).
- Các đoạn nói lắp gặp ảo giác ở mức 14% với Whisper v2 và 2,9% với v3 (Sridhar và Wu, Interspeech 2025).
- Universal-1 báo cáo giảm tương đối 30% tỷ lệ ảo giác so với Whisper large-v3, là tuyên bố của chính nhà cung cấp (AssemblyAI, Anatomy of Industrial Scale Multilingual ASR 2024).
- Tỷ lệ lỗi ảo giác tương quan với sự dịch chuyển phân phối ở α = 0,91 (Atwany và cs., arXiv 2025).
- Điểm ảo giác SHALLOW bám sát WER ở ρs > 0,80 chỉ trong dải WER 10-30% (Koudounas và cs., arXiv 2025).
- Whisper turbo vẫn cho đầu ra từ vựng trên 74,3% đoạn không có lời nói (Borodin và cs., The Null Token Knows, arXiv 2026).
- Open ASR Leaderboard chỉ báo cáo WER và RTFx, với các hệ thống dựa trên Conformer nhanh hơn 3,77 lần so với hệ thống dựa trên Whisper (Srivastav và cs., bài báo Open ASR Leaderboard 2026).
- Bản sửa của Calm-Whisper chỉ làm WER LibriSpeech test-clean tăng từ 2,12% lên 2,19% (Wang và cs., Calm-Whisper, Interspeech 2025).
- Một mức cơ sở WhisperX VAD đạt trung bình 5,24% ảo giác phi giọng nói với 0% từ chối nhầm (Abbasihafshejani và Jadliwala, arXiv 2026).
1. ASR Bịa Ra Văn Bản Thường Xuyên Đến Mức Nào Trong Giọng Nói Thật
Các con số được kiểm soát trên giọng nói thật rất nhỏ, và đó chính là cái bẫy. 187 trong 13.140 đoạn AphasiaBank (1,4%) tạo ra văn bản bịa đặt trong Whisper một cách ổn định trong nghiên cứu Careless Whisper, trong khi chính những đoạn đó khi đưa qua Amazon và Google không tạo ra bịa đặt tương đương nào. Một tỷ lệ thấp rơi vào hồ sơ bệnh án, buổi phỏng vấn hay biên bản tòa án là một rủi ro khác với việc nghe nhầm một từ, vì những câu bịa ra đọc lên rất trôi chảy và không ai nghĩ đến việc kiểm tra chúng.
Các báo cáo thực địa do Associated Press thu thập vào tháng 10 năm 2024 cao hơn nhiều và không thể so sánh với các con số trong phòng thí nghiệm: một kỹ sư học máy nói với AP rằng ông thấy ảo giác trong khoảng một nửa số hơn 100 giờ bản chép Whisper mà ông phân tích. Đây là các lần kiểm tra của từng người dùng, không có định nghĩa chung, vì vậy hãy xem đó là tín hiệu về mức độ phơi nhiễm chứ không phải một tỷ lệ.
| Chỉ số | Giá trị | Nguồn |
|---|---|---|
| Các đoạn AphasiaBank tạo ra văn bản ảo giác một cách ổn định trong Whisper (các lần chạy tháng 4-5 năm 2023) | 187 trong 13.140 đoạn (1,4%) | Koenecke và cs., Careless Whisper, ACM FAccT 2024 |
| Các đoạn gặp ảo giác vẫn còn ảo giác khi chạy lại vào tháng 12 năm 2023 | 12 trong 187 | Koenecke và cs., Careless Whisper, ACM FAccT 2024 |
| Tỷ lệ lỗi ảo giác của Whisper large-v3, LibriSpeech so với LibriSpeech có thêm tiếng ồn | 0,3% so với 0,4% | Atwany và cs., Lost in Transcription, arXiv 2025 |
| Bản ghi chép cuộc họp công khai có ảo giác, do một nhà nghiên cứu của Đại học Michigan kiểm tra | 8 trên mỗi 10 | Cuộc điều tra của Associated Press, tháng 10 năm 2024 |
| Bản chép Whisper có ảo giác, do một nhà phát triển báo cáo | Gần như toàn bộ 26.000 | Cuộc điều tra của Associated Press, tháng 10 năm 2024 |
| Tỷ lệ bịa đặt (từ 5 từ liên tiếp được chèn hoặc thay thế trở lên mỗi giờ), Universal-1 so với Whisper large-v3 | Giảm tương đối 41% (tuyên bố của chính nhà cung cấp) | AssemblyAI, Anatomy of Industrial Scale Multilingual ASR 2024 |
| Tỷ lệ ảo giác tổng thể (từ 5 lỗi liên tiếp trở lên mỗi giờ), Universal-1 so với Whisper large-v3 và so với Canary-1B | Giảm tương đối 30% và 22% (tuyên bố của chính nhà cung cấp) | AssemblyAI, Anatomy of Industrial Scale Multilingual ASR 2024 |
Bối cảnh: đến lần chạy lại tháng 12 năm 2023, phần lớn, nhưng không phải tất cả, các trường hợp có thể tái hiện đã hết ảo giác: 12 trong 187 là 6,4% (tính toán của chúng tôi). Phép so sánh với Amazon và Google được thực hiện vào ngày 27 tháng 1 năm 2024. Các con số của AssemblyAI là mức giảm tương đối được đo trên 146 giờ dữ liệu kiểm tra tiếng Anh do chính nhà cung cấp chọn, và các tỷ lệ tuyệt đối theo giờ chỉ xuất hiện trong một hình.
2. Im Lặng, Tiếng Ồn và Âm Thanh Không Có Lời Nói: Trường Hợp Tệ Nhất
Với âm thanh hoàn toàn không có lời nói, bản chép đúng là rỗng, nên mọi từ ở đầu ra đều là bịa đặt. Điều đó biến âm thanh không có lời nói thành bài kiểm tra áp lực sạch nhất, và kết quả rất rõ rệt: tùy theo bộ dữ liệu và quy tắc đếm, Whisper large-v3 viết ra văn bản cho từ 21,35% đến 100% đoạn không có lời nói trong các nghiên cứu dưới đây. Biên độ này không phải là nhiễu trong nghiên cứu. Nó phản ánh các thư viện âm thanh, độ dài đoạn và định nghĩa khác nhau, đó là lý do không có “tỷ lệ ảo giác của Whisper” duy nhất nào.
Ở đây, lớn hơn không phải lúc nào cũng tốt hơn. Trong cuộc kiểm toán Null Token tháng 8 năm 2026, Whisper small cho đầu ra từ vựng trên nhiều đoạn hơn large-v3, trong khi ở nghiên cứu điều hướng tháng 6 năm 2026, large-v3 tệ hơn small trên bộ kiểm tra gộp. Canary-1B, một mô hình không phải Whisper, nằm trong cùng dải. Tách giọng nói khỏi âm thanh nền là một lĩnh vực nghiên cứu riêng (xem thống kê tách giọng nói của chúng tôi); các bộ nhận dạng bỏ qua bước đó sẽ thừa hưởng vấn đề này.
| Chỉ số | Giá trị | Nguồn |
|---|---|---|
| Các lượt suy luận của Whisper large-v3 trên âm thanh không có lời nói (AudioSet, MUSAN, UrbanSound8K, FSD50K, tiếng ồn và im lặng) tạo ra văn bản | 121.378 trong 301.317 (40,3%); 11.049 lượt trong số đó (9,1%) có vòng lặp | Barański và cs., ICASSP 2025 |
| Tỷ lệ ảo giác của Whisper large-v3 trên các đoạn âm thanh đô thị UrbanSound8K | 99,97% | Wang và cs., Calm-Whisper, Interspeech 2025 |
| Whisper large-v3 so với Whisper small, tỷ lệ ảo giác trên bộ kiểm tra gộp không có lời nói (WHAM!, FSD50k, UrbanSound8K) | 86,8% so với 72,6% | Aparin và cs., Whisper Hallucination Detection and Mitigation, arXiv 2026 |
| Tỷ lệ ảo giác của Whisper large-v3 trên UrbanSound8K, một phép đo riêng năm 2026 | 95,2% | Aparin và cs., Whisper Hallucination Detection and Mitigation, arXiv 2026 |
| Tỷ trọng đoạn không có lời nói có đầu ra từ vựng, Whisper small, large-v3 và turbo | 96,2%, 77,0% và 74,3% | Borodin và cs., The Null Token Knows, arXiv 2026 |
| Tỷ trọng đoạn không có lời nói có đầu ra từ vựng, Canary-1B (tập con) | 79,3% | Borodin và cs., The Null Token Knows, arXiv 2026 |
| Đầu ra không rỗng trên 200 mẫu tiếng ồn môi trường AudioSet, Whisper large-v3, Canary-1B và Universal-1 | 100%, 100% và 10,5% (thử nghiệm của chính nhà cung cấp) | AssemblyAI, Anatomy of Industrial Scale Multilingual ASR 2024 |
Bối cảnh: một bài báo thứ ba năm 2026 đo Whisper large-v3 ở mức 76,08% trên UrbanSound8K, 44,25% trên ESC-50 và 21,35% trên một tập con FSD50K đã lọc (Abbasihafshejani và Jadliwala, arXiv 2026). “Đầu ra từ vựng” trong bài báo Null Token nghĩa là bất kỳ chữ cái nào còn lại sau khi bộ chuẩn hóa loại bỏ thẻ sự kiện, dấu câu và chữ số, một cách đếm rộng hơn việc khớp cả cụm từ.
3. Điều Được Bịa Ra: Dấu Vân Tay Cụm Từ và Độ Dài Đoạn
Các ảo giác trên âm thanh không có lời nói của Whisper không phải ngẫu nhiên. Hai cụm từ, “thank you” (24,76%) và “thanks for watching” (10,32%), chiếm khoảng 35% tất cả ảo giác trên âm thanh không có lời nói trong nghiên cứu ICASSP 2025. Đó là những câu chào kết thúc video, một mẫu hình nhất quán với việc văn bản huấn luyện được lấy từ phụ đề video trực tuyến chứ không phải bản chép đã kiểm chứng (diễn giải của chúng tôi, không phải phép đo của các tác giả).
Sự lặp lại cũng là kẽ hở thực tế để phòng thủ: vì một tập nhỏ đầu ra cứ lặp đi lặp lại, các tác giả xây dựng một “túi ảo giác”, danh sách các đầu ra bịa đặt thường gặp có thể được lọc sau khi chép. Độ dài quan trọng không kém nội dung. Thêm 30 giây âm thanh không có lời nói vào các đoạn lời nói 10 giây tạo ra ảo giác được phát hiện ở 44,5% tệp, so với 0,3% khi chỉ thêm 1 giây.
| Chỉ số | Giá trị | Nguồn |
|---|---|---|
| Tỷ trọng ảo giác trên âm thanh không có lời nói là “thank you” và “thanks for watching” | 24,76% và 10,32% | Barański và cs., ICASSP 2025 |
| Số đầu ra ảo giác duy nhất; số đầu ra xuất hiện hơn một lần; tỷ trọng toàn bộ ảo giác được bao phủ bởi các lần lặp đó | 41.231 duy nhất; 1.270 lặp lại; 67,08% | Barański và cs., ICASSP 2025 |
| Ảo giác được phát hiện khi thêm 1 giây so với 30 giây âm thanh không có lời nói trước hoặc sau lời nói | 0,3% so với 44,5% | Barański và cs., ICASSP 2025 |
| Dữ liệu huấn luyện của Whisper large-v3 | 1 triệu giờ gán nhãn yếu cộng 4 triệu giờ âm thanh gán nhãn giả | OpenAI, thẻ mô hình Whisper large-v3 |
| Dữ liệu huấn luyện của Whisper gốc (bản phát hành 2022) | 680.000 giờ giám sát đa ngôn ngữ và đa tác vụ | Radford và cs., bài báo Whisper 2022 |
| Ảo giác của các mô hình được xây dựng với 8% tiếng ồn chèn vào, tỷ trọng bộ dữ liệu đánh giá | 1-2% với hầu hết mô hình; 8% với một mô hình | Frieske và Shi, Hallucinations in Neural ASR, arXiv 2024 |
Bối cảnh: “gán nhãn yếu” nghĩa là văn bản ghép với mỗi bản ghi âm không được đối chiếu từng từ với âm thanh, còn “gán nhãn giả” nghĩa là văn bản do một mô hình trước đó tạo ra. Chính các tác giả Whisper liệt kê “ảo giác hoàn toàn, khi mô hình xuất ra một bản chép hoàn toàn không liên quan đến âm thanh thực tế” trong số các kiểu lỗi dạng dài đã biết của họ (Radford và cs., 2022). Dữ liệu mới nhất hiện có cho bộ huấn luyện gốc: bài báo Whisper, 2022.
4. Ai Gặp Ảo Giác: Kiểu Nói Có Quãng Nghỉ và Lặp Âm
Rủi ro ảo giác đi theo hình dạng của âm thanh, và một số người nói tạo ra âm thanh có nhiều quãng im lặng hơn hoặc nhiều âm lặp lại hơn. Whisper v2 gặp ảo giác ở 14% đoạn podcast có nói lắp so với 3,3% đoạn nói trôi chảy, theo bộ đánh giá nói lắp Interspeech 2025, lấy 2.621 đoạn từ bộ dữ liệu podcast SEP-28K. Whisper v3 giảm mạnh cả hai con số, nhưng các đoạn nói lắp vẫn gặp ảo giác nhiều gấp khoảng ba lần các đoạn trôi chảy (2,9% so với 0,9%).
Với chứng mất ngôn ngữ (rối loạn ảnh hưởng đến ngôn ngữ), nhóm Careless Whisper tìm ra cơ chế nằm ở các quãng nghỉ: người mắc chứng mất ngôn ngữ có tỷ trọng không phát âm trong bản ghi âm dài hơn nhiều, và tỷ trọng không phát âm dài hơn dự báo được ảo giác. Để biết những kiểu nói này phổ biến đến đâu, xem thống kê nhân khẩu học nói lắp của chúng tôi.
| Chỉ số | Giá trị | Nguồn |
|---|---|---|
| Đoạn âm thanh mất ngôn ngữ so với đối chứng tạo ra ảo giác trong Whisper | 1,7% so với 1,2% (hồi quy: p=0,019) | Koenecke và cs., Careless Whisper, ACM FAccT 2024 |
| Tỷ lệ ảo giác mất ngôn ngữ so với đối chứng, các nhóm được ghép theo nhân khẩu học của người tham gia | 1,82% so với 1,16% (giá trị p = 0,044) | Koenecke và cs., Careless Whisper, ACM FAccT 2024 |
| Tỷ trọng không phát âm trong tổng thời lượng ghi âm, người nói mất ngôn ngữ so với người nói đối chứng | 41% so với 15% | Koenecke và cs., Careless Whisper, ACM FAccT 2024 |
| Đoạn nói lắp so với đoạn trôi chảy có ảo giác, Whisper v2 | 14% (293 trong 2.086) so với 3,3% (18 trong 534) | Sridhar và Wu, Interspeech 2025 |
| Đoạn nói lắp so với đoạn trôi chảy có ảo giác, Whisper v3 | 2,9% (61 trong 2.086) so với 0,9% (5 trong 534) | Sridhar và Wu, Interspeech 2025 |
| Đoạn có lặp âm (lặp lại âm đầu của một từ) gặp ảo giác, Whisper v2 so với v3 | 22,6% so với 6,9% | Sridhar và Wu, Interspeech 2025 |
| Đoạn có kéo dài âm (kéo dài một âm) gặp ảo giác, Whisper v2 so với v3 | 15,4% so với 1,47% | Sridhar và Wu, Interspeech 2025 |
Bối cảnh: bài báo về nói lắp phát hiện các ảo giác ứng viên bằng cách chạy Whisper hai lần trên mỗi đoạn và đánh dấu những chênh lệch lớn, sau đó kiểm tra thủ công từng dấu. Số đoạn của bài báo hơi khác nhau giữa các phần (lấy mẫu 2.079 đoạn nói lắp, 2.086 trong thống kê ảo giác), vì vậy chúng tôi trích dẫn từng con số cùng mẫu số của chính nó.
5. Đo Lường Ảo Giác: Các Chỉ Số Được Đề Xuất Ngoài WER
Tỷ lệ lỗi từ đếm các lỗi thay thế, xóa và chèn, nhưng không phân biệt được một từ nghe nhầm với một câu bịa ra. Tỷ lệ lỗi ảo giác do các nhà nghiên cứu Carnegie Mellon và MBZUAI đề xuất tương quan với sự dịch chuyển phân phối ở α = 0,91, nghĩa là ảo giác tăng theo mức độ âm thanh kiểm tra lệch khỏi âm thanh huấn luyện (Atwany và cs., 2025). Quy trình của họ dùng một LLM làm giám khảo, nhờ đó đủ rẻ để chạy ở quy mô lớn.
Bộ đánh giá SHALLOW chia ảo giác thành bốn trục: từ vựng (từ bịa ra), ngữ âm (lỗi nghe gần giống), hình thái (dạng từ sai) và ngữ nghĩa (nghĩa bị thay đổi). Phát hiện then chốt của nó là điểm mà WER không còn cho nhiều thông tin: tương quan mạnh ở tỷ lệ lỗi thấp và sụp đổ khi WER tăng, đúng nơi ảo giác quan trọng nhất.
| Chỉ số | Giá trị | Nguồn |
|---|---|---|
| Mức đồng thuận về nhãn ảo giác, người với người và người với GPT-4o-mini | 0,71 so với 0,60 | Atwany và cs., Lost in Transcription, arXiv 2025 |
| Chi phí quy trình gán nhãn bằng LLM so với đánh giá của con người | $78 cho mỗi 1 triệu đoạn, rẻ hơn khoảng 375 lần | Atwany và cs., Lost in Transcription, arXiv 2025 |
| Tương quan giữa điểm SHALLOW và WER, ở WER 10-30% so với ở WER 90% (cặp từ vựng-ngữ nghĩa) | ρs > 0,80 so với dưới -0,45 | Koudounas và cs., SHALLOW, arXiv 2025 |
| Kiểm tra tổng hợp: tương quan với WER, bịa đặt từ vựng so với lỗi ngữ nghĩa | ρ = 0,98 so với ρ = 0,15 | Koudounas và cs., SHALLOW, arXiv 2025 |
| Các mô hình và bộ dữ liệu kiểm tra trong đánh giá SHALLOW | 12 mô hình, 10 bộ dữ liệu | Koudounas và cs., SHALLOW, arXiv 2025 |
| Ngưỡng dùng để tách ảo giác khỏi lỗi ngữ âm | Độ tương đồng cosine 0,2; WER 30; perplexity 200 | Frieske và Shi, Hallucinations in Neural ASR, arXiv 2024 |
| Dấu hiệu ảo giác bằng hai lần chạy dùng trong bộ đánh giá nói lắp | WER giữa hai lần chạy trên 0,6, BERT F1 dưới 0,6, hoặc hơn 4 từ được chèn | Sridhar và Wu, Interspeech 2025 |
Bối cảnh: các chỉ số này không thể thay thế cho nhau. AssemblyAI đếm các chuỗi từ 5 lỗi liên tiếp trở lên trên mỗi giờ âm thanh, bài báo Null Token đếm các đoạn có bất kỳ chữ cái nào trên âm thanh có tham chiếu rỗng, còn Tỷ lệ lỗi ảo giác đếm các ví dụ được gán nhãn là ảo giác. Con số 2% ở thang này không nói lên điều gì về 2% ở thang khác.
6. WER Của Bảng Xếp Hạng So Với Ảo Giác: So Sánh Mô Hình
Bài báo Open ASR Leaderboard của Hugging Face là tài liệu tham chiếu của lĩnh vực này về độ chính xác và tốc độ, và phạm vi của nó rất rõ ràng: nó báo cáo WER và RTFx (hệ số thời gian thực nghịch đảo, tức hệ thống xử lý được bao nhiêu giây âm thanh mỗi giây) và không gì khác. Bài báo không bàn đến ảo giác hay vòng lặp như những lỗi của mô hình. Dữ liệu tốc độ của nó vẫn quan trọng với chủ đề này, vì các dòng Conformer nhanh hơn (thiết kế bộ mã hóa kết hợp tích chập và cơ chế chú ý) là lựa chọn thay thế hiển nhiên cho Whisper trên bảng xếp hạng đó.
Các bảng của CMU và SHALLOW cho thấy vì sao xếp hạng theo WER không phải là xếp hạng theo độ an toàn. Whisper large-v3 đạt WER trên 65% trên giọng nói mô phỏng kiểm soát không lưu trong khi tỷ lệ ảo giác thấp hơn nhiều, và điều ngược lại xảy ra trên bộ dữ liệu đối kháng. Các tiêu chuẩn về độ chính xác trong phụ đề phát sóng cũng đối mặt với sự phân chia tương tự giữa thời gian, độ đầy đủ và độ đúng (xem thống kê tiêu chuẩn độ chính xác phụ đề của chúng tôi).
| Chỉ số | Giá trị | Nguồn |
|---|---|---|
| Các chỉ số mà Open ASR Leaderboard báo cáo | chỉ WER và RTFx | Srivastav và cs., bài báo Open ASR Leaderboard, v4 tháng 3 năm 2026 |
| RTFx trung bình, hệ thống dựa trên Conformer so với dựa trên Whisper | 758 so với 201 (nhanh hơn 3,77 lần) | Srivastav và cs., bài báo Open ASR Leaderboard, v4 tháng 3 năm 2026 |
| WER và RTFx của Whisper Large v3 trên đường đua tiếng Anh dạng dài | 11,2 WER; RTFx 68,6 | Srivastav và cs., bài báo Open ASR Leaderboard, v4 tháng 3 năm 2026 |
| Thứ hạng của mô hình TDT tốt nhất và mô hình CTC tốt nhất về độ chính xác tiếng Anh dạng ngắn | thứ 10 và thứ 34 | Srivastav và cs., bài báo Open ASR Leaderboard, v4 tháng 3 năm 2026 |
| WER của Whisper large-v3 so với Tỷ lệ lỗi ảo giác trên ATCOsim (giọng nói mô phỏng kiểm soát không lưu) | 65,3% so với 17,6% | Atwany và cs., Lost in Transcription, arXiv 2025 |
| WER của Whisper large-v3 so với Tỷ lệ lỗi ảo giác trên một bộ kiểm tra đối kháng | 33,3% so với 49,8% | Atwany và cs., Lost in Transcription, arXiv 2025 |
| Whisper-Large-v3 so với Canary, WER trung bình; điểm bịa đặt từ vựng trung bình | 14,20 so với 14,26; 6,74 so với 5,43 | Koudounas và cs., SHALLOW, arXiv 2025 |
Bối cảnh: TDT và CTC là các phương pháp giải mã xuất văn bản căn chỉnh theo các khung âm thanh, thay vì sinh văn bản tự do từng token như bộ giải mã của Whisper. Bảng xếp hạng ghi nhận chúng cho RTFx tốt hơn đáng kể với độ chính xác thấp hơn. WER trung bình gần như giống hệt của Whisper-Large-v3 và Canary trong SHALLOW che giấu việc Canary mắc ít lỗi bịa đặt từ vựng hơn.
7. Kết Quả Giảm Thiểu: VAD, Thay Đổi Giải Mã và Chỉnh Sửa Mô Hình
Cách khắc phục đáng tin cậy nhất vẫn là không gửi sự im lặng cho mô hình. Silero VAD giảm WER trên lời nói được đệm thêm âm thanh không có lời nói từ 104,8% xuống 8,0% trong các thí nghiệm đệm được mô tả ở mục 3, và việc bổ sung khử vòng lặp cùng bộ lọc túi ảo giác đưa con số xuống 6,5%. VAD (phát hiện hoạt động giọng nói) là một mô hình riêng quyết định một đoạn âm thanh có chứa lời nói hay không. Trong chính bài báo của Whisper, VAD là một trong các phương pháp heuristic giải mã trên lộ trình từ 11,0 WER dạng dài trung bình với giải mã tham lam xuống 10,0 khi dùng tất cả heuristic (Radford và cs., 2022).
Các bản sửa phía mô hình có hiệu quả, nhưng mỗi bản đều chuyển lỗi sang chỗ khác. Calm-Whisper chỉ tinh chỉnh 3 đầu chú ý (số 1, 6 và 11) và giữ WER gần như không đổi. Các can thiệp điều hướng và kết thúc văn bản cũng ngăn được phần lớn bịa đặt nhưng bắt đầu xóa lời nói thật hoặc phá hỏng nhận dạng tiếng Trung. Các tác giả token rỗng nói thẳng: các phương pháp từ chối phải được đánh giá cả theo chi phí triệt tiêu lẫn chi phí xóa, chứ không chỉ theo mức giảm ảo giác.
| Chỉ số | Giá trị | Nguồn |
|---|---|---|
| WER trên lời nói được đệm âm thanh không có lời nói: không xử lý so với Silero VAD so với Silero VAD cộng khử vòng lặp và bộ lọc túi ảo giác | 104,8% so với 8,0% so với 6,5% | Barański và cs., ICASSP 2025 |
| Ảo giác được phát hiện với kích thước chùm (beam) 1 so với kích thước chùm 5 | 19,5% so với 28,2% | Barański và cs., ICASSP 2025 |
| Calm-Whisper: tỷ lệ ảo giác UrbanSound8K trước so với sau; WER LibriSpeech test-clean trước so với sau | 99,97% so với 15,51%; 2,12% so với 2,19% | Wang và cs., Calm-Whisper, Interspeech 2025 |
| Điều hướng bằng bộ tự mã hóa thưa, Whisper small, bộ kiểm tra gộp không có lời nói | 72,63% so với 14,11% | Aparin và cs., Whisper Hallucination Detection and Mitigation, arXiv 2026 |
| Cùng cách điều hướng trên Whisper large-v3: tỷ lệ lỗi ký tự tiếng Trung AISHELL-1 trước so với sau | 10,54 so với 66,24 | Aparin và cs., Whisper Hallucination Detection and Mitigation, arXiv 2026 |
| Can thiệp kết thúc văn bản (token rỗng), Whisper small: tỷ lệ đầu ra từ vựng; số từ tham chiếu bị xóa mỗi phút | 91,7% so với 3,3%; 33,05 so với 1,58 | Borodin và cs., The Null Token Knows, arXiv 2026 |
| Mức cơ sở WhisperX VAD: tỷ lệ ảo giác phi giọng nói trung bình; từ chối nhầm giọng nói thật | 5,24%; 0% | Abbasihafshejani và Jadliwala, arXiv 2026 |
| Whisper so với WhisperX trên TED-LIUM: tỷ lệ lỗi chèn; chuỗi 5 từ lặp lại | 7,7 so với 6,7; 221 so với 189 | Bain và cs., bài báo WhisperX 2023 |
Bối cảnh: kết quả về kích thước chùm đi ngược trực giác, vì các tác giả Whisper dùng tìm kiếm chùm với 5 chùm để giảm vòng lặp trên lời nói, trong khi với phần đệm không có lời nói, chùm rộng hơn lại tạo ra nhiều ảo giác được phát hiện hơn. Calm-Whisper cũng giảm các ảo giác nhiều token (hơn năm token) từ 742 xuống 91. Dữ liệu WhisperX là từ năm 2023, nên đây là dữ liệu mới nhất hiện có cho bộ đánh giá đó.
Tổng Kết: Ảo Giác Nhận Dạng Giọng Nói Qua Các Con Số
| Chỉ số | Giá trị | Nguồn |
|---|---|---|
| Đoạn không có lời nói của Whisper large-v3 tạo ra văn bản | 40,3% trong 301.317 | Barański và cs., ICASSP 2025 |
| Tỷ lệ ảo giác của Whisper large-v3 trên tiếng ồn UrbanSound8K | 99,97% | Wang và cs., Calm-Whisper, Interspeech 2025 |
| Whisper large-v3 so với Whisper small, bộ kiểm tra gộp không có lời nói | 86,8% so với 72,6% | Aparin và cs., arXiv 2026 |
| Đầu ra từ vựng của Whisper turbo trên đoạn không có lời nói | 74,3% | Borodin và cs., The Null Token Knows, arXiv 2026 |
| Đoạn AphasiaBank có ảo giác Whisper có thể tái hiện | 187 trong 13.140 (1,4%) | Koenecke và cs., Careless Whisper, ACM FAccT 2024 |
| Bản ghi chép cuộc họp công khai có ảo giác, một nhà nghiên cứu của Michigan | 8 trên mỗi 10 | Cuộc điều tra của Associated Press, tháng 10 năm 2024 |
| Tỷ lệ ảo giác, Universal-1 so với Whisper large-v3 | Giảm tương đối 30% (tuyên bố của chính nhà cung cấp) | AssemblyAI, 2024 |
| Đoạn nói lắp so với đoạn trôi chảy gặp ảo giác, Whisper v2 | 14% so với 3,3% | Sridhar và Wu, Interspeech 2025 |
| WER so với HER của Whisper large-v3 trên bộ dữ liệu đối kháng | 33,3% so với 49,8% | Atwany và cs., arXiv 2025 |
| Tương quan SHALLOW với WER, dải WER 10-30% | ρs > 0,80 | Koudounas và cs., SHALLOW, arXiv 2025 |
| RTFx trung bình, dựa trên Conformer so với dựa trên Whisper | 758 so với 201 | Srivastav và cs., v4 tháng 3 năm 2026 |
| WER LibriSpeech test-clean của Calm-Whisper trước so với sau bản sửa | 2,12% so với 2,19% | Wang và cs., Calm-Whisper, Interspeech 2025 |
| Can thiệp token rỗng: số từ bị xóa mỗi phút | 33,05 so với 1,58 | Borodin và cs., arXiv 2026 |
| Điều hướng bằng bộ tự mã hóa thưa, tỷ lệ ảo giác của Whisper small | 72,63% so với 14,11% | Aparin và cs., arXiv 2026 |
| Mức cơ sở WhisperX VAD: tỷ lệ ảo giác và từ chối nhầm | 5,24%; 0% | Abbasihafshejani và Jadliwala, arXiv 2026 |
| Tỷ lệ lỗi chèn của Whisper so với WhisperX trên TED-LIUM | 7,7 so với 6,7 | Bain và cs., bài báo WhisperX 2023 |
Phương Pháp Luận và Nguồn
Chúng tôi đã đọc bài báo gốc, thẻ mô hình hoặc cuộc điều tra báo chí đằng sau từng con số ở trên và trích dẫn từng số theo ký hiệu của chính nguồn (phần trăm, phân số, ρ hoặc α). Khi phần văn xuôi và các bảng của một bài báo không khớp nhau, chúng tôi dùng giá trị trong bảng hoặc câu nêu rõ ràng và đánh dấu sự mâu thuẫn bên dưới.
- Koenecke và cs., Careless Whisper: Speech-to-Text Hallucination Harms, ACM FAccT 2024
- Burke và Schellmann, cuộc điều tra của Associated Press về phiên âm Whisper, tháng 10 năm 2024, kèm bản tóm tắt của Cornell Chronicle về nghiên cứu Careless Whisper, tháng 6 năm 2024
- Barański và cs., Investigation of Whisper ASR Hallucinations Induced by Non-Speech Audio, ICASSP 2025
- Wang và cs., Calm-Whisper: Reduce Whisper Hallucination On Non-Speech By Calming Crazy Heads Down, Interspeech 2025
- Sridhar và Wu, J-j-j-just Stutter: Benchmarking Whisper’s Performance Disparities on Different Stuttering Patterns, Interspeech 2025
- Atwany và cs., Lost in Transcription, Found in Distribution Shift: Demystifying Hallucination in Speech Foundation Models, arXiv 2025
- Koudounas và cs., Hallucination Benchmark for Speech Foundation Models (SHALLOW), arXiv 2025
- Srivastav và cs., bài báo Open ASR Leaderboard, v4 tháng 3 năm 2026
- Borodin và cs., The Null Token Knows: Reducing Message-Free Hallucination in ASR and NMT, arXiv 2026
- Aparin và cs., Whisper Hallucination Detection and Mitigation via Hidden Representation Steering and Sparse AutoEncoders, arXiv 2026
- Abbasihafshejani và Jadliwala, Reducing Hallucinated Transcripts in Whisper via Hallucination Space Projection, arXiv 2026
- AssemblyAI (McCann Ramirez, Chkhetiani và cs.), Anatomy of Industrial Scale Multilingual ASR, 2024
- Bain và cs., WhisperX: Time-Accurate Speech Transcription of Long-Form Audio, 2023
- Radford và cs., Robust Speech Recognition via Large-Scale Weak Supervision (bài báo Whisper), 2022
- OpenAI, thẻ mô hình Whisper large-v3 trên Hugging Face
- Frieske và Shi, Hallucinations in Neural Automatic Speech Recognition: Identifying Errors and Hallucinatory Models, arXiv 2024
- Lưu ý về dữ liệu: phần tóm tắt của Careless Whisper nói khoảng 1% bản chép gặp ảo giác, trong khi phần thân bài báo ghi 1,4% (187 trong 13.140 đoạn) và 312 bản chép gặp ảo giác qua hai lần chạy; AP mô tả cùng công trình là 187 ảo giác trong hơn 13.000 đoạn. Bài báo Hallucination Space Projection báo cáo mức cơ sở trung bình 31,31% không khớp với các con số theo từng bộ dữ liệu của chính nó (chúng tôi chỉ trích dẫn các giá trị theo từng bộ dữ liệu và mức cơ sở WhisperX của nó). Bài báo điều hướng đưa ra 95,2% cho Whisper large-v3 trên UrbanSound8K ở một bảng và 95,98% ở bảng khác. Bộ đánh giá nói lắp dùng 2.079 và 2.086 làm tổng số đoạn nói lắp ở các phần khác nhau. Atwany và cs., SHALLOW, bài báo Null Token (đã nộp cho AAAI-27), bài báo điều hướng và bài báo phép chiếu là các bản in trước arXiv chưa có nơi công bố được bình duyệt xác nhận tại thời điểm đọc. Các con số của AssemblyAI là tuyên bố của chính nhà cung cấp, và các con số của AP là báo cáo thực địa của từng cá nhân, không phải phép đo có kiểm soát. Bài báo Whisper (2022), WhisperX (2023) và Frieske cùng Shi (2024) là dữ liệu mới nhất hiện có cho từng bộ đánh giá cụ thể của chúng.
Cập nhật lần cuối: ngày 24 tháng 10 năm 2026. Chúng tôi cập nhật bài tổng hợp này hàng quý, và lần làm mới tiếp theo dự kiến diễn ra khi kỷ yếu ICASSP 2027 và bản sửa đổi tiếp theo của bài báo Open ASR Leaderboard được công bố.