순수한 비음성 오디오 클립 301,317개를 입력했을 때, Whisper large-v3는 그중 121,378개(40.3%)에서 텍스트를 작성했고, 날조된 출력의 9.1%는 같은 문구가 반복되는 루프였다(Barański 외, ICASSP 2025). 도시 소리 라이브러리인 UrbanSound8K에서는 다른 팀이 클립의 99.97%에서 텍스트 출력을 측정했다(Wang 외, Calm-Whisper, Interspeech 2025). 실제 음성에서는 그 비율이 훨씬 낮지만 고르게 분포하지는 않는다. AphasiaBank 코퍼스에서 실어증 화자의 세그먼트는 대조군 세그먼트보다 환각을 더 자주 일으켰고, 발성이 없는 구간이 길수록 환각을 예측했다(Koenecke 외, ACM FAccT 2024). 리더보드는 이를 포착하지 못한다. Open ASR Leaderboard는 모델을 단어 오류율과 속도만으로 순위를 매기기 때문이며(Srivastav 외, Open ASR Leaderboard 논문 2026), 이는 저희가 별도로 추적한 억양과 방언 격차 뒤에 있는 것과 같은 지표다. 저희는 Cornell, Carnegie Mellon, Hugging Face, Interspeech, ICASSP의 논문, AssemblyAI, Associated Press, 그리고 탐지와 완화에 관한 2026년 arXiv 연구에서 데이터를 모았다.
이 정리에서 “환각”이란 오디오에 근거가 없는 녹취 속 텍스트를 뜻한다. 실제로 말한 단어를 잘못 들은 것과 달리, 존재하지 않는 단어, 구절, 또는 문장 전체가 지어내진 것이다.
요약
- Whisper large-v3는 비음성 클립 301,317개 중 40.3%에서 텍스트를 출력했고, 그중 9.1%는 루프였다(Barański 외, ICASSP 2025).
- Whisper large-v3는 표적 미세 조정 이전에 UrbanSound8K 소음 클립의 99.97%에서 텍스트를 출력했다(Wang 외, Calm-Whisper, Interspeech 2025).
- 말더듬이 있는 클립은 Whisper v2에서 14%, v3에서 2.9%의 비율로 환각을 일으켰다(Sridhar와 Wu, Interspeech 2025).
- Universal-1은 Whisper large-v3 대비 환각률이 상대적으로 30% 감소했다고 보고했는데, 이는 벤더 자신의 주장이다(AssemblyAI, Anatomy of Industrial Scale Multilingual ASR 2024).
- 환각 오류율(Hallucination Error Rate)은 분포 이동과 α = 0.91로 상관된다(Atwany 외, arXiv 2025).
- SHALLOW 환각 점수가 WER과 연동되는 경우(ρs > 0.80)는 WER 10-30% 구간뿐이다(Koudounas 외, arXiv 2025).
- Whisper turbo는 비음성 클립의 74.3%에서 여전히 어휘적 출력을 냈다(Borodin 외, The Null Token Knows, arXiv 2026).
- Open ASR Leaderboard는 WER과 RTFx만 보고하며, Conformer 기반 시스템은 Whisper 기반보다 3.77배 빠르다(Srivastav 외, Open ASR Leaderboard 논문 2026).
- Calm-Whisper의 수정은 LibriSpeech test-clean WER을 2.12%에서 2.19%로 올렸을 뿐이다(Wang 외, Calm-Whisper, Interspeech 2025).
- WhisperX VAD 기준선은 오거부율 0%에서 평균 5.24%의 비음성 환각을 기록했다(Abbasihafshejani와 Jadliwala, arXiv 2026).
1. 실제 음성에서 ASR이 텍스트를 지어내는 빈도
실제 음성에 대한 통제된 수치는 작으며, 바로 그것이 함정이다. Careless Whisper 연구에서 AphasiaBank 세그먼트 13,140개 중 187개(1.4%)가 Whisper에서 날조된 텍스트를 안정적으로 생성했다. 같은 세그먼트를 Amazon과 Google에 통과시켰을 때는 비슷한 날조가 하나도 없었다. 병력, 면담, 법원 기록에 해당하는 낮은 비율은 잘못 들은 단어와는 다른 위험이다. 지어낸 문장은 유창하게 읽히기 때문에 아무도 확인해 볼 생각을 하지 않는다.
Associated Press가 2024년 10월에 모은 현장 보고는 훨씬 높으며, 실험실 수치와는 비교할 수 없다. 한 머신러닝 엔지니어는 AP에 자신이 분석한 100시간이 넘는 Whisper 녹취록의 약 절반에서 환각을 발견했다고 말했다. 이는 공통 정의 없이 개별 사용자들이 한 점검이므로, 비율이 아니라 노출 신호로 받아들여야 한다.
| 지표 | 값 | 출처 |
|---|---|---|
| Whisper에서 환각 텍스트를 안정적으로 생성한 AphasiaBank 세그먼트(2023년 4월-5월 실행) | 세그먼트 13,140개 중 187개(1.4%) | Koenecke 외, Careless Whisper, ACM FAccT 2024 |
| 2023년 12월 재실행에서도 환각을 일으킨 환각 세그먼트 | 187개 중 12개 | Koenecke 외, Careless Whisper, ACM FAccT 2024 |
| Whisper large-v3 환각 오류율, LibriSpeech 대 잡음을 추가한 LibriSpeech | 0.3% 대 0.4% | Atwany 외, Lost in Transcription, arXiv 2025 |
| 미시간대학교 연구자가 점검한, 환각이 있는 공개 회의 녹취록 | 10건 중 8건 | Associated Press 탐사 보도, 2024년 10월 |
| 한 개발자가 보고한, 환각이 있는 Whisper 녹취록 | 26,000건 중 거의 전부 | Associated Press 탐사 보도, 2024년 10월 |
| 날조율(시간당 5단어 이상 연속 삽입 또는 치환), Universal-1 대 Whisper large-v3 | 상대 41% 감소(벤더 자신의 주장) | AssemblyAI, Anatomy of Industrial Scale Multilingual ASR 2024 |
| 전체 환각률(시간당 5개 이상 연속 오류), Universal-1 대 Whisper large-v3 및 Canary-1B | 상대 30%와 22% 감소(벤더 자신의 주장) | AssemblyAI, Anatomy of Industrial Scale Multilingual ASR 2024 |
배경: 2023년 12월 재실행 시점에는 재현 가능한 사례 대부분이, 전부는 아니지만, 환각을 멈췄다. 187개 중 12개는 6.4%다(저희 계산). Amazon 및 Google과의 비교는 2024년 1월 27일에 실행되었다. AssemblyAI 수치는 벤더가 고른 영어 테스트 데이터 146시간에서 측정한 상대적 감소이며, 시간당 절대 비율은 그림에만 나타난다.
2. 무음, 소음, 비음성 오디오: 최악의 경우
음성이 전혀 없는 오디오에서는 올바른 녹취가 빈 문자열이므로 출력된 모든 단어가 날조다. 그래서 비음성은 가장 깨끗한 스트레스 테스트이며, 결과는 선명하다. 아래 연구들 전반에 걸쳐 데이터 집합과 계산 규칙에 따라 Whisper large-v3는 비음성 클립의 21.35%에서 100%까지에서 텍스트를 작성한다. 이 편차는 연구상의 잡음이 아니다. 소리 라이브러리, 클립 길이, 정의가 다르다는 것을 반영하며, 그래서 하나의 “Whisper 환각률”은 존재하지 않는다.
여기서는 클수록 반드시 좋은 것은 아니다. 2026년 8월의 널 토큰 감사에서는 Whisper small이 large-v3보다 더 많은 클립에서 어휘적 출력을 냈고, 2026년 6월의 스티어링 연구에서는 통합 테스트 집합에서 large-v3가 small보다 나빴다. Whisper 계열이 아닌 Canary-1B도 같은 범위에 있었다. 목소리와 배경음을 분리하는 일은 그 자체로 하나의 연구 분야이며(저희 음성 분리 통계 참고), 그 단계를 건너뛰는 인식기는 문제를 그대로 물려받는다.
| 지표 | 값 | 출처 |
|---|---|---|
| 비음성 오디오(AudioSet, MUSAN, UrbanSound8K, FSD50K, 소음과 무음)에 대한 Whisper large-v3 추론 중 텍스트를 생성한 것 | 301,317건 중 121,378건(40.3%), 그중 11,049건(9.1%)이 루프를 수반 | Barański 외, ICASSP 2025 |
| UrbanSound8K 도시 소리 클립에서의 Whisper large-v3 환각률 | 99.97% | Wang 외, Calm-Whisper, Interspeech 2025 |
| 통합 비음성 테스트 집합(WHAM!, FSD50k, UrbanSound8K)에서의 환각률, Whisper large-v3 대 Whisper small | 86.8% 대 72.6% | Aparin 외, Whisper Hallucination Detection and Mitigation, arXiv 2026 |
| UrbanSound8K에서의 Whisper large-v3 환각률, 2026년의 별도 측정 | 95.2% | Aparin 외, Whisper Hallucination Detection and Mitigation, arXiv 2026 |
| 어휘적 출력이 있는 비음성 클립의 비율, Whisper small, large-v3, turbo | 96.2%, 77.0%, 74.3% | Borodin 외, The Null Token Knows, arXiv 2026 |
| 어휘적 출력이 있는 비음성 클립의 비율, Canary-1B(부분 집합) | 79.3% | Borodin 외, The Null Token Knows, arXiv 2026 |
| AudioSet 주변 소음 샘플 200개에서의 비공백 출력, Whisper large-v3, Canary-1B, Universal-1 | 100%, 100%, 10.5%(벤더 자신의 테스트) | AssemblyAI, Anatomy of Industrial Scale Multilingual ASR 2024 |
배경: 2026년의 세 번째 논문은 Whisper large-v3를 UrbanSound8K에서 76.08%, ESC-50에서 44.25%, 필터링한 FSD50K 부분 집합에서 21.35%로 측정했다(Abbasihafshejani와 Jadliwala, arXiv 2026). 널 토큰 논문에서 “어휘적 출력”은 정규화기가 이벤트 태그, 문장 부호, 숫자를 제거한 뒤 남는 모든 글자를 의미하며, 이는 구절 전체를 일치시키는 것보다 넓은 계산 방식이다.
3. 무엇이 지어내지는가: 구절의 지문과 클립 길이
비음성 오디오에서 Whisper의 환각은 무작위가 아니다. ICASSP 2025 연구에서 “감사합니다”(24.76%)와 “시청해 주셔서 감사합니다”(10.32%)라는 두 구절이 비음성 오디오 전체 환각의 약 35%를 차지한다. 이는 영상의 마무리 인사이며, 검증된 녹취가 아니라 온라인 영상 자막에서 가져온 학습 텍스트와 부합하는 패턴이다(저자들의 측정이 아니라 저희의 해석).
이 반복은 방어의 실질적인 실마리이기도 하다. 소수의 출력이 되풀이되므로, 저자들은 녹취 후 걸러낼 수 있는 빈번한 날조 출력의 목록인 “환각 가방”을 만들었다. 길이도 내용만큼 중요하다. 10초짜리 음성 클립에 30초의 비음성 소리를 덧붙이자 파일의 44.5%에서 환각이 탐지되었으나, 1초를 덧붙였을 때는 0.3%였다.
| 지표 | 값 | 출처 |
|---|---|---|
| 비음성 환각 중 “감사합니다”와 “시청해 주셔서 감사합니다”가 차지한 비율 | 24.76%와 10.32% | Barański 외, ICASSP 2025 |
| 고유한 환각 출력, 두 번 이상 나타난 출력, 그 반복이 포괄하는 전체 환각의 비율 | 고유 41,231개, 반복 1,270개, 67.08% | Barański 외, ICASSP 2025 |
| 음성 앞이나 뒤에 비음성 소리를 1초 대 30초 추가했을 때 탐지된 환각 | 0.3% 대 44.5% | Barański 외, ICASSP 2025 |
| Whisper large-v3 학습 데이터 | 약한 레이블 오디오 100만 시간과 의사 레이블 오디오 400만 시간 | OpenAI, Whisper large-v3 모델 카드 |
| 최초 Whisper 학습 데이터(2022년 공개) | 다국어 및 다중 작업 지도 학습 데이터 68만 시간 | Radford 외, Whisper 논문 2022 |
| 8%의 잡음을 주입해 만든 모델의 환각, 평가 데이터 집합에서의 비율 | 대부분의 모델에서 1-2%, 한 모델에서 8% | Frieske와 Shi, Hallucinations in Neural ASR, arXiv 2024 |
배경: “약한 레이블”은 각 녹음에 짝지어진 텍스트가 오디오와 단어 단위로 검증되지 않았다는 뜻이고, “의사 레이블”은 그 텍스트를 이전 모델이 생성했다는 뜻이다. Whisper 저자들 스스로도 알려진 장시간 오디오 실패 유형 중 하나로 “모델이 실제 오디오와 완전히 무관한 녹취를 출력하는 완전한 환각”을 꼽는다(Radford 외, 2022). 최초 학습 집합에 대해 입수 가능한 최신 데이터: Whisper 논문, 2022년.
4. 누가 환각의 대상이 되는가: 멈춤과 반복이 있는 말하기 패턴
환각의 위험은 오디오의 모양을 따르며, 어떤 화자는 무음이나 반복되는 소리가 더 많은 오디오를 만든다. Interspeech 2025 말더듬 벤치마크(팟캐스트 데이터 집합 SEP-28K에서 클립 2,621개를 추출)에 따르면 Whisper v2는 말더듬이 있는 팟캐스트 클립의 14%에서 환각을 일으켰고, 유창한 클립에서는 3.3%였다. Whisper v3는 두 수치를 크게 낮췄지만, 말더듬이 있는 클립은 여전히 유창한 클립보다 약 세 배 자주 환각을 일으켰다(2.9% 대 0.9%).
실어증(언어에 영향을 주는 장애)의 경우, Careless Whisper 팀은 그 메커니즘을 멈춤에서 찾았다. 실어증 화자는 녹음에서 발성이 없는 구간의 비중이 훨씬 길었고, 발성이 없는 비중이 길수록 환각을 예측했다. 이런 말하기 패턴이 얼마나 흔한지는 저희 말더듬 인구통계 통계를 참고하라.
| 지표 | 값 | 출처 |
|---|---|---|
| Whisper에서 환각을 생성한 오디오 세그먼트, 실어증 대 대조군 | 1.7% 대 1.2%(회귀: p=0.019) | Koenecke 외, Careless Whisper, ACM FAccT 2024 |
| 환각률, 실어증 대 대조군, 참가자 인구통계가 일치하도록 맞춘 집단 | 1.82% 대 1.16%(p값 = 0.044) | Koenecke 외, Careless Whisper, ACM FAccT 2024 |
| 녹음 전체 길이 중 발성이 없는 구간의 비중, 실어증 화자 대 대조군 화자 | 41% 대 15% | Koenecke 외, Careless Whisper, ACM FAccT 2024 |
| 환각이 있는 말더듬 클립 대 유창한 클립, Whisper v2 | 14%(2,086개 중 293개) 대 3.3%(534개 중 18개) | Sridhar와 Wu, Interspeech 2025 |
| 환각이 있는 말더듬 클립 대 유창한 클립, Whisper v3 | 2.9%(2,086개 중 61개) 대 0.9%(534개 중 5개) | Sridhar와 Wu, Interspeech 2025 |
| 소리 반복(단어의 첫소리 반복)이 있는 클립 중 환각을 일으킨 비율, Whisper v2 대 v3 | 22.6% 대 6.9% | Sridhar와 Wu, Interspeech 2025 |
| 소리 늘이기(소리를 길게 끎)가 있는 클립 중 환각을 일으킨 비율, Whisper v2 대 v3 | 15.4% 대 1.47% | Sridhar와 Wu, Interspeech 2025 |
배경: 말더듬 논문은 각 클립에 Whisper를 두 번 실행해 큰 불일치에 표시를 붙이는 방식으로 후보 환각을 탐지한 뒤, 모든 표시를 직접 검토했다. 클립 수는 절마다 약간 다르므로(표본으로 뽑은 말더듬 클립은 2,079개, 환각 집계에서는 2,086개), 각 수치를 그 자체의 분모와 함께 인용한다.
5. 환각 측정: WER을 넘어 제안된 지표
단어 오류율은 치환, 삭제, 삽입을 세지만 잘못 들은 단어와 지어낸 문장을 구별하지 못한다. Carnegie Mellon과 MBZUAI 연구자들이 제안한 환각 오류율(Hallucination Error Rate)은 분포 이동과 α = 0.91로 상관된다. 즉 테스트 오디오가 학습 오디오에서 멀어지는 만큼 환각이 늘어난다(Atwany 외, 2025). 이들의 파이프라인은 LLM을 심사자로 쓰므로 대규모로 실행할 만큼 저렴하다.
SHALLOW 벤치마크는 환각을 네 개의 축으로 나눈다. 어휘(지어낸 단어), 음성(비슷하게 들리는 오류), 형태(잘못된 단어 형태), 의미(바뀐 의미)다. 핵심 발견은 WER이 더 이상 정보를 주지 못하는 지점에 있다. 오류율이 낮을 때는 상관이 강하지만 WER이 오르면 무너지는데, 바로 그곳이 환각이 가장 중요한 영역이다.
| 지표 | 값 | 출처 |
|---|---|---|
| 환각 레이블의 일치도, 사람 대 사람 및 사람 대 GPT-4o-mini | 0.71 대 0.60 | Atwany 외, Lost in Transcription, arXiv 2025 |
| LLM 레이블링 파이프라인 대 사람 평가의 비용 | 세그먼트 100만 개당 $78, 약 375배 저렴 | Atwany 외, Lost in Transcription, arXiv 2025 |
| SHALLOW 점수와 WER의 상관, WER 10-30%일 때 대 WER 90%일 때(어휘-의미 쌍) | ρs > 0.80 대 -0.45 미만 | Koudounas 외, SHALLOW, arXiv 2025 |
| 합성 테스트: WER과의 상관, 어휘적 날조 대 의미 오류 | ρ = 0.98 대 ρ = 0.15 | Koudounas 외, SHALLOW, arXiv 2025 |
| SHALLOW 평가의 모델과 테스트 데이터 집합 | 모델 12개, 데이터 집합 10개 | Koudounas 외, SHALLOW, arXiv 2025 |
| 환각과 음성학적 오류를 구분하는 데 쓴 임계값 | 코사인 유사도 0.2, WER 30, 퍼플렉서티 200 | Frieske와 Shi, Hallucinations in Neural ASR, arXiv 2024 |
| 말더듬 벤치마크에서 쓴 두 번 실행 기반 환각 표시 | 실행 간 WER이 0.6 초과, 또는 BERT F1이 0.6 미만, 또는 삽입된 단어가 4개 초과 | Sridhar와 Wu, Interspeech 2025 |
배경: 이 지표들은 서로 바꿔 쓸 수 없다. AssemblyAI는 오디오 시간당 5개 이상 연속된 오류의 묶음을 세고, 널 토큰 논문은 기준이 빈 오디오에서 글자가 하나라도 있는 클립을 세며, 환각 오류율은 환각으로 레이블된 사례를 센다. 한 척도의 2%는 다른 척도의 2%에 대해 아무것도 말해 주지 않는다.
6. 리더보드 WER 대 환각: 모델 비교
Hugging Face Open ASR Leaderboard 논문은 이 분야에서 정확도와 속도의 기준이며, 그 범위는 분명하다. WER과 RTFx(역 실시간 계수, 즉 시스템이 1초에 처리하는 오디오의 초 수)를 보고하고 그 외에는 아무것도 없다. 이 논문은 환각이나 반복 루프를 모델 오류로 다루지 않는다. 그래도 속도 데이터는 이 주제에서 의미가 있다. 더 빠른 Conformer 계열(합성곱과 어텐션을 섞은 인코더 설계)이 그 리더보드에서 Whisper의 확실한 대안이기 때문이다.
CMU와 SHALLOW의 표는 WER 순위가 안전성 순위가 아닌 이유를 보여 준다. Whisper large-v3는 모의 항공 교통 관제 음성에서 WER이 65%를 넘었지만 환각률은 훨씬 낮았고, 적대적 집합에서는 그 반대가 되었다. 방송 자막의 정확도 기준도 타이밍, 완전성, 정확성 사이에서 비슷한 분열을 겪는다(저희 자막 정확도 기준 통계 참고).
| 지표 | 값 | 출처 |
|---|---|---|
| Open ASR Leaderboard가 보고하는 지표 | WER과 RTFx만 | Srivastav 외, Open ASR Leaderboard 논문, 2026년 3월 v4 |
| 평균 RTFx, Conformer 기반 대 Whisper 기반 시스템 | 758 대 201(3.77배 빠름) | Srivastav 외, Open ASR Leaderboard 논문, 2026년 3월 v4 |
| 영어 장시간 트랙에서의 Whisper Large v3 WER과 RTFx | 11.2 WER, RTFx 68.6 | Srivastav 외, Open ASR Leaderboard 논문, 2026년 3월 v4 |
| 영어 단시간 정확도에서 최고 TDT 모델과 최고 CTC 모델의 순위 | 10위와 34위 | Srivastav 외, Open ASR Leaderboard 논문, 2026년 3월 v4 |
| ATCOsim(모의 항공 교통 관제 음성)에서 Whisper large-v3의 WER 대 환각 오류율 | 65.3% 대 17.6% | Atwany 외, Lost in Transcription, arXiv 2025 |
| 적대적 테스트 집합에서 Whisper large-v3의 WER 대 환각 오류율 | 33.3% 대 49.8% | Atwany 외, Lost in Transcription, arXiv 2025 |
| Whisper-Large-v3 대 Canary, 평균 WER, 평균 어휘적 날조 점수 | 14.20 대 14.26, 6.74 대 5.43 | Koudounas 외, SHALLOW, arXiv 2025 |
배경: TDT와 CTC는 Whisper의 디코더처럼 토큰 단위로 자유 텍스트를 생성하는 대신 오디오 프레임에 정렬된 텍스트를 내보내는 디코딩 방식이다. 리더보드는 이들이 정확도는 낮은 대신 훨씬 나은 RTFx를 제공한다고 적고 있다. SHALLOW에서 Whisper-Large-v3와 Canary의 평균 WER이 거의 같다는 사실은 Canary의 어휘적 날조가 더 적었다는 점을 가린다.
7. 완화 결과: VAD, 디코딩 변경, 모델 편집
가장 믿을 만한 해법은 여전히 무음을 모델에 보내지 않는 것이다. 3절에서 설명한 패딩 실험에서 Silero VAD는 비음성 소리로 패딩된 음성의 WER을 104.8%에서 8.0%로 낮췄고, 루프 제거와 환각 가방 필터를 더하자 6.5%가 되었다. VAD(음성 활동 감지)는 오디오의 한 구간에 음성이 있는지 판단하는 별도의 모델이다. Whisper 자체 논문에서 VAD는 그리디 디코딩의 장시간 평균 WER 11.0에서 모든 휴리스틱을 쓴 10.0에 이르는 경로에 있는 디코딩 휴리스틱의 하나였다(Radford 외, 2022).
모델 쪽 수정은 효과가 있지만, 각각 오류를 다른 곳으로 옮긴다. Calm-Whisper는 어텐션 헤드 3개(1, 6, 11번)만 미세 조정했고 WER을 거의 그대로 유지했다. 스티어링과 텍스트 종료 개입도 날조 대부분을 억제했지만 실제 음성을 삭제하기 시작하거나 중국어 인식을 망가뜨렸다. 널 토큰 저자들은 이렇게 분명히 말한다. 기권 방식은 환각 감소만이 아니라 억제 비용과 삭제 비용을 모두 기준으로 판단해야 한다.
| 지표 | 값 | 출처 |
|---|---|---|
| 비음성 소리로 패딩된 음성의 WER: 처리 없음 대 Silero VAD 대 Silero VAD에 루프 제거와 환각 가방 필터를 더한 것 | 104.8% 대 8.0% 대 6.5% | Barański 외, ICASSP 2025 |
| 빔 크기 1 대 빔 크기 5에서 탐지된 환각 | 19.5% 대 28.2% | Barański 외, ICASSP 2025 |
| Calm-Whisper: UrbanSound8K 환각률의 수정 전 대 후, LibriSpeech test-clean WER의 수정 전 대 후 | 99.97% 대 15.51%, 2.12% 대 2.19% | Wang 외, Calm-Whisper, Interspeech 2025 |
| 희소 오토인코더 스티어링, Whisper small, 통합 비음성 테스트 집합 | 72.63% 대 14.11% | Aparin 외, Whisper Hallucination Detection and Mitigation, arXiv 2026 |
| Whisper large-v3에서 같은 스티어링: AISHELL-1 중국어 문자 오류율의 전 대 후 | 10.54 대 66.24 | Aparin 외, Whisper Hallucination Detection and Mitigation, arXiv 2026 |
| 텍스트 종료(널 토큰) 개입, Whisper small: 어휘적 출력 비율, 분당 삭제된 기준 단어 | 91.7% 대 3.3%, 33.05 대 1.58 | Borodin 외, The Null Token Knows, arXiv 2026 |
| WhisperX VAD 기준선: 비음성 환각률 평균, 실제 음성 오거부 | 5.24%, 0% | Abbasihafshejani와 Jadliwala, arXiv 2026 |
| TED-LIUM에서 Whisper 대 WhisperX: 삽입 오류율, 반복된 5단어 시퀀스 | 7.7 대 6.7, 221 대 189 | Bain 외, WhisperX 논문 2023 |
배경: 빔 크기 결과는 직관에 반한다. Whisper 저자들은 음성에서 반복 루프를 줄이려고 빔 5개의 빔 서치를 쓰지만, 비음성 패딩에서는 더 넓은 빔이 더 많은 환각을 탐지시켰다. Calm-Whisper는 또한 다중 토큰 환각(5토큰 초과)을 742건에서 91건으로 줄였다. WhisperX 데이터는 2023년 것이므로 이 벤치마크에 대해 입수 가능한 최신 데이터다.
정리: 숫자로 보는 음성 인식 환각
| 지표 | 값 | 출처 |
|---|---|---|
| Whisper large-v3가 텍스트를 출력한 비음성 클립 | 301,317개 중 40.3% | Barański 외, ICASSP 2025 |
| UrbanSound8K 소음에서 Whisper large-v3 환각률 | 99.97% | Wang 외, Calm-Whisper, Interspeech 2025 |
| Whisper large-v3 대 Whisper small, 통합 비음성 테스트 집합 | 86.8% 대 72.6% | Aparin 외, arXiv 2026 |
| 비음성 클립에서 Whisper turbo의 어휘적 출력 | 74.3% | Borodin 외, The Null Token Knows, arXiv 2026 |
| 재현 가능한 Whisper 환각이 있는 AphasiaBank 세그먼트 | 13,140개 중 187개(1.4%) | Koenecke 외, Careless Whisper, ACM FAccT 2024 |
| 환각이 있는 공개 회의 녹취록, 미시간의 한 연구자 | 10건 중 8건 | Associated Press 탐사 보도, 2024년 10월 |
| 환각률, Universal-1 대 Whisper large-v3 | 상대 30% 감소(벤더 자신의 주장) | AssemblyAI, 2024 |
| 환각을 일으킨 말더듬 클립 대 유창한 클립, Whisper v2 | 14% 대 3.3% | Sridhar와 Wu, Interspeech 2025 |
| 적대적 집합에서 Whisper large-v3의 WER 대 HER | 33.3% 대 49.8% | Atwany 외, arXiv 2025 |
| SHALLOW와 WER의 상관, WER 10-30% 구간 | ρs > 0.80 | Koudounas 외, SHALLOW, arXiv 2025 |
| 평균 RTFx, Conformer 기반 대 Whisper 기반 | 758 대 201 | Srivastav 외, 2026년 3월 v4 |
| Calm-Whisper 수정 전후의 LibriSpeech test-clean WER | 2.12% 대 2.19% | Wang 외, Calm-Whisper, Interspeech 2025 |
| 널 토큰 개입: 분당 삭제된 단어 | 33.05 대 1.58 | Borodin 외, arXiv 2026 |
| 희소 오토인코더 스티어링, Whisper small 환각률 | 72.63% 대 14.11% | Aparin 외, arXiv 2026 |
| WhisperX VAD 기준선의 환각률과 오거부 | 5.24%, 0% | Abbasihafshejani와 Jadliwala, arXiv 2026 |
| TED-LIUM에서 Whisper 대 WhisperX의 삽입 오류율 | 7.7 대 6.7 | Bain 외, WhisperX 논문 2023 |
방법론과 출처
위의 모든 수치 뒤에 있는 원 논문, 모델 카드, 또는 뉴스 탐사 보도를 읽었으며, 각각을 출처 자체의 표기(퍼센트, 분수, ρ 또는 α)로 인용한다. 논문의 본문과 표가 서로 다른 경우에는 표의 값이나 명시적인 문장을 사용하고 그 불일치를 아래에 표시했다.
- Koenecke 외, Careless Whisper: Speech-to-Text Hallucination Harms, ACM FAccT 2024
- Burke와 Schellmann, Whisper 녹취에 관한 Associated Press 탐사 보도, 2024년 10월, 그리고 Careless Whisper 연구에 관한 Cornell Chronicle 요약, 2024년 6월
- Barański 외, Investigation of Whisper ASR Hallucinations Induced by Non-Speech Audio, ICASSP 2025
- Wang 외, Calm-Whisper: Reduce Whisper Hallucination On Non-Speech By Calming Crazy Heads Down, Interspeech 2025
- Sridhar와 Wu, J-j-j-just Stutter: Benchmarking Whisper’s Performance Disparities on Different Stuttering Patterns, Interspeech 2025
- Atwany 외, Lost in Transcription, Found in Distribution Shift: Demystifying Hallucination in Speech Foundation Models, arXiv 2025
- Koudounas 외, Hallucination Benchmark for Speech Foundation Models (SHALLOW), arXiv 2025
- Srivastav 외, Open ASR Leaderboard 논문, 2026년 3월 v4
- Borodin 외, The Null Token Knows: Reducing Message-Free Hallucination in ASR and NMT, arXiv 2026
- Aparin 외, Whisper Hallucination Detection and Mitigation via Hidden Representation Steering and Sparse AutoEncoders, arXiv 2026
- Abbasihafshejani와 Jadliwala, Reducing Hallucinated Transcripts in Whisper via Hallucination Space Projection, arXiv 2026
- AssemblyAI(McCann Ramirez, Chkhetiani 외), Anatomy of Industrial Scale Multilingual ASR, 2024
- Bain 외, WhisperX: Time-Accurate Speech Transcription of Long-Form Audio, 2023
- Radford 외, Robust Speech Recognition via Large-Scale Weak Supervision(Whisper 논문), 2022
- OpenAI, Hugging Face의 Whisper large-v3 모델 카드
- Frieske와 Shi, Hallucinations in Neural Automatic Speech Recognition: Identifying Errors and Hallucinatory Models, arXiv 2024
- 데이터 참고 사항: Careless Whisper의 초록은 녹취의 약 1%에서 환각이 발생했다고 하지만, 본문은 1.4%(세그먼트 13,140개 중 187개)와 두 번의 실행에 걸친 환각 녹취 312건을 보고한다. AP는 같은 연구를 13,000개가 넘는 클립에서 187건의 환각이라고 설명했다. Hallucination Space Projection 논문은 평균 기준선 31.31%를 보고하는데, 이는 그 논문 자체의 데이터 집합별 수치와 맞지 않는다(저희는 데이터 집합별 값과 그 논문의 WhisperX 기준선만 인용한다). 스티어링 논문은 UrbanSound8K에서 Whisper large-v3에 대해 한 표에서는 95.2%, 다른 표에서는 95.98%를 제시한다. 말더듬 벤치마크는 절마다 말더듬 클립의 총수로 2,079와 2,086을 다르게 쓴다. Atwany 외, SHALLOW, 널 토큰 논문(AAAI-27 제출), 스티어링 논문, 투영 논문은 읽은 시점에 동료 심사를 거친 게재처가 확인되지 않은 arXiv 프리프린트다. AssemblyAI 수치는 벤더 자신의 주장이고, AP 수치는 통제된 측정이 아니라 개별 현장 보고다. Whisper 논문(2022), WhisperX(2023), Frieske와 Shi(2024)는 각자의 특정 벤치마크에 대해 입수 가능한 최신 데이터다.
마지막 업데이트: 2026년 10월 24일. 저희는 이 정리를 분기마다 업데이트하며, 다음 갱신은 ICASSP 2027 논문집과 Open ASR Leaderboard 논문의 다음 개정판이 공개될 때 이루어질 것으로 예상한다.