純粋な非音声オーディオ301,317クリップを入力したところ、Whisper large-v3はそのうち121,378件(40.3%)で文字を出力し、捏造された出力の9.1%は同じフレーズが繰り返されるループだった(Barańskiら、ICASSP 2025)。都市音のライブラリであるUrbanSound8Kでは、別のチームがクリップの99.97%でテキスト出力を確認した(Wangら、Calm-Whisper、Interspeech 2025)。実際の音声ではこの割合ははるかに低いが、均等には分布していない。AphasiaBankコーパスでは、失語症の話者のセグメントは対照セグメントよりもハルシネーションを起こしやすく、発声のない区間が長いほどハルシネーションを予測した(Koeneckeら、ACM FAccT 2024)。リーダーボードはこれを捉えられない。Open ASR Leaderboardはモデルを単語誤り率と速度だけで順位付けしており(Srivastavら、Open ASR Leaderboard論文 2026)、これは当社が別に追跡したアクセントと方言の格差の背後にあるのと同じ指標である。Cornell、Carnegie Mellon、Hugging Face、Interspeech、ICASSPの論文、AssemblyAI、Associated Press、そして検出と軽減に関する2026年のarXiv研究からデータを集約した。
このまとめにおける「ハルシネーション」とは、音声に根拠のない書き起こし上のテキストを指す。実際に発話された単語を聞き間違えるのではなく、存在しない単語、フレーズ、あるいは文全体が作り出されたものである。
主なポイント
- Whisper large-v3は非音声クリップ301,317件のうち40.3%でテキストを出力し、そのうち9.1%はループだった(Barańskiら、ICASSP 2025)。
- Whisper large-v3は、的を絞ったファインチューニングの前は、UrbanSound8Kのノイズクリップの99.97%でテキストを出力した(Wangら、Calm-Whisper、Interspeech 2025)。
- 吃音のあるクリップは、Whisper v2で14%、v3で2.9%がハルシネーションを起こした(SridharとWu、Interspeech 2025)。
- Universal-1は、Whisper large-v3に対しハルシネーション率が相対30%低下したと報告しているが、これはベンダー自身の主張である(AssemblyAI、Anatomy of Industrial Scale Multilingual ASR 2024)。
- ハルシネーション誤り率(Hallucination Error Rate)は、分布シフトと相関係数α = 0.91で相関する(Atwanyら、arXiv 2025)。
- SHALLOWのハルシネーションスコアがWERと連動する(ρs > 0.80)のは、WERが10-30%の帯域にあるときだけである(Koudounasら、arXiv 2025)。
- Whisper turboは、非音声クリップの74.3%で依然として語彙的な出力を返した(Borodinら、The Null Token Knows、arXiv 2026)。
- Open ASR Leaderboardが報告するのはWERとRTFxのみで、Conformerベースのシステムはおよそ3.77倍、Whisperベースより高速である(Srivastavら、Open ASR Leaderboard論文 2026)。
- Calm-Whisperの修正で、LibriSpeech test-cleanのWERは2.12%から2.19%にしか上がらなかった(Wangら、Calm-Whisper、Interspeech 2025)。
- WhisperXのVADベースラインは、誤棄却率0%で、非音声ハルシネーションが平均5.24%だった(AbbasihafshejaniとJadliwala、arXiv 2026)。
1. 実際の音声でASRが文章を捏造する頻度
実際の音声に関する管理された条件下の数値は小さく、まさにそこが落とし穴である。Careless Whisperの研究では、AphasiaBankのセグメント13,140件のうち187件(1.4%)で、Whisperが捏造テキストを確実に生成した。同じセグメントをAmazonとGoogleに通しても、同等の捏造は1件もなかった。病歴、面接、裁判記録に当たる低い割合は、聞き間違えた単語とは別のリスクである。捏造された文は流暢に読め、誰も確認しようとは思わないからだ。
Associated Pressが2024年10月にまとめた現場からの報告ははるかに高く、実験室の数値とは比較できない。ある機械学習エンジニアはAPに対し、分析した100時間を超えるWhisperの書き起こしの約半数でハルシネーションを見つけたと語った。これは個々のユーザーによる検査であり、共通の定義もないため、割合ではなく、リスクにさらされていることを示すシグナルとして扱ってほしい。
| 指標 | 値 | 出典 |
|---|---|---|
| Whisperで確実にハルシネーションのテキストを生成したAphasiaBankのセグメント(2023年4月-5月の実行) | 13,140セグメント中187件(1.4%) | Koeneckeら、Careless Whisper、ACM FAccT 2024 |
| 2023年12月の再実行でもハルシネーションを起こしたセグメント | 187件中12件 | Koeneckeら、Careless Whisper、ACM FAccT 2024 |
| Whisper large-v3のハルシネーション誤り率、LibriSpeech 対 ノイズを追加したLibriSpeech | 0.3% 対 0.4% | Atwanyら、Lost in Transcription、arXiv 2025 |
| ミシガン大学の研究者が検査した、ハルシネーションを含む公開会議の書き起こし | 10件中8件 | Associated Press調査報道、2024年10月 |
| ある開発者が報告した、ハルシネーションを含むWhisperの書き起こし | 26,000件のほぼすべて | Associated Press調査報道、2024年10月 |
| 捏造率(1時間あたり5語以上の連続した挿入または置換)、Universal-1 対 Whisper large-v3 | 相対41%の低下(ベンダー自身の主張) | AssemblyAI、Anatomy of Industrial Scale Multilingual ASR 2024 |
| 全体のハルシネーション率(1時間あたり5件以上の連続エラー)、Universal-1 対 Whisper large-v3 および Canary-1B | 相対30%と22%の低下(ベンダー自身の主張) | AssemblyAI、Anatomy of Industrial Scale Multilingual ASR 2024 |
背景:2023年12月の再実行までに、再現可能な事例の大半は、すべてではないが、ハルシネーションを起こさなくなった。187件中12件は6.4%に当たる(当社の計算)。AmazonとGoogleとの比較は2024年1月27日に実施された。AssemblyAIの数値は、ベンダーが選んだ英語テストデータ146時間で測定した相対的な低下であり、1時間あたりの絶対的な割合は図の中にしか現れない。
2. 無音、ノイズ、非音声オーディオ:最悪のケース
音声がまったくないオーディオでは、正しい書き起こしは空であり、出力された単語はすべて捏造である。そのため非音声は最も純粋なストレステストとなり、結果は際立っている。データセットと数え方のルールによって、Whisper large-v3は非音声クリップの21.35%から100%までの範囲でテキストを書く(以下の研究全体で)。このばらつきは研究上のノイズではない。音のライブラリ、クリップの長さ、定義の違いを反映しており、だからこそ単一の「Whisperのハルシネーション率」は存在しない。
ここでは、大きいほど確実に良いとは限らない。2026年8月のヌルトークン監査では、Whisper smallがlarge-v3より多くのクリップで語彙的な出力を返したが、2026年6月のステアリング研究では、統合テスト集合でlarge-v3がsmallより悪かった。Whisper系ではないCanary-1Bも同じ範囲に収まった。声と背景音の分離はそれ自体が独立した研究分野であり(当社の音声分離統計を参照)、その工程を省く認識器は問題をそのまま引き継ぐ。
| 指標 | 値 | 出典 |
|---|---|---|
| 非音声オーディオ(AudioSet、MUSAN、UrbanSound8K、FSD50K、ノイズ、無音)に対するWhisper large-v3の推論のうち、テキストを生成したもの | 301,317件中121,378件(40.3%)、うち11,049件(9.1%)がループを伴う | Barańskiら、ICASSP 2025 |
| UrbanSound8Kの都市音クリップにおけるWhisper large-v3のハルシネーション率 | 99.97% | Wangら、Calm-Whisper、Interspeech 2025 |
| 統合非音声テスト集合(WHAM!、FSD50k、UrbanSound8K)でのハルシネーション率、Whisper large-v3 対 Whisper small | 86.8% 対 72.6% | Aparinら、Whisper Hallucination Detection and Mitigation、arXiv 2026 |
| UrbanSound8KにおけるWhisper large-v3のハルシネーション率、2026年の別の測定 | 95.2% | Aparinら、Whisper Hallucination Detection and Mitigation、arXiv 2026 |
| 語彙的な出力のあった非音声クリップの割合、Whisper small、large-v3、turbo | 96.2%、77.0%、74.3% | Borodinら、The Null Token Knows、arXiv 2026 |
| 語彙的な出力のあった非音声クリップの割合、Canary-1B(サブセット) | 79.3% | Borodinら、The Null Token Knows、arXiv 2026 |
| AudioSetの環境ノイズ200サンプルでの非空出力、Whisper large-v3、Canary-1B、Universal-1 | 100%、100%、10.5%(ベンダー自身のテスト) | AssemblyAI、Anatomy of Industrial Scale Multilingual ASR 2024 |
背景:2026年の3本目の論文は、Whisper large-v3をUrbanSound8Kで76.08%、ESC-50で44.25%、フィルタリングしたFSD50Kのサブセットで21.35%と測定した(AbbasihafshejaniとJadliwala、arXiv 2026)。ヌルトークン論文における「語彙的な出力」とは、正規化器がイベントタグ、句読点、数字を取り除いた後に残る任意の文字を指し、フレーズ全体の一致で数えるより広い数え方である。
3. 何が捏造されるか:フレーズの指紋とクリップの長さ
Whisperの非音声に対するハルシネーションはランダムではない。ICASSP 2025の研究では、「ありがとう」(24.76%)と「ご視聴ありがとうございました」(10.32%)という2つのフレーズが、非音声オーディオにおける全ハルシネーションの約35%を占める。これらは動画の締めくくりの言葉であり、検証済みの書き起こしではなく、オンライン動画の字幕から取られた学習テキストを示唆するパターンである(当社の解釈であり、著者らの測定ではない)。
この繰り返しは防御のための現実的な糸口でもある。少数の出力が繰り返し現れるため、著者らは「ハルシネーションの袋」、つまり書き起こし後にフィルタリングできる頻出の捏造出力のリストを作った。長さも内容と同じくらい重要である。10秒の音声クリップに30秒の非音声音を加えると、ファイルの44.5%でハルシネーションが検出されたが、1秒の追加では0.3%だった。
| 指標 | 値 | 出典 |
|---|---|---|
| 非音声ハルシネーションのうち「ありがとう」と「ご視聴ありがとうございました」が占めた割合 | 24.76%と10.32% | Barańskiら、ICASSP 2025 |
| ユニークなハルシネーション出力、複数回現れた出力、それらの繰り返しがカバーする全ハルシネーションの割合 | ユニーク41,231件、繰り返し1,270件、67.08% | Barańskiら、ICASSP 2025 |
| 音声の前後に1秒 対 30秒の非音声音を追加したときに検出されたハルシネーション | 0.3% 対 44.5% | Barańskiら、ICASSP 2025 |
| Whisper large-v3の学習データ | 弱ラベル付き100万時間と疑似ラベル付き400万時間の音声 | OpenAI、Whisper large-v3モデルカード |
| 初期Whisperの学習データ(2022年公開) | 多言語・マルチタスクの教師データ68万時間 | Radfordら、Whisper論文 2022 |
| 8%のノイズを注入して構築されたモデルのハルシネーション、評価データセットに占める割合 | 大半のモデルで1-2%、1つのモデルで8% | FrieskeとShi、Hallucinations in Neural ASR、arXiv 2024 |
背景:「弱ラベル付き」とは、各録音に組み合わされたテキストが音声と一語ずつ照合されていないことを意味し、「疑似ラベル付き」とは、そのテキストが先行するモデルによって生成されたことを意味する。Whisperの著者ら自身も、長尺音声での既知の失敗モードの一つとして、「モデルが実際の音声とまったく無関係な書き起こしを出力する完全なハルシネーション」を挙げている(Radfordら、2022)。初期の学習データセットについて入手可能な最新データ:Whisper論文、2022年。
4. 誰がハルシネーションの対象になるか:ポーズと繰り返しのある話し方
ハルシネーションのリスクは音声の形に従い、話者によっては無音や繰り返される音がより多い音声を生み出す。Interspeech 2025の吃音ベンチマーク(ポッドキャストデータセットSEP-28Kから2,621クリップを抽出)によると、Whisper v2は吃音のあるポッドキャストクリップの14%でハルシネーションを起こしたが、流暢なクリップでは3.3%だった。Whisper v3は両方の数値を大きく下げたものの、吃音のあるクリップは流暢なクリップのおよそ3倍の頻度でハルシネーションを起こした(2.9% 対 0.9%)。
失語症(言語に影響する障害)については、Careless Whisperのチームがそのメカニズムをポーズに見出した。失語症の話者は録音中の発声のない区間の割合がはるかに長く、発声のない割合が長いほどハルシネーションを予測した。こうした話し方がどれほど一般的かについては、当社の吃音の人口統計統計を参照してほしい。
| 指標 | 値 | 出典 |
|---|---|---|
| Whisperでハルシネーションを生成した音声セグメント、失語症 対 対照 | 1.7% 対 1.2%(回帰:p=0.019) | Koeneckeら、Careless Whisper、ACM FAccT 2024 |
| ハルシネーション率、失語症 対 対照、参加者の属性をそろえたグループ | 1.82% 対 1.16%(p値 = 0.044) | Koeneckeら、Careless Whisper、ACM FAccT 2024 |
| 録音の総時間に占める発声のない区間の割合、失語症の話者 対 対照の話者 | 41% 対 15% | Koeneckeら、Careless Whisper、ACM FAccT 2024 |
| ハルシネーションを含む吃音クリップ 対 流暢クリップ、Whisper v2 | 14%(2,086件中293件) 対 3.3%(534件中18件) | SridharとWu、Interspeech 2025 |
| ハルシネーションを含む吃音クリップ 対 流暢クリップ、Whisper v3 | 2.9%(2,086件中61件) 対 0.9%(534件中5件) | SridharとWu、Interspeech 2025 |
| 音の繰り返し(語の最初の音を繰り返す)を含むクリップのうちハルシネーションを起こした割合、Whisper v2 対 v3 | 22.6% 対 6.9% | SridharとWu、Interspeech 2025 |
| 引き伸ばし(音を長く伸ばす)を含むクリップのうちハルシネーションを起こした割合、Whisper v2 対 v3 | 15.4% 対 1.47% | SridharとWu、Interspeech 2025 |
背景:吃音の論文は、各クリップでWhisperを2回実行して大きな食い違いにフラグを立てることでハルシネーション候補を検出し、すべてのフラグを手作業で確認した。クリップ数はセクション間でわずかに異なる(サンプリングされた吃音クリップは2,079件、ハルシネーション集計では2,086件)ため、各数値はそれぞれの分母とともに引用している。
5. ハルシネーションの測定:WERを超えて提案された指標
単語誤り率は置換、削除、挿入を数えるが、聞き間違えた単語と捏造された文を区別することはできない。Carnegie MellonとMBZUAIの研究者が提案したハルシネーション誤り率(Hallucination Error Rate)は、分布シフトと相関係数α = 0.91で相関する。つまり、テスト音声が学習音声からずれるほど、ハルシネーションが増える(Atwanyら、2025)。彼らのパイプラインはLLMを審査役として使うため、大規模に実行できるほど低コストである。
SHALLOWベンチマークは、ハルシネーションを4つの軸に分ける。語彙(存在しない単語)、音声(似た音の誤り)、形態(誤った語形)、意味(変えられた意味)である。その主要な発見は、WERが情報を持たなくなる地点にある。誤り率が低いときは相関が強いが、WERが上がると相関は崩れる。そしてそこはまさに、ハルシネーションが最も重要になる領域だ。
| 指標 | 値 | 出典 |
|---|---|---|
| ハルシネーションラベルの一致度、人間同士 および 人間とGPT-4o-mini | 0.71 対 0.60 | Atwanyら、Lost in Transcription、arXiv 2025 |
| LLMによるラベル付けパイプラインのコスト 対 人手による評価 | 100万セグメントあたり$78、約375倍安い | Atwanyら、Lost in Transcription、arXiv 2025 |
| SHALLOWスコアとWERの相関、WER 10-30%のとき 対 WER 90%のとき(語彙-意味のペア) | ρs > 0.80 対 -0.45未満 | Koudounasら、SHALLOW、arXiv 2025 |
| 合成テスト:WERとの相関、語彙的な捏造 対 意味的な誤り | ρ = 0.98 対 ρ = 0.15 | Koudounasら、SHALLOW、arXiv 2025 |
| SHALLOW評価のモデルとテストデータセット | 12モデル、10データセット | Koudounasら、SHALLOW、arXiv 2025 |
| ハルシネーションと音声的誤りを分けるために使われたしきい値 | コサイン類似度0.2、WER 30、パープレキシティ200 | FrieskeとShi、Hallucinations in Neural ASR、arXiv 2024 |
| 吃音ベンチマークで使われた2回実行によるハルシネーションのフラグ | 実行間のWERが0.6を超える、またはBERT F1が0.6未満、または挿入語が4語を超える | SridharとWu、Interspeech 2025 |
背景:これらの指標は互換性がない。AssemblyAIは音声1時間あたり5件以上の連続エラーの連なりを数え、ヌルトークン論文は正解が空の音声で何らかの文字がある場合のクリップを数え、ハルシネーション誤り率はハルシネーションとラベル付けされた事例を数える。ある尺度での2%は、別の尺度での2%について何も語らない。
6. リーダーボードのWERとハルシネーション:モデル比較
Hugging FaceのOpen ASR Leaderboard論文は、この分野における精度と速度の基準であり、その範囲は明確である。報告するのはWERとRTFx(逆リアルタイム係数、つまりシステムが1秒あたりに処理する音声の秒数)だけで、それ以外は何もない。論文はハルシネーションや繰り返しループをモデルの誤りとして論じていない。それでも速度データはこのテーマにとって重要である。より高速なConformer系(畳み込みとアテンションを組み合わせたエンコーダ設計)は、そのリーダーボード上でWhisperの有力な代替候補だからだ。
CMUとSHALLOWの表は、WERによる順位が安全性による順位ではない理由を示している。Whisper large-v3は模擬航空管制音声でWERが65%を超えたが、ハルシネーション率ははるかに低いままで、敵対的テスト集合ではその逆が起きた。放送字幕の精度基準も、タイミング、網羅性、正確性の間で同様の分裂に直面している(当社の字幕精度基準の統計を参照)。
| 指標 | 値 | 出典 |
|---|---|---|
| Open ASR Leaderboardが報告する指標 | WERとRTFxのみ | Srivastavら、Open ASR Leaderboard論文、2026年3月のv4 |
| 平均RTFx、Conformerベース 対 Whisperベースのシステム | 758 対 201(3.77倍高速) | Srivastavら、Open ASR Leaderboard論文、2026年3月のv4 |
| 英語長尺トラックでのWhisper Large v3のWERとRTFx | 11.2 WER、RTFx 68.6 | Srivastavら、Open ASR Leaderboard論文、2026年3月のv4 |
| 英語短尺精度での最良のTDTモデルと最良のCTCモデルの順位 | 10位と34位 | Srivastavら、Open ASR Leaderboard論文、2026年3月のv4 |
| ATCOsim(模擬航空管制音声)でのWhisper large-v3のWER 対 ハルシネーション誤り率 | 65.3% 対 17.6% | Atwanyら、Lost in Transcription、arXiv 2025 |
| 敵対的テスト集合でのWhisper large-v3のWER 対 ハルシネーション誤り率 | 33.3% 対 49.8% | Atwanyら、Lost in Transcription、arXiv 2025 |
| Whisper-Large-v3 対 Canary、平均WER、平均の語彙的捏造スコア | 14.20 対 14.26、6.74 対 5.43 | Koudounasら、SHALLOW、arXiv 2025 |
背景:TDTとCTCは、Whisperのデコーダのようにトークンごとに自由なテキストを生成するのではなく、音声フレームに対応づけられたテキストを出力するデコーディング方式である。リーダーボードは、これらが精度は下がるものの大幅に優れたRTFxを提供すると記している。SHALLOWでWhisper-Large-v3とCanaryの平均WERがほぼ同じであることは、Canaryのほうが語彙的な捏造が少なかったという事実を隠している。
7. 軽減の結果:VAD、デコーディングの変更、モデルの編集
最も確実な対策は、依然として無音をモデルに送らないことである。セクション3で説明したパディング実験では、Silero VADが、非音声でパディングされた音声のWERを104.8%から8.0%に下げ、ループ除去とハルシネーションの袋フィルタを加えると6.5%になった。VAD(音声区間検出)は、ある区間の音声に発話が含まれるかどうかを判定する別個のモデルである。Whisper自身の論文では、VADは、貪欲デコーディングでの長尺平均WER 11.0から、すべてのヒューリスティクスを使った10.0に至る道筋の中のデコーディング・ヒューリスティクスの一つだった(Radfordら、2022)。
モデル側の修正は効果があるが、いずれも誤りを別の場所へ移す。Calm-Whisperはアテンションヘッド3つ(1、6、11番)だけをファインチューニングし、WERをほぼ変えなかった。ステアリングやテキスト終端への介入も捏造の大半を抑えたが、実際の音声を削除し始めたり、中国語の認識を壊したりした。ヌルトークン論文の著者らは率直にこう述べている。棄権の手法は、ハルシネーションの削減だけでなく、抑制のコストと削除のコストの両方で評価すべきである。
| 指標 | 値 | 出典 |
|---|---|---|
| 非音声でパディングされた音声のWER:処理なし 対 Silero VAD 対 Silero VADにループ除去とハルシネーションの袋フィルタを加えたもの | 104.8% 対 8.0% 対 6.5% | Barańskiら、ICASSP 2025 |
| ビーム幅1 対 ビーム幅5で検出されたハルシネーション | 19.5% 対 28.2% | Barańskiら、ICASSP 2025 |
| Calm-Whisper:UrbanSound8Kのハルシネーション率の修正前 対 修正後、LibriSpeech test-cleanのWERの修正前 対 修正後 | 99.97% 対 15.51%、2.12% 対 2.19% | Wangら、Calm-Whisper、Interspeech 2025 |
| スパースオートエンコーダによるステアリング、Whisper small、統合非音声テスト集合 | 72.63% 対 14.11% | Aparinら、Whisper Hallucination Detection and Mitigation、arXiv 2026 |
| Whisper large-v3での同じステアリング:AISHELL-1の中国語文字誤り率の前 対 後 | 10.54 対 66.24 | Aparinら、Whisper Hallucination Detection and Mitigation、arXiv 2026 |
| テキスト終端(ヌルトークン)への介入、Whisper small:語彙的出力の割合、1分あたりの削除された正解単語数 | 91.7% 対 3.3%、33.05 対 1.58 | Borodinら、The Null Token Knows、arXiv 2026 |
| WhisperXのVADベースライン:非音声ハルシネーション率の平均、実際の音声の誤棄却 | 5.24%、0% | AbbasihafshejaniとJadliwala、arXiv 2026 |
| TED-LIUMでのWhisper 対 WhisperX:挿入誤り率、繰り返された5語の連なり | 7.7 対 6.7、221 対 189 | Bainら、WhisperX論文 2023 |
背景:ビーム幅の結果は直感に反する。Whisperの著者らは音声での繰り返しループを減らすためにビーム幅5のビームサーチを使っているが、非音声のパディングでは、幅の広いビームのほうが検出されるハルシネーションが多かった。Calm-Whisperはまた、複数トークンのハルシネーション(5トークン超)を742件から91件に減らした。WhisperXのデータは2023年のものであり、このベンチマークについて入手可能な最新データである。
まとめ:数字で見る音声認識ハルシネーション
| 指標 | 値 | 出典 |
|---|---|---|
| Whisper large-v3がテキストを出力した非音声クリップ | 301,317件中40.3% | Barańskiら、ICASSP 2025 |
| UrbanSound8KノイズにおけるWhisper large-v3のハルシネーション率 | 99.97% | Wangら、Calm-Whisper、Interspeech 2025 |
| Whisper large-v3 対 Whisper small、統合非音声テスト集合 | 86.8% 対 72.6% | Aparinら、arXiv 2026 |
| 非音声クリップでのWhisper turboの語彙的出力 | 74.3% | Borodinら、The Null Token Knows、arXiv 2026 |
| 再現可能なWhisperのハルシネーションがあったAphasiaBankセグメント | 13,140件中187件(1.4%) | Koeneckeら、Careless Whisper、ACM FAccT 2024 |
| ミシガンの研究者1人によるハルシネーションを含む公開会議の書き起こし | 10件中8件 | Associated Press調査報道、2024年10月 |
| ハルシネーション率、Universal-1 対 Whisper large-v3 | 相対30%の低下(ベンダー自身の主張) | AssemblyAI、2024 |
| ハルシネーションを起こした吃音クリップ 対 流暢クリップ、Whisper v2 | 14% 対 3.3% | SridharとWu、Interspeech 2025 |
| 敵対的テスト集合でのWhisper large-v3のWER 対 HER | 33.3% 対 49.8% | Atwanyら、arXiv 2025 |
| SHALLOWとWERの相関、WER 10-30%の帯域 | ρs > 0.80 | Koudounasら、SHALLOW、arXiv 2025 |
| 平均RTFx、Conformerベース 対 Whisperベース | 758 対 201 | Srivastavら、2026年3月のv4 |
| Calm-Whisper修正前後のLibriSpeech test-clean WER | 2.12% 対 2.19% | Wangら、Calm-Whisper、Interspeech 2025 |
| ヌルトークン介入:1分あたりの削除単語数 | 33.05 対 1.58 | Borodinら、arXiv 2026 |
| スパースオートエンコーダによるステアリング、Whisper smallのハルシネーション率 | 72.63% 対 14.11% | Aparinら、arXiv 2026 |
| WhisperXのVADベースラインのハルシネーション率と誤棄却 | 5.24%、0% | AbbasihafshejaniとJadliwala、arXiv 2026 |
| TED-LIUMでのWhisper 対 WhisperXの挿入誤り率 | 7.7 対 6.7 | Bainら、WhisperX論文 2023 |
方法論と出典
上記のすべての数値の根拠となる一次の論文、モデルカード、またはニュース調査を読み、それぞれを出典自身の表記(パーセント、分数、ρまたはα)で引用している。論文の本文と表が食い違う場合は、表の値または明示された文を採用し、その食い違いを以下に記した。
- Koeneckeら、Careless Whisper: Speech-to-Text Hallucination Harms、ACM FAccT 2024
- BurkeとSchellmann、Whisperの書き起こしに関するAssociated Pressの調査、2024年10月、およびCareless Whisper研究に関するCornell Chronicleの要約、2024年6月
- Barańskiら、Investigation of Whisper ASR Hallucinations Induced by Non-Speech Audio、ICASSP 2025
- Wangら、Calm-Whisper: Reduce Whisper Hallucination On Non-Speech By Calming Crazy Heads Down、Interspeech 2025
- SridharとWu、J-j-j-just Stutter: Benchmarking Whisper’s Performance Disparities on Different Stuttering Patterns、Interspeech 2025
- Atwanyら、Lost in Transcription, Found in Distribution Shift: Demystifying Hallucination in Speech Foundation Models、arXiv 2025
- Koudounasら、Hallucination Benchmark for Speech Foundation Models (SHALLOW)、arXiv 2025
- Srivastavら、Open ASR Leaderboard論文、2026年3月のv4
- Borodinら、The Null Token Knows: Reducing Message-Free Hallucination in ASR and NMT、arXiv 2026
- Aparinら、Whisper Hallucination Detection and Mitigation via Hidden Representation Steering and Sparse AutoEncoders、arXiv 2026
- AbbasihafshejaniとJadliwala、Reducing Hallucinated Transcripts in Whisper via Hallucination Space Projection、arXiv 2026
- AssemblyAI(McCann Ramirez、Chkhetianiら)、Anatomy of Industrial Scale Multilingual ASR、2024
- Bainら、WhisperX: Time-Accurate Speech Transcription of Long-Form Audio、2023
- Radfordら、Robust Speech Recognition via Large-Scale Weak Supervision(Whisper論文)、2022
- OpenAI、Hugging Face上のWhisper large-v3モデルカード
- FrieskeとShi、Hallucinations in Neural Automatic Speech Recognition: Identifying Errors and Hallucinatory Models、arXiv 2024
- データウォッチ:Careless Whisperの要旨は書き起こしの約1%でハルシネーションが起きたとしているが、本文は1.4%(13,140セグメント中187件)と、2回の実行にわたるハルシネーションを含む書き起こし312件を報告している。APは同じ研究を、13,000件を超えるクリップ中187件のハルシネーションと説明した。Hallucination Space Projection論文は平均ベースライン31.31%を報告しているが、これは同論文自身のデータセットごとの数値と一致しない(当社はデータセットごとの値とそのWhisperXベースラインのみを引用している)。ステアリング論文は、UrbanSound8KでのWhisper large-v3について、ある表では95.2%、別の表では95.98%としている。吃音ベンチマークは、セクションごとに吃音クリップの総数として2,079と2,086を使い分けている。Atwanyらの論文、SHALLOW、ヌルトークン論文(AAAI-27に投稿済み)、ステアリング論文、射影論文は、読んだ時点でピアレビュー済みの発表先が確認できないarXivプレプリントである。AssemblyAIの数値はベンダー自身の主張であり、APの数値は管理された測定ではなく個別の現場報告である。Whisper論文(2022年)、WhisperX(2023年)、FrieskeとShi(2024年)は、それぞれ特定のベンチマークについて入手可能な最新データである。
最終更新日:2026年10月24日。当社はこのまとめを四半期ごとに更新しており、次回の更新は、ICASSP 2027の論文集とOpen ASR Leaderboard論文の次の改訂版が公開される時期を予定している。