同じ1,000問のBig Bench Hard推論問題で、GPT-4oはテキストで届いたときには92%に正答したが、そのリアルタイム音声から音声への版は、問題が音声で読み上げられたときには66%しか正答しなかった(Artificial Analysis、Big Bench Audio公開 2024)。この差はあらゆる場面で埋まったわけではない。2026年のカスタマーサービス向けベンチマークtau-Voiceでは、GPT-5のテキストエージェントがタスクの85%を完了したのに対し、全二重の音声エージェントは、クリーンな音声で31%から51%、現実的なノイズとアクセントがある条件で26%から38%の完了にとどまった(Rayら、tau-Voice、arXiv 2026)。最も弱いスキルは言葉ではなく声そのものだ。MMSUでは、GPT-4o-Audioのパラ言語知覚の問題の正答率は21.44%で、意味に基づく問題の59.70%を大きく下回った(Wangら、MMSU、ICLR 2026)。カスケードでは、リスクは音声認識のフロントエンドから始まり、そこでの誤りや捏造された書き起こしテキストがそのまま回答に流れ込む。当社は、S2SBench、AfriVox、SD-QA、Spoken SQuAD、OpenAIのGPT-4o System Card、Qwen2-AudioおよびKimi-Audioの技術レポート、さらにACL、ICLR、arXivの十数本以上のベンチマーク論文とリーダーボードからデータを集計した。
このまとめでは、「音声言語モデル」(音声LLMや大規模音声言語モデルとも呼ばれる)とは、音声を直接入力として受け取るモデルを指す。「カスケード」は従来型の設計で、音声認識器が書き起こしを作成し、テキスト専用のLLMがその書き起こしから回答する。
主なポイント
- GPT-4oはBig Bench Audioで、テキストの質問では92%、音声から音声では66%だった(Artificial Analysis、Big Bench Audio公開 2024)。
- DiVAは、テキスト入力の81.08から、同じ指示を音声にした場合の55.70に低下した(Chenら、VoiceBench、arXiv v3 2024)。
- Baichuan-Audioの2段階学習は、音声によるストーリー補完でテキストのベースラインとの差を3.4ポイントにまで縮めた(S2SBench、arXiv 2025)。
- WhisperとLlama-3.1-8Bのカスケードは、VoxEvalで55.25%を記録し、最良のエンドツーエンドモデルの37.63%を上回った(Cuiら、VoxEval、ACL 2025)。
- Gemini 2.0 FlashはMMARで65.6%に達し、キャプションとLLMを組み合わせたどのカスケードも上回った。その最良のカスケードは55.5%だった(MMARベンチマーク論文、arXiv 2025)。
- GPT-4o-Audioは、パラ言語知覚で21.44%、意味知覚で59.70%だった(Wangら、MMSU、ICLR 2026)。
- WhisperとGPT-4のカスケードが話者の性別を正しく識別できたのは、わずか21.9%だった(AIR-Bench、ACL 2024)。
- アクセントを加えると、音声エージェントの小売タスク成功率は平均で55%から44%に低下した(Rayら、tau-Voice、arXiv 2026)。
- EXAONE-3.5-32Bは、韓国語のカスケードで、クリーンな音声のF1 0.863から、信号対雑音比-10 dBでは0.586に低下した(JungとChoi、arXiv 2026)。
- Dynamic-SUPERBは、55件の評価インスタンスから180タスクへと拡大した(Dynamic-SUPERB、ICASSP 2024;Dynamic-SUPERB Phase-2、ICLR 2025)。
1. 音声質問応答ベンチマークの規模はどこまで拡大したか
ベンチマークの規模は2023年から2026年にかけて急速に拡大したが、2つの異なる方向に進んだ。Dynamic-SUPERBは、55件の評価インスタンス(33タスクと22データセットから構築)から、Phase-2では180タスクへと拡大し、そのうち125は研究コミュニティから提供された(Dynamic-SUPERB Phase-2、ICLR 2025)。これは幅の広さであり、短いテストを数多く用意して、それぞれが1つのスキルを調べる。VoxEvalは逆の道を選び、知識を問う質問という1つのスキルを深く掘り下げた。MMLUの56科目を13,938組の音声による質問と回答のペアに変換し、各ペアを11の音声条件で生成して合計153,318のバリエーションを作った(Cuiら、VoxEval、ACL 2025)。
モデルカードを読む人にとっての実務上の要点は、1つの見出しスコアが1,000件から出ている場合もあれば19,000件から出ている場合もあり、合成音声によるものも実際の録音によるものもある、ということだ。Big Bench AudioとMMARはいずれも1,000件で、2つのモデルの間の1〜2ポイントの差を本当の順位として読むのは難しい。
| 指標 | 値 | 出典 |
|---|---|---|
| Dynamic-SUPERB Phase 1:評価インスタンス、タスク、データセット | 55インスタンス、33タスク、22データセット | Dynamic-SUPERB、ICASSP 2024 |
| AIR-Bench基礎ベンチマーク:タスクと単一選択式の質問 | 19タスク、約19,000問 | AIR-Bench、ACL 2024 |
| AIR-Benchチャットベンチマーク:自由回答の質問と、そのうち音声に関するもの | 2,000問、うち800問が音声に関するもの | AIR-Bench、ACL 2024 |
| MMAU:音声クリップ数とテストされる異なるスキル数 | 10,000クリップ、27スキル | MMAUベンチマーク論文、arXiv 2024 |
| MMSU:質問とタスク(知覚と推論) | 5,000問、47タスク(知覚24、推論23) | Wangら、MMSU、ICLR 2026 |
| VoiceBench(ジャーナル版):音声による指示とタスク | 6,783件の指示、8タスク | Chenら、VoiceBench、TACL 2026 |
| SD-QA:音声プロンプト、方言、話者、言語 | 68,000件以上のプロンプト、24方言、255人の話者、5言語 | Faisalら、SD-QA、EMNLP Findings 2021 |
背景:Big Bench Audioは、テキスト読み上げモデルから取った23種類の合成音声で読み上げられ(Artificial Analysis、Big Bench Audio公開 2024)、Dynamic-SUPERB Phase-2の音声のうち30秒を超えるものは約6.57%にすぎない(Dynamic-SUPERB Phase-2、ICLR 2025)。したがって、これらのテストの大半が測っているのは短い質問であり、長く複雑な会話ではない。
2. 同じ質問を、音声で与えた場合とテキストで与えた場合
これが中核となる比較だ。同一の内容を、テキストと音声で1回ずつ、同じモデルまたは同じモデルファミリーに与える。エンドツーエンドの音声モデルであるDiVAは、VoiceBenchでテキストを与えたときは81.08、同じ指示を音声で与えたときは55.70だった。一方、WhisperとLLaMA-3.1-8Bのカスケードは2.37ポイントしか下がらなかった(Chenら、VoiceBench、arXiv v3 2024)。モデルは内容自体を明らかに扱えており、壊れるのは音から意味に至る経路だ。
より新しく丁寧な設計では、差が数ポイントまで縮まりうることが示されている。華南理工大学とBaichuanによるS2SBenchは、Baichuan-Audioの2段階学習を音声によるストーリー補完で79.6%と測定し、Qwen2.5-7Bのテキストのベースライン83.0%に3.4ポイント及ばなかった(S2SBench、arXiv 2025)。エージェントタスクは依然としてはるかに難しい。tau-Voice(論文ではτ-Voiceと表記)は、全二重の音声エージェントを航空、小売、通信の278タスクで検証しており、現実的な音声条件では、音声経路はテキストの能力の半分以上を失う。応答速度はこのトレードオフのもう一方の側面で、当社の最初の音声出力までの時間の統計で扱っている。
| 指標 | 値 | 出典 |
|---|---|---|
| VoiceBench総合スコア、Whisper + LLaMA-3.1-8Bカスケード:テキスト入力と音声入力 | 81.43と79.06 | Chenら、VoiceBench、arXiv v3 2024 |
| VoiceBench総合スコア、DiVAエンドツーエンドモデル:テキスト入力と音声入力 | 81.08と55.70 | Chenら、VoiceBench、arXiv v3 2024 |
| Big Bench Audioの精度:GPT-4oテキストからテキストと、GPT-4o Realtime Preview音声から音声 | 92%と66% | Artificial Analysis、Big Bench Audio公開 2024 |
| 音声によるストーリー補完(sStoryCloze):テキストのQwen2.5-7Bと、音声の2段階Baichuan-Audio | 83.0%と79.6% | S2SBench、arXiv 2025 |
| 中国語の常識に関する文(sCMMLU、4,743件):テキストのQwen2.5-7Bと、音声のGLM-4-Voice指示モデル | 70.3%と64.3% | S2SBench、arXiv 2025 |
| tau-Voiceのタスク成功率:GPT-5テキストエージェントと、クリーンな音声での音声エージェント | 85%と31%〜51% | Rayら、tau-Voice、arXiv 2026 |
| tau-Voice:現実的な音声条件で音声エージェントが維持するGPT-5テキスト能力の割合 | 約30%〜45% | Rayら、tau-Voice、arXiv 2026 |
例外:VoxEvalは、同じモデルでもどちら側が音声かによって結果が大きく変わることを見出した。SPIRIT-LMは同じ質問で、音声から音声が20.84%、音声からテキストが23.77%、テキストから音声が1.38%だった(Cuiら、VoxEval、ACL 2025)。入力側だけでなく出力側も重要であることを示している。
3. カスケード(ASR + LLM)とエンドツーエンド音声モデル
答えが言葉の中にある質問では、従来型のカスケードを上回るのは依然として非常に難しい。VoxEvalの音声版MMLU問題では、WhisperとLlama-3.1-8Bのカスケードが55.25%を記録したのに対し、最良のエンドツーエンド音声モデルであるGLM-4-Voiceは37.63%で、25%のランダム推測ラインを超えたエンドツーエンドモデルはGLM-4-Voiceだけだった(Cuiら、VoxEval、ACL 2025)。Dynamic-SUPERB Phase-2も同じ傾向を報告しており、音声認識と音声言語理解では、試験したどのモデルもWhisper-LLaMAカスケードを上回らなかった(Dynamic-SUPERB Phase-2、ICLR 2025)。
答えが音そのものに依存すると、状況は逆転する。音声、音楽、環境音を混ぜたMMARでは、Gemini 2.0 Flashが、まず音声をテキストのキャプションに変換するどのカスケードも上回った(MMARベンチマーク論文、arXiv 2025)。教訓は次のとおりだ。書き起こしがすべてを伝える場合はカスケードが勝ち、書き起こしが手がかりを捨ててしまう場合はエンドツーエンドモデルが勝つ。
| 指標 | 値 | 出典 |
|---|---|---|
| VoxEvalの精度:Whisper + Llama-3.1-8Bカスケードと、GLM-4-Voiceエンドツーエンド | 55.25%と37.63% | Cuiら、VoxEval、ACL 2025 |
| VoxEvalの12科目サブセット:gpt-4o-audio-previewと、Whisper + Llama-3.1カスケード | 0.718と0.606 | Cuiら、VoxEval、ACL 2025 |
| AIR-Benchチャット、GPT-4の平均スコア(1〜10):Whisper + GPT-4カスケードと、最良のエンドツーエンドモデル(Qwen-Audio Turbo) | 7.54と6.34 | AIR-Bench、ACL 2024 |
| AIR-Bench基礎、平均精度:Qwen-Audio Turboエンドツーエンドと、Whisper + GPT-4カスケード | 57.8%と53.6% | AIR-Bench、ACL 2024 |
| MMAUテストセット、音声の質問:詳細な音声キャプションを読むGPT-4oと、音声を聞くGemini Pro v1.5 | 68.66%と55.90% | MMAUベンチマーク論文、arXiv 2024 |
| MMARの平均精度:Gemini 2.0 Flashエンドツーエンドと、最良のキャプション + LLMカスケード(キャプション + DeepSeek-R1) | 65.6%と55.5% | MMARベンチマーク論文、arXiv 2025 |
| 音声入力でのVoiceBench総合スコア:Whisper + GPT-4oカスケードと、GPT-4o-Audio | 87.23と86.42 | Chenら、VoiceBench、arXiv v3 2024 |
背景:AIR-Benchは1本の論文で両面を示している。カスケードは自由回答のチャットテストでは勝ったが、基礎テストでは負けており、著者らは基礎スコアが低かった原因を、話者の性別、年齢、感情に関する質問に帰している(セクション4を参照)。
4. パラ言語の壁:話し方を聞き取る
「パラ言語」とは、声に含まれる言葉以外のすべてを指す。感情、話者の年齢と性別、話し方のスタイル、強調などだ。音声LLMが最も弱いのはここである。MMSUでは、GPT-4o-Audioは意味知覚の問題の59.70%に正答したが、パラ言語知覚の問題は21.44%しか正答できず、全体で最良のモデルであるGemini-1.5-Proでさえ、パラ言語知覚では31.23%にとどまった(Wangら、MMSU、ICLR 2026)。GPT-4o-Audioの誤りの50.3%、Gemini-1.5-Proの誤りの51.0%は、推論の誤りではなく知覚の誤りだった。
言葉の認識は容易になったが、声の読み取りはそうなっていない。Qwen2-Audioは、LibriSpeechのtest-cleanセットを単語誤り率1.6%で書き起こす一方、MELDの感情認識テストでは精度55.3%にとどまる(Qwen2-Audio Technical Report、2024)。感情検出の臨床面については、当社の音声感情認識の精度の統計をご覧ください。
| 指標 | 値 | 出典 |
|---|---|---|
| MMSU知覚、GPT-4o-Audio:意味に関する質問とパラ言語に関する質問 | 59.70%と21.44% | Wangら、MMSU、ICLR 2026 |
| MMSU知覚、Gemini-1.5-Pro:意味に関する質問とパラ言語に関する質問 | 57.06%と31.23% | Wangら、MMSU、ICLR 2026 |
| AIR-Bench話者性別の精度:Whisper + GPT-4カスケードと、Qwen-Audio Turbo | 21.9%と82.5% | AIR-Bench、ACL 2024 |
| AIR-Bench音声言語識別の精度:Whisper + GPT-4カスケード | 96.8% | AIR-Bench、ACL 2024 |
| Qwen2-Audio:LibriSpeech test-cleanの単語誤り率と、MELDの感情精度 | 1.6%と55.3% | Qwen2-Audio Technical Report、2024 |
| Dynamic-SUPERB Phase-2の感情認識、最良モデル(Qwen2-Audio-7B-Instruct) | 75.8% | Dynamic-SUPERB Phase-2、ICLR 2025 |
| Dynamic-SUPERB Phase-2の話者照合、最良システム(偶然水準 = 50%) | 51.3% | Dynamic-SUPERB Phase-2、ICLR 2025 |
背景:話者の識別に関するスキルの一部は意図的に無効化されている。OpenAIは、拒否すべき話者識別リクエストに対して、公開版のGPT-4oが0.98、初期バージョンが0.83というスコアを報告している(OpenAI、GPT-4o System Card 2024)。話者識別のスコアが低いのは、知覚の失敗だけでなく、安全方針による場合もある。
5. アクセント、ノイズ、不明瞭な音声
クリーンな音声はどのモデルにも有利に働く。tau-Voiceの小売アブレーションでは、アクセントを加えるだけで平均タスク成功率が55%から44%に下がり、背景ノイズを加えるだけで51%に下がった(Rayら、tau-Voice、arXiv 2026)。アクセントによる低下幅はプロバイダーによって1ポイントから18ポイントまで幅があり、ベンダーのクリーンな音声での順位は、自社のユーザーのアクセントにどう対応するかについてほとんど何も教えてくれないということだ。
ノイズの影響は緩やかな坂ではなく、崖のように現れる。2026年の韓国語音声質問応答カスケードの研究では、回答の質は信号対雑音比+10 dBまではほとんど変わらず、音声認識器の文字誤り率が上がるにつれて0 dBを下回ると急激に低下した(JungとChoi、Korean Spoken QA Error Propagation、arXiv 2026)。認識器そのものに対するアクセントの影響は、当社のASRのアクセントバイアスの統計で扱っている。
| 指標 | 値 | 出典 |
|---|---|---|
| tau-Voice小売タスク成功率、音声プロバイダー3社の平均:クリーンな音声とアクセント付加後 | 55%と44% | Rayら、tau-Voice、arXiv 2026 |
| tau-Voice小売:アクセント付加による低下幅、xAIとGoogle | 18ポイントと1ポイント | Rayら、tau-Voice、arXiv 2026 |
| 韓国語音声質問応答、EXAONE-3.5-32BのF1:文字入力の質問、クリーンな音声、SNR -10 dBの音声 | 0.870、0.863、0.586 | JungとChoi、arXiv 2026 |
| 韓国語音声質問応答、ASRの文字誤り率:クリーン、0 dB、SNR -10 dB | 0.0315、0.1143、0.4977 | JungとChoi、arXiv 2026 |
| VoiceBench:指示に発音の誤った単語が含まれる場合の平均スコア低下(全モデル) | 20.34% | Chenら、VoiceBench、arXiv v3 2024 |
| VoxEval:話者のピッチを変えた場合のWhisper + Llamaカスケードの精度変化 | マイナス9.56ポイント | Cuiら、VoxEval、ACL 2025 |
| SD-QA英語テストセット、米国英語認識器の単語誤り率:米国南東部の話者とナイジェリアの話者 | 5.25%と15.35% | Faisalら、SD-QA、EMNLP Findings 2021 |
方言レベルの音声質問応答に関する入手可能な最新データ:Faisalら、SD-QA、2021年。その英語テストセットでは、パッセージ選択のF1は、元の文字入力の質問での58.7から、米国英語のASR書き起こしでは55.8に低下した。書き起こしのみによる読解に関する入手可能な最新データ:Spoken SQuAD、2018年。ここでは、5つの読解モデルの平均F1がSQuADのテキストでは74.54だったが、単語誤り率22.73%のSpoken SQuAD ASR書き起こしでは55.40だった(Spoken SQuAD論文、arXiv 2018)。声の多様性に関する検証も不十分だ。OpenAIは3つのシステム音声と27本の英語の音声サンプルを比較し、人間の声での性能はわずかに低いが有意ではないとした(OpenAI、GPT-4o System Card 2024)。解決の鍵はモデル側に移りつつあり、Qwen2.5-Omniを3つのナイジェリアの言語で微調整したところ、単語誤り率が最大で54%の相対的な低下となった(Awobadeら、AfriVox、EACL 2026)。
6. 人間の上限と2026年の最前線
最も難しい音声推論ベンチマークでは、依然として人間との間に大きな差が残っている。MMSUでは、人間のリスナーが89.72%を記録したのに対し、22の音声モデルとオムニモデルのうち最良のGemini-1.5-Proは60.68%だった(Wangら、MMSU、ICLR 2026)。MMAUでも差は同程度で、1,000問のtest-miniスプリットにおいて、人間の82.23%に対し、最良のエンドツーエンドモデルであるGemini Pro v1.5は54.90%だった(MMAUベンチマーク論文、arXiv 2024)。
同時に、最も易しい音声推論テストはほぼ解かれている。Big Bench Audioは、2024年12月のGPT-4oリアルタイムモデルの66%から、2026年のリーダーボードでは首位のStepAudio 3 Realtimeが44モデル中99.7%に達するまでになった(Artificial Analysis、Speech to Speech リーダーボード 2026)。その間に採点ルールが変わったため、2つの数値は同じ尺度ではないが、方向性は明らかだ。リーダーボードの上位では、テキスト型パズルの音声版はもはやボトルネックではなく、声に固有の知覚こそがボトルネックである。
| 指標 | 値 | 出典 |
|---|---|---|
| MMAU test-mini:人間のリスナーとGemini Pro v1.5 | 82.23%と54.90% | MMAUベンチマーク論文、arXiv 2024 |
| MMAUテストセット(9,000問):Gemini Pro v1.5とQwen2-Audio-Instruct | 52.97%と52.50% | MMAUベンチマーク論文、arXiv 2024 |
| MMAR:Gemini 2.0 Flashとランダム推測 | 65.6%と29.32% | MMARベンチマーク論文、arXiv 2025 |
| MMAR、GPT-4o Audio:音声のみの質問と音楽のみの質問 | 70.41%と50.97% | MMARベンチマーク論文、arXiv 2025 |
| MMAR:評価したモデル数、オープンソースとクローズドソース | 30(24と6) | MMARベンチマーク論文、arXiv 2025 |
| Kimi-Audioチームが報告したVoiceBench平均:Kimi-AudioとGLM-4-Voice | 76.93と57.17 | Kimiチーム、Kimi-Audio Technical Report 2025 |
| Kimi-Audio:事前学習に使用した音声 | 13百万時間以上 | Kimiチーム、Kimi-Audio Technical Report 2025 |
背景:Kimi-Audioの平均値は開発チーム自身による評価であり、セクション2と3にあるVoiceBench著者らの総合スコアとは、2本の論文が別々の評価を行っているため、互換性がない。
まとめ:数字で見る音声言語モデルの音声質問応答ベンチマーク
| 指標 | 値 | 出典 |
|---|---|---|
| Big Bench Audio:GPT-4oテキストからテキストと、音声から音声 | 92%と66% | Artificial Analysis、Big Bench Audio公開 2024 |
| tau-Voice:GPT-5テキストエージェントと、クリーンな音声での音声エージェント | 85%と31%〜51% | Rayら、tau-Voice、arXiv 2026 |
| VoiceBench、DiVAエンドツーエンド:テキスト入力と音声入力 | 81.08と55.70 | Chenら、VoiceBench、arXiv v3 2024 |
| S2SBenchのストーリー補完:テキストのベースラインと最良の音声モデル | 83.0%と79.6% | S2SBench、arXiv 2025 |
| VoxEval:Whisper + LlamaカスケードとGLM-4-Voice | 55.25%と37.63% | Cuiら、VoxEval、ACL 2025 |
| MMAR:Gemini 2.0 Flashと最良のキャプション + LLMカスケード | 65.6%と55.5% | MMARベンチマーク論文、arXiv 2025 |
| MMSU、GPT-4o-Audio:意味知覚とパラ言語知覚 | 59.70%と21.44% | Wangら、MMSU、ICLR 2026 |
| AIR-Bench話者性別:Whisper + GPT-4カスケードとQwen-Audio Turbo | 21.9%と82.5% | AIR-Bench、ACL 2024 |
| Qwen2-Audio:LibriSpeechの単語誤り率とMELDの感情精度 | 1.6%と55.3% | Qwen2-Audio Technical Report、2024 |
| 韓国語音声質問応答のF1(EXAONE-3.5-32B):クリーンな音声とSNR -10 dB | 0.863と0.586 | JungとChoi、arXiv 2026 |
| SD-QA英語の単語誤り率:米国南東部の話者とナイジェリアの話者 | 5.25%と15.35% | Faisalら、SD-QA、EMNLP Findings 2021 |
| Spoken SQuAD読解モデルの平均F1:テキストとASR書き起こし | 74.54と55.40 | Spoken SQuAD論文、arXiv 2018 |
| AfriVox:Qwen2.5-Omniの微調整による単語誤り率の最大の相対的低下 | 最大54% | Awobadeら、AfriVox、EACL 2026 |
| MMAU test-mini:人間とGemini Pro v1.5 | 82.23%と54.90% | MMAUベンチマーク論文、arXiv 2024 |
| Dynamic-SUPERB Phase-2のタスク数 | 180(新規125) | Dynamic-SUPERB Phase-2、ICLR 2025 |
| Kimi-Audioの事前学習用音声 | 13百万時間以上 | Kimiチーム、Kimi-Audio Technical Report 2025 |
| 2026年のBig Bench Audio首位スコア | 99.7%(StepAudio 3 Realtime) | Artificial Analysis、Speech to Speech リーダーボード 2026 |
方法論と出典
- Chenら、VoiceBench: Benchmarking LLM-Based Voice Assistants、arXiv v3、2024年12月、およびそのジャーナル版Transactions of the ACL、第14巻、2026年。
- AIR-Bench: Benchmarking Large Audio-Language Models via Generative Comprehension、ACL 2024。
- Dynamic-SUPERB、ICASSP 2024およびDynamic-SUPERB Phase-2、ICLR 2025。
- MMAU: A Massive Multi-Task Audio Understanding and Reasoning Benchmark、arXiv 2024。
- MMAR: A Challenging Benchmark for Deep Reasoning in Speech, Audio, Music, and Their Mix、arXiv 2025。
- Wangら、MMSU: A Massive Multi-task Spoken Language Understanding and Reasoning Benchmark、ICLR 2026。
- Cuiら、VoxEval、ACL 2025。
- S2SBench: Quantifying Intelligence Degradation in Speech-to-Speech LLMs、華南理工大学とBaichuan、arXiv 2025。
- Rayら、tau-Voice: Benchmarking Full-Duplex Voice Agents on Real-World Domains、SierraとPrinceton University、arXiv 2026年3月。
- JungとChoi、Analyzing Error Propagation in Korean Spoken QA with ASR-LLM Cascades、arXiv 2026。
- Faisalら、SD-QA: Spoken Dialectal Question Answering for the Real World、Findings of EMNLP 2021。
- Spoken SQuAD: Mitigating the Impact of Speech Recognition Errors on Listening Comprehension、arXiv 2018。
- Awobadeら、AfriVox: Probing Multilingual and Accent Robustness of Speech LLMs、EACL 2026。
- Artificial Analysis、Evaluating Audio Reasoning with Big Bench Audio、2024年12月20日、Speech to Speech リーダーボード 2026、および音声から音声へのベンチマーク手法。
- OpenAI、GPT-4o System Card、2024。
- Qwen2-Audio Technical Report、2024およびKimiチーム、Kimi-Audio Technical Report、2025。
- データウォッチ:Big Bench Audioの採点は、v1.0(未回答の質問に減点なし、2024年12月〜2026年3月)から、v1.1(1,000問すべてを集計対象、2026年3月)、さらにv1.2(判定器と採点器を更新、2026年5月)へと変更されたため、66%(2024年)と99.7%(2026年)の数値は同じ尺度ではない。リーダーボードのページにはスコアの日付が記載されておらず、グラフに表示されているのは44モデルのうち37モデルである。当社は2026年10月31日に確認した。ここでのVoiceBenchのスコアは2024年12月のプレプリントによるものだが、その本文と表は一部で食い違っており(本文ではカスケードが4.37ポイント下がったとあるが、表では2.37で、当社は表を採用した)、2026年のジャーナル版では異なるスコアが報告されている可能性がある。VoxEvalの本文は、話し方のスタイルと音質による最大6%の低下を報告しているが、表ではピッチについてマイナス9.56ポイントとなっており、当社は表を採用した。MMSU論文の本文と表4は、GPT-4o-Audioのどの誤りカテゴリが14.7%かについて食い違っている。MMARは30モデルと述べているが、その表には31行が掲載されている。Dynamic-SUPERB Phase-2は、事例による検索ではどのモデルも偶然水準を上回らないと述べているが、その表には1つのモデルで53.5%が示されている。GLM-4-VoiceのsCMMLUに関するS2SBenchの数値は、ベースモデルが提供されていないため、指示モデルのものである。SD-QA(2021年)とSpoken SQuAD(2018年)は3年以上前のもので、カスケード型システムのみを対象としている。tau-Voiceは商用の音声エージェント3種をテストしたため、プロバイダーがモデルを更新すればその差は急速に変わりうる。また、MMSU、MMAU、Kimi-Audioの表は、主に2024年と2025年のモデル世代を対象としている。
最終更新日:2026年10月31日。当社はこのまとめを四半期ごとに更新しており、次回の更新は、Artificial Analysisが次のSpeech to Speech Indexのバージョンを公開し、ICLR 2027の音声LLMベンチマーク論文が出揃う時期を予定している。