Bei denselben 1.000 Reasoning-Fragen aus Big Bench Hard beantwortete GPT-4o 92% richtig, wenn sie als Text ankamen, aber seine Echtzeit-Sprache-zu-Sprache-Version nur 66%, wenn die Fragen gesprochen wurden (Artificial Analysis, Big-Bench-Audio-Launch 2024). Der Abstand hat sich nicht überall geschlossen: Im Kundenservice-Benchmark tau-Voice von 2026 erledigte ein GPT-5-Textagent 85% der Aufgaben, während Voice-Agenten im Vollduplex mit sauberem Audio 31% bis 51% und mit realistischem Rauschen und Akzenten 26% bis 38% schafften (Ray et al., tau-Voice, arXiv 2026). Die schwächste Fähigkeit sind nicht die Worte, sondern die Stimme selbst: GPT-4o-Audio beantwortete bei MMSU 21,44% der Fragen zur paralinguistischen Wahrnehmung richtig, gegenüber 59,70% bei bedeutungsbasierten Fragen (Wang et al., MMSU, ICLR 2026). In Pipelines beginnt das Risiko am vorderen Ende, der Spracherkennung, wo Fehler und erfundener Transkripttext direkt in die Antwort einfließen. Wir haben Daten aus S2SBench, AfriVox, SD-QA, Spoken SQuAD, der OpenAI GPT-4o System Card, den technischen Berichten zu Qwen2-Audio und Kimi-Audio sowie mehr als einem Dutzend Benchmark-Papieren und Ranglisten von ACL, ICLR und arXiv zusammengeführt.
In dieser Zusammenstellung ist ein “Speech-Language-Modell” (auch Sprach-LLM oder großes Audio-Sprachmodell genannt) ein Modell, das Audio direkt aufnimmt. Eine “Pipeline” ist das ältere Design: Ein Spracherkenner schreibt ein Transkript, und ein reines Text-LLM antwortet auf Grundlage dieses Transkripts.
TL;DR
- GPT-4o erreichte bei Big Bench Audio 92% bei Textfragen und 66% bei Sprache-zu-Sprache (Artificial Analysis, Big-Bench-Audio-Launch 2024).
- DiVA fiel von 81,08 bei Texteingabe auf 55,70 bei denselben gesprochenen Anweisungen (Chen et al., VoiceBench, arXiv v3 2024).
- Das zweistufige Training von Baichuan-Audio verringerte den Abstand bei gesprochener Geschichtenvervollständigung auf 3,4 Punkte hinter einer Text-Baseline (S2SBench, arXiv 2025).
- Eine Pipeline aus Whisper plus Llama-3.1-8B erreichte bei VoxEval 55,25% gegenüber 37,63% für das beste Ende-zu-Ende-Modell (Cui et al., VoxEval, ACL 2025).
- Gemini 2.0 Flash erreichte bei MMAR 65,6% und schlug damit jede Pipeline aus Beschreibung plus LLM, deren beste 55,5% erzielte (MMAR-Benchmark-Paper, arXiv 2025).
- GPT-4o-Audio erreichte 21,44% bei paralinguistischer Wahrnehmung gegenüber 59,70% bei semantischer Wahrnehmung (Wang et al., MMSU, ICLR 2026).
- Eine Pipeline aus Whisper plus GPT-4 erkannte das Geschlecht des Sprechers nur in 21,9% der Fälle richtig (AIR-Bench, ACL 2024).
- Akzente senkten den Aufgabenerfolg von Voice-Agenten im Einzelhandel im Durchschnitt von 55% auf 44% (Ray et al., tau-Voice, arXiv 2026).
- EXAONE-3.5-32B fiel in einer koreanischen Pipeline von einem F1-Wert von 0,863 bei sauberem Audio auf 0,586 bei -10 dB Signal-Rausch-Verhältnis (Jung und Choi, arXiv 2026).
- Dynamic-SUPERB wuchs von 55 Evaluierungsinstanzen auf 180 Aufgaben (Dynamic-SUPERB, ICASSP 2024; Dynamic-SUPERB Phase-2, ICLR 2025).
1. Wie groß Benchmarks für gesprochene Fragebeantwortung geworden sind
Die Größe der Benchmarks wuchs zwischen 2023 und 2026 schnell, aber in zwei verschiedene Richtungen. Dynamic-SUPERB ging von 55 Evaluierungsinstanzen (aufgebaut aus 33 Aufgaben und 22 Datensätzen) auf 180 Aufgaben in Phase 2, von denen 125 von der Forschungsgemeinschaft beigesteuert wurden (Dynamic-SUPERB Phase-2, ICLR 2025). Das ist Breite: viele kurze Tests, die jeweils eine Fähigkeit prüfen. VoxEval ging den entgegengesetzten Weg und in die Tiefe bei einer einzigen Fähigkeit, Wissensfragen, indem es 56 MMLU-Fächer in 13.938 gesprochene Frage-Antwort-Paare verwandelte und jedes Paar dann unter 11 Audiobedingungen erzeugte, insgesamt 153.318 Varianten (Cui et al., VoxEval, ACL 2025).
Die praktische Erkenntnis für alle, die eine Modellkarte lesen: Ein einzelner Spitzenwert kann aus 1.000 Aufgaben oder aus 19.000 Aufgaben stammen, und aus synthetischen Stimmen oder aus echten Aufnahmen. Big Bench Audio und MMAR haben jeweils 1.000 Aufgaben, weshalb sich ein Unterschied von 1 bis 2 Punkten zwischen zwei Modellen kaum als echte Rangfolge deuten lässt.
| Metrik | Wert | Quelle |
|---|---|---|
| Dynamic-SUPERB Phase 1: Evaluierungsinstanzen, Aufgaben und Datensätze | 55 Instanzen, 33 Aufgaben, 22 Datensätze | Dynamic-SUPERB, ICASSP 2024 |
| AIR-Bench-Foundation-Benchmark: Aufgaben und Single-Choice-Fragen | 19 Aufgaben, rund 19.000 Fragen | AIR-Bench, ACL 2024 |
| AIR-Bench-Chat-Benchmark: offene Fragen, davon zu Sprache | 2.000 Fragen, 800 zu Sprache | AIR-Bench, ACL 2024 |
| MMAU: Audioclips und getestete unterschiedliche Fähigkeiten | 10.000 Clips, 27 Fähigkeiten | MMAU-Benchmark-Paper, arXiv 2024 |
| MMSU: Fragen und Aufgaben (Wahrnehmung und Reasoning) | 5.000 Fragen, 47 Aufgaben (24 Wahrnehmung, 23 Reasoning) | Wang et al., MMSU, ICLR 2026 |
| VoiceBench (Journalversion): gesprochene Anweisungen und Aufgaben | 6.783 Anweisungen, 8 Aufgaben | Chen et al., VoiceBench, TACL 2026 |
| SD-QA: Audio-Prompts, Dialekte, Sprecher und Sprachen | mehr als 68.000 Prompts, 24 Dialekte, 255 Sprecher, 5 Sprachen | Faisal et al., SD-QA, EMNLP Findings 2021 |
Kontext: Big Bench Audio wurde mit 23 synthetischen Stimmen aus Text-to-Speech-Modellen eingesprochen (Artificial Analysis, Big-Bench-Audio-Launch 2024), und nur rund 6,57% des Audios von Dynamic-SUPERB Phase-2 sind länger als 30 Sekunden (Dynamic-SUPERB Phase-2, ICLR 2025). Die meisten dieser Tests messen daher kurze Fragen, nicht lange oder unordentliche Gespräche.
2. Dieselben Fragen, gesprochen vs. getippt
Das ist der zentrale Vergleich: identischer Inhalt, einmal als Text und einmal als Audio an dasselbe Modell oder dieselbe Modellfamilie geliefert. DiVA, ein Ende-zu-Ende-Sprachmodell, erreichte bei VoiceBench 81,08, wenn es Text bekam, und 55,70, wenn dieselben Anweisungen gesprochen wurden, während eine Pipeline aus Whisper plus LLaMA-3.1-8B nur 2,37 Punkte verlor (Chen et al., VoiceBench, arXiv v3 2024). Das Modell beherrscht den Inhalt offensichtlich; was bricht, ist der Weg vom Klang zur Bedeutung.
Die neueren, sorgfältigeren Designs zeigen, dass der Abstand auf wenige Punkte schrumpfen kann. S2SBench von der South China University of Technology und Baichuan maß das zweistufige Training von Baichuan-Audio mit 79,6% bei gesprochener Geschichtenvervollständigung, 3,4 Punkte hinter der Text-Baseline Qwen2.5-7B mit 83,0% (S2SBench, arXiv 2025). Agentenaufgaben bleiben deutlich schwerer: tau-Voice (im Paper τ-Voice geschrieben) testet Voice-Agenten im Vollduplex an 278 Aufgaben aus den Bereichen Fluggesellschaft, Einzelhandel und Telekommunikation, und bei realistischem Audio verliert der gesprochene Weg immer noch mehr als die Hälfte der Textfähigkeit. Die Antwortgeschwindigkeit ist die andere Seite dieses Zielkonflikts, die wir in unseren Statistiken zur Zeit bis zum ersten Audio behandeln.
| Metrik | Wert | Quelle |
|---|---|---|
| VoiceBench-Gesamtwert, Pipeline Whisper + LLaMA-3.1-8B: Texteingabe vs. gesprochene Eingabe | 81,43 vs. 79,06 | Chen et al., VoiceBench, arXiv v3 2024 |
| VoiceBench-Gesamtwert, Ende-zu-Ende-Modell DiVA: Texteingabe vs. gesprochene Eingabe | 81,08 vs. 55,70 | Chen et al., VoiceBench, arXiv v3 2024 |
| Genauigkeit bei Big Bench Audio: GPT-4o Text-zu-Text vs. GPT-4o Realtime Preview Sprache-zu-Sprache | 92% vs. 66% | Artificial Analysis, Big-Bench-Audio-Launch 2024 |
| Gesprochene Geschichtenvervollständigung (sStoryCloze): Qwen2.5-7B mit Text vs. Baichuan-Audio zweistufig mit Sprache | 83,0% vs. 79,6% | S2SBench, arXiv 2025 |
| Chinesische Alltagswissen-Aussagen (sCMMLU, 4.743 Aufgaben): Qwen2.5-7B mit Text vs. GLM-4-Voice-Instruct-Modell mit Sprache | 70,3% vs. 64,3% | S2SBench, arXiv 2025 |
| Aufgabenerfolg bei tau-Voice: GPT-5-Textagent vs. Voice-Agenten mit sauberem Audio | 85% vs. 31% bis 51% | Ray et al., tau-Voice, arXiv 2026 |
| tau-Voice: Anteil der Textfähigkeit von GPT-5, den Voice-Agenten bei realistischem Audio behalten | etwa 30% bis 45% | Ray et al., tau-Voice, arXiv 2026 |
Ausreißer: VoxEval stellte fest, dass ein und dasselbe Modell sehr unterschiedlich abschneiden kann, je nachdem, welche Seite Audio ist. SPIRIT-LM erreichte bei denselben Fragen 20,84% bei Sprache-zu-Sprache, 23,77% bei Sprache-zu-Text und 1,38% bei Text-zu-Sprache (Cui et al., VoxEval, ACL 2025), eine Erinnerung daran, dass die Ausgabeseite ebenso zählt wie die Eingabeseite.
3. Pipeline (ASR + LLM) vs. Ende-zu-Ende-Sprachmodelle
Bei Fragen, deren Antwort in den Worten liegt, ist die alte Pipeline weiterhin sehr schwer zu schlagen. Bei den gesprochenen MMLU-Fragen von VoxEval erreichte eine Pipeline aus Whisper plus Llama-3.1-8B 55,25%, während das beste Ende-zu-Ende-Sprachmodell GLM-4-Voice 37,63% erreichte, und GLM-4-Voice war das einzige Ende-zu-Ende-Modell, das die Zufallsrate von 25% übertraf (Cui et al., VoxEval, ACL 2025). Dynamic-SUPERB Phase-2 berichtet dasselbe Muster: Bei Spracherkennung und Verständnis gesprochener Sprache übertraf kein getestetes Modell die Whisper-LLaMA-Pipeline (Dynamic-SUPERB Phase-2, ICLR 2025).
Das Bild kehrt sich um, sobald die Antwort vom Klang selbst abhängt. Bei MMAR, das Sprache, Musik und Geräusche mischt, schlug Gemini 2.0 Flash jede Pipeline, die Audio zuerst in eine Textbeschreibung umwandelte (MMAR-Benchmark-Paper, arXiv 2025). Die Lehre: Pipelines gewinnen, wenn ein Transkript alles enthält; Ende-zu-Ende-Modelle gewinnen, wenn das Transkript den entscheidenden Hinweis verwirft.
| Metrik | Wert | Quelle |
|---|---|---|
| Genauigkeit bei VoxEval: Pipeline Whisper + Llama-3.1-8B vs. GLM-4-Voice Ende-zu-Ende | 55,25% vs. 37,63% | Cui et al., VoxEval, ACL 2025 |
| VoxEval-Teilmenge mit 12 Fächern: gpt-4o-audio-preview vs. Pipeline Whisper + Llama-3.1 | 0,718 vs. 0,606 | Cui et al., VoxEval, ACL 2025 |
| AIR-Bench Chat, durchschnittlicher GPT-4-Wert (1 bis 10): Pipeline Whisper + GPT-4 vs. bestes Ende-zu-Ende-Modell (Qwen-Audio Turbo) | 7,54 vs. 6,34 | AIR-Bench, ACL 2024 |
| AIR-Bench Foundation, durchschnittliche Genauigkeit: Qwen-Audio Turbo Ende-zu-Ende vs. Pipeline Whisper + GPT-4 | 57,8% vs. 53,6% | AIR-Bench, ACL 2024 |
| MMAU-Testset, Sprachfragen: GPT-4o liest eine ausführliche Audiobeschreibung vs. Gemini Pro v1.5 hört das Audio | 68,66% vs. 55,90% | MMAU-Benchmark-Paper, arXiv 2024 |
| Durchschnittliche Genauigkeit bei MMAR: Gemini 2.0 Flash Ende-zu-Ende vs. beste Pipeline aus Beschreibung + LLM (Beschreibung + DeepSeek-R1) | 65,6% vs. 55,5% | MMAR-Benchmark-Paper, arXiv 2025 |
| VoiceBench-Gesamtwert mit gesprochener Eingabe: Pipeline Whisper + GPT-4o vs. GPT-4o-Audio | 87,23 vs. 86,42 | Chen et al., VoiceBench, arXiv v3 2024 |
Kontext: AIR-Bench zeigt beide Seiten in einem Paper. Die Pipeline gewann den offenen Chat-Test, verlor aber den Foundation-Test, und die Autoren führen ihren schwachen Foundation-Wert auf Fragen zu Geschlecht, Alter und Emotion des Sprechers zurück (siehe Abschnitt 4).
4. Die paralinguistische Lücke: Hören, wie etwas gesagt wird
“Paralinguistisch” meint alles in einer Stimme, was über die Worte hinausgeht: Emotion, Alter und Geschlecht des Sprechers, Sprechstil, Betonung. Hier sind Sprach-LLMs am schwächsten. Bei MMSU beantwortete GPT-4o-Audio 59,70% der Fragen zur semantischen Wahrnehmung richtig, aber nur 21,44% der Fragen zur paralinguistischen Wahrnehmung, und Gemini-1.5-Pro, das insgesamt beste Modell, erreichte bei paralinguistischer Wahrnehmung nur 31,23% (Wang et al., MMSU, ICLR 2026). Wahrnehmungsfehler, nicht Reasoning-Fehler, machten 50,3% der Fehler von GPT-4o-Audio und 51,0% der Fehler von Gemini-1.5-Pro aus.
Worte zu erkennen ist einfach geworden; die Stimme zu lesen nicht. Qwen2-Audio transkribiert das LibriSpeech-Testset test-clean mit einer Wortfehlerrate von 1,6%, erreicht aber nur 55,3% Genauigkeit im MELD-Test zur Emotionserkennung (Qwen2-Audio Technical Report, 2024). Zur klinischen Seite der Emotionserkennung siehe unsere Statistiken zur Genauigkeit der Emotionserkennung in Sprache.
| Metrik | Wert | Quelle |
|---|---|---|
| MMSU-Wahrnehmung, GPT-4o-Audio: semantische Fragen vs. paralinguistische Fragen | 59,70% vs. 21,44% | Wang et al., MMSU, ICLR 2026 |
| MMSU-Wahrnehmung, Gemini-1.5-Pro: semantische Fragen vs. paralinguistische Fragen | 57,06% vs. 31,23% | Wang et al., MMSU, ICLR 2026 |
| AIR-Bench, Genauigkeit beim Sprechergeschlecht: Pipeline Whisper + GPT-4 vs. Qwen-Audio Turbo | 21,9% vs. 82,5% | AIR-Bench, ACL 2024 |
| AIR-Bench, Genauigkeit bei der Identifikation der gesprochenen Sprache: Pipeline Whisper + GPT-4 | 96,8% | AIR-Bench, ACL 2024 |
| Qwen2-Audio: Wortfehlerrate bei LibriSpeech test-clean vs. Emotionsgenauigkeit bei MELD | 1,6% vs. 55,3% | Qwen2-Audio Technical Report, 2024 |
| Emotionserkennung bei Dynamic-SUPERB Phase-2, bestes Modell (Qwen2-Audio-7B-Instruct) | 75,8% | Dynamic-SUPERB Phase-2, ICLR 2025 |
| Sprecherverifikation bei Dynamic-SUPERB Phase-2, bestes System (Zufallsniveau = 50%) | 51,3% | Dynamic-SUPERB Phase-2, ICLR 2025 |
Kontext: Einige Fähigkeiten zur Sprecheridentität sind bewusst abgeschaltet. OpenAI berichtet für das ausgelieferte GPT-4o einen Wert von 0,98 bei Anfragen zur Sprecheridentifikation, die es ablehnen soll, gegenüber 0,83 bei einer frühen Version (OpenAI, GPT-4o System Card 2024). Ein niedriger Wert bei der Sprecheridentität kann eine Sicherheitsvorgabe sein und nicht nur ein Wahrnehmungsfehler.
5. Akzente, Rauschen und unsaubere Sprache
Sauberes Audio schmeichelt jedem Modell. In der Einzelhandels-Ablation von tau-Voice senkten allein Akzente den durchschnittlichen Aufgabenerfolg von 55% auf 44%, während allein Hintergrundrauschen ihn auf 51% senkte (Ray et al., tau-Voice, arXiv 2026). Der Akzent-Abschlag reichte je nach Anbieter von 1 Punkt bis 18 Punkten, was bedeutet, dass die Rangfolge eines Anbieters bei sauberem Audio wenig darüber aussagt, wie er mit den Akzenten Ihrer Nutzer umgeht.
Rauschen folgt einer Klippe, nicht einer Steigung. In einer koreanischen Studie von 2026 zu einer Pipeline für gesprochene Fragebeantwortung veränderte sich die Antwortqualität bis hinunter zu +10 dB Signal-Rausch-Verhältnis kaum und fiel dann unterhalb von 0 dB stark ab, während die Zeichenfehlerrate des Spracherkenners anstieg (Jung und Choi, Korean Spoken QA Error Propagation, arXiv 2026). Die Auswirkungen von Akzenten auf den Erkenner selbst behandeln unsere Statistiken zum Akzent-Bias bei ASR.
| Metrik | Wert | Quelle |
|---|---|---|
| tau-Voice Aufgabenerfolg im Einzelhandel, Durchschnitt von 3 Voice-Anbietern: sauberes Audio vs. mit hinzugefügten Akzenten | 55% vs. 44% | Ray et al., tau-Voice, arXiv 2026 |
| tau-Voice Einzelhandel: Rückgang durch hinzugefügte Akzente, xAI vs. Google | 18 Punkte vs. 1 Punkt | Ray et al., tau-Voice, arXiv 2026 |
| Koreanische gesprochene Fragebeantwortung, F1 von EXAONE-3.5-32B: getippte Frage vs. sauberes Audio vs. Audio bei -10 dB SNR | 0,870 vs. 0,863 vs. 0,586 | Jung und Choi, arXiv 2026 |
| Koreanische gesprochene Fragebeantwortung, Zeichenfehlerrate des ASR: sauber vs. 0 dB vs. -10 dB SNR | 0,0315 vs. 0,1143 vs. 0,4977 | Jung und Choi, arXiv 2026 |
| VoiceBench: durchschnittlicher Wertverlust, wenn Anweisungen falsch ausgesprochene Wörter enthalten (alle Modelle) | 20,34% | Chen et al., VoiceBench, arXiv v3 2024 |
| VoxEval: Veränderung der Genauigkeit der Pipeline Whisper + Llama, wenn die Tonhöhe des Sprechers verändert wird | minus 9,56 Punkte | Cui et al., VoxEval, ACL 2025 |
| SD-QA, englisches Testset, Wortfehlerrate eines US-englischen Erkenners: Sprecher aus dem Südosten der USA vs. nigerianische Sprecher | 5,25% vs. 15,35% | Faisal et al., SD-QA, EMNLP Findings 2021 |
Neueste verfügbare Daten zur gesprochenen Fragebeantwortung auf Dialektebene: Faisal et al., SD-QA, 2021. Auf dem englischen Testset fiel der F1-Wert der Passagenauswahl von 58,7 mit der ursprünglichen getippten Frage auf 55,8 mit einem US-englischen ASR-Transkript. Neueste verfügbare Daten zum Leseverständnis nur anhand von Transkripten: Spoken SQuAD, 2018, wo fünf Lesemodelle auf SQuAD-Text im Durchschnitt einen F1-Wert von 74,54 erreichten, auf den ASR-Transkripten von Spoken SQuAD mit einer Wortfehlerrate von 22,73% aber nur 55,40 (Spoken-SQuAD-Paper, arXiv 2018). Auch Tests zur Stimmenvielfalt sind dünn: OpenAI verglich 3 Systemstimmen mit 27 englischen Stimmproben und bezeichnete die Leistung bei menschlichen Stimmen als geringfügig, aber nicht signifikant schlechter (OpenAI, GPT-4o System Card 2024). Die Lösung verlagert sich auf die Modellseite: Das Feintuning von Qwen2.5-Omni auf drei nigerianischen Sprachen brachte eine relative Senkung der Wortfehlerrate um bis zu 54% (Awobade et al., AfriVox, EACL 2026).
6. Menschliche Obergrenzen und die Spitze 2026
Die schwierigsten Audio-Reasoning-Benchmarks lassen weiterhin einen großen Abstand zu Menschen. Menschliche Hörer erreichten bei MMSU 89,72%, während das beste von 22 Sprach- und Omni-Modellen, Gemini-1.5-Pro, 60,68% erreichte (Wang et al., MMSU, ICLR 2026). Bei MMAU ist der Abstand ähnlich: 82,23% für Menschen gegenüber 54,90% für Gemini Pro v1.5, das beste Ende-zu-Ende-Modell, auf dem Test-mini-Split mit 1.000 Fragen (MMAU-Benchmark-Paper, arXiv 2024).
Zugleich sind die einfachsten Tests zum gesprochenen Reasoning nahezu gelöst. Big Bench Audio ging von 66% für das Echtzeitmodell von GPT-4o im Dezember 2024 zu einer Rangliste von 2026, in der der Spitzenreiter StepAudio 3 Realtime unter 44 Modellen 99,7% erzielt (Artificial Analysis, Speech-to-Speech-Rangliste 2026). Die Bewertungsregeln änderten sich dazwischen, sodass die beiden Zahlen nicht auf derselben Skala liegen, aber die Richtung ist klar: An der Spitze der Rangliste sind gesprochene Versionen von Rätseln im Textstil nicht mehr der Engpass. Die stimmspezifische Wahrnehmung ist es.
| Metrik | Wert | Quelle |
|---|---|---|
| MMAU test-mini: menschliche Hörer vs. Gemini Pro v1.5 | 82,23% vs. 54,90% | MMAU-Benchmark-Paper, arXiv 2024 |
| MMAU-Testset (9.000 Fragen): Gemini Pro v1.5 vs. Qwen2-Audio-Instruct | 52,97% vs. 52,50% | MMAU-Benchmark-Paper, arXiv 2024 |
| MMAR: Gemini 2.0 Flash vs. Zufallsraten | 65,6% vs. 29,32% | MMAR-Benchmark-Paper, arXiv 2025 |
| MMAR, GPT-4o Audio: reine Sprachfragen vs. reine Musikfragen | 70,41% vs. 50,97% | MMAR-Benchmark-Paper, arXiv 2025 |
| MMAR: ausgewertete Modelle, Open Source plus Closed Source | 30 (24 plus 6) | MMAR-Benchmark-Paper, arXiv 2025 |
| VoiceBench-Durchschnitt laut Kimi-Audio-Team: Kimi-Audio vs. GLM-4-Voice | 76,93 vs. 57,17 | Kimi Team, Kimi-Audio Technical Report 2025 |
| Kimi-Audio: für das Pretraining verwendetes Audio | mehr als 13 Millionen Stunden | Kimi Team, Kimi-Audio Technical Report 2025 |
Kontext: Die Durchschnittswerte von Kimi-Audio stammen aus der eigenen Evaluierung des Entwicklerteams und sind daher nicht austauschbar mit den Gesamtwerten der VoiceBench-Autoren in den Abschnitten 2 und 3, weil die beiden Paper getrennte Evaluierungen durchführten.
Zusammenfassung: Benchmarks für gesprochene Fragebeantwortung bei Speech-Language-Modellen in Zahlen
| Metrik | Wert | Quelle |
|---|---|---|
| Big Bench Audio: GPT-4o Text-zu-Text vs. Sprache-zu-Sprache | 92% vs. 66% | Artificial Analysis, Big-Bench-Audio-Launch 2024 |
| tau-Voice: GPT-5-Textagent vs. Voice-Agenten mit sauberem Audio | 85% vs. 31% bis 51% | Ray et al., tau-Voice, arXiv 2026 |
| VoiceBench, DiVA Ende-zu-Ende: Texteingabe vs. gesprochene Eingabe | 81,08 vs. 55,70 | Chen et al., VoiceBench, arXiv v3 2024 |
| S2SBench Geschichtenvervollständigung: Text-Baseline vs. bestes Sprachmodell | 83,0% vs. 79,6% | S2SBench, arXiv 2025 |
| VoxEval: Pipeline Whisper + Llama vs. GLM-4-Voice | 55,25% vs. 37,63% | Cui et al., VoxEval, ACL 2025 |
| MMAR: Gemini 2.0 Flash vs. beste Pipeline aus Beschreibung + LLM | 65,6% vs. 55,5% | MMAR-Benchmark-Paper, arXiv 2025 |
| MMSU, GPT-4o-Audio: semantische vs. paralinguistische Wahrnehmung | 59,70% vs. 21,44% | Wang et al., MMSU, ICLR 2026 |
| AIR-Bench Sprechergeschlecht: Pipeline Whisper + GPT-4 vs. Qwen-Audio Turbo | 21,9% vs. 82,5% | AIR-Bench, ACL 2024 |
| Qwen2-Audio: Wortfehlerrate bei LibriSpeech vs. Emotionsgenauigkeit bei MELD | 1,6% vs. 55,3% | Qwen2-Audio Technical Report, 2024 |
| Koreanische gesprochene Fragebeantwortung, F1 (EXAONE-3.5-32B): sauberes Audio vs. -10 dB SNR | 0,863 vs. 0,586 | Jung und Choi, arXiv 2026 |
| SD-QA, englische Wortfehlerrate: Sprecher aus dem Südosten der USA vs. nigerianische Sprecher | 5,25% vs. 15,35% | Faisal et al., SD-QA, EMNLP Findings 2021 |
| Lesemodelle bei Spoken SQuAD, durchschnittlicher F1-Wert: Text vs. ASR-Transkripte | 74,54 vs. 55,40 | Spoken-SQuAD-Paper, arXiv 2018 |
| AfriVox: größte relative Senkung der Wortfehlerrate durch Feintuning von Qwen2.5-Omni | bis zu 54% | Awobade et al., AfriVox, EACL 2026 |
| MMAU test-mini: Menschen vs. Gemini Pro v1.5 | 82,23% vs. 54,90% | MMAU-Benchmark-Paper, arXiv 2024 |
| Aufgaben bei Dynamic-SUPERB Phase-2 | 180 (125 neue) | Dynamic-SUPERB Phase-2, ICLR 2025 |
| Pretraining-Audio von Kimi-Audio | mehr als 13 Millionen Stunden | Kimi Team, Kimi-Audio Technical Report 2025 |
| Bestwert bei Big Bench Audio 2026 | 99,7% (StepAudio 3 Realtime) | Artificial Analysis, Speech-to-Speech-Rangliste 2026 |
Methodik und Quellen
- Chen et al., VoiceBench: Benchmarking LLM-Based Voice Assistants, arXiv v3, Dezember 2024 und die Journalversion in den Transactions of the ACL, Band 14, 2026.
- AIR-Bench: Benchmarking Large Audio-Language Models via Generative Comprehension, ACL 2024.
- Dynamic-SUPERB, ICASSP 2024 und Dynamic-SUPERB Phase-2, ICLR 2025.
- MMAU: A Massive Multi-Task Audio Understanding and Reasoning Benchmark, arXiv 2024.
- MMAR: A Challenging Benchmark for Deep Reasoning in Speech, Audio, Music, and Their Mix, arXiv 2025.
- Wang et al., MMSU: A Massive Multi-task Spoken Language Understanding and Reasoning Benchmark, ICLR 2026.
- Cui et al., VoxEval, ACL 2025.
- S2SBench: Quantifying Intelligence Degradation in Speech-to-Speech LLMs, South China University of Technology und Baichuan, arXiv 2025.
- Ray et al., tau-Voice: Benchmarking Full-Duplex Voice Agents on Real-World Domains, Sierra und Princeton University, arXiv, März 2026.
- Jung und Choi, Analyzing Error Propagation in Korean Spoken QA with ASR-LLM Cascades, arXiv 2026.
- Faisal et al., SD-QA: Spoken Dialectal Question Answering for the Real World, Findings of EMNLP 2021.
- Spoken SQuAD: Mitigating the Impact of Speech Recognition Errors on Listening Comprehension, arXiv 2018.
- Awobade et al., AfriVox: Probing Multilingual and Accent Robustness of Speech LLMs, EACL 2026.
- Artificial Analysis, Evaluating Audio Reasoning with Big Bench Audio, 20. Dezember 2024, Speech-to-Speech-Rangliste 2026 und Methodik des Speech-to-Speech-Benchmarkings.
- OpenAI, GPT-4o System Card, 2024.
- Qwen2-Audio Technical Report, 2024 und Kimi Team, Kimi-Audio Technical Report, 2025.
- Daten-Hinweis: Die Bewertung von Big Bench Audio wechselte von v1.0 (unbeantwortete Fragen nicht bestraft, Dezember 2024 bis März 2026) zu v1.1 (alle 1.000 Fragen gezählt, März 2026) und v1.2 (aktualisierter Judge und Grader, Mai 2026), sodass die Zahlen 66% (2024) und 99,7% (2026) nicht auf derselben Skala liegen. Die Ranglistenseite nennt kein Datum für ihre Ergebnisse, und ihr Diagramm zeigt 37 der 44 Modelle; wir haben sie am 31. Oktober 2026 abgelesen. Die VoiceBench-Werte stammen hier aus dem Preprint vom Dezember 2024, dessen Text und Tabellen sich an einigen Stellen widersprechen (der Text sagt, die Pipeline habe 4,37 Punkte verloren, die Tabelle zeigt 2,37; wir haben die Tabelle verwendet), und die Journalversion von 2026 könnte andere Werte berichten. Der Text von VoxEval berichtet Rückgänge von bis zu 6% durch Sprechstil und Audioqualität, während die Tabelle für die Tonhöhe minus 9,56 Punkte zeigt; wir haben die Tabelle verwendet. Der Fließtext des MMSU-Papers und Tabelle 4 widersprechen sich darin, welche Fehlerkategorie von GPT-4o-Audio 14,7% beträgt. MMAR nennt 30 Modelle, seine Tabelle führt aber 31 Zeilen auf. Dynamic-SUPERB Phase-2 gibt an, kein Modell übertreffe bei der Query-by-Example-Suche das Zufallsniveau, während die Tabelle für ein Modell 53,5% zeigt. Die S2SBench-Zahlen für GLM-4-Voice bei sCMMLU verwenden das Instruct-Modell, weil kein Basismodell bereitgestellt wurde. SD-QA (2021) und Spoken SQuAD (2018) sind älter als drei Jahre und decken nur Pipeline-Systeme ab. tau-Voice testete 3 kommerzielle Voice-Agenten, daher kann sich die Streuung schnell ändern, wenn Anbieter ihre Modelle aktualisieren, und die Tabellen von MMSU, MMAU und Kimi-Audio decken überwiegend die Modellgenerationen von 2024 und 2025 ab.
Zuletzt aktualisiert: 31. Oktober 2026. Wir aktualisieren diese Zusammenstellung vierteljährlich, und die nächste Aktualisierung wird erwartet, wenn Artificial Analysis die nächste Version seines Speech to Speech Index veröffentlicht und die Benchmark-Paper zu Sprach-LLMs der ICLR 2027 erscheinen.