Pada 1.000 pertanyaan penalaran Big Bench Hard yang sama, GPT-4o menjawab benar 92% ketika pertanyaan datang sebagai teks, tetapi versi ucapan-ke-ucapan waktu nyata hanya menjawab benar 66% ketika pertanyaan itu diucapkan (Artificial Analysis, peluncuran Big Bench Audio 2024). Kesenjangan itu belum menutup di semua tempat: pada benchmark layanan pelanggan tau-Voice 2026, agen teks GPT-5 menyelesaikan 85% tugas, sedangkan agen suara dupleks penuh menyelesaikan 31% hingga 51% dengan audio bersih dan 26% hingga 38% dengan derau dan aksen yang realistis (Ray dkk., tau-Voice, arXiv 2026). Keterampilan terlemah bukanlah kata-kata, melainkan suara itu sendiri: GPT-4o-Audio menjawab benar 21,44% pertanyaan persepsi paralinguistik di MMSU, dibanding 59,70% untuk pertanyaan berbasis makna (Wang dkk., MMSU, ICLR 2026). Pada rangkaian ASR + LLM, risiko dimulai dari bagian depan pengenalan ucapan, tempat kesalahan dan teks transkrip karangan mengalir langsung ke jawaban. Kami menghimpun data dari S2SBench, AfriVox, SD-QA, Spoken SQuAD, OpenAI GPT-4o System Card, laporan teknis Qwen2-Audio dan Kimi-Audio, serta lebih dari selusin makalah benchmark dan papan peringkat dari ACL, ICLR, dan arXiv.
Dalam rangkuman ini, “model bahasa wicara” (disebut juga LLM wicara atau model bahasa audio besar) adalah model yang menerima audio secara langsung. “Rangkaian ASR + LLM” adalah rancangan yang lebih lama: pengenal ucapan menulis transkrip, lalu LLM berbasis teks saja menjawab berdasarkan transkrip itu.
TL;DR
- GPT-4o meraih 92% pada pertanyaan teks dan 66% pada ucapan-ke-ucapan di Big Bench Audio (Artificial Analysis, peluncuran Big Bench Audio 2024).
- DiVA turun dari 81,08 dengan masukan teks menjadi 55,70 dengan instruksi yang sama diucapkan (Chen dkk., VoiceBench, arXiv v3 2024).
- Pelatihan dua tahap Baichuan-Audio memangkas kesenjangan penyelesaian cerita lisan menjadi 3,4 poin di belakang baseline teks (S2SBench, arXiv 2025).
- Rangkaian Whisper plus Llama-3.1-8B meraih 55,25% pada VoxEval dibanding 37,63% untuk model ujung ke ujung terbaik (Cui dkk., VoxEval, ACL 2025).
- Gemini 2.0 Flash mencapai 65,6% pada MMAR, mengungguli setiap rangkaian keterangan plus LLM, yang terbaiknya meraih 55,5% (makalah benchmark MMAR, arXiv 2025).
- GPT-4o-Audio meraih 21,44% pada persepsi paralinguistik dibanding 59,70% pada persepsi semantik (Wang dkk., MMSU, ICLR 2026).
- Rangkaian Whisper plus GPT-4 hanya mengenali jenis kelamin pembicara dengan benar pada 21,9% kasus (AIR-Bench, ACL 2024).
- Penambahan aksen menurunkan rata-rata keberhasilan tugas ritel agen suara dari 55% menjadi 44% (Ray dkk., tau-Voice, arXiv 2026).
- EXAONE-3.5-32B turun dari F1 0,863 pada audio bersih menjadi 0,586 pada rasio sinyal terhadap derau -10 dB dalam rangkaian berbahasa Korea (Jung dan Choi, arXiv 2026).
- Dynamic-SUPERB tumbuh dari 55 instans evaluasi menjadi 180 tugas (Dynamic-SUPERB, ICASSP 2024; Dynamic-SUPERB Phase-2, ICLR 2025).
1. Seberapa Besar Benchmark Tanya Jawab Lisan Kini
Ukuran benchmark tumbuh pesat antara 2023 dan 2026, tetapi ke dua arah yang berbeda. Dynamic-SUPERB berkembang dari 55 instans evaluasi (dibangun dari 33 tugas dan 22 dataset) menjadi 180 tugas pada Phase-2, dengan 125 di antaranya disumbangkan oleh komunitas peneliti (Dynamic-SUPERB Phase-2, ICLR 2025). Itu adalah cakupan luas: banyak tes pendek, masing-masing menguji satu keterampilan. VoxEval menempuh jalan sebaliknya dan mendalami satu keterampilan, yakni pertanyaan pengetahuan, dengan mengubah 56 subjek MMLU menjadi 13.938 pasangan tanya jawab lisan, lalu menghasilkan setiap pasangan dalam 11 kondisi audio sehingga menjadi 153.318 variasi (Cui dkk., VoxEval, ACL 2025).
Pelajaran praktis bagi siapa pun yang membaca kartu model: satu skor utama bisa berasal dari 1.000 butir atau dari 19.000 butir, dan dari suara sintetis atau rekaman nyata. Big Bench Audio dan MMAR masing-masing memiliki 1.000 butir, sehingga selisih 1 hingga 2 poin antara dua model sulit dibaca sebagai peringkat yang nyata.
| Metrik | Nilai | Sumber |
|---|---|---|
| Dynamic-SUPERB Phase 1: instans evaluasi, tugas, dan dataset | 55 instans, 33 tugas, 22 dataset | Dynamic-SUPERB, ICASSP 2024 |
| Benchmark fondasi AIR-Bench: tugas dan pertanyaan pilihan tunggal | 19 tugas, sekitar 19.000 pertanyaan | AIR-Bench, ACL 2024 |
| Benchmark percakapan AIR-Bench: pertanyaan terbuka, di antaranya tentang ucapan | 2.000 pertanyaan, 800 tentang ucapan | AIR-Bench, ACL 2024 |
| MMAU: klip audio dan keterampilan berbeda yang diuji | 10.000 klip, 27 keterampilan | Makalah benchmark MMAU, arXiv 2024 |
| MMSU: pertanyaan dan tugas (persepsi dan penalaran) | 5.000 pertanyaan, 47 tugas (24 persepsi, 23 penalaran) | Wang dkk., MMSU, ICLR 2026 |
| VoiceBench (versi jurnal): instruksi lisan dan tugas | 6.783 instruksi, 8 tugas | Chen dkk., VoiceBench, TACL 2026 |
| SD-QA: prompt audio, dialek, pembicara, dan bahasa | lebih dari 68.000 prompt, 24 dialek, 255 pembicara, 5 bahasa | Faisal dkk., SD-QA, EMNLP Findings 2021 |
Konteks: Big Bench Audio disuarakan dengan 23 suara sintetis dari model teks-ke-ucapan (Artificial Analysis, peluncuran Big Bench Audio 2024), dan hanya sekitar 6,57% audio Dynamic-SUPERB Phase-2 yang berdurasi lebih dari 30 detik (Dynamic-SUPERB Phase-2, ICLR 2025). Dengan demikian, sebagian besar tes ini mengukur pertanyaan pendek, bukan percakapan panjang atau berantakan.
2. Pertanyaan yang Sama, Diucapkan dan Diketik
Inilah perbandingan inti: konten identik, disampaikan sekali sebagai teks dan sekali sebagai audio, kepada model atau keluarga model yang sama. DiVA, model wicara ujung ke ujung, meraih 81,08 di VoiceBench ketika diberi teks dan 55,70 ketika instruksi yang sama diucapkan, sementara rangkaian Whisper plus LLaMA-3.1-8B hanya kehilangan 2,37 poin (Chen dkk., VoiceBench, arXiv v3 2024). Model jelas menguasai isinya; yang rusak adalah jalur dari bunyi ke makna.
Rancangan yang lebih baru dan lebih cermat menunjukkan bahwa kesenjangan dapat menyusut menjadi beberapa poin. S2SBench, dari South China University of Technology dan Baichuan, mengukur pelatihan dua tahap Baichuan-Audio pada 79,6% untuk penyelesaian cerita lisan, 3,4 poin di belakang baseline teks Qwen2.5-7B sebesar 83,0% (S2SBench, arXiv 2025). Tugas agen tetap jauh lebih sulit: tau-Voice (ditulis τ-Voice dalam makalahnya) menguji agen suara dupleks penuh pada 278 tugas maskapai, ritel, dan telekomunikasi, dan pada audio yang realistis jalur lisan masih kehilangan lebih dari separuh kemampuan teks. Kecepatan respons adalah sisi lain dari pertukaran ini, dibahas dalam statistik waktu hingga audio pertama kami.
| Metrik | Nilai | Sumber |
|---|---|---|
| Skor keseluruhan VoiceBench, rangkaian Whisper + LLaMA-3.1-8B: masukan teks berbanding masukan lisan | 81,43 berbanding 79,06 | Chen dkk., VoiceBench, arXiv v3 2024 |
| Skor keseluruhan VoiceBench, model ujung ke ujung DiVA: masukan teks berbanding masukan lisan | 81,08 berbanding 55,70 | Chen dkk., VoiceBench, arXiv v3 2024 |
| Akurasi Big Bench Audio: GPT-4o teks-ke-teks berbanding GPT-4o Realtime Preview ucapan-ke-ucapan | 92% berbanding 66% | Artificial Analysis, peluncuran Big Bench Audio 2024 |
| Penyelesaian cerita lisan (sStoryCloze): Qwen2.5-7B dengan teks berbanding Baichuan-Audio dua tahap dengan ucapan | 83,0% berbanding 79,6% | S2SBench, arXiv 2025 |
| Pernyataan akal sehat bahasa Mandarin (sCMMLU, 4.743 butir): Qwen2.5-7B dengan teks berbanding model instruct GLM-4-Voice dengan ucapan | 70,3% berbanding 64,3% | S2SBench, arXiv 2025 |
| Keberhasilan tugas tau-Voice: agen teks GPT-5 berbanding agen suara dengan audio bersih | 85% berbanding 31% hingga 51% | Ray dkk., tau-Voice, arXiv 2026 |
| tau-Voice: bagian kemampuan teks GPT-5 yang dipertahankan agen suara pada audio realistis | sekitar 30% hingga 45% | Ray dkk., tau-Voice, arXiv 2026 |
Pencilan: VoxEval menemukan bahwa satu model dapat meraih skor yang sangat berbeda tergantung sisi mana yang berupa audio. SPIRIT-LM meraih 20,84% ucapan-ke-ucapan, 23,77% ucapan-ke-teks, dan 1,38% teks-ke-ucapan pada pertanyaan yang sama (Cui dkk., VoxEval, ACL 2025), pengingat bahwa sisi keluaran sama pentingnya dengan sisi masukan.
3. Rangkaian (ASR + LLM) Berbanding Model Wicara Ujung ke Ujung
Untuk pertanyaan yang jawabannya terletak pada kata-kata, rangkaian lama masih sangat sulit dikalahkan. Pada pertanyaan MMLU lisan VoxEval, rangkaian Whisper plus Llama-3.1-8B meraih 55,25%, sedangkan model wicara ujung ke ujung terbaik, GLM-4-Voice, meraih 37,63%, dan GLM-4-Voice adalah satu-satunya model ujung ke ujung yang melampaui garis tebakan acak 25% (Cui dkk., VoxEval, ACL 2025). Dynamic-SUPERB Phase-2 melaporkan pola yang sama: pada pengenalan ucapan dan pemahaman bahasa lisan, tidak ada model yang diuji mengungguli rangkaian Whisper-LLaMA (Dynamic-SUPERB Phase-2, ICLR 2025).
Gambaran berbalik begitu jawaban bergantung pada bunyi itu sendiri. Pada MMAR, yang memadukan ucapan, musik, dan suara, Gemini 2.0 Flash mengungguli setiap rangkaian yang lebih dulu mengubah audio menjadi keterangan teks (makalah benchmark MMAR, arXiv 2025). Pelajarannya: rangkaian menang ketika transkrip memuat segalanya; model ujung ke ujung menang ketika transkrip membuang petunjuknya.
| Metrik | Nilai | Sumber |
|---|---|---|
| Akurasi VoxEval: rangkaian Whisper + Llama-3.1-8B berbanding GLM-4-Voice ujung ke ujung | 55,25% berbanding 37,63% | Cui dkk., VoxEval, ACL 2025 |
| Subset 12 subjek VoxEval: gpt-4o-audio-preview berbanding rangkaian Whisper + Llama-3.1 | 0,718 berbanding 0,606 | Cui dkk., VoxEval, ACL 2025 |
| Percakapan AIR-Bench, skor GPT-4 rata-rata (1 hingga 10): rangkaian Whisper + GPT-4 berbanding model ujung ke ujung terbaik (Qwen-Audio Turbo) | 7,54 berbanding 6,34 | AIR-Bench, ACL 2024 |
| Fondasi AIR-Bench, akurasi rata-rata: Qwen-Audio Turbo ujung ke ujung berbanding rangkaian Whisper + GPT-4 | 57,8% berbanding 53,6% | AIR-Bench, ACL 2024 |
| Set uji MMAU, pertanyaan ucapan: GPT-4o yang membaca keterangan audio terperinci berbanding Gemini Pro v1.5 yang mendengar audio | 68,66% berbanding 55,90% | Makalah benchmark MMAU, arXiv 2024 |
| Akurasi rata-rata MMAR: Gemini 2.0 Flash ujung ke ujung berbanding rangkaian keterangan + LLM terbaik (keterangan + DeepSeek-R1) | 65,6% berbanding 55,5% | Makalah benchmark MMAR, arXiv 2025 |
| Skor keseluruhan VoiceBench dengan masukan lisan: rangkaian Whisper + GPT-4o berbanding GPT-4o-Audio | 87,23 berbanding 86,42 | Chen dkk., VoiceBench, arXiv v3 2024 |
Konteks: AIR-Bench menunjukkan kedua sisi dalam satu makalah. Rangkaian menang pada tes percakapan terbuka tetapi kalah pada tes fondasi, dan para penulis mengaitkan lemahnya skor fondasinya dengan pertanyaan tentang jenis kelamin, usia, dan emosi pembicara (lihat bagian 4).
4. Kesenjangan Paralinguistik: Mendengar Bagaimana Sesuatu Diucapkan
“Paralinguistik” berarti segala hal dalam suara di luar kata-kata: emosi, usia dan jenis kelamin pembicara, gaya bicara, penekanan. Di sinilah LLM wicara paling lemah. Pada MMSU, GPT-4o-Audio menjawab benar 59,70% pertanyaan persepsi semantik tetapi hanya 21,44% pertanyaan persepsi paralinguistik, dan Gemini-1.5-Pro, model terbaik secara keseluruhan, hanya mencapai 31,23% pada persepsi paralinguistik (Wang dkk., MMSU, ICLR 2026). Kesalahan persepsi, bukan kesalahan penalaran, menyumbang 50,3% kekeliruan GPT-4o-Audio dan 51,0% kekeliruan Gemini-1.5-Pro.
Mengenali kata kini mudah; membaca suara belum. Qwen2-Audio menuliskan set test-clean LibriSpeech dengan tingkat kesalahan kata 1,6%, tetapi hanya mencapai akurasi 55,3% pada tes pengenalan emosi MELD (Qwen2-Audio Technical Report, 2024). Untuk sisi klinis deteksi emosi, lihat statistik akurasi pengenalan emosi dalam ucapan kami.
| Metrik | Nilai | Sumber |
|---|---|---|
| Persepsi MMSU, GPT-4o-Audio: pertanyaan semantik berbanding pertanyaan paralinguistik | 59,70% berbanding 21,44% | Wang dkk., MMSU, ICLR 2026 |
| Persepsi MMSU, Gemini-1.5-Pro: pertanyaan semantik berbanding pertanyaan paralinguistik | 57,06% berbanding 31,23% | Wang dkk., MMSU, ICLR 2026 |
| Akurasi jenis kelamin pembicara AIR-Bench: rangkaian Whisper + GPT-4 berbanding Qwen-Audio Turbo | 21,9% berbanding 82,5% | AIR-Bench, ACL 2024 |
| Akurasi identifikasi bahasa lisan AIR-Bench: rangkaian Whisper + GPT-4 | 96,8% | AIR-Bench, ACL 2024 |
| Qwen2-Audio: tingkat kesalahan kata LibriSpeech test-clean berbanding akurasi emosi MELD | 1,6% berbanding 55,3% | Qwen2-Audio Technical Report, 2024 |
| Pengenalan emosi Dynamic-SUPERB Phase-2, model terbaik (Qwen2-Audio-7B-Instruct) | 75,8% | Dynamic-SUPERB Phase-2, ICLR 2025 |
| Verifikasi pembicara Dynamic-SUPERB Phase-2, sistem terbaik (peluang acak = 50%) | 51,3% | Dynamic-SUPERB Phase-2, ICLR 2025 |
Konteks: beberapa keterampilan identitas pembicara sengaja dimatikan. OpenAI melaporkan skor 0,98 untuk GPT-4o yang diterapkan pada permintaan identifikasi pembicara yang seharusnya ditolak, naik dari 0,83 pada versi awal (OpenAI, GPT-4o System Card 2024). Skor identitas pembicara yang rendah dapat merupakan kebijakan keselamatan, bukan semata kegagalan persepsi.
5. Aksen, Kebisingan, dan Ucapan yang Berantakan
Audio bersih menguntungkan setiap model. Pada ablasi ritel tau-Voice, penambahan aksen saja menurunkan rata-rata keberhasilan tugas dari 55% menjadi 44%, sedangkan penambahan kebisingan latar saja menurunkannya menjadi 51% (Ray dkk., tau-Voice, arXiv 2026). Penalti aksen berkisar dari 1 poin hingga 18 poin menurut penyedia, yang berarti peringkat audio bersih sebuah vendor hanya sedikit menjelaskan bagaimana ia menangani aksen pengguna Anda.
Kebisingan mengikuti jurang, bukan lereng. Dalam studi rangkaian tanya jawab lisan berbahasa Korea tahun 2026, kualitas jawaban nyaris tidak bergerak hingga rasio sinyal terhadap derau +10 dB, lalu anjlok tajam di bawah 0 dB seiring naiknya tingkat kesalahan karakter pada pengenal ucapan (Jung dan Choi, Korean Spoken QA Error Propagation, arXiv 2026). Pengaruh aksen pada pengenal ucapan itu sendiri dibahas dalam statistik bias aksen ASR kami.
| Metrik | Nilai | Sumber |
|---|---|---|
| Keberhasilan tugas ritel tau-Voice, rata-rata 3 penyedia suara: audio bersih berbanding dengan aksen ditambahkan | 55% berbanding 44% | Ray dkk., tau-Voice, arXiv 2026 |
| Ritel tau-Voice: penurunan akibat penambahan aksen, xAI berbanding Google | 18 poin berbanding 1 poin | Ray dkk., tau-Voice, arXiv 2026 |
| Tanya jawab lisan berbahasa Korea, F1 EXAONE-3.5-32B: pertanyaan diketik berbanding audio bersih berbanding audio pada SNR -10 dB | 0,870 berbanding 0,863 berbanding 0,586 | Jung dan Choi, arXiv 2026 |
| Tanya jawab lisan berbahasa Korea, tingkat kesalahan karakter ASR: bersih berbanding 0 dB berbanding SNR -10 dB | 0,0315 berbanding 0,1143 berbanding 0,4977 | Jung dan Choi, arXiv 2026 |
| VoiceBench: rata-rata penurunan skor ketika instruksi mengandung kata yang salah diucapkan (semua model) | 20,34% | Chen dkk., VoiceBench, arXiv v3 2024 |
| VoxEval: perubahan akurasi rangkaian Whisper + Llama ketika nada suara pembicara diubah | minus 9,56 poin | Cui dkk., VoxEval, ACL 2025 |
| Set uji bahasa Inggris SD-QA, tingkat kesalahan kata pengenal bahasa Inggris AS: penutur Tenggara AS berbanding penutur Nigeria | 5,25% berbanding 15,35% | Faisal dkk., SD-QA, EMNLP Findings 2021 |
Data terbaru yang tersedia untuk tanya jawab lisan tingkat dialek: Faisal dkk., SD-QA, 2021. Pada set uji bahasa Inggrisnya, F1 pemilihan bagian teks turun dari 58,7 dengan pertanyaan ketikan asli menjadi 55,8 dengan transkrip ASR bahasa Inggris AS. Data terbaru yang tersedia untuk pemahaman bacaan berbasis transkrip saja: Spoken SQuAD, 2018, ketika lima model pembaca rata-rata meraih F1 74,54 pada teks SQuAD tetapi 55,40 pada transkrip ASR Spoken SQuAD dengan tingkat kesalahan kata 22,73% (makalah Spoken SQuAD, arXiv 2018). Pengujian keragaman suara juga masih tipis: OpenAI membandingkan 3 suara sistem dengan 27 sampel suara bahasa Inggris dan menyebut kinerja pada suara manusia sedikit lebih buruk tetapi tidak signifikan (OpenAI, GPT-4o System Card 2024). Solusinya bergeser ke sisi model: fine-tuning Qwen2.5-Omni pada tiga bahasa Nigeria menghasilkan pengurangan relatif tingkat kesalahan kata hingga 54% (Awobade dkk., AfriVox, EACL 2026).
6. Batas Atas Manusia dan Garis Depan 2026
Benchmark penalaran audio tersulit masih menyisakan jarak lebar dengan manusia. Pendengar manusia meraih 89,72% di MMSU, sedangkan model terbaik dari 22 model wicara dan omni, Gemini-1.5-Pro, meraih 60,68% (Wang dkk., MMSU, ICLR 2026). Pada MMAU selisihnya serupa: 82,23% untuk manusia berbanding 54,90% untuk Gemini Pro v1.5, model ujung ke ujung teratas, pada pemisahan test-mini berisi 1.000 pertanyaan (makalah benchmark MMAU, arXiv 2024).
Pada saat yang sama, tes penalaran lisan yang paling mudah hampir tuntas. Big Bench Audio bergerak dari 66% untuk model real-time GPT-4o pada Desember 2024 menjadi papan peringkat 2026 yang entri teratasnya, StepAudio 3 Realtime, meraih 99,7% di antara 44 model (Artificial Analysis, papan peringkat Speech to Speech 2026). Aturan penilaian berubah di antaranya, sehingga kedua angka tidak berada pada skala yang sama, tetapi arahnya jelas: di puncak papan peringkat, versi lisan dari teka-teki bergaya teks bukan lagi hambatan. Persepsi khusus suara yang menjadi hambatan.
| Metrik | Nilai | Sumber |
|---|---|---|
| MMAU test-mini: pendengar manusia berbanding Gemini Pro v1.5 | 82,23% berbanding 54,90% | Makalah benchmark MMAU, arXiv 2024 |
| Set uji MMAU (9.000 pertanyaan): Gemini Pro v1.5 berbanding Qwen2-Audio-Instruct | 52,97% berbanding 52,50% | Makalah benchmark MMAU, arXiv 2024 |
| MMAR: Gemini 2.0 Flash berbanding tebakan acak | 65,6% berbanding 29,32% | Makalah benchmark MMAR, arXiv 2025 |
| MMAR, GPT-4o Audio: pertanyaan khusus ucapan berbanding pertanyaan khusus musik | 70,41% berbanding 50,97% | Makalah benchmark MMAR, arXiv 2025 |
| MMAR: model yang dievaluasi, sumber terbuka plus sumber tertutup | 30 (24 plus 6) | Makalah benchmark MMAR, arXiv 2025 |
| Rata-rata VoiceBench yang dilaporkan tim Kimi-Audio: Kimi-Audio berbanding GLM-4-Voice | 76,93 berbanding 57,17 | Kimi Team, Kimi-Audio Technical Report 2025 |
| Kimi-Audio: audio yang digunakan untuk pra-pelatihan | lebih dari 13 juta jam | Kimi Team, Kimi-Audio Technical Report 2025 |
Konteks: rata-rata Kimi-Audio merupakan evaluasi tim pengembang sendiri, sehingga tidak dapat dipertukarkan dengan skor keseluruhan para penulis VoiceBench pada bagian 2 dan 3, karena kedua makalah menjalankan evaluasi yang terpisah.
Ringkasan: Benchmark Tanya Jawab Lisan Model Bahasa Wicara dalam Angka
| Metrik | Nilai | Sumber |
|---|---|---|
| Big Bench Audio: GPT-4o teks-ke-teks berbanding ucapan-ke-ucapan | 92% berbanding 66% | Artificial Analysis, peluncuran Big Bench Audio 2024 |
| tau-Voice: agen teks GPT-5 berbanding agen suara dengan audio bersih | 85% berbanding 31% hingga 51% | Ray dkk., tau-Voice, arXiv 2026 |
| VoiceBench, DiVA ujung ke ujung: masukan teks berbanding masukan lisan | 81,08 berbanding 55,70 | Chen dkk., VoiceBench, arXiv v3 2024 |
| Penyelesaian cerita S2SBench: baseline teks berbanding model wicara terbaik | 83,0% berbanding 79,6% | S2SBench, arXiv 2025 |
| VoxEval: rangkaian Whisper + Llama berbanding GLM-4-Voice | 55,25% berbanding 37,63% | Cui dkk., VoxEval, ACL 2025 |
| MMAR: Gemini 2.0 Flash berbanding rangkaian keterangan + LLM terbaik | 65,6% berbanding 55,5% | Makalah benchmark MMAR, arXiv 2025 |
| MMSU, GPT-4o-Audio: persepsi semantik berbanding paralinguistik | 59,70% berbanding 21,44% | Wang dkk., MMSU, ICLR 2026 |
| Jenis kelamin pembicara AIR-Bench: rangkaian Whisper + GPT-4 berbanding Qwen-Audio Turbo | 21,9% berbanding 82,5% | AIR-Bench, ACL 2024 |
| Qwen2-Audio: tingkat kesalahan kata LibriSpeech berbanding akurasi emosi MELD | 1,6% berbanding 55,3% | Qwen2-Audio Technical Report, 2024 |
| F1 tanya jawab lisan berbahasa Korea (EXAONE-3.5-32B): audio bersih berbanding SNR -10 dB | 0,863 berbanding 0,586 | Jung dan Choi, arXiv 2026 |
| Tingkat kesalahan kata bahasa Inggris SD-QA: penutur Tenggara AS berbanding Nigeria | 5,25% berbanding 15,35% | Faisal dkk., SD-QA, EMNLP Findings 2021 |
| Model pembaca Spoken SQuAD, rata-rata F1: teks berbanding transkrip ASR | 74,54 berbanding 55,40 | Makalah Spoken SQuAD, arXiv 2018 |
| AfriVox: pengurangan relatif tingkat kesalahan kata terbaik dari fine-tuning Qwen2.5-Omni | hingga 54% | Awobade dkk., AfriVox, EACL 2026 |
| MMAU test-mini: manusia berbanding Gemini Pro v1.5 | 82,23% berbanding 54,90% | Makalah benchmark MMAU, arXiv 2024 |
| Tugas Dynamic-SUPERB Phase-2 | 180 (125 baru) | Dynamic-SUPERB Phase-2, ICLR 2025 |
| Audio pra-pelatihan Kimi-Audio | lebih dari 13 juta jam | Kimi Team, Kimi-Audio Technical Report 2025 |
| Skor pemuncak Big Bench Audio 2026 | 99,7% (StepAudio 3 Realtime) | Artificial Analysis, papan peringkat Speech to Speech 2026 |
Metodologi dan Sumber
- Chen dkk., VoiceBench: Benchmarking LLM-Based Voice Assistants, arXiv v3, Desember 2024 dan versi jurnalnya di Transactions of the ACL, volume 14, 2026.
- AIR-Bench: Benchmarking Large Audio-Language Models via Generative Comprehension, ACL 2024.
- Dynamic-SUPERB, ICASSP 2024 dan Dynamic-SUPERB Phase-2, ICLR 2025.
- MMAU: A Massive Multi-Task Audio Understanding and Reasoning Benchmark, arXiv 2024.
- MMAR: A Challenging Benchmark for Deep Reasoning in Speech, Audio, Music, and Their Mix, arXiv 2025.
- Wang dkk., MMSU: A Massive Multi-task Spoken Language Understanding and Reasoning Benchmark, ICLR 2026.
- Cui dkk., VoxEval, ACL 2025.
- S2SBench: Quantifying Intelligence Degradation in Speech-to-Speech LLMs, South China University of Technology dan Baichuan, arXiv 2025.
- Ray dkk., tau-Voice: Benchmarking Full-Duplex Voice Agents on Real-World Domains, Sierra dan Princeton University, arXiv Maret 2026.
- Jung dan Choi, Analyzing Error Propagation in Korean Spoken QA with ASR-LLM Cascades, arXiv 2026.
- Faisal dkk., SD-QA: Spoken Dialectal Question Answering for the Real World, Findings of EMNLP 2021.
- Spoken SQuAD: Mitigating the Impact of Speech Recognition Errors on Listening Comprehension, arXiv 2018.
- Awobade dkk., AfriVox: Probing Multilingual and Accent Robustness of Speech LLMs, EACL 2026.
- Artificial Analysis, Evaluating Audio Reasoning with Big Bench Audio, 20 Desember 2024, papan peringkat Speech to Speech 2026, dan metodologi benchmark ucapan-ke-ucapan.
- OpenAI, GPT-4o System Card, 2024.
- Qwen2-Audio Technical Report, 2024 dan Kimi Team, Kimi-Audio Technical Report, 2025.
- Catatan data: penilaian Big Bench Audio berubah dari v1.0 (pertanyaan tak terjawab tidak dikenai penalti, Desember 2024 hingga Maret 2026) ke v1.1 (seluruh 1.000 pertanyaan dihitung, Maret 2026) dan v1.2 (juri dan penilai diperbarui, Mei 2026), sehingga angka 66% (2024) dan 99,7% (2026) tidak berada pada skala yang sama. Halaman papan peringkat tidak mencantumkan tanggal untuk skornya, dan grafiknya hanya memplot 37 dari 44 model; kami membacanya pada 31 Oktober 2026. Skor VoiceBench di sini berasal dari pracetak Desember 2024, yang teks dan tabelnya berbeda di beberapa tempat (teks menyebut rangkaian kehilangan 4,37 poin, tabel menunjukkan 2,37; kami memakai tabel), dan versi jurnal 2026 mungkin melaporkan skor yang berbeda. Teks VoxEval melaporkan penurunan hingga 6% akibat gaya bicara dan kualitas audio, sedangkan tabelnya menunjukkan minus 9,56 poin untuk nada suara; kami memakai tabel. Narasi makalah MMSU dan Tabel 4 berbeda mengenai kategori kesalahan GPT-4o-Audio mana yang bernilai 14,7%. MMAR menyebut 30 model, sedangkan tabelnya mencantumkan 31 baris. Dynamic-SUPERB Phase-2 menyatakan tidak ada model yang mengungguli peluang acak pada pencarian dengan contoh (query-by-example), sedangkan tabelnya menunjukkan 53,5% untuk satu model. Angka S2SBench untuk GLM-4-Voice pada sCMMLU memakai model instruct karena model dasar tidak tersedia. SD-QA (2021) dan Spoken SQuAD (2018) berusia lebih dari tiga tahun dan hanya mencakup sistem berbasis rangkaian. tau-Voice menguji 3 agen suara komersial, sehingga sebarannya bisa berubah cepat seiring penyedia memperbarui model, dan tabel MMSU, MMAU, serta Kimi-Audio sebagian besar mencakup generasi model 2024 dan 2025.
Terakhir diperbarui: 31 Oktober 2026. Kami memperbarui rangkuman ini setiap kuartal, dan pembaruan berikutnya diperkirakan terjadi ketika Artificial Analysis menerbitkan versi Speech to Speech Index berikutnya dan makalah benchmark LLM wicara ICLR 2027 bermunculan.