Aynı 1.000 Big Bench Hard akıl yürütme sorusunda GPT-4o, sorular metin olarak geldiğinde %92 doğru yanıt verdi; ancak gerçek zamanlı sesten sese sürümü, sorular sözlü sunulduğunda yalnızca %66 doğru yanıt verdi (Artificial Analysis, Big Bench Audio lansmanı 2024). Fark her yerde kapanmış değil: 2026 tau-Voice müşteri hizmetleri kıyaslamasında GPT-5 metin ajanı görevlerin %85’ini tamamlarken, tam çift yönlü sesli ajanlar temiz sesle %31 ila %51’ini, gerçekçi gürültü ve aksanlarla ise %26 ila %38’ini tamamladı (Ray ve ark., tau-Voice, arXiv 2026). En zayıf beceri sözcükler değil, sesin kendisi: GPT-4o-Audio, MMSU’da paralinguistik algı sorularının %21,44’ünü doğru yanıtladı; anlam temelli sorularda bu oran %59,70 idi (Wang ve ark., MMSU, ICLR 2026). Ardışık hatlarda risk, hataların ve uydurma transkript metninin doğrudan yanıta aktığı konuşma tanıma ön ucunda başlıyor. S2SBench, AfriVox, SD-QA, Spoken SQuAD, OpenAI GPT-4o System Card, Qwen2-Audio ve Kimi-Audio teknik raporları ile bir düzineden fazla ACL, ICLR ve arXiv kıyaslama makalesi ve liderlik tablosundan veri derledik.
Bu derlemede “konuşma dil modeli” (konuşma LLM’si ya da büyük ses dil modeli olarak da anılır), sesi doğrudan girdi olarak alan modeldir. “Ardışık hat” ise eski tasarımdır: bir konuşma tanıyıcı transkript yazar, yalnızca metinle çalışan bir LLM da yanıtı bu transkriptten üretir.
TL;DR
- GPT-4o, Big Bench Audio’da metin sorularında %92, sesten sese %66 puan aldı (Artificial Analysis, Big Bench Audio lansmanı 2024).
- DiVA, metin girdisiyle 81,08 olan puanından aynı talimatlar sözlü verildiğinde 55,70’e düştü (Chen ve ark., VoiceBench, arXiv v3 2024).
- Baichuan-Audio’nun iki aşamalı eğitimi, sözlü hikâye tamamlamadaki farkı metin tabanının 3,4 puan gerisine indirdi (S2SBench, arXiv 2025).
- Whisper artı Llama-3.1-8B hattı VoxEval’de %55,25 alırken en iyi uçtan uca model %37,63 aldı (Cui ve ark., VoxEval, ACL 2025).
- Gemini 2.0 Flash, MMAR’da %65,6’ya ulaşarak, en iyisi %55,5 alan tüm altyazı artı LLM hatlarını geride bıraktı (MMAR benchmark makalesi, arXiv 2025).
- GPT-4o-Audio paralinguistik algıda %21,44, anlamsal algıda %59,70 puan aldı (Wang ve ark., MMSU, ICLR 2026).
- Whisper artı GPT-4 hattı konuşmacı cinsiyetini yalnızca %21,9 oranında doğru belirledi (AIR-Bench, ACL 2024).
- Aksan eklemek, sesli ajanların perakende görev başarısını ortalama %55’ten %44’e düşürdü (Ray ve ark., tau-Voice, arXiv 2026).
- EXAONE-3.5-32B, Korece bir ardışık hatta temiz seste F1 0,863 iken -10 dB sinyal-gürültü oranında 0,586’ya geriledi (Jung ve Choi, arXiv 2026).
- Dynamic-SUPERB, 55 değerlendirme örneğinden 180 göreve büyüdü (Dynamic-SUPERB, ICASSP 2024; Dynamic-SUPERB Phase-2, ICLR 2025).
1. Sözlü Soru Yanıtlama Kıyaslamaları Ne Kadar Büyüdü
Kıyaslama boyutu 2023 ile 2026 arasında hızla büyüdü, ama iki farklı yönde. Dynamic-SUPERB, 55 değerlendirme örneğinden (33 görev ve 22 veri kümesiyle oluşturulmuş) Phase-2’de 180 göreve çıktı; bunların 125’i araştırma topluluğunun katkısı (Dynamic-SUPERB Phase-2, ICLR 2025). Bu genişlik: her biri tek bir beceriyi yoklayan çok sayıda kısa test. VoxEval ise tam tersi yolu seçti ve tek bir beceriye, bilgi sorularına derinlemesine odaklandı: 56 MMLU konusunu 13.938 sözlü soru-yanıt çiftine dönüştürdü, ardından her çifti 11 ses koşulunda üreterek 153.318 varyasyon elde etti (Cui ve ark., VoxEval, ACL 2025).
Bir model kartını okuyan herkes için pratik çıkarım şu: tek bir manşet puan 1.000 maddeden ya da 19.000 maddeden, yapay seslerden ya da gerçek kayıtlardan gelebilir. Big Bench Audio ve MMAR’ın her biri 1.000 maddeden oluşuyor; bu da iki model arasındaki 1 ila 2 puanlık farkı gerçek bir sıralama olarak okumayı zorlaştırıyor.
| Metrik | Değer | Kaynak |
|---|---|---|
| Dynamic-SUPERB Phase 1: değerlendirme örnekleri, görevler ve veri kümeleri | 55 örnek, 33 görev, 22 veri kümesi | Dynamic-SUPERB, ICASSP 2024 |
| AIR-Bench temel kıyaslaması: görevler ve tek seçenekli sorular | 19 görev, yaklaşık 19.000 soru | AIR-Bench, ACL 2024 |
| AIR-Bench sohbet kıyaslaması: açık uçlu sorular ve bunlardan konuşmayla ilgili olanlar | 2.000 soru, 800’ü konuşmayla ilgili | AIR-Bench, ACL 2024 |
| MMAU: ses klipleri ve test edilen ayrı beceriler | 10.000 klip, 27 beceri | MMAU benchmark makalesi, arXiv 2024 |
| MMSU: sorular ve görevler (algı ve akıl yürütme) | 5.000 soru, 47 görev (24 algı, 23 akıl yürütme) | Wang ve ark., MMSU, ICLR 2026 |
| VoiceBench (dergi sürümü): sözlü talimatlar ve görevler | 6.783 talimat, 8 görev | Chen ve ark., VoiceBench, TACL 2026 |
| SD-QA: ses istemleri, lehçeler, konuşmacılar ve diller | 68.000’den fazla istem, 24 lehçe, 255 konuşmacı, 5 dil | Faisal ve ark., SD-QA, EMNLP Findings 2021 |
Bağlam: Big Bench Audio, metinden sese modellerinden alınan 23 yapay sesle seslendirildi (Artificial Analysis, Big Bench Audio lansmanı 2024) ve Dynamic-SUPERB Phase-2 seslerinin yalnızca yaklaşık %6,57’si 30 saniyeden uzun (Dynamic-SUPERB Phase-2, ICLR 2025). Dolayısıyla bu testlerin çoğu uzun ya da dağınık konuşmaları değil, kısa soruları ölçüyor.
2. Aynı Sorular, Sözlü ve Yazılı
Temel karşılaştırma bu: aynı model ya da model ailesine bir kez metin, bir kez ses olarak sunulan özdeş içerik. Uçtan uca bir konuşma modeli olan DiVA, VoiceBench’te metin verildiğinde 81,08, aynı talimatlar sözlü verildiğinde 55,70 puan aldı; Whisper artı LLaMA-3.1-8B ardışık hattı ise yalnızca 2,37 puan kaybetti (Chen ve ark., VoiceBench, arXiv v3 2024). Model içeriği açıkça kavrıyor; bozulan şey, sesten anlama giden yol.
Daha yeni ve daha dikkatli tasarımlar, farkın birkaç puana inebileceğini gösteriyor. South China University of Technology ve Baichuan’dan S2SBench, Baichuan-Audio’nun iki aşamalı eğitiminin sözlü hikâye tamamlamada %79,6 aldığını, bunun %83,0 alan Qwen2.5-7B metin tabanının 3,4 puan gerisinde kaldığını ölçtü (S2SBench, arXiv 2025). Ajan görevleri çok daha zor olmayı sürdürüyor: tau-Voice (makalede τ-Voice diye yazılır) tam çift yönlü sesli ajanları 278 havayolu, perakende ve telekom görevi üzerinde sınıyor ve gerçekçi seste sözlü yol, metin yeteneğinin yarısından fazlasını yitiriyor. Yanıt hızı bu dengenin diğer yüzü ve ilk ses süresi istatistiklerimizde ele alınıyor.
| Metrik | Değer | Kaynak |
|---|---|---|
| VoiceBench genel puanı, Whisper + LLaMA-3.1-8B ardışık hattı: metin girdisi karşı sözlü girdi | 81,43 karşı 79,06 | Chen ve ark., VoiceBench, arXiv v3 2024 |
| VoiceBench genel puanı, uçtan uca DiVA modeli: metin girdisi karşı sözlü girdi | 81,08 karşı 55,70 | Chen ve ark., VoiceBench, arXiv v3 2024 |
| Big Bench Audio doğruluğu: GPT-4o metinden metne karşı GPT-4o Realtime Preview sesten sese | %92 karşı %66 | Artificial Analysis, Big Bench Audio lansmanı 2024 |
| Sözlü hikâye tamamlama (sStoryCloze): metinli Qwen2.5-7B karşı konuşmalı iki aşamalı Baichuan-Audio | %83,0 karşı %79,6 | S2SBench, arXiv 2025 |
| Çince sağduyu ifadeleri (sCMMLU, 4.743 madde): metinli Qwen2.5-7B karşı konuşmalı GLM-4-Voice talimat ayarlı modeli | %70,3 karşı %64,3 | S2SBench, arXiv 2025 |
| tau-Voice görev başarısı: GPT-5 metin ajanı karşı temiz sesle sesli ajanlar | %85 karşı %31 ila %51 | Ray ve ark., tau-Voice, arXiv 2026 |
| tau-Voice: sesli ajanların gerçekçi seste koruduğu GPT-5 metin yeteneği payı | yaklaşık %30 ila %45 | Ray ve ark., tau-Voice, arXiv 2026 |
Aykırı değer: VoxEval, tek bir modelin hangi tarafın ses olduğuna göre çok farklı puan alabildiğini buldu. SPIRIT-LM aynı sorularda sesten sese %20,84, sesten metne %23,77 ve metinden sese %1,38 puan aldı (Cui ve ark., VoxEval, ACL 2025); bu, girdi tarafı kadar çıktı tarafının da önemli olduğunu hatırlatıyor.
3. Ardışık Hat (ASR + LLM) ve Uçtan Uca Konuşma Modelleri
Yanıtı sözcüklerde saklı olan sorular için eski ardışık hattı yenmek hâlâ çok zor. VoxEval’in sözlü MMLU sorularında Whisper artı Llama-3.1-8B hattı %55,25 aldı; en iyi uçtan uca konuşma modeli GLM-4-Voice ise %37,63 aldı ve GLM-4-Voice, %25’lik rastgele tahmin çizgisini aşan tek uçtan uca modeldi (Cui ve ark., VoxEval, ACL 2025). Dynamic-SUPERB Phase-2 de aynı örüntüyü bildiriyor: konuşma tanıma ve sözlü dil anlamada test edilen hiçbir model Whisper-LLaMA hattını geride bırakamadı (Dynamic-SUPERB Phase-2, ICLR 2025).
Yanıt sesin kendisine bağlı olduğu anda tablo tersine dönüyor. Konuşma, müzik ve sesi karıştıran MMAR’da Gemini 2.0 Flash, sesi önce metin altyazısına çeviren tüm ardışık hatları geride bıraktı (MMAR benchmark makalesi, arXiv 2025). Ders şu: transkript her şeyi taşıdığında ardışık hatlar kazanır; transkript ipucunu çöpe attığında uçtan uca modeller kazanır.
| Metrik | Değer | Kaynak |
|---|---|---|
| VoxEval doğruluğu: Whisper + Llama-3.1-8B ardışık hattı karşı uçtan uca GLM-4-Voice | %55,25 karşı %37,63 | Cui ve ark., VoxEval, ACL 2025 |
| VoxEval 12 konulu alt küme: gpt-4o-audio-preview karşı Whisper + Llama-3.1 ardışık hattı | 0,718 karşı 0,606 | Cui ve ark., VoxEval, ACL 2025 |
| AIR-Bench sohbet, ortalama GPT-4 puanı (1 ila 10): Whisper + GPT-4 ardışık hattı karşı en iyi uçtan uca model (Qwen-Audio Turbo) | 7,54 karşı 6,34 | AIR-Bench, ACL 2024 |
| AIR-Bench temel, ortalama doğruluk: uçtan uca Qwen-Audio Turbo karşı Whisper + GPT-4 ardışık hattı | %57,8 karşı %53,6 | AIR-Bench, ACL 2024 |
| MMAU test kümesi, konuşma soruları: ayrıntılı bir ses altyazısını okuyan GPT-4o karşı sesi duyan Gemini Pro v1.5 | %68,66 karşı %55,90 | MMAU benchmark makalesi, arXiv 2024 |
| MMAR ortalama doğruluk: uçtan uca Gemini 2.0 Flash karşı en iyi altyazı + LLM ardışık hattı (altyazı + DeepSeek-R1) | %65,6 karşı %55,5 | MMAR benchmark makalesi, arXiv 2025 |
| VoiceBench genel puanı, sözlü girdiyle: Whisper + GPT-4o ardışık hattı karşı GPT-4o-Audio | 87,23 karşı 86,42 | Chen ve ark., VoiceBench, arXiv v3 2024 |
Bağlam: AIR-Bench her iki tarafı tek makalede gösteriyor. Ardışık hat açık uçlu sohbet testini kazandı ama temel testi kaybetti; yazarlar zayıf temel puanını konuşmacı cinsiyeti, yaşı ve duygusuna ilişkin sorulara bağlıyor (bkz. bölüm 4).
4. Paralinguistik Açık: Bir Şeyin Nasıl Söylendiğini Duymak
“Paralinguistik”, bir sesteki sözcüklerin ötesindeki her şey demek: duygu, konuşmacı yaşı ve cinsiyeti, konuşma tarzı, vurgu. Konuşma LLM’lerinin en zayıf olduğu yer burası. MMSU’da GPT-4o-Audio anlamsal algı sorularının %59,70’ini doğru yanıtlarken paralinguistik algı sorularının yalnızca %21,44’ünü doğru yanıtladı; genel olarak en iyi model olan Gemini-1.5-Pro ise paralinguistik algıda yalnızca %31,23’e ulaştı (Wang ve ark., MMSU, ICLR 2026). GPT-4o-Audio’nun hatalarının %50,3’ünü, Gemini-1.5-Pro’nun hatalarının ise %51,0’ını akıl yürütme hataları değil, algı hataları oluşturdu.
Sözcükleri tanımak kolaylaştı; sesi okumak kolaylaşmadı. Qwen2-Audio, LibriSpeech test-clean kümesini %1,6 sözcük hata oranıyla yazıya döküyor, ancak MELD duygu tanıma testinde yalnızca %55,3 doğruluğa ulaşıyor (Qwen2-Audio Technical Report, 2024). Duygu algılamanın klinik tarafı için konuşmadan duygu tanıma doğruluğu istatistiklerimize bakın.
| Metrik | Değer | Kaynak |
|---|---|---|
| MMSU algı, GPT-4o-Audio: anlamsal sorular karşı paralinguistik sorular | %59,70 karşı %21,44 | Wang ve ark., MMSU, ICLR 2026 |
| MMSU algı, Gemini-1.5-Pro: anlamsal sorular karşı paralinguistik sorular | %57,06 karşı %31,23 | Wang ve ark., MMSU, ICLR 2026 |
| AIR-Bench konuşmacı cinsiyeti doğruluğu: Whisper + GPT-4 ardışık hattı karşı Qwen-Audio Turbo | %21,9 karşı %82,5 | AIR-Bench, ACL 2024 |
| AIR-Bench sözlü dil belirleme doğruluğu: Whisper + GPT-4 ardışık hattı | %96,8 | AIR-Bench, ACL 2024 |
| Qwen2-Audio: LibriSpeech test-clean sözcük hata oranı karşı MELD duygu doğruluğu | %1,6 karşı %55,3 | Qwen2-Audio Technical Report, 2024 |
| Dynamic-SUPERB Phase-2 duygu tanıma, en iyi model (Qwen2-Audio-7B-Instruct) | %75,8 | Dynamic-SUPERB Phase-2, ICLR 2025 |
| Dynamic-SUPERB Phase-2 konuşmacı doğrulama, en iyi sistem (rastgele şans = %50) | %51,3 | Dynamic-SUPERB Phase-2, ICLR 2025 |
Bağlam: bazı konuşmacı kimliği becerileri bilerek kapatılıyor. OpenAI, reddetmesi gereken konuşmacı tanıma isteklerinde yayına alınan GPT-4o için 0,98 puan bildiriyor; erken sürümde bu 0,83’tü (OpenAI, GPT-4o System Card 2024). Düşük bir konuşmacı kimliği puanı yalnızca bir algı başarısızlığı değil, bir güvenlik politikası da olabilir.
5. Aksanlar, Gürültü ve Dağınık Konuşma
Temiz ses her modele iltimas geçer. tau-Voice perakende ablasyonunda yalnızca aksan eklemek ortalama görev başarısını %55’ten %44’e, yalnızca arka plan gürültüsü eklemek ise %51’e düşürdü (Ray ve ark., tau-Voice, arXiv 2026). Aksan kaybı sağlayıcıya göre 1 puan ile 18 puan arasında değişti; bu da bir sağlayıcının temiz ses sıralamasının, kullanıcılarınızın aksanlarını nasıl işlediği hakkında çok az şey söylediği anlamına geliyor.
Gürültü eğim değil, uçurum izler. 2026 tarihli bir Korece sözlü soru yanıtlama ardışık hattı çalışmasında yanıt kalitesi +10 dB sinyal-gürültü oranına kadar neredeyse hiç değişmedi, ardından konuşma tanıyıcının karakter hata oranı yükselirken 0 dB’nin altında keskin biçimde düştü (Jung ve Choi, Korean Spoken QA Error Propagation, arXiv 2026). Aksanın tanıyıcının kendisi üzerindeki etkileri ASR aksan yanlılığı istatistiklerimizde ele alınıyor.
| Metrik | Değer | Kaynak |
|---|---|---|
| tau-Voice perakende görev başarısı, 3 ses sağlayıcısının ortalaması: temiz ses karşı aksan eklenmiş | %55 karşı %44 | Ray ve ark., tau-Voice, arXiv 2026 |
| tau-Voice perakende: aksan eklemenin yol açtığı düşüş, xAI karşı Google | 18 puan karşı 1 puan | Ray ve ark., tau-Voice, arXiv 2026 |
| Korece sözlü soru yanıtlama, EXAONE-3.5-32B F1: yazılı soru karşı temiz ses karşı -10 dB SNR’de ses | 0,870 karşı 0,863 karşı 0,586 | Jung ve Choi, arXiv 2026 |
| Korece sözlü soru yanıtlama, ASR karakter hata oranı: temiz karşı 0 dB karşı -10 dB SNR | 0,0315 karşı 0,1143 karşı 0,4977 | Jung ve Choi, arXiv 2026 |
| VoiceBench: talimatlar yanlış telaffuz edilmiş sözcükler içerdiğinde ortalama puan kaybı (tüm modeller) | %20,34 | Chen ve ark., VoiceBench, arXiv v3 2024 |
| VoxEval: konuşmacı perdesi değiştirildiğinde Whisper + Llama ardışık hattı doğruluk değişimi | eksi 9,56 puan | Cui ve ark., VoxEval, ACL 2025 |
| SD-QA İngilizce test kümesi, ABD İngilizcesi tanıyıcısının sözcük hata oranı: ABD Güneydoğu konuşmacıları karşı Nijeryalı konuşmacılar | %5,25 karşı %15,35 | Faisal ve ark., SD-QA, EMNLP Findings 2021 |
Lehçe düzeyinde sözlü soru yanıtlama için mevcut en güncel veri: Faisal ve ark., SD-QA, 2021. İngilizce test kümesinde, pasaj seçiminde F1 değeri özgün yazılı soruyla 58,7 iken ABD İngilizcesi ASR transkriptiyle 55,8’e düştü. Yalnızca transkriptle okuduğunu anlama için mevcut en güncel veri: Spoken SQuAD, 2018; burada beş okuma modeli SQuAD metninde ortalama F1 74,54 alırken, %22,73 sözcük hata oranlı Spoken SQuAD ASR transkriptlerinde 55,40 aldı (Spoken SQuAD makalesi, arXiv 2018). Ses çeşitliliği testleri de sınırlı: OpenAI, 3 sistem sesini 27 İngilizce ses örneğiyle karşılaştırdı ve insan seslerindeki performansı biraz daha kötü ama anlamlı olmayan düzeyde olarak niteledi (OpenAI, GPT-4o System Card 2024). Çözüm model tarafına kayıyor: Qwen2.5-Omni’nin üç Nijerya diliyle ince ayarlanması, sözcük hata oranında %54’e varan göreli bir düşüş sağladı (Awobade ve ark., AfriVox, EACL 2026).
6. İnsan Tavanı ve 2026 Sınırı
En zor ses akıl yürütme kıyaslamaları, insanlarla aralarında hâlâ geniş bir fark bırakıyor. İnsan dinleyiciler MMSU’da %89,72 puan alırken, 22 konuşma ve omni modeli arasındaki en iyisi Gemini-1.5-Pro %60,68 aldı (Wang ve ark., MMSU, ICLR 2026). MMAU’da fark benzer: 1.000 soruluk test-mini bölümünde insanlar için %82,23, en iyi uçtan uca model Gemini Pro v1.5 için %54,90 (MMAU benchmark makalesi, arXiv 2024).
Aynı zamanda en kolay sözlü akıl yürütme testleri neredeyse çözüldü. Big Bench Audio, Aralık 2024’te GPT-4o’nun gerçek zamanlı modeli için %66 iken, 2026 liderlik tablosunda en üstteki StepAudio 3 Realtime 44 model arasında %99,7 puana ulaştı (Artificial Analysis, Speech to Speech liderlik tablosu 2026). Arada puanlama kuralları değiştiği için iki sayı aynı ölçekte değil, ancak yön açık: liderlik tablosunun tepesinde metin tarzı bulmacaların sözlü sürümleri artık darboğaz değil. Darboğaz, sese özgü algı.
| Metrik | Değer | Kaynak |
|---|---|---|
| MMAU test-mini: insan dinleyiciler karşı Gemini Pro v1.5 | %82,23 karşı %54,90 | MMAU benchmark makalesi, arXiv 2024 |
| MMAU test kümesi (9.000 soru): Gemini Pro v1.5 karşı Qwen2-Audio-Instruct | %52,97 karşı %52,50 | MMAU benchmark makalesi, arXiv 2024 |
| MMAR: Gemini 2.0 Flash karşı rastgele tahmin | %65,6 karşı %29,32 | MMAR benchmark makalesi, arXiv 2025 |
| MMAR, GPT-4o Audio: yalnızca konuşma soruları karşı yalnızca müzik soruları | %70,41 karşı %50,97 | MMAR benchmark makalesi, arXiv 2025 |
| MMAR: değerlendirilen modeller, açık kaynaklı artı kapalı kaynaklı | 30 (24 artı 6) | MMAR benchmark makalesi, arXiv 2025 |
| Kimi-Audio ekibinin bildirdiği VoiceBench ortalaması: Kimi-Audio karşı GLM-4-Voice | 76,93 karşı 57,17 | Kimi Team, Kimi-Audio Technical Report 2025 |
| Kimi-Audio: ön eğitimde kullanılan ses | 13 milyon saatten fazla | Kimi Team, Kimi-Audio Technical Report 2025 |
Bağlam: Kimi-Audio ortalamaları geliştirici ekibin kendi değerlendirmesidir; iki makale ayrı değerlendirmeler yürüttüğü için bunlar, bölüm 2 ve 3’teki VoiceBench yazarlarının genel puanlarıyla birbirinin yerine kullanılamaz.
Özet: Konuşma Dil Modeli Sözlü Soru Yanıtlama Kıyaslamaları Rakamlarla
| Metrik | Değer | Kaynak |
|---|---|---|
| Big Bench Audio: GPT-4o metinden metne karşı sesten sese | %92 karşı %66 | Artificial Analysis, Big Bench Audio lansmanı 2024 |
| tau-Voice: GPT-5 metin ajanı karşı temiz sesle sesli ajanlar | %85 karşı %31 ila %51 | Ray ve ark., tau-Voice, arXiv 2026 |
| VoiceBench, uçtan uca DiVA: metin girdisi karşı sözlü girdi | 81,08 karşı 55,70 | Chen ve ark., VoiceBench, arXiv v3 2024 |
| S2SBench hikâye tamamlama: metin tabanı karşı en iyi konuşma modeli | %83,0 karşı %79,6 | S2SBench, arXiv 2025 |
| VoxEval: Whisper + Llama ardışık hattı karşı GLM-4-Voice | %55,25 karşı %37,63 | Cui ve ark., VoxEval, ACL 2025 |
| MMAR: Gemini 2.0 Flash karşı en iyi altyazı + LLM ardışık hattı | %65,6 karşı %55,5 | MMAR benchmark makalesi, arXiv 2025 |
| MMSU, GPT-4o-Audio: anlamsal karşı paralinguistik algı | %59,70 karşı %21,44 | Wang ve ark., MMSU, ICLR 2026 |
| AIR-Bench konuşmacı cinsiyeti: Whisper + GPT-4 ardışık hattı karşı Qwen-Audio Turbo | %21,9 karşı %82,5 | AIR-Bench, ACL 2024 |
| Qwen2-Audio: LibriSpeech sözcük hata oranı karşı MELD duygu doğruluğu | %1,6 karşı %55,3 | Qwen2-Audio Technical Report, 2024 |
| Korece sözlü soru yanıtlama F1 (EXAONE-3.5-32B): temiz ses karşı -10 dB SNR | 0,863 karşı 0,586 | Jung ve Choi, arXiv 2026 |
| SD-QA İngilizce sözcük hata oranı: ABD Güneydoğu karşı Nijeryalı konuşmacılar | %5,25 karşı %15,35 | Faisal ve ark., SD-QA, EMNLP Findings 2021 |
| Spoken SQuAD okuma modelleri, ortalama F1: metin karşı ASR transkriptleri | 74,54 karşı 55,40 | Spoken SQuAD makalesi, arXiv 2018 |
| AfriVox: Qwen2.5-Omni ince ayarından en iyi göreli sözcük hata oranı düşüşü | %54’e kadar | Awobade ve ark., AfriVox, EACL 2026 |
| MMAU test-mini: insanlar karşı Gemini Pro v1.5 | %82,23 karşı %54,90 | MMAU benchmark makalesi, arXiv 2024 |
| Dynamic-SUPERB Phase-2 görevleri | 180 (125 yeni) | Dynamic-SUPERB Phase-2, ICLR 2025 |
| Kimi-Audio ön eğitim sesi | 13 milyon saatten fazla | Kimi Team, Kimi-Audio Technical Report 2025 |
| Big Bench Audio 2026 lider puanı | %99,7 (StepAudio 3 Realtime) | Artificial Analysis, Speech to Speech liderlik tablosu 2026 |
Metodoloji ve Kaynaklar
- Chen ve ark., VoiceBench: Benchmarking LLM-Based Voice Assistants, arXiv v3, Aralık 2024 ve dergi sürümü Transactions of the ACL, cilt 14, 2026.
- AIR-Bench: Benchmarking Large Audio-Language Models via Generative Comprehension, ACL 2024.
- Dynamic-SUPERB, ICASSP 2024 ve Dynamic-SUPERB Phase-2, ICLR 2025.
- MMAU: A Massive Multi-Task Audio Understanding and Reasoning Benchmark, arXiv 2024.
- MMAR: A Challenging Benchmark for Deep Reasoning in Speech, Audio, Music, and Their Mix, arXiv 2025.
- Wang ve ark., MMSU: A Massive Multi-task Spoken Language Understanding and Reasoning Benchmark, ICLR 2026.
- Cui ve ark., VoxEval, ACL 2025.
- S2SBench: Quantifying Intelligence Degradation in Speech-to-Speech LLMs, South China University of Technology ve Baichuan, arXiv 2025.
- Ray ve ark., tau-Voice: Benchmarking Full-Duplex Voice Agents on Real-World Domains, Sierra ve Princeton University, arXiv Mart 2026.
- Jung ve Choi, Analyzing Error Propagation in Korean Spoken QA with ASR-LLM Cascades, arXiv 2026.
- Faisal ve ark., SD-QA: Spoken Dialectal Question Answering for the Real World, Findings of EMNLP 2021.
- Spoken SQuAD: Mitigating the Impact of Speech Recognition Errors on Listening Comprehension, arXiv 2018.
- Awobade ve ark., AfriVox: Probing Multilingual and Accent Robustness of Speech LLMs, EACL 2026.
- Artificial Analysis, Evaluating Audio Reasoning with Big Bench Audio, 20 Aralık 2024, Speech to Speech liderlik tablosu 2026 ve sesten sese kıyaslama metodolojisi.
- OpenAI, GPT-4o System Card, 2024.
- Qwen2-Audio Technical Report, 2024 ve Kimi Team, Kimi-Audio Technical Report, 2025.
- Veri notu: Big Bench Audio puanlaması v1.0’dan (yanıtsız sorular cezalandırılmıyordu, Aralık 2024 ile Mart 2026 arası) v1.1’e (1.000 sorunun tamamı sayılıyor, Mart 2026) ve v1.2’ye (güncellenmiş yargıç ve puanlayıcı, Mayıs 2026) değişti; bu yüzden %66 (2024) ve %99,7 (2026) rakamları aynı ölçekte değil. Liderlik tablosu sayfası puanları için tarih vermiyor, grafiği ise 44 modelin 37’sini gösteriyor; sayfayı 31 Ekim 2026’da okuduk. Buradaki VoiceBench puanları, metni ve tabloları bazı yerlerde birbiriyle çelişen Aralık 2024 ön baskısından geliyor (metin, ardışık hattın 4,37 puan kaybettiğini söylüyor, tablo 2,37 gösteriyor; tabloyu kullandık) ve 2026 dergi sürümü farklı puanlar bildirebilir. VoxEval’in metni, konuşma tarzı ve ses kalitesinden kaynaklanan %6’ya varan düşüşler bildiriyor, tablosu ise perde için eksi 9,56 puan gösteriyor; tabloyu kullandık. MMSU makalesinin metni ile Tablo 4, GPT-4o-Audio’nun hangi hata kategorisinin %14,7 olduğu konusunda çelişiyor. MMAR 30 model diyor, tablosu ise 31 satır listeliyor. Dynamic-SUPERB Phase-2, hiçbir modelin örnekle sorgulamalı aramada şansı geçemediğini belirtiyor, tablosu ise bir model için %53,5 gösteriyor. GLM-4-Voice için S2SBench’in sCMMLU rakamları talimat ayarlı modeli kullanıyor, çünkü temel model sağlanmamıştı. SD-QA (2021) ve Spoken SQuAD (2018) üç yıldan eski ve yalnızca ardışık hat sistemlerini kapsıyor. tau-Voice 3 ticari sesli ajanı test etti; sağlayıcılar modellerini güncelledikçe aradaki fark hızla değişebilir, MMSU, MMAU ve Kimi-Audio tabloları ise çoğunlukla 2024 ve 2025 model nesillerini kapsıyor.
Son güncelleme: 31 Ekim 2026. Bu derlemeyi üç ayda bir güncelliyoruz; bir sonraki yenilemenin, Artificial Analysis’in Speech to Speech Index’inin bir sonraki sürümünü yayımlaması ve ICLR 2027 konuşma LLM’si kıyaslama makalelerinin çıkmasıyla birlikte gelmesi bekleniyor.