Na tych samych 1.000 pytaniach rozumowania z Big Bench Hard GPT-4o odpowiedział poprawnie na 92%, gdy dotarły jako tekst, ale jego wersja mowa-mowa działająca w czasie rzeczywistym odpowiedziała tylko na 66%, gdy pytania zostały wypowiedziane (Artificial Analysis, premiera Big Bench Audio 2024). Luka nie zamknęła się wszędzie: w teście obsługi klienta tau-Voice z 2026 roku tekstowy agent GPT-5 wykonał 85% zadań, natomiast agenci głosowi w trybie pełnego dupleksu wykonali od 31% do 51% przy czystym dźwięku i od 26% do 38% przy realistycznym hałasie i akcentach (Ray i in., tau-Voice, arXiv 2026). Najsłabszą umiejętnością nie są słowa, lecz sam głos: GPT-4o-Audio odpowiedział poprawnie na 21,44% pytań o percepcję paralingwistyczną w MMSU, wobec 59,70% w pytaniach opartych na znaczeniu (Wang i in., MMSU, ICLR 2026). W kaskadach ryzyko zaczyna się już na wejściu, w rozpoznawaniu mowy, gdzie błędy i zmyślony tekst transkrypcji trafiają prosto do odpowiedzi. Zebraliśmy dane z S2SBench, AfriVox, SD-QA, Spoken SQuAD, karty systemowej OpenAI GPT-4o System Card, raportów technicznych Qwen2-Audio i Kimi-Audio oraz ponad tuzina artykułów o testach z ACL, ICLR i arXiv, a także rankingów.
W tym zestawieniu “model językowy mowy” (zwany też LLM mowy lub dużym audio-modelem językowym) to model przyjmujący dźwięk bezpośrednio. “Kaskada” to starszy projekt: system rozpoznawania mowy zapisuje transkrypcję, a wyłącznie tekstowy LLM odpowiada na jej podstawie.
TL;DR
- GPT-4o uzyskał 92% w pytaniach tekstowych i 66% w trybie mowa-mowa w Big Bench Audio (Artificial Analysis, premiera Big Bench Audio 2024).
- DiVA spadł z 81,08 przy wejściu tekstowym do 55,70 przy tych samych instrukcjach wypowiedzianych (Chen i in., VoiceBench, arXiv v3 2024).
- Dwuetapowy trening Baichuan-Audio zmniejszył lukę w mówionym uzupełnianiu historii do 3,4 punktu za tekstowym punktem odniesienia (S2SBench, arXiv 2025).
- Kaskada Whisper plus Llama-3.1-8B uzyskała w VoxEval 55,25% wobec 37,63% dla najlepszego modelu end-to-end (Cui i in., VoxEval, ACL 2025).
- Gemini 2.0 Flash osiągnął w MMAR 65,6%, wyprzedzając każdą kaskadę opartą na opisie dźwięku i LLM, z których najlepsza uzyskała 55,5% (artykuł o teście MMAR, arXiv 2025).
- GPT-4o-Audio uzyskał 21,44% w percepcji paralingwistycznej wobec 59,70% w percepcji semantycznej (Wang i in., MMSU, ICLR 2026).
- Kaskada Whisper plus GPT-4 poprawnie rozpoznała płeć mówcy tylko w 21,9% przypadków (AIR-Bench, ACL 2024).
- Dodanie akcentów obniżyło średnią skuteczność zadań handlowych agentów głosowych z 55% do 44% (Ray i in., tau-Voice, arXiv 2026).
- EXAONE-3.5-32B spadł z F1 0,863 przy czystym dźwięku do 0,586 przy stosunku sygnału do szumu -10 dB w koreańskiej kaskadzie (Jung i Choi, arXiv 2026).
- Dynamic-SUPERB urósł z 55 instancji ewaluacyjnych do 180 zadań (Dynamic-SUPERB, ICASSP 2024; Dynamic-SUPERB Phase-2, ICLR 2025).
1. Jak duże stały się testy mówionych pytań i odpowiedzi
Rozmiar testów szybko rósł w latach 2023-2026, ale w dwóch różnych kierunkach. Dynamic-SUPERB urósł z 55 instancji ewaluacyjnych (zbudowanych z 33 zadań i 22 zbiorów danych) do 180 zadań w Phase-2, z czego 125 wniosła społeczność badawcza (Dynamic-SUPERB Phase-2, ICLR 2025). To szerokość: wiele krótkich testów, z których każdy bada jedną umiejętność. VoxEval poszedł w przeciwnym kierunku i zagłębił się w jedną umiejętność, pytania o wiedzę, zamieniając 56 przedmiotów MMLU w 13.938 mówionych par pytanie-odpowiedź, a następnie generując każdą parę w 11 warunkach audio, co daje 153.318 wariantów (Cui i in., VoxEval, ACL 2025).
Praktyczny wniosek dla każdego, kto czyta kartę modelu: pojedynczy wynik nagłówkowy może pochodzić z 1.000 pozycji lub z 19.000 pozycji, a także z głosów syntetycznych lub prawdziwych nagrań. Big Bench Audio i MMAR mają po 1.000 pozycji, przez co różnica 1 do 2 punktów między dwoma modelami trudno uznać za prawdziwy ranking.
| Metryka | Wartość | Źródło |
|---|---|---|
| Dynamic-SUPERB Phase 1: instancje ewaluacyjne, zadania i zbiory danych | 55 instancji, 33 zadania, 22 zbiory danych | Dynamic-SUPERB, ICASSP 2024 |
| Podstawowy test AIR-Bench: zadania i pytania jednokrotnego wyboru | 19 zadań, ok. 19.000 pytań | AIR-Bench, ACL 2024 |
| Test czatu AIR-Bench: pytania otwarte, z czego dotyczące mowy | 2.000 pytań, 800 o mowie | AIR-Bench, ACL 2024 |
| MMAU: klipy audio i testowane odrębne umiejętności | 10.000 klipów, 27 umiejętności | Artykuł o teście MMAU, arXiv 2024 |
| MMSU: pytania i zadania (percepcja i rozumowanie) | 5.000 pytań, 47 zadań (24 percepcji, 23 rozumowania) | Wang i in., MMSU, ICLR 2026 |
| VoiceBench (wersja czasopismowa): instrukcje mówione i zadania | 6.783 instrukcje, 8 zadań | Chen i in., VoiceBench, TACL 2026 |
| SD-QA: nagrania, dialekty, mówcy i języki | ponad 68.000 nagrań, 24 dialekty, 255 mówców, 5 języków | Faisal i in., SD-QA, EMNLP Findings 2021 |
Kontekst: Big Bench Audio został nagrany 23 głosami syntetycznymi pochodzącymi z modeli zamiany tekstu na mowę (Artificial Analysis, premiera Big Bench Audio 2024), a tylko około 6,57% audio w Dynamic-SUPERB Phase-2 trwa dłużej niż 30 sekund (Dynamic-SUPERB Phase-2, ICLR 2025). Większość tych testów mierzy więc krótkie pytania, a nie długie lub chaotyczne rozmowy.
2. Te same pytania: mówione a pisane
To jest główne porównanie: identyczna treść, podana raz jako tekst, a raz jako dźwięk, temu samemu modelowi lub rodzinie modeli. DiVA, model mowy działający od końca do końca, uzyskał w VoiceBench 81,08 przy tekście i 55,70, gdy te same instrukcje zostały wypowiedziane, podczas gdy kaskada Whisper plus LLaMA-3.1-8B straciła tylko 2,37 punktu (Chen i in., VoiceBench, arXiv v3 2024). Model wyraźnie radzi sobie z treścią; psuje się droga od dźwięku do znaczenia.
Nowsze, staranniejsze projekty pokazują, że luka może zmaleć do kilku punktów. S2SBench, z South China University of Technology i Baichuan, zmierzył dwuetapowy trening Baichuan-Audio na 79,6% w mówionym uzupełnianiu historii, 3,4 punktu za tekstowym punktem odniesienia Qwen2.5-7B z wynikiem 83,0% (S2SBench, arXiv 2025). Zadania agentowe pozostają znacznie trudniejsze: tau-Voice (w artykule zapisywany jako τ-Voice) testuje agentów głosowych w pełnym dupleksie na 278 zadaniach dotyczących linii lotniczych, handlu i telekomunikacji, a przy realistycznym dźwięku ścieżka mówiona nadal traci ponad połowę możliwości tekstowych. Szybkość odpowiedzi to druga strona tego kompromisu, omówiona w naszych statystykach czasu do pierwszego dźwięku.
| Metryka | Wartość | Źródło |
|---|---|---|
| Łączny wynik VoiceBench, kaskada Whisper + LLaMA-3.1-8B: wejście tekstowe a wejście mówione | 81,43 a 79,06 | Chen i in., VoiceBench, arXiv v3 2024 |
| Łączny wynik VoiceBench, model end-to-end DiVA: wejście tekstowe a wejście mówione | 81,08 a 55,70 | Chen i in., VoiceBench, arXiv v3 2024 |
| Dokładność Big Bench Audio: GPT-4o tekst-tekst a GPT-4o Realtime Preview mowa-mowa | 92% a 66% | Artificial Analysis, premiera Big Bench Audio 2024 |
| Mówione uzupełnianie historii (sStoryCloze): Qwen2.5-7B z tekstem a dwuetapowy Baichuan-Audio z mową | 83,0% a 79,6% | S2SBench, arXiv 2025 |
| Chińskie twierdzenia zdroworozsądkowe (sCMMLU, 4.743 pozycje): Qwen2.5-7B z tekstem a model instrukcyjny GLM-4-Voice z mową | 70,3% a 64,3% | S2SBench, arXiv 2025 |
| Skuteczność zadań w tau-Voice: tekstowy agent GPT-5 a agenci głosowi przy czystym dźwięku | 85% a 31% do 51% | Ray i in., tau-Voice, arXiv 2026 |
| tau-Voice: udział możliwości tekstowych GPT-5 zachowany przez agentów głosowych przy realistycznym dźwięku | mniej więcej 30% do 45% | Ray i in., tau-Voice, arXiv 2026 |
Wyjątek: VoxEval wykazał, że jeden model może uzyskiwać bardzo różne wyniki zależnie od tego, po której stronie jest dźwięk. SPIRIT-LM uzyskał 20,84% w trybie mowa-mowa, 23,77% w trybie mowa-tekst i 1,38% w trybie tekst-mowa na tych samych pytaniach (Cui i in., VoxEval, ACL 2025), co przypomina, że liczy się zarówno strona wyjściowa, jak i wejściowa.
3. Kaskada (ASR + LLM) a modele mowy end-to-end
W pytaniach, w których odpowiedź tkwi w słowach, starą kaskadę nadal bardzo trudno pokonać. W mówionych pytaniach MMLU z VoxEval kaskada Whisper plus Llama-3.1-8B uzyskała 55,25%, podczas gdy najlepszy model mowy end-to-end, GLM-4-Voice, uzyskał 37,63%, i był jedynym modelem end-to-end, który przekroczył linię losowego zgadywania na poziomie 25% (Cui i in., VoxEval, ACL 2025). Dynamic-SUPERB Phase-2 raportuje ten sam wzorzec: w rozpoznawaniu mowy i rozumieniu języka mówionego żaden testowany model nie przewyższył kaskady Whisper-LLaMA (Dynamic-SUPERB Phase-2, ICLR 2025).
Obraz się odwraca, gdy odpowiedź zależy od samego dźwięku. W MMAR, który łączy mowę, muzykę i dźwięki, Gemini 2.0 Flash pokonał każdą kaskadę, która najpierw zamieniała dźwięk w tekstowy opis (artykuł o teście MMAR, arXiv 2025). Wniosek: kaskady wygrywają, gdy transkrypcja zawiera wszystko; modele end-to-end wygrywają, gdy transkrypcja gubi wskazówkę.
| Metryka | Wartość | Źródło |
|---|---|---|
| Dokładność VoxEval: kaskada Whisper + Llama-3.1-8B a GLM-4-Voice end-to-end | 55,25% a 37,63% | Cui i in., VoxEval, ACL 2025 |
| Podzbiór VoxEval z 12 przedmiotów: gpt-4o-audio-preview a kaskada Whisper + Llama-3.1 | 0,718 a 0,606 | Cui i in., VoxEval, ACL 2025 |
| Czat AIR-Bench, średnia ocena GPT-4 (od 1 do 10): kaskada Whisper + GPT-4 a najlepszy model end-to-end (Qwen-Audio Turbo) | 7,54 a 6,34 | AIR-Bench, ACL 2024 |
| Podstawowy test AIR-Bench, średnia dokładność: Qwen-Audio Turbo end-to-end a kaskada Whisper + GPT-4 | 57,8% a 53,6% | AIR-Bench, ACL 2024 |
| Zbiór testowy MMAU, pytania o mowę: GPT-4o czytający szczegółowy opis dźwięku a Gemini Pro v1.5 słuchający dźwięku | 68,66% a 55,90% | Artykuł o teście MMAU, arXiv 2024 |
| Średnia dokładność MMAR: Gemini 2.0 Flash end-to-end a najlepsza kaskada opis + LLM (opis + DeepSeek-R1) | 65,6% a 55,5% | Artykuł o teście MMAR, arXiv 2025 |
| Łączny wynik VoiceBench przy wejściu mówionym: kaskada Whisper + GPT-4o a GPT-4o-Audio | 87,23 a 86,42 | Chen i in., VoiceBench, arXiv v3 2024 |
Kontekst: AIR-Bench pokazuje obie strony w jednym artykule. Kaskada wygrała test otwartego czatu, ale przegrała test podstawowy, a autorzy przypisują jej słaby wynik podstawowy pytaniom o płeć, wiek i emocje mówcy (zob. sekcja 4).
4. Luka paralingwistyczna: słyszenie, jak coś zostało powiedziane
“Paralingwistyczne” oznacza wszystko, co w głosie wykracza poza słowa: emocje, wiek i płeć mówcy, styl wypowiedzi, akcent logiczny. Tu modele językowe mowy są najsłabsze. W MMSU GPT-4o-Audio odpowiedział poprawnie na 59,70% pytań o percepcję semantyczną, ale tylko na 21,44% pytań o percepcję paralingwistyczną, a Gemini-1.5-Pro, najlepszy model ogółem, osiągnął w percepcji paralingwistycznej tylko 31,23% (Wang i in., MMSU, ICLR 2026). Błędy percepcji, a nie rozumowania, stanowiły 50,3% pomyłek GPT-4o-Audio i 51,0% pomyłek Gemini-1.5-Pro.
Rozpoznawanie słów stało się łatwe; odczytywanie głosu nie. Qwen2-Audio transkrybuje zbiór LibriSpeech test-clean ze współczynnikiem błędów słów 1,6%, a jednocześnie osiąga dokładność 55,3% w teście rozpoznawania emocji MELD (Qwen2-Audio Technical Report, 2024). O klinicznej stronie wykrywania emocji piszemy w naszych statystykach dokładności rozpoznawania emocji w mowie.
| Metryka | Wartość | Źródło |
|---|---|---|
| Percepcja w MMSU, GPT-4o-Audio: pytania semantyczne a paralingwistyczne | 59,70% a 21,44% | Wang i in., MMSU, ICLR 2026 |
| Percepcja w MMSU, Gemini-1.5-Pro: pytania semantyczne a paralingwistyczne | 57,06% a 31,23% | Wang i in., MMSU, ICLR 2026 |
| Dokładność rozpoznawania płci mówcy w AIR-Bench: kaskada Whisper + GPT-4 a Qwen-Audio Turbo | 21,9% a 82,5% | AIR-Bench, ACL 2024 |
| Dokładność identyfikacji języka mówionego w AIR-Bench: kaskada Whisper + GPT-4 | 96,8% | AIR-Bench, ACL 2024 |
| Qwen2-Audio: współczynnik błędów słów w LibriSpeech test-clean a dokładność emocji w MELD | 1,6% a 55,3% | Qwen2-Audio Technical Report, 2024 |
| Rozpoznawanie emocji w Dynamic-SUPERB Phase-2, najlepszy model (Qwen2-Audio-7B-Instruct) | 75,8% | Dynamic-SUPERB Phase-2, ICLR 2025 |
| Weryfikacja mówcy w Dynamic-SUPERB Phase-2, najlepszy system (poziom przypadku = 50%) | 51,3% | Dynamic-SUPERB Phase-2, ICLR 2025 |
Kontekst: niektóre umiejętności związane z tożsamością mówcy są celowo wyłączone. OpenAI podaje wynik 0,98 dla wdrożonego GPT-4o w żądaniach identyfikacji mówcy, które powinien odrzucać, wobec 0,83 dla wczesnej wersji (OpenAI, GPT-4o System Card 2024). Niski wynik w tożsamości mówcy może być polityką bezpieczeństwa, a nie tylko porażką percepcji.
5. Akcenty, hałas i niewyraźna mowa
Czysty dźwięk schlebia każdemu modelowi. W ablacji handlowej tau-Voice samo dodanie akcentów obniżyło średnią skuteczność zadań z 55% do 44%, a samo dodanie hałasu w tle obniżyło ją do 51% (Ray i in., tau-Voice, arXiv 2026). Kara za akcenty wahała się od 1 do 18 punktów w zależności od dostawcy, co oznacza, że ranking dostawcy przy czystym dźwięku niewiele mówi o tym, jak radzi sobie z akcentami Twoich użytkowników.
Hałas działa jak klif, a nie jak pochyłość. W badaniu koreańskiej kaskady mówionych pytań i odpowiedzi z 2026 roku jakość odpowiedzi ledwo się zmieniała aż do stosunku sygnału do szumu +10 dB, a następnie gwałtownie spadała poniżej 0 dB, gdy rósł współczynnik błędów znaków w rozpoznawaniu mowy (Jung i Choi, Korean Spoken QA Error Propagation, arXiv 2026). Wpływ akcentów na sam moduł rozpoznawania opisujemy w naszych statystykach błędu akcentowego w ASR.
| Metryka | Wartość | Źródło |
|---|---|---|
| Skuteczność zadań handlowych w tau-Voice, średnia z 3 dostawców głosu: czysty dźwięk a dźwięk z dodanymi akcentami | 55% a 44% | Ray i in., tau-Voice, arXiv 2026 |
| tau-Voice, handel: spadek po dodaniu akcentów, xAI a Google | 18 punktów a 1 punkt | Ray i in., tau-Voice, arXiv 2026 |
| Koreańskie mówione pytania i odpowiedzi, F1 EXAONE-3.5-32B: pytanie pisane a czysty dźwięk a dźwięk przy SNR -10 dB | 0,870 a 0,863 a 0,586 | Jung i Choi, arXiv 2026 |
| Koreańskie mówione pytania i odpowiedzi, współczynnik błędów znaków ASR: czysty dźwięk a 0 dB a SNR -10 dB | 0,0315 a 0,1143 a 0,4977 | Jung i Choi, arXiv 2026 |
| VoiceBench: średni spadek wyniku, gdy instrukcje zawierają błędnie wymówione słowa (wszystkie modele) | 20,34% | Chen i in., VoiceBench, arXiv v3 2024 |
| VoxEval: zmiana dokładności kaskady Whisper + Llama po zmianie wysokości głosu mówcy | minus 9,56 punktu | Cui i in., VoxEval, ACL 2025 |
| Angielski zbiór testowy SD-QA, współczynnik błędów słów rozpoznawania w amerykańskiej angielszczyźnie: mówcy z południowego wschodu USA a mówcy z Nigerii | 5,25% a 15,35% | Faisal i in., SD-QA, EMNLP Findings 2021 |
Najnowsze dostępne dane o mówionych pytaniach i odpowiedziach na poziomie dialektów: Faisal i in., SD-QA, 2021. Na jego angielskim zbiorze testowym F1 wyboru fragmentu spadło z 58,7 przy oryginalnym pytaniu pisanym do 55,8 przy transkrypcji ASR w amerykańskiej angielszczyźnie. Najnowsze dostępne dane o rozumieniu tekstu opartym wyłącznie na transkrypcji: Spoken SQuAD, 2018, gdzie pięć modeli czytających uzyskało średnie F1 74,54 na tekście SQuAD, ale 55,40 na transkrypcjach ASR Spoken SQuAD ze współczynnikiem błędów słów 22,73% (artykuł o Spoken SQuAD, arXiv 2018). Testowanie różnorodności głosów też jest skromne: OpenAI porównało 3 głosy systemowe z 27 angielskimi próbkami głosów ludzkich i uznało, że wynik na głosach ludzkich jest nieznacznie, ale nieistotnie gorszy (OpenAI, GPT-4o System Card 2024). Rozwiązanie przesuwa się na stronę modelu: dostrojenie Qwen2.5-Omni na trzech językach nigeryjskich dało nawet 54% względnego spadku współczynnika błędów słów (Awobade i in., AfriVox, EACL 2026).
6. Pułapy ludzkie i granica 2026 roku
Najtrudniejsze testy rozumowania audio nadal zostawiają szeroki margines na korzyść ludzi. Słuchacze uzyskali w MMSU 89,72%, podczas gdy najlepszy z 22 modeli mowy i modeli omni, Gemini-1.5-Pro, uzyskał 60,68% (Wang i in., MMSU, ICLR 2026). W MMAU margines jest podobny: 82,23% dla ludzi wobec 54,90% dla Gemini Pro v1.5, najlepszego modelu end-to-end, na podzbiorze test-mini z 1.000 pytań (artykuł o teście MMAU, arXiv 2024).
Jednocześnie najłatwiejsze mówione testy rozumowania są niemal rozwiązane. Big Bench Audio przeszedł od 66% dla modelu GPT-4o działającego w czasie rzeczywistym w grudniu 2024 do rankingu z 2026 roku, w którym czołowy wynik, StepAudio 3 Realtime, to 99,7% wśród 44 modeli (Artificial Analysis, ranking Speech to Speech 2026). Zasady punktacji zmieniły się pomiędzy tymi pomiarami, więc obie liczby nie leżą na tej samej skali, ale kierunek jest jasny: na szczycie rankingu mówione wersje zagadek w stylu tekstowym przestały być wąskim gardłem. Wąskim gardłem jest percepcja specyficzna dla głosu.
| Metryka | Wartość | Źródło |
|---|---|---|
| MMAU test-mini: słuchacze a Gemini Pro v1.5 | 82,23% a 54,90% | Artykuł o teście MMAU, arXiv 2024 |
| Zbiór testowy MMAU (9.000 pytań): Gemini Pro v1.5 a Qwen2-Audio-Instruct | 52,97% a 52,50% | Artykuł o teście MMAU, arXiv 2024 |
| MMAR: Gemini 2.0 Flash a zgadywanie losowe | 65,6% a 29,32% | Artykuł o teście MMAR, arXiv 2025 |
| MMAR, GPT-4o Audio: pytania tylko o mowę a pytania tylko o muzykę | 70,41% a 50,97% | Artykuł o teście MMAR, arXiv 2025 |
| MMAR: ocenione modele, otwartoźródłowe plus zamkniętoźródłowe | 30 (24 plus 6) | Artykuł o teście MMAR, arXiv 2025 |
| Średnia VoiceBench raportowana przez zespół Kimi-Audio: Kimi-Audio a GLM-4-Voice | 76,93 a 57,17 | Zespół Kimi, Kimi-Audio Technical Report 2025 |
| Kimi-Audio: audio użyte do wstępnego treningu | ponad 13 milionów godzin | Zespół Kimi, Kimi-Audio Technical Report 2025 |
Kontekst: średnie Kimi-Audio to własna ewaluacja zespołu twórców, więc nie są wymienne z łącznymi wynikami autorów VoiceBench z sekcji 2 i 3, ponieważ oba artykuły przeprowadziły odrębne ewaluacje.
Podsumowanie: testy mówionych pytań i odpowiedzi dla modeli językowych mowy w liczbach
| Metryka | Wartość | Źródło |
|---|---|---|
| Big Bench Audio: GPT-4o tekst-tekst a mowa-mowa | 92% a 66% | Artificial Analysis, premiera Big Bench Audio 2024 |
| tau-Voice: tekstowy agent GPT-5 a agenci głosowi przy czystym dźwięku | 85% a 31% do 51% | Ray i in., tau-Voice, arXiv 2026 |
| VoiceBench, DiVA end-to-end: wejście tekstowe a wejście mówione | 81,08 a 55,70 | Chen i in., VoiceBench, arXiv v3 2024 |
| Uzupełnianie historii w S2SBench: tekstowy punkt odniesienia a najlepszy model mowy | 83,0% a 79,6% | S2SBench, arXiv 2025 |
| VoxEval: kaskada Whisper + Llama a GLM-4-Voice | 55,25% a 37,63% | Cui i in., VoxEval, ACL 2025 |
| MMAR: Gemini 2.0 Flash a najlepsza kaskada opis + LLM | 65,6% a 55,5% | Artykuł o teście MMAR, arXiv 2025 |
| MMSU, GPT-4o-Audio: percepcja semantyczna a paralingwistyczna | 59,70% a 21,44% | Wang i in., MMSU, ICLR 2026 |
| Płeć mówcy w AIR-Bench: kaskada Whisper + GPT-4 a Qwen-Audio Turbo | 21,9% a 82,5% | AIR-Bench, ACL 2024 |
| Qwen2-Audio: współczynnik błędów słów w LibriSpeech a dokładność emocji w MELD | 1,6% a 55,3% | Qwen2-Audio Technical Report, 2024 |
| F1 koreańskich mówionych pytań i odpowiedzi (EXAONE-3.5-32B): czysty dźwięk a SNR -10 dB | 0,863 a 0,586 | Jung i Choi, arXiv 2026 |
| Współczynnik błędów słów w angielskim SD-QA: mówcy z południowego wschodu USA a mówcy z Nigerii | 5,25% a 15,35% | Faisal i in., SD-QA, EMNLP Findings 2021 |
| Modele czytające Spoken SQuAD, średnie F1: tekst a transkrypcje ASR | 74,54 a 55,40 | Artykuł o Spoken SQuAD, arXiv 2018 |
| AfriVox: największy względny spadek współczynnika błędów słów dzięki dostrojeniu Qwen2.5-Omni | do 54% | Awobade i in., AfriVox, EACL 2026 |
| MMAU test-mini: ludzie a Gemini Pro v1.5 | 82,23% a 54,90% | Artykuł o teście MMAU, arXiv 2024 |
| Zadania Dynamic-SUPERB Phase-2 | 180 (125 nowych) | Dynamic-SUPERB Phase-2, ICLR 2025 |
| Audio do wstępnego treningu Kimi-Audio | ponad 13 milionów godzin | Zespół Kimi, Kimi-Audio Technical Report 2025 |
| Wynik lidera Big Bench Audio w 2026 roku | 99,7% (StepAudio 3 Realtime) | Artificial Analysis, ranking Speech to Speech 2026 |
Metodologia i źródła
- Chen i in., VoiceBench: Benchmarking LLM-Based Voice Assistants, arXiv v3, grudzień 2024 oraz jego wersja czasopismowa w Transactions of the ACL, tom 14, 2026.
- AIR-Bench: Benchmarking Large Audio-Language Models via Generative Comprehension, ACL 2024.
- Dynamic-SUPERB, ICASSP 2024 oraz Dynamic-SUPERB Phase-2, ICLR 2025.
- MMAU: A Massive Multi-Task Audio Understanding and Reasoning Benchmark, arXiv 2024.
- MMAR: A Challenging Benchmark for Deep Reasoning in Speech, Audio, Music, and Their Mix, arXiv 2025.
- Wang i in., MMSU: A Massive Multi-task Spoken Language Understanding and Reasoning Benchmark, ICLR 2026.
- Cui i in., VoxEval, ACL 2025.
- S2SBench: Quantifying Intelligence Degradation in Speech-to-Speech LLMs, South China University of Technology i Baichuan, arXiv 2025.
- Ray i in., tau-Voice: Benchmarking Full-Duplex Voice Agents on Real-World Domains, Sierra i Princeton University, arXiv marzec 2026.
- Jung i Choi, Analyzing Error Propagation in Korean Spoken QA with ASR-LLM Cascades, arXiv 2026.
- Faisal i in., SD-QA: Spoken Dialectal Question Answering for the Real World, Findings of EMNLP 2021.
- Spoken SQuAD: Mitigating the Impact of Speech Recognition Errors on Listening Comprehension, arXiv 2018.
- Awobade i in., AfriVox: Probing Multilingual and Accent Robustness of Speech LLMs, EACL 2026.
- Artificial Analysis, Evaluating Audio Reasoning with Big Bench Audio, 20 grudnia 2024, ranking Speech to Speech 2026 oraz metodologia testowania mowa-mowa.
- OpenAI, GPT-4o System Card, 2024.
- Qwen2-Audio Technical Report, 2024 oraz Zespół Kimi, Kimi-Audio Technical Report, 2025.
- Uwaga o danych: punktacja Big Bench Audio zmieniła się z wersji v1.0 (pytania bez odpowiedzi nie były karane, od grudnia 2024 do marca 2026) na v1.1 (liczone wszystkie 1.000 pytań, marzec 2026) i v1.2 (zaktualizowany sędzia i oceniający, maj 2026), więc liczby 66% (2024) i 99,7% (2026) nie leżą na tej samej skali. Strona rankingu nie podaje daty swoich wyników, a jej wykres pokazuje 37 z 44 modeli; odczytaliśmy ją 31 października 2026 roku. Wyniki VoiceBench pochodzą tu z preprintu z grudnia 2024, w którym tekst i tabele w pewnych miejscach się różnią (tekst mówi, że kaskada straciła 4,37 punktu, tabela pokazuje 2,37; użyliśmy tabeli), a wersja czasopismowa z 2026 roku może podawać inne wyniki. Tekst VoxEval podaje spadki do 6% wynikające ze stylu mówienia i jakości dźwięku, podczas gdy jego tabela pokazuje minus 9,56 punktu dla wysokości głosu; użyliśmy tabeli. Proza artykułu o MMSU i jego Tabela 4 różnią się co do tego, która kategoria błędów GPT-4o-Audio wynosi 14,7%. MMAR podaje 30 modeli, a jego tabela wymienia 31 wierszy. Dynamic-SUPERB Phase-2 stwierdza, że żaden model nie przewyższa poziomu przypadku w wyszukiwaniu przez przykład, a jego tabela pokazuje 53,5% dla jednego modelu. Liczby S2SBench dla GLM-4-Voice w sCMMLU dotyczą modelu instrukcyjnego, bo nie udostępniono modelu bazowego. SD-QA (2021) i Spoken SQuAD (2018) są starsze niż trzy lata i dotyczą wyłącznie systemów kaskadowych. tau-Voice testował 3 komercyjnych agentów głosowych, więc rozrzut wyników może szybko się zmienić wraz z aktualizacjami modeli przez dostawców, a tabele MMSU, MMAU i Kimi-Audio obejmują głównie generacje modeli z lat 2024 i 2025.
Ostatnia aktualizacja: 31 października 2026 roku. To zestawienie aktualizujemy co kwartał, a następne odświeżenie przewidujemy, gdy Artificial Analysis opublikuje kolejną wersję indeksu Speech to Speech i pojawią się artykuły o testach modeli językowych mowy z ICLR 2027.