На тех же 1 000 вопросах на рассуждение из Big Bench Hard GPT-4o ответила правильно на 92%, когда они поступили текстом, но её версия «речь в речь» в реальном времени ответила лишь на 66%, когда вопросы были произнесены вслух (Artificial Analysis, запуск Big Bench Audio 2024). Не везде этот разрыв закрылся: в бенчмарке клиентской поддержки tau-Voice 2026 года текстовый агент GPT-5 выполнил 85% задач, тогда как полнодуплексные голосовые агенты выполнили от 31% до 51% на чистом аудио и от 26% до 38% при реалистичном шуме и акцентах (Ray и др., tau-Voice, arXiv 2026). Самый слабый навык - это не слова, а сам голос: GPT-4o-Audio правильно ответила на 21,44% вопросов о паралингвистическом восприятии в MMSU против 59,70% на вопросах, основанных на смысле (Wang и др., MMSU, ICLR 2026). В конвейерах риск начинается на входе, при распознавании речи, откуда ошибки и выдуманный текст транскрипции попадают прямо в ответ. Мы свели данные S2SBench, AfriVox, SD-QA, Spoken SQuAD, OpenAI GPT-4o System Card, технических отчётов Qwen2-Audio и Kimi-Audio, а также более десятка статей о бенчмарках и рейтингов ACL, ICLR и arXiv.
В этом обзоре «речевая языковая модель» (также речевая LLM или большая аудио-языковая модель) - это модель, которая принимает аудио напрямую. «Конвейер» - это более старая схема: распознаватель речи пишет транскрипцию, а текстовая LLM отвечает по этой транскрипции.
Кратко (TL;DR)
- GPT-4o набрала 92% на текстовых вопросах и 66% в режиме «речь в речь» в Big Bench Audio (Artificial Analysis, запуск Big Bench Audio 2024).
- DiVA упала с 81,08 при текстовом вводе до 55,70 при тех же произнесённых инструкциях (Chen и др., VoiceBench, arXiv v3 2024).
- Двухэтапное обучение Baichuan-Audio сократило отставание в завершении устных историй до 3,4 пункта от текстовой базовой модели (S2SBench, arXiv 2025).
- Конвейер Whisper плюс Llama-3.1-8B набрал 55,25% в VoxEval против 37,63% у лучшей сквозной модели (Cui и др., VoxEval, ACL 2025).
- Gemini 2.0 Flash достигла 65,6% в MMAR, обойдя все конвейеры из текстового описания плюс LLM, лучший из которых набрал 55,5% (статья о бенчмарке MMAR, arXiv 2025).
- GPT-4o-Audio набрала 21,44% в паралингвистическом восприятии против 59,70% в семантическом (Wang и др., MMSU, ICLR 2026).
- Конвейер Whisper плюс GPT-4 правильно определил пол говорящего лишь в 21,9% случаев (AIR-Bench, ACL 2024).
- Добавление акцентов снизило среднюю успешность выполнения задач голосовыми агентами в ритейле с 55% до 44% (Ray и др., tau-Voice, arXiv 2026).
- EXAONE-3.5-32B упала с F1 0,863 на чистом аудио до 0,586 при отношении сигнал/шум -10 дБ в корейском конвейере (Jung и Choi, arXiv 2026).
- Dynamic-SUPERB вырос с 55 экземпляров оценки до 180 задач (Dynamic-SUPERB, ICASSP 2024; Dynamic-SUPERB Phase-2, ICLR 2025).
1. Насколько велики бенчмарки устных вопросов и ответов
Размер бенчмарков быстро рос в 2023-2026 годах, но в двух разных направлениях. Dynamic-SUPERB вырос с 55 экземпляров оценки (построенных из 33 задач и 22 наборов данных) до 180 задач в фазе 2, 125 из которых предложило исследовательское сообщество (Dynamic-SUPERB Phase-2, ICLR 2025). Это ширина: много коротких тестов, каждый из которых проверяет один навык. VoxEval пошёл противоположным путём и углубился в один навык, вопросы на знания, превратив 56 предметов MMLU в 13 938 устных пар «вопрос - ответ», а затем сгенерировав каждую пару в 11 аудиоусловиях, всего 153 318 вариантов (Cui и др., VoxEval, ACL 2025).
Практический вывод для тех, кто читает карточку модели: один итоговый балл может быть получен на 1 000 заданий или на 19 000 заданий, на синтетических голосах или на реальных записях. В Big Bench Audio и MMAR по 1 000 заданий, поэтому разницу в 1-2 пункта между двумя моделями трудно считать настоящим рейтингом.
| Показатель | Значение | Источник |
|---|---|---|
| Dynamic-SUPERB, фаза 1: экземпляры оценки, задачи и наборы данных | 55 экземпляров, 33 задачи, 22 набора данных | Dynamic-SUPERB, ICASSP 2024 |
| Базовый бенчмарк AIR-Bench: задачи и вопросы с одним верным вариантом ответа | 19 задач, около 19 000 вопросов | AIR-Bench, ACL 2024 |
| Чат-бенчмарк AIR-Bench: открытые вопросы, из них о речи | 2 000 вопросов, 800 о речи | AIR-Bench, ACL 2024 |
| MMAU: аудиофрагменты и число проверяемых навыков | 10 000 фрагментов, 27 навыков | статья о бенчмарке MMAU, arXiv 2024 |
| MMSU: вопросы и задачи (восприятие и рассуждение) | 5 000 вопросов, 47 задач (24 на восприятие, 23 на рассуждение) | Wang и др., MMSU, ICLR 2026 |
| VoiceBench (журнальная версия): устные инструкции и задачи | 6 783 инструкции, 8 задач | Chen и др., VoiceBench, TACL 2026 |
| SD-QA: аудиопромпты, диалекты, говорящие и языки | более 68 000 промптов, 24 диалекта, 255 говорящих, 5 языков | Faisal и др., SD-QA, EMNLP Findings 2021 |
Контекст: Big Bench Audio озвучен 23 синтетическими голосами из моделей преобразования текста в речь (Artificial Analysis, запуск Big Bench Audio 2024), и лишь около 6,57% аудио Dynamic-SUPERB Phase-2 длится дольше 30 секунд (Dynamic-SUPERB Phase-2, ICLR 2025). Поэтому большинство этих тестов измеряют короткие вопросы, а не длинные или беспорядочные разговоры.
2. Те же вопросы: произнесённые и набранные
Это основное сравнение: одинаковое содержание, поданное один раз текстом и один раз аудио одной и той же модели или семейству моделей. DiVA, сквозная речевая модель, набрала 81,08 в VoiceBench при текстовом вводе и 55,70, когда те же инструкции были произнесены, тогда как конвейер Whisper плюс LLaMA-3.1-8B потерял лишь 2,37 пункта (Chen и др., VoiceBench, arXiv v3 2024). Модель явно справляется с содержанием; ломается путь от звука к смыслу.
Более новые и тщательные разработки показывают, что разрыв может сократиться до нескольких пунктов. S2SBench от Южно-Китайского технологического университета и Baichuan измерил двухэтапное обучение Baichuan-Audio в 79,6% в завершении устных историй, что на 3,4 пункта ниже текстовой базовой модели Qwen2.5-7B с 83,0% (S2SBench, arXiv 2025). Задачи для агентов остаются намного сложнее: tau-Voice (в статье пишется τ-Voice) проверяет полнодуплексных голосовых агентов на 278 задачах авиакомпаний, ритейла и телекоммуникаций, и при реалистичном аудио устный путь всё равно теряет больше половины текстовых возможностей. Скорость ответа - оборотная сторона этого компромисса, о ней мы пишем в нашей статистике времени до первого аудио.
| Показатель | Значение | Источник |
|---|---|---|
| Общий балл VoiceBench, конвейер Whisper + LLaMA-3.1-8B: текстовый ввод против устного ввода | 81,43 против 79,06 | Chen и др., VoiceBench, arXiv v3 2024 |
| Общий балл VoiceBench, сквозная модель DiVA: текстовый ввод против устного ввода | 81,08 против 55,70 | Chen и др., VoiceBench, arXiv v3 2024 |
| Точность в Big Bench Audio: GPT-4o «текст в текст» против GPT-4o Realtime Preview «речь в речь» | 92% против 66% | Artificial Analysis, запуск Big Bench Audio 2024 |
| Завершение устных историй (sStoryCloze): Qwen2.5-7B с текстом против двухэтапной Baichuan-Audio с речью | 83,0% против 79,6% | S2SBench, arXiv 2025 |
| Китайские утверждения здравого смысла (sCMMLU, 4 743 задания): Qwen2.5-7B с текстом против инструктивной модели GLM-4-Voice с речью | 70,3% против 64,3% | S2SBench, arXiv 2025 |
| Успешность выполнения задач в tau-Voice: текстовый агент GPT-5 против голосовых агентов на чистом аудио | 85% против 31% - 51% | Ray и др., tau-Voice, arXiv 2026 |
| tau-Voice: доля текстовых возможностей GPT-5, сохраняемая голосовыми агентами при реалистичном аудио | примерно 30% - 45% | Ray и др., tau-Voice, arXiv 2026 |
Выброс: VoxEval обнаружил, что одна и та же модель может показывать очень разные результаты в зависимости от того, какая сторона является аудио. SPIRIT-LM набрала 20,84% в режиме «речь в речь», 23,77% в режиме «речь в текст» и 1,38% в режиме «текст в речь» на одних и тех же вопросах (Cui и др., VoxEval, ACL 2025), что напоминает: выходная сторона важна не меньше входной.
3. Конвейер (ASR + LLM) против сквозных речевых моделей
Для вопросов, ответ на которые содержится в словах, старый конвейер по-прежнему очень трудно превзойти. На устных вопросах MMLU в VoxEval конвейер Whisper плюс Llama-3.1-8B набрал 55,25%, тогда как лучшая сквозная речевая модель GLM-4-Voice набрала 37,63%, и GLM-4-Voice была единственной сквозной моделью, преодолевшей линию случайного угадывания в 25% (Cui и др., VoxEval, ACL 2025). Dynamic-SUPERB Phase-2 сообщает ту же картину: в распознавании речи и понимании устной речи ни одна из протестированных моделей не превзошла конвейер Whisper-LLaMA (Dynamic-SUPERB Phase-2, ICLR 2025).
Картина переворачивается, когда ответ зависит от самого звука. В MMAR, где смешаны речь, музыка и звуки, Gemini 2.0 Flash обошла все конвейеры, которые сначала превращали аудио в текстовое описание (статья о бенчмарке MMAR, arXiv 2025). Урок: конвейеры выигрывают, когда транскрипция несёт всё; сквозные модели выигрывают, когда транскрипция теряет ключевую подсказку.
| Показатель | Значение | Источник |
|---|---|---|
| Точность в VoxEval: конвейер Whisper + Llama-3.1-8B против сквозной GLM-4-Voice | 55,25% против 37,63% | Cui и др., VoxEval, ACL 2025 |
| Подвыборка VoxEval из 12 предметов: gpt-4o-audio-preview против конвейера Whisper + Llama-3.1 | 0,718 против 0,606 | Cui и др., VoxEval, ACL 2025 |
| Чат AIR-Bench, средняя оценка GPT-4 (от 1 до 10): конвейер Whisper + GPT-4 против лучшей сквозной модели (Qwen-Audio Turbo) | 7,54 против 6,34 | AIR-Bench, ACL 2024 |
| Базовый AIR-Bench, средняя точность: сквозная Qwen-Audio Turbo против конвейера Whisper + GPT-4 | 57,8% против 53,6% | AIR-Bench, ACL 2024 |
| Тестовая выборка MMAU, вопросы по речи: GPT-4o, читающая подробное описание аудио, против Gemini Pro v1.5, слушающей аудио | 68,66% против 55,90% | статья о бенчмарке MMAU, arXiv 2024 |
| Средняя точность в MMAR: сквозная Gemini 2.0 Flash против лучшего конвейера из описания + LLM (описание + DeepSeek-R1) | 65,6% против 55,5% | статья о бенчмарке MMAR, arXiv 2025 |
| Общий балл VoiceBench при устном вводе: конвейер Whisper + GPT-4o против GPT-4o-Audio | 87,23 против 86,42 | Chen и др., VoiceBench, arXiv v3 2024 |
Контекст: AIR-Bench показывает обе стороны в одной статье. Конвейер выиграл тест открытого чата, но проиграл базовый тест, и авторы объясняют его слабый базовый результат вопросами о поле, возрасте и эмоциях говорящего (см. раздел 4).
4. Паралингвистический пробел: слышать, как что-то сказано
«Паралингвистика» - это всё, что есть в голосе помимо слов: эмоции, возраст и пол говорящего, стиль речи, смысловое выделение. Именно здесь речевые LLM слабее всего. В MMSU GPT-4o-Audio правильно ответила на 59,70% вопросов о семантическом восприятии, но лишь на 21,44% вопросов о паралингвистическом восприятии, а Gemini-1.5-Pro, лучшая модель в целом, достигла только 31,23% в паралингвистическом восприятии (Wang и др., MMSU, ICLR 2026). Ошибки восприятия, а не рассуждения, составили 50,3% ошибок GPT-4o-Audio и 51,0% ошибок Gemini-1.5-Pro.
Распознавать слова стало легко; читать голос - нет. Qwen2-Audio транскрибирует набор LibriSpeech test-clean с коэффициентом ошибок по словам 1,6%, но достигает лишь 55,3% точности в тесте распознавания эмоций MELD (технический отчёт Qwen2-Audio, 2024). О клинической стороне определения эмоций см. нашу статистику точности распознавания эмоций в речи.
| Показатель | Значение | Источник |
|---|---|---|
| Восприятие в MMSU, GPT-4o-Audio: семантические вопросы против паралингвистических вопросов | 59,70% против 21,44% | Wang и др., MMSU, ICLR 2026 |
| Восприятие в MMSU, Gemini-1.5-Pro: семантические вопросы против паралингвистических вопросов | 57,06% против 31,23% | Wang и др., MMSU, ICLR 2026 |
| Точность определения пола говорящего в AIR-Bench: конвейер Whisper + GPT-4 против Qwen-Audio Turbo | 21,9% против 82,5% | AIR-Bench, ACL 2024 |
| Точность определения языка речи в AIR-Bench: конвейер Whisper + GPT-4 | 96,8% | AIR-Bench, ACL 2024 |
| Qwen2-Audio: коэффициент ошибок по словам на LibriSpeech test-clean против точности распознавания эмоций на MELD | 1,6% против 55,3% | технический отчёт Qwen2-Audio, 2024 |
| Распознавание эмоций в Dynamic-SUPERB Phase-2, лучшая модель (Qwen2-Audio-7B-Instruct) | 75,8% | Dynamic-SUPERB Phase-2, ICLR 2025 |
| Верификация диктора в Dynamic-SUPERB Phase-2, лучшая система (случайный уровень = 50%) | 51,3% | Dynamic-SUPERB Phase-2, ICLR 2025 |
Контекст: некоторые навыки определения личности говорящего намеренно отключены. OpenAI сообщает об оценке 0,98 для развёрнутой GPT-4o на запросах идентификации говорящего, которые она должна отклонять, против 0,83 у ранней версии (OpenAI, GPT-4o System Card 2024). Низкая оценка по личности говорящего может быть политикой безопасности, а не только сбоем восприятия.
5. Акценты, шум и неряшливая речь
Чистое аудио льстит любой модели. В абляции для ритейла в tau-Voice одно лишь добавление акцентов снизило среднюю успешность выполнения задач с 55% до 44%, а одно лишь добавление фонового шума снизило её до 51% (Ray и др., tau-Voice, arXiv 2026). Потери из-за акцентов составили от 1 пункта до 18 пунктов в зависимости от провайдера, а значит, рейтинг поставщика на чистом аудио мало говорит о том, как он справляется с акцентами ваших пользователей.
Шум ведёт себя как обрыв, а не как склон. В исследовании 2026 года корейского конвейера устных вопросов и ответов качество ответов почти не менялось до отношения сигнал/шум +10 дБ, а затем резко падало ниже 0 дБ по мере роста коэффициента ошибок по символам у распознавателя речи (Jung и Choi, Korean Spoken QA Error Propagation, arXiv 2026). Влияние акцентов на сам распознаватель разобрано в нашей статистике предвзятости ASR к акцентам.
| Показатель | Значение | Источник |
|---|---|---|
| Успешность выполнения задач в ритейле в tau-Voice, среднее по 3 голосовым провайдерам: чистое аудио против аудио с добавленными акцентами | 55% против 44% | Ray и др., tau-Voice, arXiv 2026 |
| tau-Voice, ритейл: падение от добавления акцентов, xAI против Google | 18 пунктов против 1 пункта | Ray и др., tau-Voice, arXiv 2026 |
| Корейские устные вопросы и ответы, F1 EXAONE-3.5-32B: вопрос текстом против чистого аудио против аудио при SNR -10 дБ | 0,870 против 0,863 против 0,586 | Jung и Choi, arXiv 2026 |
| Корейские устные вопросы и ответы, коэффициент ошибок ASR по символам: чистое аудио против 0 дБ против SNR -10 дБ | 0,0315 против 0,1143 против 0,4977 | Jung и Choi, arXiv 2026 |
| VoiceBench: средняя потеря балла, когда в инструкциях есть неправильно произнесённые слова (все модели) | 20,34% | Chen и др., VoiceBench, arXiv v3 2024 |
| VoxEval: изменение точности конвейера Whisper + Llama при изменении высоты голоса говорящего | минус 9,56 пункта | Cui и др., VoxEval, ACL 2025 |
| Английская тестовая выборка SD-QA, коэффициент ошибок по словам американского английского распознавателя: говорящие с юго-востока США против говорящих из Нигерии | 5,25% против 15,35% | Faisal и др., SD-QA, EMNLP Findings 2021 |
Самые свежие доступные данные по устным вопросам и ответам на уровне диалектов: Faisal и др., SD-QA, 2021. На английской тестовой выборке F1 выбора фрагмента упал с 58,7 при исходном вопросе текстом до 55,8 при ASR-транскрипции на американском английском. Самые свежие доступные данные по пониманию прочитанного только по транскрипциям: Spoken SQuAD, 2018, где пять моделей чтения в среднем набрали F1 74,54 на тексте SQuAD, но 55,40 на ASR-транскрипциях Spoken SQuAD с коэффициентом ошибок по словам 22,73% (статья о Spoken SQuAD, arXiv 2018). Тестирование разнообразия голосов тоже скудно: OpenAI сравнила 3 системных голоса с 27 образцами английских голосов и назвала результат на человеческих голосах немного, но не статистически значимо хуже (OpenAI, GPT-4o System Card 2024). Решение смещается на сторону модели: дообучение Qwen2.5-Omni на трёх нигерийских языках дало относительное снижение коэффициента ошибок по словам до 54% (Awobade и др., AfriVox, EACL 2026).
6. Потолок человека и передовая линия 2026 года
Самые сложные бенчмарки по рассуждению об аудио по-прежнему оставляют большой запас до человека. Слушатели-люди набрали 89,72% в MMSU, тогда как лучшая из 22 речевых и омни-моделей, Gemini-1.5-Pro, набрала 60,68% (Wang и др., MMSU, ICLR 2026). В MMAU разрыв схож: 82,23% у людей против 54,90% у Gemini Pro v1.5, лучшей сквозной модели, на выборке test-mini из 1 000 вопросов (статья о бенчмарке MMAU, arXiv 2024).
В то же время самые лёгкие тесты на устное рассуждение почти решены. Big Bench Audio прошёл путь от 66% у модели реального времени GPT-4o в декабре 2024 года до рейтинга 2026 года, где лидер, StepAudio 3 Realtime, набирает 99,7% среди 44 моделей (Artificial Analysis, рейтинг Speech to Speech 2026). Правила подсчёта баллов за это время менялись, поэтому два числа находятся не на одной шкале, но направление ясно: на вершине рейтинга устные версии головоломок в текстовом стиле больше не являются узким местом. Узкое место - восприятие, специфичное для голоса.
| Показатель | Значение | Источник |
|---|---|---|
| MMAU test-mini: слушатели-люди против Gemini Pro v1.5 | 82,23% против 54,90% | статья о бенчмарке MMAU, arXiv 2024 |
| Тестовая выборка MMAU (9 000 вопросов): Gemini Pro v1.5 против Qwen2-Audio-Instruct | 52,97% против 52,50% | статья о бенчмарке MMAU, arXiv 2024 |
| MMAR: Gemini 2.0 Flash против случайного угадывания | 65,6% против 29,32% | статья о бенчмарке MMAR, arXiv 2025 |
| MMAR, GPT-4o Audio: вопросы только по речи против вопросов только по музыке | 70,41% против 50,97% | статья о бенчмарке MMAR, arXiv 2025 |
| MMAR: оценённые модели, с открытым кодом плюс с закрытым кодом | 30 (24 плюс 6) | статья о бенчмарке MMAR, arXiv 2025 |
| Среднее по VoiceBench по данным команды Kimi-Audio: Kimi-Audio против GLM-4-Voice | 76,93 против 57,17 | Kimi Team, технический отчёт Kimi-Audio 2025 |
| Kimi-Audio: аудио, использованное для предварительного обучения | более 13 миллионов часов | Kimi Team, технический отчёт Kimi-Audio 2025 |
Контекст: средние значения Kimi-Audio - это собственная оценка команды разработчиков, поэтому их нельзя смешивать с общими баллами авторов VoiceBench из разделов 2 и 3, ведь две статьи проводили отдельные оценки.
Итоги: бенчмарки устных вопросов и ответов для речевых языковых моделей в цифрах
| Показатель | Значение | Источник |
|---|---|---|
| Big Bench Audio: GPT-4o «текст в текст» против «речь в речь» | 92% против 66% | Artificial Analysis, запуск Big Bench Audio 2024 |
| tau-Voice: текстовый агент GPT-5 против голосовых агентов на чистом аудио | 85% против 31% - 51% | Ray и др., tau-Voice, arXiv 2026 |
| VoiceBench, сквозная DiVA: текстовый ввод против устного ввода | 81,08 против 55,70 | Chen и др., VoiceBench, arXiv v3 2024 |
| Завершение историй в S2SBench: текстовая базовая модель против лучшей речевой модели | 83,0% против 79,6% | S2SBench, arXiv 2025 |
| VoxEval: конвейер Whisper + Llama против GLM-4-Voice | 55,25% против 37,63% | Cui и др., VoxEval, ACL 2025 |
| MMAR: Gemini 2.0 Flash против лучшего конвейера из описания + LLM | 65,6% против 55,5% | статья о бенчмарке MMAR, arXiv 2025 |
| MMSU, GPT-4o-Audio: семантическое против паралингвистического восприятия | 59,70% против 21,44% | Wang и др., MMSU, ICLR 2026 |
| Пол говорящего в AIR-Bench: конвейер Whisper + GPT-4 против Qwen-Audio Turbo | 21,9% против 82,5% | AIR-Bench, ACL 2024 |
| Qwen2-Audio: коэффициент ошибок по словам на LibriSpeech против точности распознавания эмоций на MELD | 1,6% против 55,3% | технический отчёт Qwen2-Audio, 2024 |
| F1 корейских устных вопросов и ответов (EXAONE-3.5-32B): чистое аудио против SNR -10 дБ | 0,863 против 0,586 | Jung и Choi, arXiv 2026 |
| SD-QA, коэффициент ошибок по словам на английском: говорящие с юго-востока США против говорящих из Нигерии | 5,25% против 15,35% | Faisal и др., SD-QA, EMNLP Findings 2021 |
| Модели чтения на Spoken SQuAD, средний F1: текст против ASR-транскрипций | 74,54 против 55,40 | статья о Spoken SQuAD, arXiv 2018 |
| AfriVox: наибольшее относительное снижение коэффициента ошибок по словам от дообучения Qwen2.5-Omni | до 54% | Awobade и др., AfriVox, EACL 2026 |
| MMAU test-mini: люди против Gemini Pro v1.5 | 82,23% против 54,90% | статья о бенчмарке MMAU, arXiv 2024 |
| Задачи Dynamic-SUPERB Phase-2 | 180 (125 новых) | Dynamic-SUPERB Phase-2, ICLR 2025 |
| Аудио для предварительного обучения Kimi-Audio | более 13 миллионов часов | Kimi Team, технический отчёт Kimi-Audio 2025 |
| Результат лидера Big Bench Audio в 2026 году | 99,7% (StepAudio 3 Realtime) | Artificial Analysis, рейтинг Speech to Speech 2026 |
Методология и источники
- Chen и др., VoiceBench: Benchmarking LLM-Based Voice Assistants, arXiv v3, декабрь 2024 года и его журнальная версия в Transactions of the ACL, том 14, 2026.
- AIR-Bench: Benchmarking Large Audio-Language Models via Generative Comprehension, ACL 2024.
- Dynamic-SUPERB, ICASSP 2024 и Dynamic-SUPERB Phase-2, ICLR 2025.
- MMAU: A Massive Multi-Task Audio Understanding and Reasoning Benchmark, arXiv 2024.
- MMAR: A Challenging Benchmark for Deep Reasoning in Speech, Audio, Music, and Their Mix, arXiv 2025.
- Wang и др., MMSU: A Massive Multi-task Spoken Language Understanding and Reasoning Benchmark, ICLR 2026.
- Cui и др., VoxEval, ACL 2025.
- S2SBench: Quantifying Intelligence Degradation in Speech-to-Speech LLMs, Южно-Китайский технологический университет и Baichuan, arXiv 2025.
- Ray и др., tau-Voice: Benchmarking Full-Duplex Voice Agents on Real-World Domains, Sierra и Принстонский университет, arXiv, март 2026 года.
- Jung и Choi, Analyzing Error Propagation in Korean Spoken QA with ASR-LLM Cascades, arXiv 2026.
- Faisal и др., SD-QA: Spoken Dialectal Question Answering for the Real World, Findings of EMNLP 2021.
- Spoken SQuAD: Mitigating the Impact of Speech Recognition Errors on Listening Comprehension, arXiv 2018.
- Awobade и др., AfriVox: Probing Multilingual and Accent Robustness of Speech LLMs, EACL 2026.
- Artificial Analysis, Evaluating Audio Reasoning with Big Bench Audio, 20 декабря 2024 года, рейтинг Speech to Speech 2026 и методология бенчмаркинга «речь в речь».
- OpenAI, GPT-4o System Card, 2024.
- Технический отчёт Qwen2-Audio, 2024 и Kimi Team, технический отчёт Kimi-Audio, 2025.
- Наблюдение по данным: подсчёт баллов Big Bench Audio изменился с v1.0 (вопросы без ответа не штрафовались, с декабря 2024 года по март 2026 года) на v1.1 (учитываются все 1 000 вопросов, март 2026 года) и v1.2 (обновлены судья и оценщик, май 2026 года), поэтому значения 66% (2024) и 99,7% (2026) находятся не на одной шкале. На странице рейтинга не указана дата его результатов, а его график показывает 37 из 44 моделей; мы прочитали его 31 октября 2026 года. Баллы VoiceBench здесь взяты из препринта декабря 2024 года, текст и таблицы которого местами расходятся (в тексте сказано, что конвейер потерял 4,37 пункта, в таблице 2,37; мы использовали таблицу), а журнальная версия 2026 года может сообщать другие баллы. В тексте VoxEval указано падение до 6% из-за стиля речи и качества аудио, а в таблице для высоты голоса минус 9,56 пункта; мы использовали таблицу. Текст статьи MMSU и таблица 4 расходятся в том, какая категория ошибок GPT-4o-Audio составляет 14,7%. В MMAR сказано о 30 моделях, но в таблице 31 строка. Dynamic-SUPERB Phase-2 утверждает, что ни одна модель не превосходит случайный уровень в поиске по образцу, тогда как в таблице у одной модели 53,5%. Значения S2SBench для GLM-4-Voice в sCMMLU относятся к инструктивной модели, потому что базовая модель не предоставлялась. SD-QA (2021) и Spoken SQuAD (2018) старше трёх лет и охватывают только конвейерные системы. В tau-Voice протестированы 3 коммерческих голосовых агента, поэтому их разброс может быстро меняться по мере обновления моделей провайдерами, а таблицы MMSU, MMAU и Kimi-Audio в основном охватывают поколения моделей 2024 и 2025 годов.
Последнее обновление: 31 октября 2026 года. Мы обновляем этот обзор ежеквартально, и следующее обновление ожидается, когда Artificial Analysis опубликует следующую версию своего Speech to Speech Index и появятся статьи о бенчмарках речевых LLM для ICLR 2027.