같은 Big Bench Hard 추론 문제 1,000개에서 GPT-4o는 텍스트로 받았을 때 92%를 맞혔지만, 실시간 음성-음성 버전은 질문을 음성으로 들려주자 66%만 맞혔다(Artificial Analysis, Big Bench Audio 출시 2024). 이 격차가 모든 곳에서 좁혀진 것은 아니다. 2026년 고객 서비스 벤치마크 tau-Voice에서 GPT-5 텍스트 에이전트는 과업의 85%를 완료한 반면, 전이중 음성 에이전트는 깨끗한 오디오에서 31%에서 51%, 현실적인 소음과 억양이 있는 조건에서 26%에서 38%를 완료했다(Ray 외, tau-Voice, arXiv 2026). 가장 약한 기술은 말이 아니라 목소리 자체다. MMSU에서 GPT-4o-Audio는 준언어 지각 문항의 21.44%를 맞혔는데, 의미 기반 문항의 59.70%와 큰 차이가 난다(Wang 외, MMSU, ICLR 2026). 캐스케이드에서는 위험이 음성 인식 전단에서 시작되며, 거기서 생긴 오류와 지어낸 전사 텍스트가 그대로 답변으로 흘러 들어간다. 저희는 S2SBench, AfriVox, SD-QA, Spoken SQuAD, OpenAI GPT-4o System Card, Qwen2-Audio와 Kimi-Audio 기술 보고서, 그리고 ACL, ICLR, arXiv의 벤치마크 논문 십수 편과 리더보드에서 데이터를 취합했다.
이 정리에서 “음성 언어 모델”(음성 LLM 또는 대형 오디오 언어 모델이라고도 함)은 오디오를 직접 입력으로 받는 모델을 뜻한다. “캐스케이드”는 예전 방식의 설계로, 음성 인식기가 전사본을 작성하고 텍스트 전용 LLM이 그 전사본을 바탕으로 답한다.
요약
- GPT-4o는 Big Bench Audio에서 텍스트 질문 92%, 음성-음성 66%를 기록했다(Artificial Analysis, Big Bench Audio 출시 2024).
- DiVA는 텍스트 입력 81.08에서 같은 지시를 음성으로 들려준 경우 55.70으로 떨어졌다(Chen 외, VoiceBench, arXiv v3 2024).
- Baichuan-Audio의 2단계 학습은 음성 스토리 완성에서 텍스트 기준 모델과의 격차를 3.4포인트로 줄였다(S2SBench, arXiv 2025).
- Whisper와 Llama-3.1-8B 캐스케이드는 VoxEval에서 55.25%를 기록해, 최고의 엔드투엔드 모델의 37.63%를 앞질렀다(Cui 외, VoxEval, ACL 2025).
- Gemini 2.0 Flash는 MMAR에서 65.6%에 도달해 캡션과 LLM을 결합한 모든 캐스케이드를 앞섰고, 그중 최고는 55.5%였다(MMAR 벤치마크 논문, arXiv 2025).
- GPT-4o-Audio는 준언어 지각에서 21.44%, 의미 지각에서 59.70%를 기록했다(Wang 외, MMSU, ICLR 2026).
- Whisper와 GPT-4 캐스케이드가 화자 성별을 정확히 식별한 비율은 21.9%에 불과했다(AIR-Bench, ACL 2024).
- 억양을 추가하자 음성 에이전트의 소매 과업 성공률이 평균 55%에서 44%로 떨어졌다(Ray 외, tau-Voice, arXiv 2026).
- EXAONE-3.5-32B는 한국어 캐스케이드에서 깨끗한 오디오의 F1 0.863에서 신호 대 잡음비 -10 dB의 0.586으로 떨어졌다(Jung과 Choi, arXiv 2026).
- Dynamic-SUPERB는 평가 인스턴스 55개에서 180개 과업으로 늘어났다(Dynamic-SUPERB, ICASSP 2024; Dynamic-SUPERB Phase-2, ICLR 2025).
1. 음성 질의응답 벤치마크는 얼마나 커졌나
벤치마크 규모는 2023년부터 2026년 사이에 빠르게 커졌지만, 서로 다른 두 방향으로 커졌다. Dynamic-SUPERB는 평가 인스턴스 55개(33개 과업과 22개 데이터셋으로 구성)에서 Phase-2의 180개 과업으로 늘어났고, 그중 125개는 연구 커뮤니티가 기여한 것이다(Dynamic-SUPERB Phase-2, ICLR 2025). 이것은 폭의 확장이다. 짧은 테스트를 많이 두고 각각이 한 가지 기술을 검증한다. VoxEval은 반대 길을 택해, 지식 질문이라는 한 가지 기술을 깊이 파고들었다. MMLU의 56개 과목을 13,938개의 음성 질문-답변 쌍으로 바꾸고, 각 쌍을 11가지 오디오 조건에서 생성해 총 153,318개의 변형을 만들었다(Cui 외, VoxEval, ACL 2025).
모델 카드를 읽는 사람에게 실질적으로 중요한 점은, 하나의 대표 점수가 1,000개 항목에서 나왔을 수도 있고 19,000개 항목에서 나왔을 수도 있으며, 합성 음성에서 나왔을 수도 있고 실제 녹음에서 나왔을 수도 있다는 것이다. Big Bench Audio와 MMAR는 각각 1,000개 항목이어서, 두 모델 사이의 1~2포인트 차이를 실제 순위로 읽기는 어렵다.
| 지표 | 값 | 출처 |
|---|---|---|
| Dynamic-SUPERB Phase 1: 평가 인스턴스, 과업, 데이터셋 | 55개 인스턴스, 33개 과업, 22개 데이터셋 | Dynamic-SUPERB, ICASSP 2024 |
| AIR-Bench 기초 벤치마크: 과업과 단일 선택형 질문 | 19개 과업, 약 19,000개 질문 | AIR-Bench, ACL 2024 |
| AIR-Bench 대화 벤치마크: 주관식 질문과 그중 음성 관련 질문 | 2,000개 질문, 그중 800개가 음성 관련 | AIR-Bench, ACL 2024 |
| MMAU: 오디오 클립 수와 검증하는 서로 다른 기술 수 | 10,000개 클립, 27개 기술 | MMAU 벤치마크 논문, arXiv 2024 |
| MMSU: 질문과 과업(지각과 추론) | 5,000개 질문, 47개 과업(지각 24개, 추론 23개) | Wang 외, MMSU, ICLR 2026 |
| VoiceBench(저널 버전): 음성 지시와 과업 | 6,783개 지시, 8개 과업 | Chen 외, VoiceBench, TACL 2026 |
| SD-QA: 음성 프롬프트, 방언, 화자, 언어 | 68,000개 이상의 프롬프트, 24개 방언, 255명의 화자, 5개 언어 | Faisal 외, SD-QA, EMNLP Findings 2021 |
배경: Big Bench Audio는 텍스트 음성 변환 모델에서 가져온 23개의 합성 음성으로 녹음되었고(Artificial Analysis, Big Bench Audio 출시 2024), Dynamic-SUPERB Phase-2 오디오 중 30초를 넘는 것은 약 6.57%에 불과하다(Dynamic-SUPERB Phase-2, ICLR 2025). 따라서 이들 테스트 대부분이 측정하는 것은 짧은 질문이지, 길고 어수선한 대화가 아니다.
2. 같은 질문, 음성과 텍스트의 비교
이것이 핵심 비교다. 동일한 내용을 한 번은 텍스트로, 한 번은 오디오로 같은 모델 또는 같은 모델 계열에 제시한다. 엔드투엔드 음성 모델인 DiVA는 VoiceBench에서 텍스트를 받았을 때 81.08, 같은 지시를 음성으로 받았을 때 55.70을 기록한 반면, Whisper와 LLaMA-3.1-8B 캐스케이드는 2.37포인트만 떨어졌다(Chen 외, VoiceBench, arXiv v3 2024). 모델은 내용 자체는 분명히 다루고 있으며, 무너지는 것은 소리에서 의미로 가는 경로다.
더 새롭고 신중한 설계는 격차가 몇 포인트까지 줄어들 수 있음을 보여준다. 화난이공대학과 Baichuan이 만든 S2SBench는 Baichuan-Audio의 2단계 학습이 음성 스토리 완성에서 79.6%를 기록해, Qwen2.5-7B 텍스트 기준 모델의 83.0%에 3.4포인트 뒤졌다고 측정했다(S2SBench, arXiv 2025). 에이전트 과업은 여전히 훨씬 어렵다. tau-Voice(논문에서는 τ-Voice로 표기)는 전이중 음성 에이전트를 항공, 소매, 통신 분야의 278개 과업으로 검증하는데, 현실적인 오디오 조건에서 음성 경로는 여전히 텍스트 능력의 절반 넘게 잃는다. 응답 속도는 이 트레이드오프의 다른 면이며, 저희 첫 오디오 출력까지의 시간 통계에서 다룬다.
| 지표 | 값 | 출처 |
|---|---|---|
| VoiceBench 종합 점수, Whisper + LLaMA-3.1-8B 캐스케이드: 텍스트 입력 대 음성 입력 | 81.43 대 79.06 | Chen 외, VoiceBench, arXiv v3 2024 |
| VoiceBench 종합 점수, DiVA 엔드투엔드 모델: 텍스트 입력 대 음성 입력 | 81.08 대 55.70 | Chen 외, VoiceBench, arXiv v3 2024 |
| Big Bench Audio 정확도: GPT-4o 텍스트-텍스트 대 GPT-4o Realtime Preview 음성-음성 | 92% 대 66% | Artificial Analysis, Big Bench Audio 출시 2024 |
| 음성 스토리 완성(sStoryCloze): 텍스트 Qwen2.5-7B 대 음성 2단계 Baichuan-Audio | 83.0% 대 79.6% | S2SBench, arXiv 2025 |
| 중국어 상식 문장(sCMMLU, 4,743개 항목): 텍스트 Qwen2.5-7B 대 음성 GLM-4-Voice 지시 모델 | 70.3% 대 64.3% | S2SBench, arXiv 2025 |
| tau-Voice 과업 성공률: GPT-5 텍스트 에이전트 대 깨끗한 오디오의 음성 에이전트 | 85% 대 31%에서 51% | Ray 외, tau-Voice, arXiv 2026 |
| tau-Voice: 현실적인 오디오 조건에서 음성 에이전트가 유지하는 GPT-5 텍스트 능력의 비율 | 대략 30%에서 45% | Ray 외, tau-Voice, arXiv 2026 |
예외: VoxEval은 같은 모델이라도 어느 쪽이 오디오인지에 따라 점수가 크게 달라질 수 있음을 발견했다. SPIRIT-LM은 같은 질문에서 음성-음성 20.84%, 음성-텍스트 23.77%, 텍스트-음성 1.38%를 기록했다(Cui 외, VoxEval, ACL 2025). 입력 쪽뿐 아니라 출력 쪽도 중요하다는 점을 상기시킨다.
3. 캐스케이드(ASR + LLM) 대 엔드투엔드 음성 모델
답이 단어 안에 있는 질문에서는 기존 캐스케이드를 이기기가 여전히 매우 어렵다. VoxEval의 음성 MMLU 문제에서 Whisper와 Llama-3.1-8B 캐스케이드는 55.25%를 기록한 반면 최고의 엔드투엔드 음성 모델인 GLM-4-Voice는 37.63%였고, GLM-4-Voice는 25% 무작위 추측선을 넘은 유일한 엔드투엔드 모델이었다(Cui 외, VoxEval, ACL 2025). Dynamic-SUPERB Phase-2도 같은 양상을 보고한다. 음성 인식과 음성 언어 이해에서는 테스트된 어떤 모델도 Whisper-LLaMA 캐스케이드를 넘지 못했다(Dynamic-SUPERB Phase-2, ICLR 2025).
답이 소리 자체에 달려 있으면 양상이 뒤집힌다. 음성, 음악, 소리를 섞은 MMAR에서 Gemini 2.0 Flash는 오디오를 먼저 텍스트 캡션으로 바꾸는 모든 캐스케이드를 앞질렀다(MMAR 벤치마크 논문, arXiv 2025). 교훈은 이렇다. 전사본이 모든 것을 담고 있을 때는 캐스케이드가 이기고, 전사본이 단서를 버릴 때는 엔드투엔드 모델이 이긴다.
| 지표 | 값 | 출처 |
|---|---|---|
| VoxEval 정확도: Whisper + Llama-3.1-8B 캐스케이드 대 GLM-4-Voice 엔드투엔드 | 55.25% 대 37.63% | Cui 외, VoxEval, ACL 2025 |
| VoxEval 12개 과목 부분집합: gpt-4o-audio-preview 대 Whisper + Llama-3.1 캐스케이드 | 0.718 대 0.606 | Cui 외, VoxEval, ACL 2025 |
| AIR-Bench 대화, GPT-4 평균 점수(1~10): Whisper + GPT-4 캐스케이드 대 최고의 엔드투엔드 모델(Qwen-Audio Turbo) | 7.54 대 6.34 | AIR-Bench, ACL 2024 |
| AIR-Bench 기초, 평균 정확도: Qwen-Audio Turbo 엔드투엔드 대 Whisper + GPT-4 캐스케이드 | 57.8% 대 53.6% | AIR-Bench, ACL 2024 |
| MMAU 테스트 세트, 음성 질문: 상세한 오디오 캡션을 읽는 GPT-4o 대 오디오를 듣는 Gemini Pro v1.5 | 68.66% 대 55.90% | MMAU 벤치마크 논문, arXiv 2024 |
| MMAR 평균 정확도: Gemini 2.0 Flash 엔드투엔드 대 최고의 캡션 + LLM 캐스케이드(캡션 + DeepSeek-R1) | 65.6% 대 55.5% | MMAR 벤치마크 논문, arXiv 2025 |
| 음성 입력에서의 VoiceBench 종합 점수: Whisper + GPT-4o 캐스케이드 대 GPT-4o-Audio | 87.23 대 86.42 | Chen 외, VoiceBench, arXiv v3 2024 |
배경: AIR-Bench는 한 논문에서 양쪽 면을 모두 보여준다. 캐스케이드는 주관식 대화 테스트에서는 이겼지만 기초 테스트에서는 졌고, 저자들은 기초 점수가 낮은 이유를 화자 성별, 나이, 감정에 관한 질문 탓으로 돌린다(4장 참고).
4. 준언어 격차: 어떻게 말했는지 듣기
“준언어”란 목소리에서 단어를 넘어서는 모든 것, 즉 감정, 화자의 나이와 성별, 말하기 스타일, 강조를 뜻한다. 음성 LLM이 가장 약한 곳이 바로 여기다. MMSU에서 GPT-4o-Audio는 의미 지각 문항의 59.70%를 맞혔지만 준언어 지각 문항은 21.44%밖에 맞히지 못했고, 전체 최고 모델인 Gemini-1.5-Pro도 준언어 지각에서는 31.23%에 그쳤다(Wang 외, MMSU, ICLR 2026). GPT-4o-Audio 오류의 50.3%, Gemini-1.5-Pro 오류의 51.0%는 추론 오류가 아니라 지각 오류였다.
단어를 인식하는 일은 쉬워졌지만, 목소리를 읽는 일은 그렇지 않다. Qwen2-Audio는 LibriSpeech test-clean 세트를 단어 오류율 1.6%로 전사하면서도, MELD 감정 인식 테스트에서는 정확도 55.3%에 그친다(Qwen2-Audio Technical Report, 2024). 감정 검출의 임상적 측면은 저희 음성 감정 인식 정확도 통계를 참고하세요.
| 지표 | 값 | 출처 |
|---|---|---|
| MMSU 지각, GPT-4o-Audio: 의미 질문 대 준언어 질문 | 59.70% 대 21.44% | Wang 외, MMSU, ICLR 2026 |
| MMSU 지각, Gemini-1.5-Pro: 의미 질문 대 준언어 질문 | 57.06% 대 31.23% | Wang 외, MMSU, ICLR 2026 |
| AIR-Bench 화자 성별 정확도: Whisper + GPT-4 캐스케이드 대 Qwen-Audio Turbo | 21.9% 대 82.5% | AIR-Bench, ACL 2024 |
| AIR-Bench 음성 언어 식별 정확도: Whisper + GPT-4 캐스케이드 | 96.8% | AIR-Bench, ACL 2024 |
| Qwen2-Audio: LibriSpeech test-clean 단어 오류율 대 MELD 감정 정확도 | 1.6% 대 55.3% | Qwen2-Audio Technical Report, 2024 |
| Dynamic-SUPERB Phase-2 감정 인식, 최고 모델(Qwen2-Audio-7B-Instruct) | 75.8% | Dynamic-SUPERB Phase-2, ICLR 2025 |
| Dynamic-SUPERB Phase-2 화자 검증, 최고 시스템(우연 수준 = 50%) | 51.3% | Dynamic-SUPERB Phase-2, ICLR 2025 |
배경: 일부 화자 식별 기능은 의도적으로 꺼져 있다. OpenAI는 거부해야 하는 화자 식별 요청에 대해 배포된 GPT-4o의 점수가 0.98이고, 초기 버전은 0.83이었다고 보고한다(OpenAI, GPT-4o System Card 2024). 화자 식별 점수가 낮은 것은 지각 실패만이 아니라 안전 정책 때문일 수도 있다.
5. 억양, 소음, 불명확한 음성
깨끗한 오디오는 모든 모델에 유리하게 작용한다. tau-Voice 소매 어블레이션에서 억양만 추가해도 평균 과업 성공률이 55%에서 44%로 떨어졌고, 배경 소음만 추가하면 51%로 떨어졌다(Ray 외, tau-Voice, arXiv 2026). 억양에 따른 하락 폭은 제공업체에 따라 1포인트에서 18포인트까지 다양했는데, 이는 업체의 깨끗한 오디오 기준 순위가 사용자의 억양을 얼마나 잘 처리하는지에 대해 알려주는 바가 거의 없다는 뜻이다.
소음은 완만한 경사가 아니라 절벽처럼 작용한다. 2026년 한국어 음성 질의응답 캐스케이드 연구에서 답변 품질은 신호 대 잡음비 +10 dB까지는 거의 변하지 않다가, 음성 인식기의 문자 오류율이 오르면서 0 dB 아래에서 급격히 떨어졌다(Jung과 Choi, Korean Spoken QA Error Propagation, arXiv 2026). 인식기 자체에 대한 억양의 영향은 저희 ASR 억양 편향 통계에서 다룬다.
| 지표 | 값 | 출처 |
|---|---|---|
| tau-Voice 소매 과업 성공률, 음성 제공업체 3곳 평균: 깨끗한 오디오 대 억양 추가 | 55% 대 44% | Ray 외, tau-Voice, arXiv 2026 |
| tau-Voice 소매: 억양 추가로 인한 하락 폭, xAI 대 Google | 18포인트 대 1포인트 | Ray 외, tau-Voice, arXiv 2026 |
| 한국어 음성 질의응답, EXAONE-3.5-32B의 F1: 텍스트로 입력한 질문 대 깨끗한 오디오 대 SNR -10 dB의 오디오 | 0.870 대 0.863 대 0.586 | Jung과 Choi, arXiv 2026 |
| 한국어 음성 질의응답, ASR 문자 오류율: 깨끗한 오디오 대 0 dB 대 SNR -10 dB | 0.0315 대 0.1143 대 0.4977 | Jung과 Choi, arXiv 2026 |
| VoiceBench: 지시에 잘못 발음된 단어가 포함된 경우의 평균 점수 하락(전체 모델) | 20.34% | Chen 외, VoiceBench, arXiv v3 2024 |
| VoxEval: 화자의 음높이를 바꿨을 때 Whisper + Llama 캐스케이드의 정확도 변화 | 마이너스 9.56포인트 | Cui 외, VoxEval, ACL 2025 |
| SD-QA 영어 테스트 세트, 미국 영어 인식기의 단어 오류율: 미국 남동부 화자 대 나이지리아 화자 | 5.25% 대 15.35% | Faisal 외, SD-QA, EMNLP Findings 2021 |
방언 수준의 음성 질의응답에 관해 구할 수 있는 최신 데이터: Faisal 외, SD-QA, 2021년. 영어 테스트 세트에서 지문 선택 F1은 원래의 텍스트 질문에서 58.7이던 것이 미국 영어 ASR 전사본에서는 55.8로 떨어졌다. 전사본만으로 하는 독해에 관해 구할 수 있는 최신 데이터: Spoken SQuAD, 2018년. 여기서 독해 모델 5개의 평균 F1은 SQuAD 텍스트에서 74.54였지만 단어 오류율 22.73%의 Spoken SQuAD ASR 전사본에서는 55.40이었다(Spoken SQuAD 논문, arXiv 2018). 목소리 다양성 검증도 미흡하다. OpenAI는 시스템 음성 3개와 영어 음성 샘플 27개를 비교해 사람 목소리에서의 성능이 근소하게 낮지만 유의하지는 않다고 평가했다(OpenAI, GPT-4o System Card 2024). 해법은 모델 쪽으로 옮겨가고 있다. Qwen2.5-Omni를 나이지리아 언어 3개로 미세 조정하자 단어 오류율이 최대 54% 상대적으로 감소했다(Awobade 외, AfriVox, EACL 2026).
6. 인간의 상한과 2026년의 최전선
가장 어려운 오디오 추론 벤치마크는 여전히 인간과의 큰 격차를 남긴다. MMSU에서 인간 청취자는 89.72%를 기록한 반면, 22개 음성 모델과 옴니 모델 중 최고인 Gemini-1.5-Pro는 60.68%를 기록했다(Wang 외, MMSU, ICLR 2026). MMAU에서도 격차는 비슷하다. 1,000개 질문의 test-mini 분할에서 인간은 82.23%, 최고의 엔드투엔드 모델인 Gemini Pro v1.5는 54.90%였다(MMAU 벤치마크 논문, arXiv 2024).
동시에 가장 쉬운 음성 추론 테스트는 거의 풀렸다. Big Bench Audio는 2024년 12월 GPT-4o 실시간 모델의 66%에서, 2026년 리더보드에서는 1위인 StepAudio 3 Realtime이 44개 모델 중 99.7%를 기록하는 수준까지 올라왔다(Artificial Analysis, Speech to Speech 리더보드 2026). 그 사이 채점 규칙이 바뀌었으므로 두 수치는 같은 척도가 아니지만, 방향은 분명하다. 리더보드 최상위에서 텍스트형 퍼즐의 음성 버전은 더 이상 병목이 아니며, 병목은 목소리 고유의 지각이다.
| 지표 | 값 | 출처 |
|---|---|---|
| MMAU test-mini: 인간 청취자 대 Gemini Pro v1.5 | 82.23% 대 54.90% | MMAU 벤치마크 논문, arXiv 2024 |
| MMAU 테스트 세트(9,000개 질문): Gemini Pro v1.5 대 Qwen2-Audio-Instruct | 52.97% 대 52.50% | MMAU 벤치마크 논문, arXiv 2024 |
| MMAR: Gemini 2.0 Flash 대 무작위 추측 | 65.6% 대 29.32% | MMAR 벤치마크 논문, arXiv 2025 |
| MMAR, GPT-4o Audio: 음성 전용 질문 대 음악 전용 질문 | 70.41% 대 50.97% | MMAR 벤치마크 논문, arXiv 2025 |
| MMAR: 평가된 모델 수, 오픈소스와 클로즈드소스 | 30(24와 6) | MMAR 벤치마크 논문, arXiv 2025 |
| Kimi-Audio 팀이 보고한 VoiceBench 평균: Kimi-Audio 대 GLM-4-Voice | 76.93 대 57.17 | Kimi 팀, Kimi-Audio Technical Report 2025 |
| Kimi-Audio: 사전 학습에 사용된 오디오 | 13백만 시간 이상 | Kimi 팀, Kimi-Audio Technical Report 2025 |
배경: Kimi-Audio 평균은 개발팀 자체 평가이므로, 두 논문이 별개의 평가를 수행했기 때문에 2장과 3장의 VoiceBench 저자들의 종합 점수와 서로 바꿔 쓸 수 없다.
요약: 숫자로 보는 음성 언어 모델의 음성 질의응답 벤치마크
| 지표 | 값 | 출처 |
|---|---|---|
| Big Bench Audio: GPT-4o 텍스트-텍스트 대 음성-음성 | 92% 대 66% | Artificial Analysis, Big Bench Audio 출시 2024 |
| tau-Voice: GPT-5 텍스트 에이전트 대 깨끗한 오디오의 음성 에이전트 | 85% 대 31%에서 51% | Ray 외, tau-Voice, arXiv 2026 |
| VoiceBench, DiVA 엔드투엔드: 텍스트 입력 대 음성 입력 | 81.08 대 55.70 | Chen 외, VoiceBench, arXiv v3 2024 |
| S2SBench 스토리 완성: 텍스트 기준 모델 대 최고의 음성 모델 | 83.0% 대 79.6% | S2SBench, arXiv 2025 |
| VoxEval: Whisper + Llama 캐스케이드 대 GLM-4-Voice | 55.25% 대 37.63% | Cui 외, VoxEval, ACL 2025 |
| MMAR: Gemini 2.0 Flash 대 최고의 캡션 + LLM 캐스케이드 | 65.6% 대 55.5% | MMAR 벤치마크 논문, arXiv 2025 |
| MMSU, GPT-4o-Audio: 의미 지각 대 준언어 지각 | 59.70% 대 21.44% | Wang 외, MMSU, ICLR 2026 |
| AIR-Bench 화자 성별: Whisper + GPT-4 캐스케이드 대 Qwen-Audio Turbo | 21.9% 대 82.5% | AIR-Bench, ACL 2024 |
| Qwen2-Audio: LibriSpeech 단어 오류율 대 MELD 감정 정확도 | 1.6% 대 55.3% | Qwen2-Audio Technical Report, 2024 |
| 한국어 음성 질의응답 F1(EXAONE-3.5-32B): 깨끗한 오디오 대 SNR -10 dB | 0.863 대 0.586 | Jung과 Choi, arXiv 2026 |
| SD-QA 영어 단어 오류율: 미국 남동부 화자 대 나이지리아 화자 | 5.25% 대 15.35% | Faisal 외, SD-QA, EMNLP Findings 2021 |
| Spoken SQuAD 독해 모델 평균 F1: 텍스트 대 ASR 전사본 | 74.54 대 55.40 | Spoken SQuAD 논문, arXiv 2018 |
| AfriVox: Qwen2.5-Omni 미세 조정으로 얻은 최대 상대 단어 오류율 감소 | 최대 54% | Awobade 외, AfriVox, EACL 2026 |
| MMAU test-mini: 인간 대 Gemini Pro v1.5 | 82.23% 대 54.90% | MMAU 벤치마크 논문, arXiv 2024 |
| Dynamic-SUPERB Phase-2 과업 수 | 180(신규 125) | Dynamic-SUPERB Phase-2, ICLR 2025 |
| Kimi-Audio 사전 학습 오디오 | 13백만 시간 이상 | Kimi 팀, Kimi-Audio Technical Report 2025 |
| 2026년 Big Bench Audio 1위 점수 | 99.7%(StepAudio 3 Realtime) | Artificial Analysis, Speech to Speech 리더보드 2026 |
방법론과 출처
- Chen 외, VoiceBench: Benchmarking LLM-Based Voice Assistants, arXiv v3, 2024년 12월 및 그 저널 버전 Transactions of the ACL, 14권, 2026년.
- AIR-Bench: Benchmarking Large Audio-Language Models via Generative Comprehension, ACL 2024.
- Dynamic-SUPERB, ICASSP 2024 및 Dynamic-SUPERB Phase-2, ICLR 2025.
- MMAU: A Massive Multi-Task Audio Understanding and Reasoning Benchmark, arXiv 2024.
- MMAR: A Challenging Benchmark for Deep Reasoning in Speech, Audio, Music, and Their Mix, arXiv 2025.
- Wang 외, MMSU: A Massive Multi-task Spoken Language Understanding and Reasoning Benchmark, ICLR 2026.
- Cui 외, VoxEval, ACL 2025.
- S2SBench: Quantifying Intelligence Degradation in Speech-to-Speech LLMs, 화난이공대학과 Baichuan, arXiv 2025.
- Ray 외, tau-Voice: Benchmarking Full-Duplex Voice Agents on Real-World Domains, Sierra와 Princeton University, arXiv 2026년 3월.
- Jung과 Choi, Analyzing Error Propagation in Korean Spoken QA with ASR-LLM Cascades, arXiv 2026.
- Faisal 외, SD-QA: Spoken Dialectal Question Answering for the Real World, Findings of EMNLP 2021.
- Spoken SQuAD: Mitigating the Impact of Speech Recognition Errors on Listening Comprehension, arXiv 2018.
- Awobade 외, AfriVox: Probing Multilingual and Accent Robustness of Speech LLMs, EACL 2026.
- Artificial Analysis, Evaluating Audio Reasoning with Big Bench Audio, 2024년 12월 20일, Speech to Speech 리더보드 2026 및 음성-음성 벤치마킹 방법론.
- OpenAI, GPT-4o System Card, 2024.
- Qwen2-Audio Technical Report, 2024 및 Kimi 팀, Kimi-Audio Technical Report, 2025.
- 데이터 참고 사항: Big Bench Audio의 채점은 v1.0(답하지 않은 질문에 감점 없음, 2024년 12월~2026년 3월)에서 v1.1(1,000개 질문 모두 집계, 2026년 3월)과 v1.2(판정기와 채점기 갱신, 2026년 5월)로 바뀌었으므로, 66%(2024년)와 99.7%(2026년) 수치는 같은 척도가 아니다. 리더보드 페이지에는 점수의 날짜가 적혀 있지 않고, 차트에는 44개 모델 중 37개만 표시된다. 저희는 2026년 10월 31일에 이를 확인했다. 여기의 VoiceBench 점수는 2024년 12월 프리프린트에서 가져왔는데, 그 본문과 표가 일부 어긋나며(본문은 캐스케이드가 4.37포인트 떨어졌다고 하지만 표는 2.37이며, 저희는 표를 사용했다), 2026년 저널 버전은 다른 점수를 보고할 수 있다. VoxEval의 본문은 말하기 스타일과 오디오 품질로 인한 최대 6% 하락을 보고하지만, 표에서는 음높이에 대해 마이너스 9.56포인트로 나타나며, 저희는 표를 사용했다. MMSU 논문의 본문과 표 4는 GPT-4o-Audio의 어느 오류 범주가 14.7%인지에 대해 서로 다르게 적혀 있다. MMAR는 30개 모델이라고 하지만 표에는 31개 행이 나열되어 있다. Dynamic-SUPERB Phase-2는 예시 기반 검색에서 어떤 모델도 우연 수준을 넘지 못한다고 하지만, 표에는 한 모델이 53.5%로 나와 있다. sCMMLU에 대한 GLM-4-Voice의 S2SBench 수치는 기본 모델이 제공되지 않아 지시 모델을 사용했다. SD-QA(2021년)와 Spoken SQuAD(2018년)는 3년이 넘은 자료이며 캐스케이드 시스템만 다룬다. tau-Voice는 상용 음성 에이전트 3종을 테스트했으므로, 제공업체가 모델을 갱신하면 그 격차는 빠르게 바뀔 수 있고, MMSU, MMAU, Kimi-Audio 표는 대부분 2024년과 2025년 모델 세대를 다룬다.
마지막 업데이트: 2026년 10월 31일. 저희는 이 정리를 분기마다 업데이트하며, 다음 갱신은 Artificial Analysis가 다음 Speech to Speech Index 버전을 공개하고 ICLR 2027 음성 LLM 벤치마크 논문이 나올 때 이루어질 것으로 예상한다.