Trên cùng 1.000 câu hỏi suy luận Big Bench Hard, GPT-4o trả lời đúng 92% khi câu hỏi đến dưới dạng văn bản, nhưng phiên bản giọng nói sang giọng nói thời gian thực của nó chỉ trả lời đúng 66% khi các câu hỏi được nói ra (Artificial Analysis, ra mắt Big Bench Audio 2024). Khoảng cách chưa thu hẹp ở mọi nơi: trong benchmark chăm sóc khách hàng tau-Voice năm 2026, một tác tử văn bản GPT-5 hoàn thành 85% nhiệm vụ, trong khi các tác tử giọng nói song công toàn phần hoàn thành 31% đến 51% với âm thanh sạch và 26% đến 38% với tiếng ồn và khẩu âm thực tế (Ray và cs., tau-Voice, arXiv 2026). Kỹ năng yếu nhất không phải là lời nói mà là chính giọng nói: GPT-4o-Audio trả lời đúng 21,44% câu hỏi nhận thức cận ngôn ngữ trong MMSU, so với 59,70% ở các câu hỏi dựa trên ý nghĩa (Wang và cs., MMSU, ICLR 2026). Trong các chuỗi ASR + LLM, rủi ro bắt đầu từ khâu nhận dạng giọng nói ở đầu vào, nơi lỗi và văn bản bản ghi do mô hình tự bịa chảy thẳng vào câu trả lời. Chúng tôi tổng hợp dữ liệu từ S2SBench, AfriVox, SD-QA, Spoken SQuAD, OpenAI GPT-4o System Card, các báo cáo kỹ thuật của Qwen2-Audio và Kimi-Audio, cùng hơn một chục bài báo benchmark và bảng xếp hạng từ ACL, ICLR và arXiv.
Trong bài tổng hợp này, “mô hình ngôn ngữ giọng nói” (còn gọi là LLM giọng nói hay mô hình ngôn ngữ âm thanh lớn) là mô hình nhận trực tiếp âm thanh làm đầu vào. “Chuỗi ASR + LLM” là thiết kế cũ hơn: một bộ nhận dạng giọng nói viết ra bản ghi, rồi một LLM chỉ xử lý văn bản trả lời dựa trên bản ghi đó.
Tóm tắt nhanh
- GPT-4o đạt 92% ở câu hỏi văn bản và 66% ở giọng nói sang giọng nói trên Big Bench Audio (Artificial Analysis, ra mắt Big Bench Audio 2024).
- DiVA giảm từ 81,08 với đầu vào văn bản xuống 55,70 khi cùng các chỉ dẫn đó được nói ra (Chen và cs., VoiceBench, arXiv v3 2024).
- Huấn luyện hai giai đoạn của Baichuan-Audio thu hẹp khoảng cách hoàn thành truyện bằng giọng nói còn 3,4 điểm so với mô hình nền tảng văn bản (S2SBench, arXiv 2025).
- Chuỗi Whisper cộng Llama-3.1-8B đạt 55,25% trên VoxEval so với 37,63% của mô hình đầu cuối tốt nhất (Cui và cs., VoxEval, ACL 2025).
- Gemini 2.0 Flash đạt 65,6% trên MMAR, vượt mọi chuỗi chú thích cộng LLM, trong đó chuỗi tốt nhất đạt 55,5% (bài báo benchmark MMAR, arXiv 2025).
- GPT-4o-Audio đạt 21,44% ở nhận thức cận ngôn ngữ so với 59,70% ở nhận thức ngữ nghĩa (Wang và cs., MMSU, ICLR 2026).
- Chuỗi Whisper cộng GPT-4 chỉ xác định đúng giới tính người nói ở 21,9% số lần (AIR-Bench, ACL 2024).
- Việc thêm khẩu âm làm giảm tỷ lệ hoàn thành nhiệm vụ bán lẻ của tác tử giọng nói từ 55% xuống 44% tính trung bình (Ray và cs., tau-Voice, arXiv 2026).
- EXAONE-3.5-32B giảm từ F1 0,863 với âm thanh sạch xuống 0,586 ở tỷ số tín hiệu trên nhiễu -10 dB trong một chuỗi tiếng Hàn (Jung và Choi, arXiv 2026).
- Dynamic-SUPERB mở rộng từ 55 mẫu đánh giá lên 180 nhiệm vụ (Dynamic-SUPERB, ICASSP 2024; Dynamic-SUPERB Phase-2, ICLR 2025).
1. Các Benchmark Hỏi Đáp Bằng Giọng Nói Đã Lớn Đến Mức Nào
Quy mô benchmark tăng nhanh trong giai đoạn 2023 đến 2026, nhưng theo hai hướng khác nhau. Dynamic-SUPERB đi từ 55 mẫu đánh giá (xây dựng từ 33 nhiệm vụ và 22 bộ dữ liệu) lên 180 nhiệm vụ ở Phase-2, trong đó 125 nhiệm vụ do cộng đồng nghiên cứu đóng góp (Dynamic-SUPERB Phase-2, ICLR 2025). Đó là chiều rộng: nhiều bài kiểm tra ngắn, mỗi bài thăm dò một kỹ năng. VoxEval chọn con đường ngược lại và đi sâu vào một kỹ năng là câu hỏi kiến thức, bằng cách biến 56 môn học của MMLU thành 13.938 cặp hỏi đáp bằng giọng nói, rồi tạo từng cặp trong 11 điều kiện âm thanh để có 153.318 biến thể (Cui và cs., VoxEval, ACL 2025).
Điều rút ra trong thực tế cho bất kỳ ai đọc thẻ mô hình: một điểm số nổi bật có thể đến từ 1.000 mục hoặc 19.000 mục, và từ giọng tổng hợp hoặc bản ghi thực. Big Bench Audio và MMAR mỗi bên có 1.000 mục, khiến chênh lệch 1 đến 2 điểm giữa hai mô hình khó được đọc như một thứ hạng thực sự.
| Chỉ số | Giá trị | Nguồn |
|---|---|---|
| Dynamic-SUPERB Phase 1: mẫu đánh giá, nhiệm vụ và bộ dữ liệu | 55 mẫu, 33 nhiệm vụ, 22 bộ dữ liệu | Dynamic-SUPERB, ICASSP 2024 |
| Benchmark nền tảng AIR-Bench: nhiệm vụ và câu hỏi một lựa chọn | 19 nhiệm vụ, khoảng 19.000 câu hỏi | AIR-Bench, ACL 2024 |
| Benchmark hội thoại AIR-Bench: câu hỏi mở, trong đó về giọng nói | 2.000 câu hỏi, 800 câu về giọng nói | AIR-Bench, ACL 2024 |
| MMAU: đoạn âm thanh và số kỹ năng riêng biệt được kiểm tra | 10.000 đoạn, 27 kỹ năng | Bài báo benchmark MMAU, arXiv 2024 |
| MMSU: câu hỏi và nhiệm vụ (nhận thức và suy luận) | 5.000 câu hỏi, 47 nhiệm vụ (24 nhận thức, 23 suy luận) | Wang và cs., MMSU, ICLR 2026 |
| VoiceBench (bản tạp chí): chỉ dẫn bằng giọng nói và nhiệm vụ | 6.783 chỉ dẫn, 8 nhiệm vụ | Chen và cs., VoiceBench, TACL 2026 |
| SD-QA: câu lệnh âm thanh, phương ngữ, người nói và ngôn ngữ | hơn 68.000 câu lệnh, 24 phương ngữ, 255 người nói, 5 ngôn ngữ | Faisal và cs., SD-QA, EMNLP Findings 2021 |
Bối cảnh: Big Bench Audio được thu giọng bằng 23 giọng tổng hợp lấy từ các mô hình chuyển văn bản thành giọng nói (Artificial Analysis, ra mắt Big Bench Audio 2024), và chỉ khoảng 6,57% âm thanh của Dynamic-SUPERB Phase-2 dài hơn 30 giây (Dynamic-SUPERB Phase-2, ICLR 2025). Vì vậy phần lớn các bài kiểm tra này đo những câu hỏi ngắn, chứ không phải các cuộc hội thoại dài hay lộn xộn.
2. Cùng Câu Hỏi, Nói và Gõ
Đây là phép so sánh cốt lõi: nội dung giống hệt nhau, được đưa vào một lần dưới dạng văn bản và một lần dưới dạng âm thanh, cho cùng một mô hình hoặc cùng một họ mô hình. DiVA, một mô hình giọng nói đầu cuối, đạt 81,08 trên VoiceBench khi được cho văn bản và 55,70 khi cùng các chỉ dẫn đó được nói ra, trong khi chuỗi Whisper cộng LLaMA-3.1-8B chỉ mất 2,37 điểm (Chen và cs., VoiceBench, arXiv v3 2024). Rõ ràng mô hình nắm được nội dung; thứ bị hỏng là đường đi từ âm thanh đến ý nghĩa.
Các thiết kế mới hơn, cẩn thận hơn cho thấy khoảng cách có thể thu hẹp còn vài điểm. S2SBench, từ South China University of Technology và Baichuan, đo huấn luyện hai giai đoạn của Baichuan-Audio ở mức 79,6% trên bài hoàn thành truyện bằng giọng nói, kém 3,4 điểm so với mô hình nền tảng văn bản Qwen2.5-7B ở mức 83,0% (S2SBench, arXiv 2025). Các nhiệm vụ tác tử vẫn khó hơn nhiều: tau-Voice (viết là τ-Voice trong bài báo) kiểm tra các tác tử giọng nói song công toàn phần trên 278 nhiệm vụ hàng không, bán lẻ và viễn thông, và với âm thanh thực tế, đường đi bằng giọng nói vẫn mất hơn một nửa năng lực của văn bản. Tốc độ phản hồi là mặt còn lại của sự đánh đổi này, được đề cập trong thống kê thời gian đến âm thanh đầu tiên của chúng tôi.
| Chỉ số | Giá trị | Nguồn |
|---|---|---|
| Điểm tổng VoiceBench, chuỗi Whisper + LLaMA-3.1-8B: đầu vào văn bản so với đầu vào giọng nói | 81,43 so với 79,06 | Chen và cs., VoiceBench, arXiv v3 2024 |
| Điểm tổng VoiceBench, mô hình đầu cuối DiVA: đầu vào văn bản so với đầu vào giọng nói | 81,08 so với 55,70 | Chen và cs., VoiceBench, arXiv v3 2024 |
| Độ chính xác Big Bench Audio: GPT-4o văn bản sang văn bản so với GPT-4o Realtime Preview giọng nói sang giọng nói | 92% so với 66% | Artificial Analysis, ra mắt Big Bench Audio 2024 |
| Hoàn thành truyện bằng giọng nói (sStoryCloze): Qwen2.5-7B với văn bản so với Baichuan-Audio hai giai đoạn với giọng nói | 83,0% so với 79,6% | S2SBench, arXiv 2025 |
| Mệnh đề thường thức tiếng Trung (sCMMLU, 4.743 mục): Qwen2.5-7B với văn bản so với mô hình instruct GLM-4-Voice với giọng nói | 70,3% so với 64,3% | S2SBench, arXiv 2025 |
| Tỷ lệ hoàn thành nhiệm vụ tau-Voice: tác tử văn bản GPT-5 so với tác tử giọng nói với âm thanh sạch | 85% so với 31% đến 51% | Ray và cs., tau-Voice, arXiv 2026 |
| tau-Voice: phần năng lực văn bản của GPT-5 mà tác tử giọng nói giữ lại với âm thanh thực tế | khoảng 30% đến 45% | Ray và cs., tau-Voice, arXiv 2026 |
Ngoại lệ: VoxEval phát hiện rằng cùng một mô hình có thể đạt điểm rất khác nhau tùy phía nào là âm thanh. SPIRIT-LM đạt 20,84% ở giọng nói sang giọng nói, 23,77% ở giọng nói sang văn bản và 1,38% ở văn bản sang giọng nói trên cùng các câu hỏi (Cui và cs., VoxEval, ACL 2025), một lời nhắc rằng phía đầu ra quan trọng không kém phía đầu vào.
3. Chuỗi (ASR + LLM) so với Mô Hình Giọng Nói Đầu Cuối
Với những câu hỏi mà câu trả lời nằm trong lời nói, chuỗi cũ vẫn rất khó đánh bại. Trên các câu hỏi MMLU bằng giọng nói của VoxEval, chuỗi Whisper cộng Llama-3.1-8B đạt 55,25%, trong khi mô hình giọng nói đầu cuối tốt nhất, GLM-4-Voice, đạt 37,63%, và GLM-4-Voice là mô hình đầu cuối duy nhất vượt qua mức đoán ngẫu nhiên 25% (Cui và cs., VoxEval, ACL 2025). Dynamic-SUPERB Phase-2 báo cáo cùng một quy luật: ở nhận dạng giọng nói và hiểu ngôn ngữ nói, không mô hình nào được kiểm tra vượt qua chuỗi Whisper-LLaMA (Dynamic-SUPERB Phase-2, ICLR 2025).
Bức tranh đảo ngược khi câu trả lời phụ thuộc vào chính âm thanh. Trên MMAR, vốn trộn lời nói, âm nhạc và âm thanh, Gemini 2.0 Flash vượt mọi chuỗi trước hết biến âm thanh thành chú thích văn bản (bài báo benchmark MMAR, arXiv 2025). Bài học: chuỗi thắng khi bản ghi mang đủ mọi thứ; mô hình đầu cuối thắng khi bản ghi vứt mất manh mối.
| Chỉ số | Giá trị | Nguồn |
|---|---|---|
| Độ chính xác VoxEval: chuỗi Whisper + Llama-3.1-8B so với GLM-4-Voice đầu cuối | 55,25% so với 37,63% | Cui và cs., VoxEval, ACL 2025 |
| Tập con 12 môn của VoxEval: gpt-4o-audio-preview so với chuỗi Whisper + Llama-3.1 | 0,718 so với 0,606 | Cui và cs., VoxEval, ACL 2025 |
| Hội thoại AIR-Bench, điểm GPT-4 trung bình (1 đến 10): chuỗi Whisper + GPT-4 so với mô hình đầu cuối tốt nhất (Qwen-Audio Turbo) | 7,54 so với 6,34 | AIR-Bench, ACL 2024 |
| Nền tảng AIR-Bench, độ chính xác trung bình: Qwen-Audio Turbo đầu cuối so với chuỗi Whisper + GPT-4 | 57,8% so với 53,6% | AIR-Bench, ACL 2024 |
| Tập kiểm tra MMAU, câu hỏi về giọng nói: GPT-4o đọc chú thích âm thanh chi tiết so với Gemini Pro v1.5 nghe âm thanh | 68,66% so với 55,90% | Bài báo benchmark MMAU, arXiv 2024 |
| Độ chính xác trung bình MMAR: Gemini 2.0 Flash đầu cuối so với chuỗi chú thích + LLM tốt nhất (chú thích + DeepSeek-R1) | 65,6% so với 55,5% | Bài báo benchmark MMAR, arXiv 2025 |
| Điểm tổng VoiceBench với đầu vào giọng nói: chuỗi Whisper + GPT-4o so với GPT-4o-Audio | 87,23 so với 86,42 | Chen và cs., VoiceBench, arXiv v3 2024 |
Bối cảnh: AIR-Bench cho thấy cả hai mặt trong một bài báo. Chuỗi thắng ở bài kiểm tra hội thoại mở nhưng thua ở bài kiểm tra nền tảng, và các tác giả quy điểm nền tảng yếu của nó cho các câu hỏi về giới tính, độ tuổi và cảm xúc của người nói (xem mục 4).
4. Khoảng Cách Cận Ngôn Ngữ: Nghe Cách Một Điều Được Nói Ra
“Cận ngôn ngữ” nghĩa là mọi thứ trong giọng nói vượt ra ngoài lời nói: cảm xúc, độ tuổi và giới tính người nói, phong cách nói, nhấn mạnh. Đây là nơi các LLM giọng nói yếu nhất. Trong MMSU, GPT-4o-Audio trả lời đúng 59,70% câu hỏi nhận thức ngữ nghĩa nhưng chỉ 21,44% câu hỏi nhận thức cận ngôn ngữ, còn Gemini-1.5-Pro, mô hình tốt nhất tổng thể, chỉ đạt 31,23% ở nhận thức cận ngôn ngữ (Wang và cs., MMSU, ICLR 2026). Lỗi nhận thức, chứ không phải lỗi suy luận, chiếm 50,3% số lỗi của GPT-4o-Audio và 51,0% số lỗi của Gemini-1.5-Pro.
Nhận ra từ ngữ đã trở nên dễ; đọc được giọng nói thì chưa. Qwen2-Audio chuyển tập LibriSpeech test-clean thành văn bản với tỷ lệ lỗi từ 1,6%, nhưng chỉ đạt độ chính xác 55,3% ở bài kiểm tra nhận dạng cảm xúc MELD (Qwen2-Audio Technical Report, 2024). Về khía cạnh lâm sàng của việc phát hiện cảm xúc, xem thống kê độ chính xác nhận dạng cảm xúc trong giọng nói của chúng tôi.
| Chỉ số | Giá trị | Nguồn |
|---|---|---|
| Nhận thức MMSU, GPT-4o-Audio: câu hỏi ngữ nghĩa so với câu hỏi cận ngôn ngữ | 59,70% so với 21,44% | Wang và cs., MMSU, ICLR 2026 |
| Nhận thức MMSU, Gemini-1.5-Pro: câu hỏi ngữ nghĩa so với câu hỏi cận ngôn ngữ | 57,06% so với 31,23% | Wang và cs., MMSU, ICLR 2026 |
| Độ chính xác giới tính người nói AIR-Bench: chuỗi Whisper + GPT-4 so với Qwen-Audio Turbo | 21,9% so với 82,5% | AIR-Bench, ACL 2024 |
| Độ chính xác nhận dạng ngôn ngữ nói AIR-Bench: chuỗi Whisper + GPT-4 | 96,8% | AIR-Bench, ACL 2024 |
| Qwen2-Audio: tỷ lệ lỗi từ LibriSpeech test-clean so với độ chính xác cảm xúc MELD | 1,6% so với 55,3% | Qwen2-Audio Technical Report, 2024 |
| Nhận dạng cảm xúc Dynamic-SUPERB Phase-2, mô hình tốt nhất (Qwen2-Audio-7B-Instruct) | 75,8% | Dynamic-SUPERB Phase-2, ICLR 2025 |
| Xác minh người nói Dynamic-SUPERB Phase-2, hệ thống tốt nhất (mức ngẫu nhiên = 50%) | 51,3% | Dynamic-SUPERB Phase-2, ICLR 2025 |
Bối cảnh: một số kỹ năng nhận diện danh tính người nói bị cố ý tắt. OpenAI báo cáo điểm 0,98 cho GPT-4o đã triển khai đối với các yêu cầu nhận diện người nói mà nó phải từ chối, tăng từ 0,83 ở phiên bản đầu (OpenAI, GPT-4o System Card 2024). Điểm danh tính người nói thấp có thể là chính sách an toàn, không chỉ là thất bại về nhận thức.
5. Khẩu Âm, Tiếng Ồn và Giọng Nói Lộn Xộn
Âm thanh sạch làm đẹp kết quả của mọi mô hình. Trong phân tích loại trừ ngành bán lẻ của tau-Voice, chỉ riêng việc thêm khẩu âm đã làm giảm tỷ lệ hoàn thành nhiệm vụ trung bình từ 55% xuống 44%, còn chỉ riêng việc thêm tiếng ồn nền làm giảm xuống 51% (Ray và cs., tau-Voice, arXiv 2026). Mức thiệt hại do khẩu âm dao động từ 1 điểm đến 18 điểm tùy nhà cung cấp, nghĩa là bảng xếp hạng trên âm thanh sạch của một nhà cung cấp nói rất ít về cách họ xử lý khẩu âm của người dùng của bạn.
Tiếng ồn đi theo vách đá, không phải dốc thoải. Trong một nghiên cứu năm 2026 về chuỗi hỏi đáp bằng giọng nói tiếng Hàn, chất lượng câu trả lời hầu như không đổi cho đến tỷ số tín hiệu trên nhiễu +10 dB, rồi giảm mạnh dưới 0 dB khi tỷ lệ lỗi ký tự của bộ nhận dạng giọng nói tăng lên (Jung và Choi, Korean Spoken QA Error Propagation, arXiv 2026). Ảnh hưởng của khẩu âm lên chính bộ nhận dạng được đề cập trong thống kê thiên lệch khẩu âm của ASR của chúng tôi.
| Chỉ số | Giá trị | Nguồn |
|---|---|---|
| Tỷ lệ hoàn thành nhiệm vụ bán lẻ tau-Voice, trung bình 3 nhà cung cấp giọng nói: âm thanh sạch so với có thêm khẩu âm | 55% so với 44% | Ray và cs., tau-Voice, arXiv 2026 |
| Bán lẻ tau-Voice: mức giảm do thêm khẩu âm, xAI so với Google | 18 điểm so với 1 điểm | Ray và cs., tau-Voice, arXiv 2026 |
| Hỏi đáp bằng giọng nói tiếng Hàn, F1 của EXAONE-3.5-32B: câu hỏi gõ so với âm thanh sạch so với âm thanh ở SNR -10 dB | 0,870 so với 0,863 so với 0,586 | Jung và Choi, arXiv 2026 |
| Hỏi đáp bằng giọng nói tiếng Hàn, tỷ lệ lỗi ký tự của ASR: sạch so với 0 dB so với SNR -10 dB | 0,0315 so với 0,1143 so với 0,4977 | Jung và Choi, arXiv 2026 |
| VoiceBench: mức giảm điểm trung bình khi chỉ dẫn chứa từ phát âm sai (mọi mô hình) | 20,34% | Chen và cs., VoiceBench, arXiv v3 2024 |
| VoxEval: thay đổi độ chính xác của chuỗi Whisper + Llama khi cao độ giọng người nói bị thay đổi | giảm 9,56 điểm | Cui và cs., VoxEval, ACL 2025 |
| Tập kiểm tra tiếng Anh SD-QA, tỷ lệ lỗi từ của bộ nhận dạng tiếng Anh Mỹ: người nói vùng Đông Nam nước Mỹ so với người nói Nigeria | 5,25% so với 15,35% | Faisal và cs., SD-QA, EMNLP Findings 2021 |
Dữ liệu mới nhất hiện có về hỏi đáp bằng giọng nói ở cấp phương ngữ: Faisal và cs., SD-QA, 2021. Trên tập kiểm tra tiếng Anh của nó, F1 chọn đoạn văn giảm từ 58,7 với câu hỏi gõ gốc xuống 55,8 với bản ghi ASR tiếng Anh Mỹ. Dữ liệu mới nhất hiện có về đọc hiểu chỉ qua bản ghi: Spoken SQuAD, 2018, trong đó năm mô hình đọc đạt F1 trung bình 74,54 trên văn bản SQuAD nhưng 55,40 trên bản ghi ASR của Spoken SQuAD với tỷ lệ lỗi từ 22,73% (bài báo Spoken SQuAD, arXiv 2018). Việc kiểm tra sự đa dạng giọng nói cũng còn mỏng: OpenAI so sánh 3 giọng hệ thống với 27 mẫu giọng tiếng Anh và cho rằng hiệu năng trên giọng người thật kém hơn một chút nhưng không đáng kể (OpenAI, GPT-4o System Card 2024). Giải pháp đang chuyển sang phía mô hình: tinh chỉnh Qwen2.5-Omni trên ba ngôn ngữ của Nigeria đã giảm tương đối tỷ lệ lỗi từ tới 54% (Awobade và cs., AfriVox, EACL 2026).
6. Trần Của Con Người và Tiền Tuyến 2026
Các benchmark suy luận âm thanh khó nhất vẫn để lại một khoảng chênh lớn so với con người. Người nghe đạt 89,72% trên MMSU, trong khi mô hình tốt nhất trong 22 mô hình giọng nói và omni, Gemini-1.5-Pro, đạt 60,68% (Wang và cs., MMSU, ICLR 2026). Trên MMAU, khoảng chênh tương tự: 82,23% với con người so với 54,90% với Gemini Pro v1.5, mô hình đầu cuối đứng đầu, trên phần chia test-mini gồm 1.000 câu hỏi (bài báo benchmark MMAU, arXiv 2024).
Đồng thời, các bài kiểm tra suy luận bằng giọng nói dễ nhất gần như đã được giải. Big Bench Audio đi từ 66% với mô hình thời gian thực của GPT-4o vào tháng 12 năm 2024 lên bảng xếp hạng năm 2026, nơi mục đứng đầu, StepAudio 3 Realtime, đạt 99,7% trong số 44 mô hình (Artificial Analysis, bảng xếp hạng Speech to Speech 2026). Quy tắc chấm điểm đã thay đổi ở giữa, nên hai con số không cùng thang đo, nhưng hướng đi rõ ràng: ở đầu bảng xếp hạng, các phiên bản nói của câu đố kiểu văn bản không còn là nút thắt. Nút thắt là nhận thức đặc thù của giọng nói.
| Chỉ số | Giá trị | Nguồn |
|---|---|---|
| MMAU test-mini: người nghe so với Gemini Pro v1.5 | 82,23% so với 54,90% | Bài báo benchmark MMAU, arXiv 2024 |
| Tập kiểm tra MMAU (9.000 câu hỏi): Gemini Pro v1.5 so với Qwen2-Audio-Instruct | 52,97% so với 52,50% | Bài báo benchmark MMAU, arXiv 2024 |
| MMAR: Gemini 2.0 Flash so với đoán ngẫu nhiên | 65,6% so với 29,32% | Bài báo benchmark MMAR, arXiv 2025 |
| MMAR, GPT-4o Audio: câu hỏi chỉ về giọng nói so với câu hỏi chỉ về âm nhạc | 70,41% so với 50,97% | Bài báo benchmark MMAR, arXiv 2025 |
| MMAR: số mô hình được đánh giá, mã nguồn mở cộng mã nguồn đóng | 30 (24 cộng 6) | Bài báo benchmark MMAR, arXiv 2025 |
| Trung bình VoiceBench do nhóm Kimi-Audio báo cáo: Kimi-Audio so với GLM-4-Voice | 76,93 so với 57,17 | Kimi Team, Kimi-Audio Technical Report 2025 |
| Kimi-Audio: âm thanh dùng để tiền huấn luyện | hơn 13 triệu giờ | Kimi Team, Kimi-Audio Technical Report 2025 |
Bối cảnh: các mức trung bình của Kimi-Audio là đánh giá riêng của nhóm phát triển, nên không thể thay thế cho điểm tổng của các tác giả VoiceBench ở mục 2 và 3, vì hai bài báo chạy các đánh giá riêng biệt.
Tổng Kết: Các Benchmark Hỏi Đáp Bằng Giọng Nói của Mô Hình Ngôn Ngữ Giọng Nói qua Các Con Số
| Chỉ số | Giá trị | Nguồn |
|---|---|---|
| Big Bench Audio: GPT-4o văn bản sang văn bản so với giọng nói sang giọng nói | 92% so với 66% | Artificial Analysis, ra mắt Big Bench Audio 2024 |
| tau-Voice: tác tử văn bản GPT-5 so với tác tử giọng nói với âm thanh sạch | 85% so với 31% đến 51% | Ray và cs., tau-Voice, arXiv 2026 |
| VoiceBench, DiVA đầu cuối: đầu vào văn bản so với đầu vào giọng nói | 81,08 so với 55,70 | Chen và cs., VoiceBench, arXiv v3 2024 |
| Hoàn thành truyện S2SBench: mô hình nền tảng văn bản so với mô hình giọng nói tốt nhất | 83,0% so với 79,6% | S2SBench, arXiv 2025 |
| VoxEval: chuỗi Whisper + Llama so với GLM-4-Voice | 55,25% so với 37,63% | Cui và cs., VoxEval, ACL 2025 |
| MMAR: Gemini 2.0 Flash so với chuỗi chú thích + LLM tốt nhất | 65,6% so với 55,5% | Bài báo benchmark MMAR, arXiv 2025 |
| MMSU, GPT-4o-Audio: nhận thức ngữ nghĩa so với cận ngôn ngữ | 59,70% so với 21,44% | Wang và cs., MMSU, ICLR 2026 |
| Giới tính người nói AIR-Bench: chuỗi Whisper + GPT-4 so với Qwen-Audio Turbo | 21,9% so với 82,5% | AIR-Bench, ACL 2024 |
| Qwen2-Audio: tỷ lệ lỗi từ LibriSpeech so với độ chính xác cảm xúc MELD | 1,6% so với 55,3% | Qwen2-Audio Technical Report, 2024 |
| F1 hỏi đáp bằng giọng nói tiếng Hàn (EXAONE-3.5-32B): âm thanh sạch so với SNR -10 dB | 0,863 so với 0,586 | Jung và Choi, arXiv 2026 |
| Tỷ lệ lỗi từ tiếng Anh SD-QA: người nói vùng Đông Nam nước Mỹ so với người nói Nigeria | 5,25% so với 15,35% | Faisal và cs., SD-QA, EMNLP Findings 2021 |
| Các mô hình đọc Spoken SQuAD, F1 trung bình: văn bản so với bản ghi ASR | 74,54 so với 55,40 | Bài báo Spoken SQuAD, arXiv 2018 |
| AfriVox: mức giảm tương đối tỷ lệ lỗi từ tốt nhất nhờ tinh chỉnh Qwen2.5-Omni | tới 54% | Awobade và cs., AfriVox, EACL 2026 |
| MMAU test-mini: con người so với Gemini Pro v1.5 | 82,23% so với 54,90% | Bài báo benchmark MMAU, arXiv 2024 |
| Nhiệm vụ của Dynamic-SUPERB Phase-2 | 180 (125 mới) | Dynamic-SUPERB Phase-2, ICLR 2025 |
| Âm thanh tiền huấn luyện của Kimi-Audio | hơn 13 triệu giờ | Kimi Team, Kimi-Audio Technical Report 2025 |
| Điểm dẫn đầu Big Bench Audio năm 2026 | 99,7% (StepAudio 3 Realtime) | Artificial Analysis, bảng xếp hạng Speech to Speech 2026 |
Phương pháp luận và Nguồn
- Chen và cs., VoiceBench: Benchmarking LLM-Based Voice Assistants, arXiv v3, tháng 12 năm 2024 và bản tạp chí của nó trong Transactions of the ACL, tập 14, 2026.
- AIR-Bench: Benchmarking Large Audio-Language Models via Generative Comprehension, ACL 2024.
- Dynamic-SUPERB, ICASSP 2024 và Dynamic-SUPERB Phase-2, ICLR 2025.
- MMAU: A Massive Multi-Task Audio Understanding and Reasoning Benchmark, arXiv 2024.
- MMAR: A Challenging Benchmark for Deep Reasoning in Speech, Audio, Music, and Their Mix, arXiv 2025.
- Wang và cs., MMSU: A Massive Multi-task Spoken Language Understanding and Reasoning Benchmark, ICLR 2026.
- Cui và cs., VoxEval, ACL 2025.
- S2SBench: Quantifying Intelligence Degradation in Speech-to-Speech LLMs, South China University of Technology và Baichuan, arXiv 2025.
- Ray và cs., tau-Voice: Benchmarking Full-Duplex Voice Agents on Real-World Domains, Sierra và Princeton University, arXiv tháng 3 năm 2026.
- Jung và Choi, Analyzing Error Propagation in Korean Spoken QA with ASR-LLM Cascades, arXiv 2026.
- Faisal và cs., SD-QA: Spoken Dialectal Question Answering for the Real World, Findings of EMNLP 2021.
- Spoken SQuAD: Mitigating the Impact of Speech Recognition Errors on Listening Comprehension, arXiv 2018.
- Awobade và cs., AfriVox: Probing Multilingual and Accent Robustness of Speech LLMs, EACL 2026.
- Artificial Analysis, Evaluating Audio Reasoning with Big Bench Audio, ngày 20 tháng 12 năm 2024, bảng xếp hạng Speech to Speech 2026 và phương pháp luận đánh giá giọng nói sang giọng nói.
- OpenAI, GPT-4o System Card, 2024.
- Qwen2-Audio Technical Report, 2024 và Kimi Team, Kimi-Audio Technical Report, 2025.
- Lưu ý về dữ liệu: cách chấm điểm của Big Bench Audio đã thay đổi từ v1.0 (câu hỏi không được trả lời không bị phạt, từ tháng 12 năm 2024 đến tháng 3 năm 2026) sang v1.1 (tính cả 1.000 câu hỏi, tháng 3 năm 2026) và v1.2 (cập nhật mô hình giám khảo và bộ chấm điểm, tháng 5 năm 2026), nên các con số 66% (2024) và 99,7% (2026) không cùng thang đo. Trang bảng xếp hạng không ghi ngày cho các điểm số, và biểu đồ của nó chỉ vẽ 37 trong 44 mô hình; chúng tôi đọc nó vào ngày 31 tháng 10 năm 2026. Điểm VoiceBench ở đây lấy từ bản tiền ấn phẩm tháng 12 năm 2024, vốn có phần văn bản và bảng không khớp nhau ở một số chỗ (văn bản nói chuỗi mất 4,37 điểm, bảng cho thấy 2,37; chúng tôi dùng bảng), và bản tạp chí năm 2026 có thể báo cáo điểm khác. Văn bản của VoxEval báo cáo mức giảm tới 6% do phong cách nói và chất lượng âm thanh, trong khi bảng của nó cho thấy giảm 9,56 điểm với cao độ; chúng tôi dùng bảng. Phần văn xuôi của bài báo MMSU và Bảng 4 không khớp nhau về việc loại lỗi nào của GPT-4o-Audio chiếm 14,7%. MMAR nói 30 mô hình, trong khi bảng của nó liệt kê 31 hàng. Dynamic-SUPERB Phase-2 nêu rằng không mô hình nào vượt mức ngẫu nhiên ở tìm kiếm theo ví dụ (query-by-example), trong khi bảng của nó cho thấy 53,5% với một mô hình. Các số liệu S2SBench cho GLM-4-Voice trên sCMMLU dùng mô hình instruct vì không có mô hình nền tảng. SD-QA (2021) và Spoken SQuAD (2018) đã hơn ba năm tuổi và chỉ bao quát các hệ thống dạng chuỗi. tau-Voice kiểm tra 3 tác tử giọng nói thương mại, nên mức chênh có thể thay đổi nhanh khi các nhà cung cấp cập nhật mô hình, và các bảng MMSU, MMAU và Kimi-Audio chủ yếu bao quát các thế hệ mô hình năm 2024 và 2025.
Cập nhật lần cuối: ngày 31 tháng 10 năm 2026. Chúng tôi cập nhật bài tổng hợp này hàng quý, và lần làm mới tiếp theo dự kiến diễn ra khi Artificial Analysis công bố phiên bản Speech to Speech Index tiếp theo và các bài báo benchmark LLM giọng nói của ICLR 2027 xuất hiện.