จากคำถามให้เหตุผล Big Bench Hard ชุดเดียวกัน 1,000 ข้อ GPT-4o ตอบถูก 92% เมื่อคำถามมาเป็นข้อความ แต่เวอร์ชันเสียงเป็นเสียงแบบเรียลไทม์ตอบถูกเพียง 66% เมื่อคำถามถูกพูดออกมา (Artificial Analysis, การเปิดตัว Big Bench Audio 2024) ช่องว่างนี้ยังไม่ปิดในทุกที่ ในชุดทดสอบงานบริการลูกค้า tau-Voice ปี 2026 เอเจนต์ข้อความ GPT-5 ทำงานสำเร็จ 85% ขณะที่เอเจนต์เสียงแบบดูเพล็กซ์เต็มรูปแบบทำสำเร็จ 31% ถึง 51% เมื่อเสียงสะอาด และ 26% ถึง 38% เมื่อมีเสียงรบกวนและสำเนียงตามสภาพจริง (Ray และคณะ, tau-Voice, arXiv 2026) ทักษะที่อ่อนที่สุดไม่ใช่ถ้อยคำ แต่คือตัวเสียงเอง GPT-4o-Audio ตอบคำถามการรับรู้ด้านพาราลิงกวิสติกใน MMSU ถูก 21.44% เทียบกับ 59.70% สำหรับคำถามที่อิงความหมาย (Wang และคณะ, MMSU, ICLR 2026) ในสายประมวลผล ความเสี่ยงเริ่มที่ส่วนหน้าซึ่งเป็นการรู้จำเสียงพูด ที่ซึ่งข้อผิดพลาดและข้อความถอดเสียงที่ถูกแต่งขึ้นไหลตรงเข้าสู่คำตอบ เรารวบรวมข้อมูลจาก S2SBench, AfriVox, SD-QA, Spoken SQuAD, OpenAI GPT-4o System Card, รายงานทางเทคนิคของ Qwen2-Audio และ Kimi-Audio รวมถึงบทความชุดทดสอบและตารางจัดอันดับจาก ACL, ICLR และ arXiv มากกว่าหนึ่งโหล
ในสรุปนี้ “โมเดลภาษาเสียงพูด” (เรียกอีกอย่างว่า LLM เสียงพูด หรือโมเดลภาษาเสียงขนาดใหญ่) คือโมเดลที่รับเสียงเข้าไปโดยตรง “สายประมวลผล” คือการออกแบบแบบเก่า ตัวรู้จำเสียงพูดเขียนข้อความถอดเสียง แล้ว LLM ที่รับเฉพาะข้อความตอบจากข้อความถอดเสียงนั้น
สรุปโดยย่อ
- GPT-4o ได้ 92% กับคำถามข้อความ และ 66% กับเสียงเป็นเสียงบน Big Bench Audio (Artificial Analysis, การเปิดตัว Big Bench Audio 2024)
- DiVA ลดจาก 81.08 เมื่อรับข้อความ เหลือ 55.70 เมื่อคำสั่งเดียวกันถูกพูดออกมา (Chen และคณะ, VoiceBench, arXiv v3 2024)
- การฝึกสองขั้นตอนของ Baichuan-Audio ลดช่องว่างงานเติมเรื่องราวด้วยเสียงให้ตามหลังโมเดลฐานข้อความเพียง 3.4 จุด (S2SBench, arXiv 2025)
- สายประมวลผล Whisper ร่วมกับ Llama-3.1-8B ได้ 55.25% บน VoxEval เทียบกับ 37.63% ของโมเดลแบบต้นทางถึงปลายทางที่ดีที่สุด (Cui และคณะ, VoxEval, ACL 2025)
- Gemini 2.0 Flash ได้ 65.6% บน MMAR เหนือกว่าทุกสายประมวลผลแบบคำบรรยายร่วมกับ LLM ซึ่งสายที่ดีที่สุดได้ 55.5% (บทความชุดทดสอบ MMAR, arXiv 2025)
- GPT-4o-Audio ได้ 21.44% ในการรับรู้ด้านพาราลิงกวิสติก เทียบกับ 59.70% ในการรับรู้เชิงความหมาย (Wang และคณะ, MMSU, ICLR 2026)
- สายประมวลผล Whisper ร่วมกับ GPT-4 ระบุเพศของผู้พูดได้ถูกต้องเพียง 21.9% ของครั้งทั้งหมด (AIR-Bench, ACL 2024)
- การเพิ่มสำเนียงทำให้อัตราความสำเร็จของงานค้าปลีกของเอเจนต์เสียงลดจาก 55% เหลือ 44% โดยเฉลี่ย (Ray และคณะ, tau-Voice, arXiv 2026)
- EXAONE-3.5-32B ลดจาก F1 0.863 กับเสียงสะอาด เหลือ 0.586 ที่อัตราส่วนสัญญาณต่อสัญญาณรบกวน -10 dB ในสายประมวลผลภาษาเกาหลี (Jung และ Choi, arXiv 2026)
- Dynamic-SUPERB เติบโตจาก 55 ตัวอย่างการประเมินเป็น 180 งาน (Dynamic-SUPERB, ICASSP 2024; Dynamic-SUPERB Phase-2, ICLR 2025)
1. ชุดทดสอบการถามตอบด้วยเสียงพูดใหญ่ขึ้นแค่ไหน
ขนาดชุดทดสอบเติบโตเร็วระหว่างปี 2023 ถึง 2026 แต่ไปในสองทิศทางที่ต่างกัน Dynamic-SUPERB ขยายจาก 55 ตัวอย่างการประเมิน (สร้างจาก 33 งานและ 22 ชุดข้อมูล) เป็น 180 งานใน Phase-2 โดย 125 งานมาจากชุมชนนักวิจัย (Dynamic-SUPERB Phase-2, ICLR 2025) นี่คือความกว้าง คือการทดสอบสั้น ๆ จำนวนมาก แต่ละอันวัดทักษะเดียว ส่วน VoxEval เลือกทางตรงกันข้ามและลงลึกกับทักษะเดียวคือคำถามความรู้ โดยแปลง 56 วิชาของ MMLU เป็นคู่คำถาม-คำตอบด้วยเสียง 13,938 คู่ แล้วสร้างแต่ละคู่ใน 11 เงื่อนไขเสียง ได้เป็น 153,318 รูปแบบ (Cui และคณะ, VoxEval, ACL 2025)
ข้อสรุปเชิงปฏิบัติสำหรับผู้อ่านการ์ดโมเดล คือคะแนนเด่นเพียงตัวเดียวอาจมาจาก 1,000 ข้อหรือ 19,000 ข้อ และมาจากเสียงสังเคราะห์หรือการบันทึกเสียงจริง Big Bench Audio และ MMAR มีอย่างละ 1,000 ข้อ ทำให้ส่วนต่าง 1 ถึง 2 จุดระหว่างสองโมเดลอ่านเป็นอันดับจริงได้ยาก
| ตัวชี้วัด | ค่า | แหล่งที่มา |
|---|---|---|
| Dynamic-SUPERB Phase 1: ตัวอย่างการประเมิน งาน และชุดข้อมูล | 55 ตัวอย่าง 33 งาน 22 ชุดข้อมูล | Dynamic-SUPERB, ICASSP 2024 |
| ชุดทดสอบพื้นฐานของ AIR-Bench: งานและคำถามแบบเลือกคำตอบเดียว | 19 งาน คำถามราว 19,000 ข้อ | AIR-Bench, ACL 2024 |
| ชุดทดสอบการสนทนาของ AIR-Bench: คำถามปลายเปิด โดยในนั้นเกี่ยวกับเสียงพูด | 2,000 คำถาม เกี่ยวกับเสียงพูด 800 ข้อ | AIR-Bench, ACL 2024 |
| MMAU: คลิปเสียงและทักษะที่แตกต่างกันที่ทดสอบ | 10,000 คลิป 27 ทักษะ | บทความชุดทดสอบ MMAU, arXiv 2024 |
| MMSU: คำถามและงาน (การรับรู้และการให้เหตุผล) | 5,000 คำถาม 47 งาน (การรับรู้ 24 การให้เหตุผล 23) | Wang และคณะ, MMSU, ICLR 2026 |
| VoiceBench (เวอร์ชันวารสาร): คำสั่งที่พูดและงาน | 6,783 คำสั่ง 8 งาน | Chen และคณะ, VoiceBench, TACL 2026 |
| SD-QA: พรอมต์เสียง ภาษาถิ่น ผู้พูด และภาษา | มากกว่า 68,000 พรอมต์ 24 ภาษาถิ่น 255 ผู้พูด 5 ภาษา | Faisal และคณะ, SD-QA, EMNLP Findings 2021 |
บริบท: Big Bench Audio ใช้เสียงสังเคราะห์ 23 เสียงจากโมเดลข้อความเป็นเสียง (Artificial Analysis, การเปิดตัว Big Bench Audio 2024) และมีเพียงราว 6.57% ของเสียงใน Dynamic-SUPERB Phase-2 ที่ยาวกว่า 30 วินาที (Dynamic-SUPERB Phase-2, ICLR 2025) การทดสอบส่วนใหญ่เหล่านี้จึงวัดคำถามสั้น ๆ ไม่ใช่บทสนทนายาวหรือที่ยุ่งเหยิง
2. คำถามเดียวกัน พูดกับพิมพ์
นี่คือการเปรียบเทียบหลัก เนื้อหาเหมือนกันทุกประการ ส่งเข้าไปครั้งหนึ่งเป็นข้อความและอีกครั้งเป็นเสียง ให้โมเดลหรือตระกูลโมเดลเดียวกัน DiVA ซึ่งเป็นโมเดลเสียงพูดแบบต้นทางถึงปลายทาง ได้ 81.08 บน VoiceBench เมื่อรับข้อความ และ 55.70 เมื่อคำสั่งเดียวกันถูกพูดออกมา ขณะที่สายประมวลผล Whisper ร่วมกับ LLaMA-3.1-8B เสียไปเพียง 2.37 จุด (Chen และคณะ, VoiceBench, arXiv v3 2024) เห็นได้ชัดว่าโมเดลเข้าใจเนื้อหา สิ่งที่พังคือเส้นทางจากเสียงไปสู่ความหมาย
การออกแบบที่ใหม่กว่าและรอบคอบกว่าแสดงว่าช่องว่างอาจลดเหลือเพียงไม่กี่จุด S2SBench จาก South China University of Technology และ Baichuan วัดการฝึกสองขั้นตอนของ Baichuan-Audio ได้ 79.6% ในงานเติมเรื่องราวด้วยเสียง ตามหลังโมเดลฐานข้อความ Qwen2.5-7B ที่ 83.0% อยู่ 3.4 จุด (S2SBench, arXiv 2025) งานแบบเอเจนต์ยังยากกว่ามาก tau-Voice (เขียนเป็น τ-Voice ในบทความ) ทดสอบเอเจนต์เสียงแบบดูเพล็กซ์เต็มรูปแบบกับ 278 งานด้านสายการบิน ค้าปลีก และโทรคมนาคม และเมื่อเสียงใกล้เคียงสภาพจริง เส้นทางด้วยเสียงยังสูญเสียความสามารถของข้อความไปมากกว่าครึ่ง ความเร็วในการตอบสนองเป็นอีกด้านหนึ่งของการแลกเปลี่ยนนี้ ซึ่งกล่าวถึงในสถิติเวลาถึงเสียงแรกของเรา
| ตัวชี้วัด | ค่า | แหล่งที่มา |
|---|---|---|
| คะแนนรวม VoiceBench, สายประมวลผล Whisper + LLaMA-3.1-8B: อินพุตข้อความเทียบกับอินพุตเสียงพูด | 81.43 เทียบกับ 79.06 | Chen และคณะ, VoiceBench, arXiv v3 2024 |
| คะแนนรวม VoiceBench, โมเดลต้นทางถึงปลายทาง DiVA: อินพุตข้อความเทียบกับอินพุตเสียงพูด | 81.08 เทียบกับ 55.70 | Chen และคณะ, VoiceBench, arXiv v3 2024 |
| ความแม่นยำบน Big Bench Audio: GPT-4o ข้อความเป็นข้อความ เทียบกับ GPT-4o Realtime Preview เสียงเป็นเสียง | 92% เทียบกับ 66% | Artificial Analysis, การเปิดตัว Big Bench Audio 2024 |
| การเติมเรื่องราวด้วยเสียง (sStoryCloze): Qwen2.5-7B กับข้อความ เทียบกับ Baichuan-Audio สองขั้นตอนกับเสียง | 83.0% เทียบกับ 79.6% | S2SBench, arXiv 2025 |
| ประโยคสามัญสำนึกภาษาจีน (sCMMLU, 4,743 ข้อ): Qwen2.5-7B กับข้อความ เทียบกับโมเดลที่ปรับด้วยคำสั่ง GLM-4-Voice กับเสียง | 70.3% เทียบกับ 64.3% | S2SBench, arXiv 2025 |
| ความสำเร็จของงาน tau-Voice: เอเจนต์ข้อความ GPT-5 เทียบกับเอเจนต์เสียงเมื่อเสียงสะอาด | 85% เทียบกับ 31% ถึง 51% | Ray และคณะ, tau-Voice, arXiv 2026 |
| tau-Voice: สัดส่วนความสามารถด้านข้อความของ GPT-5 ที่เอเจนต์เสียงยังคงไว้เมื่อเสียงใกล้เคียงสภาพจริง | ราว 30% ถึง 45% | Ray และคณะ, tau-Voice, arXiv 2026 |
ค่าผิดปกติ: VoxEval พบว่าโมเดลเดียวอาจได้คะแนนต่างกันมากขึ้นอยู่กับว่าด้านใดเป็นเสียง SPIRIT-LM ได้ 20.84% แบบเสียงเป็นเสียง 23.77% แบบเสียงเป็นข้อความ และ 1.38% แบบข้อความเป็นเสียง กับคำถามชุดเดียวกัน (Cui และคณะ, VoxEval, ACL 2025) เป็นการเตือนว่าด้านเอาต์พุตสำคัญพอ ๆ กับด้านอินพุต
3. สายประมวลผล (ASR + LLM) เทียบกับโมเดลเสียงพูดแบบต้นทางถึงปลายทาง
สำหรับคำถามที่คำตอบอยู่ในถ้อยคำ สายประมวลผลแบบเก่ายังเอาชนะได้ยากมาก บนคำถาม MMLU แบบพูดของ VoxEval สายประมวลผล Whisper ร่วมกับ Llama-3.1-8B ได้ 55.25% ขณะที่โมเดลเสียงพูดแบบต้นทางถึงปลายทางที่ดีที่สุด คือ GLM-4-Voice ได้ 37.63% และ GLM-4-Voice เป็นโมเดลแบบต้นทางถึงปลายทางเพียงตัวเดียวที่ผ่านเส้นการเดาสุ่ม 25% (Cui และคณะ, VoxEval, ACL 2025) Dynamic-SUPERB Phase-2 รายงานรูปแบบเดียวกัน ในงานรู้จำเสียงพูดและความเข้าใจภาษาพูด ไม่มีโมเดลที่ทดสอบตัวใดเหนือกว่าสายประมวลผล Whisper-LLaMA (Dynamic-SUPERB Phase-2, ICLR 2025)
ภาพกลับด้านทันทีที่คำตอบขึ้นอยู่กับตัวเสียงเอง บน MMAR ซึ่งผสมเสียงพูด ดนตรี และเสียงต่าง ๆ Gemini 2.0 Flash เอาชนะทุกสายประมวลผลที่แปลงเสียงเป็นคำบรรยายข้อความก่อน (บทความชุดทดสอบ MMAR, arXiv 2025) บทเรียนคือ สายประมวลผลชนะเมื่อข้อความถอดเสียงบรรจุทุกอย่าง โมเดลต้นทางถึงปลายทางชนะเมื่อข้อความถอดเสียงทิ้งเบาะแสไป
| ตัวชี้วัด | ค่า | แหล่งที่มา |
|---|---|---|
| ความแม่นยำบน VoxEval: สายประมวลผล Whisper + Llama-3.1-8B เทียบกับ GLM-4-Voice แบบต้นทางถึงปลายทาง | 55.25% เทียบกับ 37.63% | Cui และคณะ, VoxEval, ACL 2025 |
| ชุดย่อย 12 วิชาของ VoxEval: gpt-4o-audio-preview เทียบกับสายประมวลผล Whisper + Llama-3.1 | 0.718 เทียบกับ 0.606 | Cui และคณะ, VoxEval, ACL 2025 |
| การสนทนาของ AIR-Bench, คะแนน GPT-4 เฉลี่ย (1 ถึง 10): สายประมวลผล Whisper + GPT-4 เทียบกับโมเดลต้นทางถึงปลายทางที่ดีที่สุด (Qwen-Audio Turbo) | 7.54 เทียบกับ 6.34 | AIR-Bench, ACL 2024 |
| พื้นฐานของ AIR-Bench, ความแม่นยำเฉลี่ย: Qwen-Audio Turbo แบบต้นทางถึงปลายทาง เทียบกับสายประมวลผล Whisper + GPT-4 | 57.8% เทียบกับ 53.6% | AIR-Bench, ACL 2024 |
| ชุดทดสอบ MMAU, คำถามเกี่ยวกับเสียงพูด: GPT-4o ที่อ่านคำบรรยายเสียงโดยละเอียด เทียบกับ Gemini Pro v1.5 ที่ฟังเสียง | 68.66% เทียบกับ 55.90% | บทความชุดทดสอบ MMAU, arXiv 2024 |
| ความแม่นยำเฉลี่ยบน MMAR: Gemini 2.0 Flash แบบต้นทางถึงปลายทาง เทียบกับสายประมวลผลคำบรรยาย + LLM ที่ดีที่สุด (คำบรรยาย + DeepSeek-R1) | 65.6% เทียบกับ 55.5% | บทความชุดทดสอบ MMAR, arXiv 2025 |
| คะแนนรวม VoiceBench กับอินพุตเสียงพูด: สายประมวลผล Whisper + GPT-4o เทียบกับ GPT-4o-Audio | 87.23 เทียบกับ 86.42 | Chen และคณะ, VoiceBench, arXiv v3 2024 |
บริบท: AIR-Bench แสดงทั้งสองด้านไว้ในบทความเดียว สายประมวลผลชนะการทดสอบการสนทนาปลายเปิดแต่แพ้การทดสอบพื้นฐาน และผู้เขียนเชื่อว่าคะแนนพื้นฐานที่ต่ำเป็นผลจากคำถามเกี่ยวกับเพศ อายุ และอารมณ์ของผู้พูด (ดูหัวข้อ 4)
4. ช่องว่างด้านพาราลิงกวิสติก: การได้ยินว่าสิ่งหนึ่งถูกพูดอย่างไร
“พาราลิงกวิสติก” หมายถึงทุกอย่างในเสียงที่เกินกว่าถ้อยคำ ได้แก่ อารมณ์ อายุและเพศของผู้พูด ลีลาการพูด และการเน้นเสียง นี่คือจุดที่ LLM เสียงพูดอ่อนที่สุด ใน MMSU โมเดล GPT-4o-Audio ตอบคำถามการรับรู้เชิงความหมายถูก 59.70% แต่ตอบคำถามการรับรู้ด้านพาราลิงกวิสติกถูกเพียง 21.44% และ Gemini-1.5-Pro ซึ่งเป็นโมเดลที่ดีที่สุดโดยรวม ทำได้เพียง 31.23% ในการรับรู้ด้านพาราลิงกวิสติก (Wang และคณะ, MMSU, ICLR 2026) ข้อผิดพลาดด้านการรับรู้ ไม่ใช่ข้อผิดพลาดด้านการให้เหตุผล คิดเป็น 50.3% ของข้อผิดพลาดของ GPT-4o-Audio และ 51.0% ของ Gemini-1.5-Pro
การจำคำได้กลายเป็นเรื่องง่าย แต่การอ่านเสียงยังไม่ง่าย Qwen2-Audio ถอดเสียงชุดข้อมูล LibriSpeech test-clean ได้ด้วยอัตราความผิดพลาดของคำ 1.6% แต่ได้ความแม่นยำเพียง 55.3% ในการทดสอบการรู้จำอารมณ์ MELD (Qwen2-Audio Technical Report, 2024) สำหรับด้านคลินิกของการตรวจจับอารมณ์ ดูสถิติความแม่นยำการรู้จำอารมณ์จากเสียงพูดของเรา
| ตัวชี้วัด | ค่า | แหล่งที่มา |
|---|---|---|
| การรับรู้ใน MMSU, GPT-4o-Audio: คำถามเชิงความหมายเทียบกับคำถามด้านพาราลิงกวิสติก | 59.70% เทียบกับ 21.44% | Wang และคณะ, MMSU, ICLR 2026 |
| การรับรู้ใน MMSU, Gemini-1.5-Pro: คำถามเชิงความหมายเทียบกับคำถามด้านพาราลิงกวิสติก | 57.06% เทียบกับ 31.23% | Wang และคณะ, MMSU, ICLR 2026 |
| ความแม่นยำเพศของผู้พูดใน AIR-Bench: สายประมวลผล Whisper + GPT-4 เทียบกับ Qwen-Audio Turbo | 21.9% เทียบกับ 82.5% | AIR-Bench, ACL 2024 |
| ความแม่นยำการระบุภาษาพูดใน AIR-Bench: สายประมวลผล Whisper + GPT-4 | 96.8% | AIR-Bench, ACL 2024 |
| Qwen2-Audio: อัตราความผิดพลาดของคำบน LibriSpeech test-clean เทียบกับความแม่นยำด้านอารมณ์บน MELD | 1.6% เทียบกับ 55.3% | Qwen2-Audio Technical Report, 2024 |
| การรู้จำอารมณ์ใน Dynamic-SUPERB Phase-2, โมเดลที่ดีที่สุด (Qwen2-Audio-7B-Instruct) | 75.8% | Dynamic-SUPERB Phase-2, ICLR 2025 |
| การยืนยันตัวผู้พูดใน Dynamic-SUPERB Phase-2, ระบบที่ดีที่สุด (ระดับการเดาสุ่ม = 50%) | 51.3% | Dynamic-SUPERB Phase-2, ICLR 2025 |
บริบท: ทักษะเกี่ยวกับตัวตนของผู้พูดบางอย่างถูกปิดไว้โดยเจตนา OpenAI รายงานคะแนน 0.98 สำหรับ GPT-4o ที่นำไปใช้งานจริงในคำขอระบุตัวผู้พูดที่ควรปฏิเสธ เพิ่มขึ้นจาก 0.83 ในเวอร์ชันแรก (OpenAI, GPT-4o System Card 2024) คะแนนตัวตนของผู้พูดที่ต่ำอาจเป็นนโยบายด้านความปลอดภัย ไม่ใช่แค่ความล้มเหลวด้านการรับรู้
5. สำเนียง เสียงรบกวน และเสียงพูดที่ยุ่งเหยิง
เสียงที่สะอาดทำให้ทุกโมเดลดูดี ในการทดลองตัดองค์ประกอบด้านค้าปลีกของ tau-Voice การเพิ่มสำเนียงอย่างเดียวทำให้อัตราความสำเร็จของงานเฉลี่ยลดจาก 55% เหลือ 44% ส่วนการเพิ่มเสียงรบกวนรอบข้างอย่างเดียวทำให้ลดเหลือ 51% (Ray และคณะ, tau-Voice, arXiv 2026) ความเสียหายจากสำเนียงอยู่ระหว่าง 1 จุดถึง 18 จุดแล้วแต่ผู้ให้บริการ ซึ่งหมายความว่าอันดับของผู้ให้บริการเมื่อเสียงสะอาดบอกได้น้อยมากว่ารับมือกับสำเนียงของผู้ใช้ของคุณได้ดีเพียงใด
เสียงรบกวนทำให้คุณภาพตกเป็นหน้าผา ไม่ใช่ทางลาด ในการศึกษาสายประมวลผลถามตอบด้วยเสียงพูดภาษาเกาหลีปี 2026 คุณภาพคำตอบแทบไม่เปลี่ยนจนถึงอัตราส่วนสัญญาณต่อสัญญาณรบกวน +10 dB แล้วตกอย่างรวดเร็วต่ำกว่า 0 dB เมื่ออัตราความผิดพลาดของอักขระของตัวรู้จำเสียงพูดเพิ่มขึ้น (Jung และ Choi, Korean Spoken QA Error Propagation, arXiv 2026) ผลของสำเนียงต่อตัวรู้จำเสียงพูดเองกล่าวถึงในสถิติอคติด้านสำเนียงของ ASRของเรา
| ตัวชี้วัด | ค่า | แหล่งที่มา |
|---|---|---|
| ความสำเร็จของงานค้าปลีกใน tau-Voice, ค่าเฉลี่ยของผู้ให้บริการเสียง 3 ราย: เสียงสะอาดเทียบกับเมื่อเพิ่มสำเนียง | 55% เทียบกับ 44% | Ray และคณะ, tau-Voice, arXiv 2026 |
| ค้าปลีกใน tau-Voice: ผลลดลงจากการเพิ่มสำเนียง, xAI เทียบกับ Google | 18 จุด เทียบกับ 1 จุด | Ray และคณะ, tau-Voice, arXiv 2026 |
| ถามตอบด้วยเสียงพูดภาษาเกาหลี, F1 ของ EXAONE-3.5-32B: คำถามที่พิมพ์เทียบกับเสียงสะอาดเทียบกับเสียงที่ SNR -10 dB | 0.870 เทียบกับ 0.863 เทียบกับ 0.586 | Jung และ Choi, arXiv 2026 |
| ถามตอบด้วยเสียงพูดภาษาเกาหลี, อัตราความผิดพลาดของอักขระของ ASR: เสียงสะอาดเทียบกับ 0 dB เทียบกับ SNR -10 dB | 0.0315 เทียบกับ 0.1143 เทียบกับ 0.4977 | Jung และ Choi, arXiv 2026 |
| VoiceBench: คะแนนเฉลี่ยที่สูญเสียเมื่อคำสั่งมีคำที่ออกเสียงผิด (ทุกโมเดล) | 20.34% | Chen และคณะ, VoiceBench, arXiv v3 2024 |
| VoxEval: การเปลี่ยนแปลงความแม่นยำของสายประมวลผล Whisper + Llama เมื่อระดับเสียงสูงต่ำของผู้พูดถูกเปลี่ยน | ลบ 9.56 จุด | Cui และคณะ, VoxEval, ACL 2025 |
| ชุดทดสอบภาษาอังกฤษของ SD-QA, อัตราความผิดพลาดของคำของตัวรู้จำภาษาอังกฤษแบบอเมริกัน: ผู้พูดจากตะวันออกเฉียงใต้ของสหรัฐฯ เทียบกับผู้พูดชาวไนจีเรีย | 5.25% เทียบกับ 15.35% | Faisal และคณะ, SD-QA, EMNLP Findings 2021 |
ข้อมูลล่าสุดที่มีสำหรับการถามตอบด้วยเสียงพูดระดับภาษาถิ่น: Faisal และคณะ, SD-QA, 2021 บนชุดทดสอบภาษาอังกฤษ ค่า F1 ของการเลือกข้อความตอนที่เกี่ยวข้องลดจาก 58.7 เมื่อใช้คำถามที่พิมพ์ดั้งเดิม เหลือ 55.8 เมื่อใช้ข้อความถอดเสียง ASR ภาษาอังกฤษแบบอเมริกัน ข้อมูลล่าสุดที่มีสำหรับการอ่านจับใจความจากข้อความถอดเสียงเพียงอย่างเดียว: Spoken SQuAD, 2018 ซึ่งโมเดลการอ่านห้าตัวได้ F1 เฉลี่ย 74.54 บนข้อความ SQuAD แต่ได้ 55.40 บนข้อความถอดเสียง ASR ของ Spoken SQuAD ที่มีอัตราความผิดพลาดของคำ 22.73% (บทความ Spoken SQuAD, arXiv 2018) การทดสอบความหลากหลายของเสียงก็ยังบางเช่นกัน OpenAI เปรียบเทียบเสียงของระบบ 3 เสียงกับตัวอย่างเสียงภาษาอังกฤษ 27 ตัวอย่าง และระบุว่าประสิทธิภาพกับเสียงมนุษย์แย่ลงเล็กน้อยแต่ไม่มีนัยสำคัญ (OpenAI, GPT-4o System Card 2024) ทางแก้กำลังย้ายมาอยู่ที่ฝั่งโมเดล การปรับแต่งละเอียด Qwen2.5-Omni กับภาษาของไนจีเรียสามภาษาช่วยลดอัตราความผิดพลาดของคำแบบสัมพัทธ์ได้สูงสุด 54% (Awobade และคณะ, AfriVox, EACL 2026)
6. เพดานของมนุษย์และแนวหน้าปี 2026
ชุดทดสอบการให้เหตุผลด้านเสียงที่ยากที่สุดยังเหลือช่องว่างกว้างเมื่อเทียบกับมนุษย์ ผู้ฟังที่เป็นมนุษย์ได้ 89.72% บน MMSU ขณะที่โมเดลที่ดีที่สุดจาก 22 โมเดลเสียงพูดและโมเดลออมนิ คือ Gemini-1.5-Pro ได้ 60.68% (Wang และคณะ, MMSU, ICLR 2026) บน MMAU ส่วนต่างใกล้เคียงกัน คือ 82.23% สำหรับมนุษย์ เทียบกับ 54.90% สำหรับ Gemini Pro v1.5 ซึ่งเป็นโมเดลแบบต้นทางถึงปลายทางอันดับหนึ่ง บนชุดย่อย test-mini ที่มี 1,000 คำถาม (บทความชุดทดสอบ MMAU, arXiv 2024)
ขณะเดียวกัน การทดสอบการให้เหตุผลด้วยเสียงที่ง่ายที่สุดแทบจะถูกแก้ได้หมดแล้ว Big Bench Audio เปลี่ยนจาก 66% สำหรับโมเดลเรียลไทม์ของ GPT-4o ในเดือนธันวาคม 2024 เป็นตารางจัดอันดับปี 2026 ที่รายการบนสุดคือ StepAudio 3 Realtime ได้ 99.7% จาก 44 โมเดล (Artificial Analysis, ตารางจัดอันดับ Speech to Speech 2026) กฎการให้คะแนนเปลี่ยนไประหว่างนั้น ตัวเลขทั้งสองจึงไม่อยู่บนสเกลเดียวกัน แต่ทิศทางชัดเจน ที่ส่วนบนของตารางจัดอันดับ ปริศนารูปแบบข้อความในเวอร์ชันเสียงพูดไม่ใช่คอขวดอีกต่อไป คอขวดคือการรับรู้ที่เฉพาะกับเสียง
| ตัวชี้วัด | ค่า | แหล่งที่มา |
|---|---|---|
| MMAU test-mini: ผู้ฟังที่เป็นมนุษย์เทียบกับ Gemini Pro v1.5 | 82.23% เทียบกับ 54.90% | บทความชุดทดสอบ MMAU, arXiv 2024 |
| ชุดทดสอบ MMAU (9,000 คำถาม): Gemini Pro v1.5 เทียบกับ Qwen2-Audio-Instruct | 52.97% เทียบกับ 52.50% | บทความชุดทดสอบ MMAU, arXiv 2024 |
| MMAR: Gemini 2.0 Flash เทียบกับการเดาสุ่ม | 65.6% เทียบกับ 29.32% | บทความชุดทดสอบ MMAR, arXiv 2025 |
| MMAR, GPT-4o Audio: คำถามเฉพาะเสียงพูดเทียบกับคำถามเฉพาะดนตรี | 70.41% เทียบกับ 50.97% | บทความชุดทดสอบ MMAR, arXiv 2025 |
| MMAR: โมเดลที่ประเมิน โอเพนซอร์สรวมกับปิดซอร์ส | 30 (24 รวมกับ 6) | บทความชุดทดสอบ MMAR, arXiv 2025 |
| ค่าเฉลี่ย VoiceBench ที่ทีม Kimi-Audio รายงาน: Kimi-Audio เทียบกับ GLM-4-Voice | 76.93 เทียบกับ 57.17 | Kimi Team, Kimi-Audio Technical Report 2025 |
| Kimi-Audio: เสียงที่ใช้ในการฝึกล่วงหน้า | มากกว่า 13 ล้านชั่วโมง | Kimi Team, Kimi-Audio Technical Report 2025 |
บริบท: ค่าเฉลี่ยของ Kimi-Audio เป็นการประเมินของทีมผู้พัฒนาเอง จึงใช้แทนกันกับคะแนนรวมของผู้เขียน VoiceBench ในหัวข้อ 2 และ 3 ไม่ได้ เพราะบทความทั้งสองดำเนินการประเมินแยกกัน
สรุป: ชุดทดสอบการถามตอบด้วยเสียงพูดของโมเดลภาษาเสียงพูดในรูปแบบตัวเลข
| ตัวชี้วัด | ค่า | แหล่งที่มา |
|---|---|---|
| Big Bench Audio: GPT-4o ข้อความเป็นข้อความ เทียบกับเสียงเป็นเสียง | 92% เทียบกับ 66% | Artificial Analysis, การเปิดตัว Big Bench Audio 2024 |
| tau-Voice: เอเจนต์ข้อความ GPT-5 เทียบกับเอเจนต์เสียงเมื่อเสียงสะอาด | 85% เทียบกับ 31% ถึง 51% | Ray และคณะ, tau-Voice, arXiv 2026 |
| VoiceBench, DiVA แบบต้นทางถึงปลายทาง: อินพุตข้อความเทียบกับอินพุตเสียงพูด | 81.08 เทียบกับ 55.70 | Chen และคณะ, VoiceBench, arXiv v3 2024 |
| การเติมเรื่องราวของ S2SBench: โมเดลฐานข้อความเทียบกับโมเดลเสียงพูดที่ดีที่สุด | 83.0% เทียบกับ 79.6% | S2SBench, arXiv 2025 |
| VoxEval: สายประมวลผล Whisper + Llama เทียบกับ GLM-4-Voice | 55.25% เทียบกับ 37.63% | Cui และคณะ, VoxEval, ACL 2025 |
| MMAR: Gemini 2.0 Flash เทียบกับสายประมวลผลคำบรรยาย + LLM ที่ดีที่สุด | 65.6% เทียบกับ 55.5% | บทความชุดทดสอบ MMAR, arXiv 2025 |
| MMSU, GPT-4o-Audio: การรับรู้เชิงความหมายเทียบกับด้านพาราลิงกวิสติก | 59.70% เทียบกับ 21.44% | Wang และคณะ, MMSU, ICLR 2026 |
| เพศของผู้พูดใน AIR-Bench: สายประมวลผล Whisper + GPT-4 เทียบกับ Qwen-Audio Turbo | 21.9% เทียบกับ 82.5% | AIR-Bench, ACL 2024 |
| Qwen2-Audio: อัตราความผิดพลาดของคำบน LibriSpeech เทียบกับความแม่นยำด้านอารมณ์บน MELD | 1.6% เทียบกับ 55.3% | Qwen2-Audio Technical Report, 2024 |
| F1 ถามตอบด้วยเสียงพูดภาษาเกาหลี (EXAONE-3.5-32B): เสียงสะอาดเทียบกับ SNR -10 dB | 0.863 เทียบกับ 0.586 | Jung และ Choi, arXiv 2026 |
| อัตราความผิดพลาดของคำภาษาอังกฤษใน SD-QA: ผู้พูดจากตะวันออกเฉียงใต้ของสหรัฐฯ เทียบกับชาวไนจีเรีย | 5.25% เทียบกับ 15.35% | Faisal และคณะ, SD-QA, EMNLP Findings 2021 |
| โมเดลการอ่านของ Spoken SQuAD, F1 เฉลี่ย: ข้อความเทียบกับข้อความถอดเสียง ASR | 74.54 เทียบกับ 55.40 | บทความ Spoken SQuAD, arXiv 2018 |
| AfriVox: การลดอัตราความผิดพลาดของคำแบบสัมพัทธ์ที่ดีที่สุดจากการปรับแต่งละเอียด Qwen2.5-Omni | สูงสุด 54% | Awobade และคณะ, AfriVox, EACL 2026 |
| MMAU test-mini: มนุษย์เทียบกับ Gemini Pro v1.5 | 82.23% เทียบกับ 54.90% | บทความชุดทดสอบ MMAU, arXiv 2024 |
| งานของ Dynamic-SUPERB Phase-2 | 180 (ใหม่ 125) | Dynamic-SUPERB Phase-2, ICLR 2025 |
| เสียงที่ใช้ฝึกล่วงหน้าของ Kimi-Audio | มากกว่า 13 ล้านชั่วโมง | Kimi Team, Kimi-Audio Technical Report 2025 |
| คะแนนอันดับหนึ่งบน Big Bench Audio ปี 2026 | 99.7% (StepAudio 3 Realtime) | Artificial Analysis, ตารางจัดอันดับ Speech to Speech 2026 |
ระเบียบวิธีและแหล่งที่มา
- Chen และคณะ, VoiceBench: Benchmarking LLM-Based Voice Assistants, arXiv v3, ธันวาคม 2024 และเวอร์ชันวารสารใน Transactions of the ACL, เล่มที่ 14, 2026
- AIR-Bench: Benchmarking Large Audio-Language Models via Generative Comprehension, ACL 2024
- Dynamic-SUPERB, ICASSP 2024 และ Dynamic-SUPERB Phase-2, ICLR 2025
- MMAU: A Massive Multi-Task Audio Understanding and Reasoning Benchmark, arXiv 2024
- MMAR: A Challenging Benchmark for Deep Reasoning in Speech, Audio, Music, and Their Mix, arXiv 2025
- Wang และคณะ, MMSU: A Massive Multi-task Spoken Language Understanding and Reasoning Benchmark, ICLR 2026
- Cui และคณะ, VoxEval, ACL 2025
- S2SBench: Quantifying Intelligence Degradation in Speech-to-Speech LLMs, South China University of Technology และ Baichuan, arXiv 2025
- Ray และคณะ, tau-Voice: Benchmarking Full-Duplex Voice Agents on Real-World Domains, Sierra และ Princeton University, arXiv มีนาคม 2026
- Jung และ Choi, Analyzing Error Propagation in Korean Spoken QA with ASR-LLM Cascades, arXiv 2026
- Faisal และคณะ, SD-QA: Spoken Dialectal Question Answering for the Real World, Findings of EMNLP 2021
- Spoken SQuAD: Mitigating the Impact of Speech Recognition Errors on Listening Comprehension, arXiv 2018
- Awobade และคณะ, AfriVox: Probing Multilingual and Accent Robustness of Speech LLMs, EACL 2026
- Artificial Analysis, Evaluating Audio Reasoning with Big Bench Audio, 20 ธันวาคม 2024, ตารางจัดอันดับ Speech to Speech 2026 และ ระเบียบวิธีการทดสอบเสียงเป็นเสียง
- OpenAI, GPT-4o System Card, 2024
- Qwen2-Audio Technical Report, 2024 และ Kimi Team, Kimi-Audio Technical Report, 2025
- ข้อสังเกตเกี่ยวกับข้อมูล: การให้คะแนนของ Big Bench Audio เปลี่ยนจาก v1.0 (คำถามที่ไม่ได้ตอบไม่ถูกหักคะแนน ตั้งแต่ธันวาคม 2024 ถึงมีนาคม 2026) เป็น v1.1 (นับครบทั้ง 1,000 คำถาม มีนาคม 2026) และ v1.2 (อัปเดตผู้ตัดสินและตัวให้คะแนน พฤษภาคม 2026) ดังนั้นตัวเลข 66% (2024) และ 99.7% (2026) จึงไม่อยู่บนสเกลเดียวกัน หน้าตารางจัดอันดับไม่ระบุวันที่ของคะแนน และกราฟแสดงเพียง 37 จาก 44 โมเดล เราอ่านหน้านั้นเมื่อวันที่ 31 ตุลาคม 2026 คะแนน VoiceBench ในที่นี้มาจากพรีปรินต์เดือนธันวาคม 2024 ซึ่งเนื้อความกับตารางไม่ตรงกันในบางจุด (เนื้อความบอกว่าสายประมวลผลเสียไป 4.37 จุด ตารางแสดง 2.37 เราใช้ตาราง) และเวอร์ชันวารสารปี 2026 อาจรายงานคะแนนต่างออกไป เนื้อความของ VoxEval รายงานการลดลงสูงสุด 6% จากลีลาการพูดและคุณภาพเสียง ขณะที่ตารางแสดงลบ 9.56 จุดสำหรับระดับเสียงสูงต่ำ เราใช้ตาราง เนื้อความของบทความ MMSU กับตารางที่ 4 ไม่ตรงกันว่าประเภทข้อผิดพลาดใดของ GPT-4o-Audio ที่เป็น 14.7% MMAR ระบุว่ามี 30 โมเดล แต่ตารางแสดง 31 แถว Dynamic-SUPERB Phase-2 ระบุว่าไม่มีโมเดลใดเหนือระดับการเดาสุ่มในการค้นหาด้วยตัวอย่างเสียง แต่ตารางแสดง 53.5% สำหรับหนึ่งโมเดล ตัวเลขของ S2SBench สำหรับ GLM-4-Voice บน sCMMLU ใช้โมเดลที่ปรับด้วยคำสั่ง เพราะไม่มีโมเดลฐานให้ SD-QA (2021) และ Spoken SQuAD (2018) เก่ากว่าสามปีและครอบคลุมเฉพาะระบบแบบสายประมวลผล tau-Voice ทดสอบเอเจนต์เสียงเชิงพาณิชย์ 3 ราย ส่วนต่างของผลจึงอาจเปลี่ยนเร็วเมื่อผู้ให้บริการอัปเดตโมเดล และตารางของ MMSU, MMAU และ Kimi-Audio ส่วนใหญ่ครอบคลุมโมเดลรุ่นปี 2024 และ 2025
อัปเดตล่าสุด: 31 ตุลาคม 2026 เราจะทบทวนและอัปเดตสรุปนี้ทุกไตรมาส และคาดว่าการรีเฟรชครั้งถัดไปจะเกิดขึ้นเมื่อ Artificial Analysis เผยแพร่ Speech to Speech Index เวอร์ชันถัดไป และบทความชุดทดสอบ LLM เสียงพูดของ ICLR 2027 ปรากฏขึ้น