على الأسئلة نفسها البالغ عددها 1,000 سؤال استدلالي من Big Bench Hard، أجاب GPT-4o إجابة صحيحة عن 92% منها حين وصلته نصا، لكن نسخته الفورية من الكلام إلى الكلام أجابت عن 66% فقط حين نُطقت الأسئلة (Artificial Analysis، إطلاق Big Bench Audio 2024). ولم تُغلق الفجوة في كل مكان: ففي معيار خدمة العملاء tau-Voice لعام 2026، أنجز وكيل GPT-5 النصي 85% من المهام، بينما أنجزت الوكلاء الصوتية ثنائية الاتجاه الكامل ما بين 31% و51% مع صوت نظيف وما بين 26% و38% مع ضجيج ولهجات واقعية (Ray وآخرون، tau-Voice، arXiv 2026). وأضعف مهارة ليست الكلمات بل الصوت نفسه: فقد أجاب GPT-4o-Audio إجابة صحيحة عن 21.44% من أسئلة الإدراك شبه اللغوي في MMSU، مقابل 59.70% للأسئلة القائمة على المعنى (Wang وآخرون، MMSU، ICLR 2026). وفي السلاسل المركبة يبدأ الخطر عند واجهة التعرف على الكلام، حيث تنساب الأخطاء والنصوص المختلقة في التفريغ مباشرة إلى الإجابة. جمعنا بيانات من S2SBench وAfriVox وSD-QA وSpoken SQuAD وبطاقة نظام OpenAI GPT-4o System Card والتقريرين التقنيين Qwen2-Audio وKimi-Audio، وأكثر من اثنتي عشرة ورقة معيارية ولوحة صدارة من ACL وICLR وarXiv.
في هذا الاستعراض، «نموذج اللغة الصوتية» (ويسمى أيضا نموذج LLM الصوتي أو نموذج اللغة الصوتي الكبير) هو نموذج يتلقى الصوت مباشرة. أما «السلسلة المركبة» (cascade) فهي التصميم الأقدم: يكتب متعرف على الكلام تفريغا نصيا، ثم يجيب نموذج لغوي نصي فقط انطلاقا من هذا التفريغ.
أبرز النقاط
- سجل GPT-4o نسبة 92% في الأسئلة النصية و66% في الكلام إلى الكلام على Big Bench Audio (Artificial Analysis، إطلاق Big Bench Audio 2024).
- انخفض DiVA من 81.08 مع المدخل النصي إلى 55.70 مع التعليمات نفسها منطوقة (Chen وآخرون، VoiceBench، arXiv v3 2024).
- قلص تدريب Baichuan-Audio على مرحلتين فجوة إكمال القصة المنطوقة إلى 3.4 نقطة خلف النموذج النصي المرجعي (S2SBench، arXiv 2025).
- سجلت سلسلة Whisper مع Llama-3.1-8B نسبة 55.25% على VoxEval مقابل 37.63% لأفضل نموذج من طرف إلى طرف (Cui وآخرون، VoxEval، ACL 2025).
- بلغ Gemini 2.0 Flash نسبة 65.6% على MMAR، متفوقا على كل سلسلة تجمع بين وصف نصي للصوت ونموذج لغوي، وأفضلها سجلت 55.5% (ورقة معيار MMAR، arXiv 2025).
- سجل GPT-4o-Audio نسبة 21.44% في الإدراك شبه اللغوي مقابل 59.70% في الإدراك الدلالي (Wang وآخرون، MMSU، ICLR 2026).
- حددت سلسلة Whisper مع GPT-4 جنس المتحدث بشكل صحيح بنسبة 21.9% فقط من الحالات (AIR-Bench، ACL 2024).
- خفضت إضافة اللهجات متوسط نجاح مهام التجزئة لدى الوكلاء الصوتيين من 55% إلى 44% (Ray وآخرون، tau-Voice، arXiv 2026).
- انخفض EXAONE-3.5-32B من قيمة F1 تبلغ 0.863 على الصوت النظيف إلى 0.586 عند نسبة إشارة إلى ضجيج تبلغ -10 dB في سلسلة كورية (Jung وChoi، arXiv 2026).
- نما Dynamic-SUPERB من 55 حالة تقييم إلى 180 مهمة (Dynamic-SUPERB، ICASSP 2024؛ Dynamic-SUPERB Phase-2، ICLR 2025).
1. إلى أي حجم وصلت معايير الإجابة عن الأسئلة المنطوقة
نما حجم المعايير بسرعة بين عامي 2023 و2026، لكن في اتجاهين مختلفين. انتقل Dynamic-SUPERB من 55 حالة تقييم (مبنية على 33 مهمة و22 مجموعة بيانات) إلى 180 مهمة في Phase-2، ساهم المجتمع البحثي في 125 منها (Dynamic-SUPERB Phase-2، ICLR 2025). وهذا اتساع في النطاق: اختبارات قصيرة كثيرة، يفحص كل منها مهارة واحدة. وسلك VoxEval الطريق المعاكس وتعمق في مهارة واحدة هي أسئلة المعرفة، إذ حول 56 موضوعا من MMLU إلى 13,938 زوجا منطوقا من الأسئلة والأجوبة، ثم ولّد كل زوج في 11 حالة صوتية ليبلغ المجموع 153,318 نسخة (Cui وآخرون، VoxEval، ACL 2025).
والخلاصة العملية لمن يقرأ بطاقة نموذج: قد تأتي نتيجة رئيسية واحدة من 1,000 عنصر أو من 19,000 عنصر، ومن أصوات اصطناعية أو من تسجيلات حقيقية. يضم كل من Big Bench Audio وMMAR عدد 1,000 عنصر، ما يجعل فارق نقطة أو نقطتين بين نموذجين صعب القراءة بوصفه ترتيبا حقيقيا.
| المقياس | القيمة | المصدر |
|---|---|---|
| Dynamic-SUPERB المرحلة 1: حالات التقييم والمهام ومجموعات البيانات | 55 حالة تقييم، 33 مهمة، 22 مجموعة بيانات | Dynamic-SUPERB، ICASSP 2024 |
| معيار AIR-Bench الأساسي: المهام وأسئلة اختيار الإجابة الواحدة | 19 مهمة، نحو 19,000 سؤال | AIR-Bench، ACL 2024 |
| معيار AIR-Bench للمحادثة: الأسئلة المفتوحة، منها المتعلقة بالكلام | 2,000 سؤال، 800 منها عن الكلام | AIR-Bench، ACL 2024 |
| MMAU: المقاطع الصوتية والمهارات المختلفة المختبرة | 10,000 مقطع، 27 مهارة | ورقة معيار MMAU، arXiv 2024 |
| MMSU: الأسئلة والمهام (الإدراك والاستدلال) | 5,000 سؤال، 47 مهمة (24 للإدراك، 23 للاستدلال) | Wang وآخرون، MMSU، ICLR 2026 |
| VoiceBench (نسخة المجلة): التعليمات المنطوقة والمهام | 6,783 تعليمة، 8 مهام | Chen وآخرون، VoiceBench، TACL 2026 |
| SD-QA: المقاطع الصوتية واللهجات والمتحدثون واللغات | أكثر من 68,000 مقطع، 24 لهجة، 255 متحدثا، 5 لغات | Faisal وآخرون، SD-QA، EMNLP Findings 2021 |
سياق: جرى نطق Big Bench Audio بـ23 صوتا اصطناعيا مأخوذة من نماذج تحويل النص إلى كلام (Artificial Analysis، إطلاق Big Bench Audio 2024)، ونحو 6.57% فقط من صوت Dynamic-SUPERB Phase-2 تتجاوز مدته 30 ثانية (Dynamic-SUPERB Phase-2، ICLR 2025). لذلك تقيس معظم هذه الاختبارات أسئلة قصيرة، لا محادثات طويلة أو فوضوية.
2. الأسئلة نفسها: منطوقة مقابل مكتوبة
هذه هي المقارنة الجوهرية: محتوى متطابق، يُقدَّم مرة نصا ومرة صوتا، إلى النموذج نفسه أو عائلة النماذج نفسها. سجل DiVA، وهو نموذج كلام من طرف إلى طرف، 81.08 على VoiceBench عند إعطائه النص و55.70 عند نطق التعليمات نفسها، في حين خسرت سلسلة Whisper مع LLaMA-3.1-8B 2.37 نقطة فقط (Chen وآخرون، VoiceBench، arXiv v3 2024). من الواضح أن النموذج يتعامل مع المحتوى جيدا؛ أما ما ينكسر فهو الطريق من الصوت إلى المعنى.
وتُظهر التصاميم الأحدث والأكثر عناية أن الفجوة يمكن أن تتقلص إلى بضع نقاط. فقد قاس S2SBench، من جامعة جنوب الصين للتكنولوجيا وBaichuan، تدريب Baichuan-Audio على مرحلتين عند 79.6% في إكمال القصة المنطوقة، أي بفارق 3.4 نقطة عن النموذج النصي المرجعي Qwen2.5-7B البالغ 83.0% (S2SBench، arXiv 2025). وتبقى مهام الوكلاء أصعب بكثير: يختبر tau-Voice (ويُكتب τ-Voice في الورقة) الوكلاء الصوتية ثنائية الاتجاه الكامل على 278 مهمة في الطيران والتجزئة والاتصالات، وفي ظل صوت واقعي يخسر المسار المنطوق أكثر من نصف القدرة النصية. وسرعة الاستجابة هي الوجه الآخر لهذه المقايضة، وقد تناولناها في إحصائيات زمن أول مقطع صوتي.
| المقياس | القيمة | المصدر |
|---|---|---|
| الدرجة الإجمالية في VoiceBench، سلسلة Whisper + LLaMA-3.1-8B: مدخل نصي مقابل مدخل منطوق | 81.43 مقابل 79.06 | Chen وآخرون، VoiceBench، arXiv v3 2024 |
| الدرجة الإجمالية في VoiceBench، نموذج DiVA من طرف إلى طرف: مدخل نصي مقابل مدخل منطوق | 81.08 مقابل 55.70 | Chen وآخرون، VoiceBench، arXiv v3 2024 |
| دقة Big Bench Audio: GPT-4o من نص إلى نص مقابل GPT-4o Realtime Preview من كلام إلى كلام | 92% مقابل 66% | Artificial Analysis، إطلاق Big Bench Audio 2024 |
| إكمال القصة المنطوقة (sStoryCloze): Qwen2.5-7B بالنص مقابل Baichuan-Audio ذي المرحلتين بالكلام | 83.0% مقابل 79.6% | S2SBench، arXiv 2025 |
| عبارات الحس السليم بالصينية (sCMMLU، 4,743 عنصرا): Qwen2.5-7B بالنص مقابل نموذج GLM-4-Voice المضبوط على التعليمات بالكلام | 70.3% مقابل 64.3% | S2SBench، arXiv 2025 |
| نجاح المهام في tau-Voice: وكيل GPT-5 النصي مقابل الوكلاء الصوتية بصوت نظيف | 85% مقابل 31% إلى 51% | Ray وآخرون، tau-Voice، arXiv 2026 |
| tau-Voice: حصة القدرة النصية لـGPT-5 التي تحتفظ بها الوكلاء الصوتية في ظل صوت واقعي | نحو 30% إلى 45% | Ray وآخرون، tau-Voice، arXiv 2026 |
حالة استثنائية: وجد VoxEval أن نموذجا واحدا قد يسجل نتائج مختلفة جدا بحسب الجانب الذي يكون صوتيا. فقد سجل SPIRIT-LM نسبة 20.84% من كلام إلى كلام، و23.77% من كلام إلى نص، و1.38% من نص إلى كلام على الأسئلة نفسها (Cui وآخرون، VoxEval، ACL 2025)، وهذا تذكير بأن جانب المخرجات لا يقل أهمية عن جانب المدخلات.
3. السلسلة المركبة (التعرف على الكلام + نموذج لغوي) مقابل نماذج الكلام من طرف إلى طرف
في الأسئلة التي تكمن إجابتها في الكلمات، ما زال من الصعب جدا التفوق على السلسلة المركبة القديمة. في أسئلة MMLU المنطوقة ضمن VoxEval، سجلت سلسلة Whisper مع Llama-3.1-8B نسبة 55.25%، بينما سجل أفضل نموذج كلام من طرف إلى طرف، GLM-4-Voice، نسبة 37.63%، وكان GLM-4-Voice النموذج الوحيد من طرف إلى طرف الذي تجاوز خط التخمين العشوائي البالغ 25% (Cui وآخرون، VoxEval، ACL 2025). ويُظهر Dynamic-SUPERB Phase-2 النمط نفسه: ففي التعرف على الكلام وفهم اللغة المنطوقة، لم يتفوق أي نموذج مختبر على سلسلة Whisper-LLaMA (Dynamic-SUPERB Phase-2، ICLR 2025).
وتنقلب الصورة حين تعتمد الإجابة على الصوت نفسه. ففي MMAR، الذي يمزج الكلام والموسيقى والأصوات، تفوق Gemini 2.0 Flash على كل سلسلة حوّلت الصوت أولا إلى وصف نصي (ورقة معيار MMAR، arXiv 2025). والدرس: تفوز السلاسل المركبة حين يحمل التفريغ النصي كل شيء، وتفوز النماذج من طرف إلى طرف حين يُسقط التفريغ القرينة.
| المقياس | القيمة | المصدر |
|---|---|---|
| دقة VoxEval: سلسلة Whisper + Llama-3.1-8B مقابل GLM-4-Voice من طرف إلى طرف | 55.25% مقابل 37.63% | Cui وآخرون، VoxEval، ACL 2025 |
| المجموعة الفرعية في VoxEval من 12 موضوعا: gpt-4o-audio-preview مقابل سلسلة Whisper + Llama-3.1 | 0.718 مقابل 0.606 | Cui وآخرون، VoxEval، ACL 2025 |
| محادثة AIR-Bench، متوسط درجة GPT-4 (من 1 إلى 10): سلسلة Whisper + GPT-4 مقابل أفضل نموذج من طرف إلى طرف (Qwen-Audio Turbo) | 7.54 مقابل 6.34 | AIR-Bench، ACL 2024 |
| المعيار الأساسي في AIR-Bench، متوسط الدقة: Qwen-Audio Turbo من طرف إلى طرف مقابل سلسلة Whisper + GPT-4 | 57.8% مقابل 53.6% | AIR-Bench، ACL 2024 |
| مجموعة اختبار MMAU، أسئلة الكلام: GPT-4o يقرأ وصفا صوتيا مفصلا مقابل Gemini Pro v1.5 يسمع الصوت | 68.66% مقابل 55.90% | ورقة معيار MMAU، arXiv 2024 |
| متوسط الدقة في MMAR: Gemini 2.0 Flash من طرف إلى طرف مقابل أفضل سلسلة وصف + نموذج لغوي (وصف + DeepSeek-R1) | 65.6% مقابل 55.5% | ورقة معيار MMAR، arXiv 2025 |
| الدرجة الإجمالية في VoiceBench مع مدخل منطوق: سلسلة Whisper + GPT-4o مقابل GPT-4o-Audio | 87.23 مقابل 86.42 | Chen وآخرون، VoiceBench، arXiv v3 2024 |
سياق: يعرض AIR-Bench الجانبين في ورقة واحدة. فقد فازت السلسلة المركبة في اختبار المحادثة المفتوحة لكنها خسرت في الاختبار الأساسي، ويعزو المؤلفون ضعف درجتها الأساسية إلى الأسئلة المتعلقة بجنس المتحدث وعمره ومشاعره (انظر القسم 4).
4. الفجوة شبه اللغوية: سماع طريقة قول الشيء
تعني «شبه اللغوية» كل ما في الصوت وراء الكلمات: المشاعر وعمر المتحدث وجنسه وأسلوب الكلام والتشديد. وهنا تكون نماذج اللغة الصوتية في أضعف حالاتها. في MMSU أجاب GPT-4o-Audio إجابة صحيحة عن 59.70% من أسئلة الإدراك الدلالي لكن عن 21.44% فقط من أسئلة الإدراك شبه اللغوي، وبلغ Gemini-1.5-Pro، أفضل النماذج إجمالا، 31.23% فقط في الإدراك شبه اللغوي (Wang وآخرون، MMSU، ICLR 2026). وشكلت أخطاء الإدراك، لا أخطاء الاستدلال، 50.3% من أخطاء GPT-4o-Audio و51.0% من أخطاء Gemini-1.5-Pro.
لقد أصبح التعرف على الكلمات سهلا، أما قراءة الصوت فلم تصبح كذلك. فـQwen2-Audio يفرّغ مجموعة LibriSpeech test-clean بمعدل خطأ كلمات قدره 1.6%، لكنه يبلغ دقة 55.3% فقط في اختبار التعرف على المشاعر MELD (Qwen2-Audio Technical Report، 2024). وللاطلاع على الجانب السريري من اكتشاف المشاعر، راجع إحصائيات دقة التعرف على المشاعر في الكلام.
| المقياس | القيمة | المصدر |
|---|---|---|
| الإدراك في MMSU، GPT-4o-Audio: الأسئلة الدلالية مقابل الأسئلة شبه اللغوية | 59.70% مقابل 21.44% | Wang وآخرون، MMSU، ICLR 2026 |
| الإدراك في MMSU، Gemini-1.5-Pro: الأسئلة الدلالية مقابل الأسئلة شبه اللغوية | 57.06% مقابل 31.23% | Wang وآخرون، MMSU، ICLR 2026 |
| دقة تحديد جنس المتحدث في AIR-Bench: سلسلة Whisper + GPT-4 مقابل Qwen-Audio Turbo | 21.9% مقابل 82.5% | AIR-Bench، ACL 2024 |
| دقة تحديد اللغة المنطوقة في AIR-Bench: سلسلة Whisper + GPT-4 | 96.8% | AIR-Bench، ACL 2024 |
| Qwen2-Audio: معدل خطأ الكلمات في LibriSpeech test-clean مقابل دقة المشاعر في MELD | 1.6% مقابل 55.3% | Qwen2-Audio Technical Report، 2024 |
| التعرف على المشاعر في Dynamic-SUPERB Phase-2، أفضل نموذج (Qwen2-Audio-7B-Instruct) | 75.8% | Dynamic-SUPERB Phase-2، ICLR 2025 |
| التحقق من المتحدث في Dynamic-SUPERB Phase-2، أفضل نظام (الصدفة = 50%) | 51.3% | Dynamic-SUPERB Phase-2، ICLR 2025 |
سياق: بعض مهارات هوية المتحدث مُعطَّلة عن عمد. فتفيد OpenAI بدرجة 0.98 لنموذج GPT-4o المنشور في الطلبات التي يجب أن يرفضها والمتعلقة بتحديد هوية المتحدث، مقابل 0.83 لنسخة مبكرة (OpenAI، GPT-4o System Card 2024). وقد تكون الدرجة المنخفضة في هوية المتحدث سياسة أمان، لا فشلا في الإدراك فحسب.
5. اللهجات والضجيج والكلام غير النظيف
الصوت النظيف يجامل كل نموذج. في تجربة الحذف الخاصة بالتجزئة في tau-Voice، خفضت إضافة اللهجات وحدها متوسط نجاح المهام من 55% إلى 44%، بينما خفضته إضافة ضجيج الخلفية وحده إلى 51% (Ray وآخرون، tau-Voice، arXiv 2026). وتراوح أثر اللهجات من نقطة واحدة إلى 18 نقطة بحسب المزود، ما يعني أن ترتيب مزود ما في الصوت النظيف لا يقول الكثير عن طريقة تعامله مع لهجات مستخدميك.
والضجيج يتبع منحدرا حادا لا تدرجا ناعما. ففي دراسة لسلسلة إجابة عن أسئلة منطوقة بالكورية عام 2026، بالكاد تحركت جودة الإجابة حتى نسبة إشارة إلى ضجيج +10 dB، ثم هبطت بحدة دون 0 dB مع ارتفاع معدل خطأ الحروف لدى المتعرف على الكلام (Jung وChoi، Korean Spoken QA Error Propagation، arXiv 2026). وتأثيرات اللهجات في المتعرف نفسه تناولناها في إحصائيات انحياز التعرف على الكلام للهجات.
| المقياس | القيمة | المصدر |
|---|---|---|
| نجاح مهام التجزئة في tau-Voice، متوسط 3 مزودي صوت: صوت نظيف مقابل إضافة اللهجات | 55% مقابل 44% | Ray وآخرون، tau-Voice، arXiv 2026 |
| التجزئة في tau-Voice: الانخفاض الناتج عن إضافة اللهجات، xAI مقابل Google | 18 نقطة مقابل نقطة واحدة | Ray وآخرون، tau-Voice، arXiv 2026 |
| قيمة F1 للإجابة عن الأسئلة المنطوقة بالكورية، EXAONE-3.5-32B: سؤال مكتوب مقابل صوت نظيف مقابل صوت عند نسبة إشارة إلى ضجيج -10 dB | 0.870 مقابل 0.863 مقابل 0.586 | Jung وChoi، arXiv 2026 |
| الإجابة عن الأسئلة المنطوقة بالكورية، معدل خطأ الحروف في التعرف على الكلام: صوت نظيف مقابل 0 dB مقابل -10 dB من نسبة الإشارة إلى الضجيج | 0.0315 مقابل 0.1143 مقابل 0.4977 | Jung وChoi، arXiv 2026 |
| VoiceBench: متوسط فقدان الدرجة عندما تحتوي التعليمات على كلمات منطوقة خطأ (جميع النماذج) | 20.34% | Chen وآخرون، VoiceBench، arXiv v3 2024 |
| VoxEval: تغير دقة سلسلة Whisper + Llama عند تغيير طبقة صوت المتحدث | ناقص 9.56 نقطة | Cui وآخرون، VoxEval، ACL 2025 |
| مجموعة اختبار SD-QA بالإنجليزية، معدل خطأ الكلمات لمتعرف بالإنجليزية الأمريكية: متحدثو جنوب شرق الولايات المتحدة مقابل المتحدثين النيجيريين | 5.25% مقابل 15.35% | Faisal وآخرون، SD-QA، EMNLP Findings 2021 |
أحدث بيانات متاحة للإجابة عن الأسئلة المنطوقة على مستوى اللهجات: Faisal وآخرون، SD-QA، 2021. ففي مجموعة اختباره بالإنجليزية، انخفضت قيمة F1 لاختيار المقطع من 58.7 مع السؤال المكتوب الأصلي إلى 55.8 مع تفريغ ASR بالإنجليزية الأمريكية. وأحدث بيانات متاحة لفهم المقروء القائم على التفريغ النصي فقط: Spoken SQuAD، 2018، حيث بلغ متوسط F1 لخمسة نماذج قراءة 74.54 على نص SQuAD و55.40 على تفريغات ASR لـSpoken SQuAD بمعدل خطأ كلمات قدره 22.73% (ورقة Spoken SQuAD، arXiv 2018). واختبار تنوع الأصوات ضعيف أيضا: قارنت OpenAI بين 3 أصوات للنظام و27 عينة صوتية بشرية بالإنجليزية، وقالت إن الأداء على الأصوات البشرية أسوأ بشكل طفيف لكن غير دال (OpenAI، GPT-4o System Card 2024). والحل يتجه إلى جانب النموذج: فقد أدى ضبط Qwen2.5-Omni على ثلاث لغات نيجيرية إلى خفض نسبي في معدل خطأ الكلمات بلغ 54% كحد أقصى (Awobade وآخرون، AfriVox، EACL 2026).
6. سقف البشر وحدود 2026
ما زالت أصعب معايير الاستدلال الصوتي تترك هامشا واسعا لصالح البشر. سجل المستمعون البشر 89.72% في MMSU، بينما سجل أفضل النماذج الـ22 للكلام والنماذج الشاملة، Gemini-1.5-Pro، نسبة 60.68% (Wang وآخرون، MMSU، ICLR 2026). وفي MMAU الهامش مماثل: 82.23% للبشر مقابل 54.90% لـGemini Pro v1.5، أفضل نموذج من طرف إلى طرف، على مجموعة test-mini البالغة 1,000 سؤال (ورقة معيار MMAU، arXiv 2024).
وفي الوقت نفسه، تكاد أسهل اختبارات الاستدلال المنطوق تُحل بالكامل. فقد انتقل Big Bench Audio من 66% لنموذج GPT-4o الفوري في ديسمبر 2024 إلى لوحة صدارة 2026 يسجل فيها المركز الأول، StepAudio 3 Realtime، نسبة 99.7% بين 44 نموذجا (Artificial Analysis، لوحة صدارة Speech to Speech 2026). وتغيرت قواعد التقييم بين التاريخين، فلا يقعان على المقياس نفسه، لكن الاتجاه واضح: في أعلى لوحة الصدارة لم تعد النسخ المنطوقة من الألغاز ذات الطابع النصي هي العائق. العائق هو الإدراك الخاص بالصوت.
| المقياس | القيمة | المصدر |
|---|---|---|
| MMAU test-mini: المستمعون البشر مقابل Gemini Pro v1.5 | 82.23% مقابل 54.90% | ورقة معيار MMAU، arXiv 2024 |
| مجموعة اختبار MMAU (9,000 سؤال): Gemini Pro v1.5 مقابل Qwen2-Audio-Instruct | 52.97% مقابل 52.50% | ورقة معيار MMAU، arXiv 2024 |
| MMAR: Gemini 2.0 Flash مقابل التخمين العشوائي | 65.6% مقابل 29.32% | ورقة معيار MMAR، arXiv 2025 |
| MMAR، GPT-4o Audio: أسئلة الكلام فقط مقابل أسئلة الموسيقى فقط | 70.41% مقابل 50.97% | ورقة معيار MMAR، arXiv 2025 |
| MMAR: النماذج المقيَّمة، مفتوحة المصدر إضافة إلى مغلقة المصدر | 30 (24 زائد 6) | ورقة معيار MMAR، arXiv 2025 |
| متوسط VoiceBench كما أبلغ عنه فريق Kimi-Audio: Kimi-Audio مقابل GLM-4-Voice | 76.93 مقابل 57.17 | فريق Kimi، Kimi-Audio Technical Report 2025 |
| Kimi-Audio: الصوت المستخدم في التدريب المسبق | أكثر من 13 مليون ساعة | فريق Kimi، Kimi-Audio Technical Report 2025 |
سياق: متوسطات Kimi-Audio هي تقييم الفريق المطور نفسه، لذلك لا يمكن تبديلها بدرجات VoiceBench الإجمالية لمؤلفي المعيار في القسمين 2 و3، لأن الورقتين أجريتا تقييمين منفصلين.
الخلاصة: معايير الإجابة عن الأسئلة المنطوقة لنماذج اللغة الصوتية بالأرقام
| المقياس | القيمة | المصدر |
|---|---|---|
| Big Bench Audio: GPT-4o من نص إلى نص مقابل من كلام إلى كلام | 92% مقابل 66% | Artificial Analysis، إطلاق Big Bench Audio 2024 |
| tau-Voice: وكيل GPT-5 النصي مقابل الوكلاء الصوتية بصوت نظيف | 85% مقابل 31% إلى 51% | Ray وآخرون، tau-Voice، arXiv 2026 |
| VoiceBench، DiVA من طرف إلى طرف: مدخل نصي مقابل مدخل منطوق | 81.08 مقابل 55.70 | Chen وآخرون، VoiceBench، arXiv v3 2024 |
| إكمال القصة في S2SBench: النموذج النصي المرجعي مقابل أفضل نموذج كلام | 83.0% مقابل 79.6% | S2SBench، arXiv 2025 |
| VoxEval: سلسلة Whisper + Llama مقابل GLM-4-Voice | 55.25% مقابل 37.63% | Cui وآخرون، VoxEval، ACL 2025 |
| MMAR: Gemini 2.0 Flash مقابل أفضل سلسلة وصف + نموذج لغوي | 65.6% مقابل 55.5% | ورقة معيار MMAR، arXiv 2025 |
| MMSU، GPT-4o-Audio: الإدراك الدلالي مقابل شبه اللغوي | 59.70% مقابل 21.44% | Wang وآخرون، MMSU، ICLR 2026 |
| جنس المتحدث في AIR-Bench: سلسلة Whisper + GPT-4 مقابل Qwen-Audio Turbo | 21.9% مقابل 82.5% | AIR-Bench، ACL 2024 |
| Qwen2-Audio: معدل خطأ الكلمات في LibriSpeech مقابل دقة المشاعر في MELD | 1.6% مقابل 55.3% | Qwen2-Audio Technical Report، 2024 |
| قيمة F1 للإجابة عن الأسئلة المنطوقة بالكورية (EXAONE-3.5-32B): صوت نظيف مقابل نسبة إشارة إلى ضجيج -10 dB | 0.863 مقابل 0.586 | Jung وChoi، arXiv 2026 |
| معدل خطأ الكلمات في SD-QA بالإنجليزية: متحدثو جنوب شرق الولايات المتحدة مقابل المتحدثين النيجيريين | 5.25% مقابل 15.35% | Faisal وآخرون، SD-QA، EMNLP Findings 2021 |
| نماذج القراءة في Spoken SQuAD، متوسط F1: النص مقابل تفريغات ASR | 74.54 مقابل 55.40 | ورقة Spoken SQuAD، arXiv 2018 |
| AfriVox: أفضل خفض نسبي لمعدل خطأ الكلمات من ضبط Qwen2.5-Omni | حتى 54% | Awobade وآخرون، AfriVox، EACL 2026 |
| MMAU test-mini: البشر مقابل Gemini Pro v1.5 | 82.23% مقابل 54.90% | ورقة معيار MMAU، arXiv 2024 |
| مهام Dynamic-SUPERB Phase-2 | 180 (125 جديدة) | Dynamic-SUPERB Phase-2، ICLR 2025 |
| الصوت المستخدم في التدريب المسبق لـKimi-Audio | أكثر من 13 مليون ساعة | فريق Kimi، Kimi-Audio Technical Report 2025 |
| درجة صدارة Big Bench Audio لعام 2026 | 99.7% (StepAudio 3 Realtime) | Artificial Analysis، لوحة صدارة Speech to Speech 2026 |
المنهجية والمصادر
- Chen وآخرون، VoiceBench: Benchmarking LLM-Based Voice Assistants، arXiv v3، ديسمبر 2024 ونسخته المنشورة في المجلة Transactions of the ACL، المجلد 14، 2026.
- AIR-Bench: Benchmarking Large Audio-Language Models via Generative Comprehension، ACL 2024.
- Dynamic-SUPERB، ICASSP 2024 وDynamic-SUPERB Phase-2، ICLR 2025.
- MMAU: A Massive Multi-Task Audio Understanding and Reasoning Benchmark، arXiv 2024.
- MMAR: A Challenging Benchmark for Deep Reasoning in Speech, Audio, Music, and Their Mix، arXiv 2025.
- Wang وآخرون، MMSU: A Massive Multi-task Spoken Language Understanding and Reasoning Benchmark، ICLR 2026.
- Cui وآخرون، VoxEval، ACL 2025.
- S2SBench: Quantifying Intelligence Degradation in Speech-to-Speech LLMs، جامعة جنوب الصين للتكنولوجيا وBaichuan، arXiv 2025.
- Ray وآخرون، tau-Voice: Benchmarking Full-Duplex Voice Agents on Real-World Domains، Sierra وجامعة Princeton، arXiv مارس 2026.
- Jung وChoi، Analyzing Error Propagation in Korean Spoken QA with ASR-LLM Cascades، arXiv 2026.
- Faisal وآخرون، SD-QA: Spoken Dialectal Question Answering for the Real World، Findings of EMNLP 2021.
- Spoken SQuAD: Mitigating the Impact of Speech Recognition Errors on Listening Comprehension، arXiv 2018.
- Awobade وآخرون، AfriVox: Probing Multilingual and Accent Robustness of Speech LLMs، EACL 2026.
- Artificial Analysis، Evaluating Audio Reasoning with Big Bench Audio، 20 ديسمبر 2024 ولوحة صدارة Speech to Speech 2026 ومنهجية تقييم الكلام إلى الكلام.
- OpenAI، GPT-4o System Card، 2024.
- Qwen2-Audio Technical Report، 2024 وفريق Kimi، Kimi-Audio Technical Report، 2025.
- ملاحظة حول البيانات: تغير تقييم Big Bench Audio من الإصدار v1.0 (لا تُعاقَب الأسئلة غير المجابة، من ديسمبر 2024 إلى مارس 2026) إلى الإصدار v1.1 (احتساب جميع الأسئلة الـ1,000، مارس 2026) ثم الإصدار v1.2 (محكّم ومصحح محدثان، مايو 2026)، لذلك فإن رقمي 66% (2024) و99.7% (2026) ليسا على المقياس نفسه. ولا تذكر صفحة لوحة الصدارة تاريخا لنتائجها، ويعرض مخططها 37 نموذجا من أصل 44؛ وقد اطلعنا عليها في 31 أكتوبر 2026. وتأتي نتائج VoiceBench هنا من النسخة الأولية لشهر ديسمبر 2024، التي يتعارض نصها وجداولها في مواضع (يقول النص إن السلسلة خسرت 4.37 نقطة بينما يظهر الجدول 2.37؛ واعتمدنا الجدول)، وقد تعرض نسخة المجلة لعام 2026 نتائج مختلفة. ويذكر نص VoxEval انخفاضات تصل إلى 6% بسبب أسلوب الكلام وجودة الصوت، بينما يظهر جدوله ناقص 9.56 نقطة لطبقة الصوت؛ واعتمدنا الجدول. ويتعارض نص ورقة MMSU والجدول 4 في تحديد فئة خطأ GPT-4o-Audio التي تبلغ 14.7%. وتذكر MMAR أن عدد النماذج 30، بينما يسرد جدولها 31 صفا. ويقول Dynamic-SUPERB Phase-2 إن أي نموذج لا يتفوق على الصدفة في البحث بالمثال، بينما يظهر جدوله 53.5% لأحد النماذج. وتستخدم أرقام S2SBench لـGLM-4-Voice في sCMMLU النموذج المضبوط على التعليمات لأنه لم يُتح نموذج أساسي. أما SD-QA (2021) وSpoken SQuAD (2018) فأقدم من ثلاث سنوات وتغطيان الأنظمة المركبة فقط. واختبر tau-Voice ثلاثة وكلاء صوتيين تجاريين، لذلك قد يتغير التفاوت بينها بسرعة مع تحديث المزودين لنماذجهم، وتغطي جداول MMSU وMMAU وKimi-Audio في معظمها أجيال نماذج 2024 و2025.
آخر تحديث: 31 أكتوبر 2026. نحدّث هذا الاستعراض كل ثلاثة أشهر، ومن المتوقع التحديث التالي عندما تنشر Artificial Analysis الإصدار التالي من مؤشر Speech to Speech وتظهر أوراق معايير نماذج اللغة الصوتية في ICLR 2027.