كفت عشر دقائق من الكلام المنسوخ نصيا ليصل wav2vec 2.0 إلى معدل خطأ كلمات قدره 4.8% على مجموعة LibriSpeech test-clean (Meta AI, wav2vec 2.0, NeurIPS 2020)، بعد أن تدرب النموذج أولا على صوت خام دون أي نسخ نصي بشري، وهو النهج المعروف بالتعلم ذاتي الإشراف. وعلى مجموعة الاختبار المخفية لتحدي SUPERB @ SLT 2022، سجل WavLM-large الرقم 1242 على مقياس يقع فيه أفضل مستوى معروف في أكتوبر 2021 عند 1000 (Feng وآخرون، SUPERB @ SLT 2022)، ومع ذلك لم يتفوق على خط أساس كلاسيكي في كل مهمة سوى نحو نصف النماذج الـ 33 التي خضعت للاختبار (Yang وآخرون، IEEE/ACM TASLP 2024). وما زالت النقاط المرجعية الأقدم قيد الاستخدام اليومي: أظهر facebook/wav2vec2-base-960h عدد 1,737,874 عملية تنزيل في الشهر الأخير (Hugging Face، 31 أكتوبر 2026). جمعنا البيانات من أوراق معايير SUPERB وSUPERB-SG وML-SUPERB، وتقرير تحدي SUPERB @ SLT 2022، وأوراق نماذج wav2vec 2.0 وWavLM وXEUS، وعدادات التنزيل الحية في Hugging Face. أما ما تغفله معدلات الخطأ المنخفضة هذه فتغطيه مقالتنا عن معدلات الهلوسة في التعرف على الكلام.
ملاحظة حول قراءة كل رقم أدناه: درجات SUPERB تعود في معظمها إلى الفترة من 2021 إلى 2024 لأن أوراق المعيار هي التي سجلت الأرقام القياسية، وتعذر الوصول إلى لوحة الصدارة الحية في هذا التحديث (انظر ملاحظة حول البيانات). الأقل أفضل في معدلات الخطأ؛ والأعلى أفضل في الدقة وفي درجات SUPERB.
أبرز النقاط
- بلغ wav2vec 2.0 Large معدل خطأ كلمات 4.8% / 8.2% مع 10 دقائق من البيانات الموسومة، مقابل 16.3% / 25.2% لأفضل طريقة سابقة (Meta AI, wav2vec 2.0, NeurIPS 2020).
- وصل wav2vec-U إلى 5.9% معدل خطأ كلمات على test-other دون أي كلام منسوخ نصيا (Meta AI, wav2vec-U 2021).
- يعرض جدول أفضل المستويات في مراجعة IEEE معدل خطأ كلمات على LibriSpeech قدره 1.4% / 2.6% مع التدريب المسبق ذاتي الإشراف، مقابل 2.1% / 4.0% بدونه (Mohamed وآخرون، IEEE JSTSP 2022).
- خفّض HuBERT Large معدل خطأ الفونيمات إلى 3.53%، من 82.01% لخط الأساس FBANK (Yang وآخرون، SUPERB, Interspeech 2021).
- يظل التعرف على المشاعر هو السقف المنخفض، إذ يتصدر XEUS بدقة 71.08% (Chen وآخرون، XEUS, EMNLP 2024).
- ارتفعت درجة BLEU لترجمة الكلام من 2.32 مع FBANK إلى 20.01 مع HuBERT Large (Tsai وآخرون، SUPERB-SG, ACL 2022).
- يتفوق نحو نصف النماذج الـ 33 على FBANK في المهام الـ 15 كلها (Yang وآخرون، IEEE/ACM TASLP 2024).
- سجل WavLM Base+ درجة إجمالية 73.4 بـ 94.70M معامل، أعلى من HuBERT Large الذي سجل 72.2 بـ 316.61M (Microsoft, WavLM, IEEE JSTSP 2022).
- سجل أكبر نموذج في التحدي، بـ 619.82M معامل، الدرجة 848 مقابل 1242 لـ WavLM-large بـ 315.45M (Feng وآخرون، SUPERB @ SLT 2022).
- على مجموعة ML-SUPERB ذات الـ 10 دقائق، سجل wav2vec2-large الدرجة 598.3 وسجل wav2vec2-base الأصغر 755.2 (Shi وآخرون، ML-SUPERB, Interspeech 2023).
- يجعل DistilHuBERT نموذج HuBERT أصغر بنسبة 75% وأسرع بنسبة 73% (Chang وآخرون، ICASSP 2022).
- أظهر microsoft/wavlm-large عدد 1,068,711 عملية تنزيل في الشهر الأخير (Hugging Face، 31 أكتوبر 2026).
1. البيانات الموسومة: من 960 ساعة إلى 10 دقائق
معدل خطأ الكلمات (WER) هو نسبة الكلمات التي يخطئ فيها النظام، وتعني «الموسومة» هنا النصوص التي كتبها البشر. لدى LibriSpeech مجموعتا اختبار قياسيتان: test-clean وtest-other الأصعب. الانتقال من 960 ساعة من البيانات الموسومة إلى 10 دقائق رفع معدل خطأ الكلمات لنموذج wav2vec 2.0 على test-other من 3.3% إلى 8.2%. ولما كانت 960 ساعة تساوي 57,600 دقيقة، فهذا يعني صوتا منسوخا نصيا أقل بـ 5,760 مرة (57,600 / 10) مقابل معدل خطأ أعلى بنحو 2.5 مرة (8.2 / 3.3).
انتقلت نقطة الاختناق. كان النسخ النصي في الماضي هو ما يحدد حد الجودة؛ أما بعد wav2vec 2.0، فقد أصبح المدخل الشحيح هو الصوت غير الموسوم ووقت وحدات GPU. كما أن نسبته 8.2% على test-other تقل بنحو 67% عن نسبة 25.2% لأفضل طريقة سابقة ((25.2 - 8.2) / 25.2)، وتعدّه مراجعة IEEE أول نموذج يصل إلى معدل خطأ كلمات من خانة واحدة على LibriSpeech باستخدام المجموعات الفرعية منخفضة الموارد من Libri-light فقط.
| المقياس | القيمة | المصدر |
|---|---|---|
| معدل خطأ الكلمات مع 10 دقائق من البيانات الموسومة، wav2vec 2.0 Large مقابل أفضل نموذج سابق Discrete BERT (test-clean / test-other) | 4.8% / 8.2% مقابل 16.3% / 25.2% | Meta AI, wav2vec 2.0, NeurIPS 2020 |
| معدل خطأ الكلمات مع 10 دقائق من البيانات الموسومة، HuBERT X-Large (test-clean / test-other) | 4.6% / 6.8% | Meta AI, HuBERT, IEEE/ACM TASLP 2021 |
| معدل خطأ الكلمات على test-other مع ساعة واحدة من البيانات الموسومة، wav2vec 2.0 Large مقابل WavLM Large | 5.8% مقابل 5.1% | Microsoft, WavLM, IEEE JSTSP 2022 |
| معدل خطأ الكلمات مع 10 ساعات من البيانات الموسومة، HuBERT Large وWavLM Large (كلاهما test-clean / test-other) | 2.4% / 4.6% | Microsoft, WavLM, IEEE JSTSP 2022 |
| معدل خطأ الكلمات مع الساعات الـ 960 كاملة من بيانات LibriSpeech الموسومة، wav2vec 2.0 Large (test-clean / test-other) | 1.8% / 3.3% | Meta AI, wav2vec 2.0, NeurIPS 2020 |
| معدل خطأ الكلمات على test-other دون أي كلام منسوخ نصيا، wav2vec-U | 5.9% | Meta AI, wav2vec-U 2021 |
| معدل خطأ الكلمات على LibriSpeech في جدول أفضل المستويات بالمراجعة، دون التدريب المسبق ذاتي الإشراف مقابل معه (test-clean / test-other) | 2.1% / 4.0% مقابل 1.4% / 2.6% | Mohamed وآخرون، IEEE JSTSP 2022 |
المقارنة ليست متكافئة تماما. فقد استخدم Discrete BERT نموذجا لغويا من نوع 4-gram، بينما تستخدم صفوف wav2vec 2.0 وHuBERT وWavLM أعلاه نموذجا لغويا من نوع Transformer عند فك الترميز. وتجمع نتيجة التدريب ذاتي الإشراف في الصف الأخير بين نموذج conformer XXL والتدريب الذاتي بأسلوب noisy student. أحدث البيانات المتاحة: أوراق Meta AI وMicrosoft، من 2020 إلى 2022.
2. مهام المحتوى في SUPERB: التعرف على ما قيل
بدأ SUPERB بـ 10 مهام وقاعدة صارمة واحدة: يبقى النموذج المدرب مسبقا مجمّدا ويُدرَّب رأس صغير خاص بالمهمة فقط. وخط الأساس هو FBANK، أي ميزات صوتية كلاسيكية من مرشحات التردد دون أي تدريب مسبق. نقل HuBERT Large معدل خطأ الفونيمات من 82.01% إلى 3.53%. ومعدل خطأ الفونيمات هو الفكرة نفسها كمعدل خطأ الكلمات، لكنه يُحسب على أصوات الكلام بدلا من الكلمات.
الفجوات الرئيسية تبالغ في أمر واحد. تشير الورقة إلى أن FBANK لا يمكنه العمل في المهام المقتصرة على رأس خطي، وهذا يفسر درجات منخفضة تصل إلى 8.63% في اكتشاف الكلمات المفتاحية. أما مع رأس غير خطي في التعرف التلقائي على الكلام (ASR)، فيكون FBANK منافسا بما يكفي لتكون نسبته 23.18% حدا أدنى أكثر إنصافا. ويسجل الاستعلام بالمثال، الذي يعثر على مصطلح منطوق انطلاقا من عينة صوتية ويُقاس بأقصى قيمة موزونة للمصطلح (MTWV)، أدنى الأرقام المطلقة في المجموعة: فأعلى درجة في الورقة الأصلية كانت 0.0736.
| المقياس | القيمة | المصدر |
|---|---|---|
| معدل خطأ الفونيمات على LibriSpeech، خط الأساس FBANK مقابل HuBERT Large | 82.01% مقابل 3.53% | Yang وآخرون، SUPERB, Interspeech 2021 |
| دقة اكتشاف الكلمات المفتاحية على Speech Commands، FBANK مقابل wav2vec 2.0 Large | 8.63% مقابل 96.66% | Yang وآخرون، SUPERB, Interspeech 2021 |
| معدل خطأ الكلمات في التعرف التلقائي على الكلام دون نموذج لغوي، FBANK مقابل HuBERT Large | 23.18% مقابل 3.62% | Yang وآخرون، SUPERB, Interspeech 2021 |
| درجة MTWV للاستعلام بالمثال، FBANK مقابل HuBERT Base | 0.0058 مقابل 0.0736 | Yang وآخرون، SUPERB, Interspeech 2021 |
| معدل خطأ الكلمات في التعرف التلقائي على الكلام ضمن SUPERB، WavLM Large مقابل XEUS | 3.44% مقابل 3.34% | Chen وآخرون، XEUS, EMNLP 2024 |
| دقة اكتشاف الكلمات المفتاحية ضمن SUPERB، WavLM Large مقابل XEUS | 97.86% مقابل 98.32% | Chen وآخرون، XEUS, EMNLP 2024 |
أحدث أرقام SUPERB الإنجليزية هنا مصدرها XEUS، وقد أصبحت الهوامش ضيقة: 0.10 نقطة مئوية في التعرف التلقائي على الكلام. ويبدو أن عائلة المهام هذه قريبة من التشبع.
3. مهام المتحدث والنية والمشاعر
تسأل مهام المتحدث عمّن يتكلم لا عمّا قيل، ولذلك فهي تختبر ما إذا كان التمثيل قد احتفظ بأكثر من الكلمات. ارتفعت دقة تحديد هوية المتحدث من ما يقارب الصفر مع FBANK إلى 90.33% مع HuBERT Large. بلغ WavLM Large بعد الضبط الدقيق معدل خطأ متساويا قدره 0.383% على VoxCeleb1-O، مقابل 1.010% لنظام ECAPA-TDNN المرجعي. ومعدل الخطأ المتساوي (EER) هو نقطة التشغيل التي يتساوى عندها القبول الخاطئ مع الرفض الخاطئ، ولذلك فالأقل أفضل.
المشاعر حالة شاذة. فدقة التعرف على المشاعر بأربع فئات على IEMOCAP بالكاد تحركت بين WavLM Large وXEUS، وحتى أفضل درجة تترك نحو 3 مقاطع من كل 10 خاطئة. وتغطي مقالتنا عن إحصائيات دقة التعرف على المشاعر في الكلام الحدود العملية لذلك. أما صفوف تجزئة المتحدثين فتستخدم مجموعات بيانات مختلفة، لذا راجع استعراض معدل خطأ تجزئة المتحدثين لدينا قبل مقارنتها. ويقيس معدل خطأ تجزئة المتحدثين (DER) مقدار الزمن الصوتي الذي يخطئ فيه النظام في تحديد «من تحدث ومتى».
| المقياس | القيمة | المصدر |
|---|---|---|
| دقة تحديد هوية المتحدث على VoxCeleb1، FBANK مقابل HuBERT Large | 8.5E-4 مقابل 90.33 (بالمئة) | Yang وآخرون، SUPERB, Interspeech 2021 |
| دقة تصنيف النية على Fluent Speech Commands، FBANK مقابل HuBERT Large | 9.10% مقابل 98.76% | Yang وآخرون، SUPERB, Interspeech 2021 |
| دقة تصنيف النية في جدول أفضل المستويات بالمراجعة، دون التدريب المسبق ذاتي الإشراف مقابل معه | 98.8% مقابل 99.3% | Mohamed وآخرون، IEEE JSTSP 2022 |
| معدل DER لتجزئة المتحدثين على LibriMix بمتحدثين اثنين، WavLM Large مقابل XEUS | 3.24% مقابل 3.11% | Chen وآخرون، XEUS, EMNLP 2024 |
| دقة التعرف على المشاعر على IEMOCAP (أربع فئات)، WavLM Large مقابل XEUS | 70.62% مقابل 71.08% | Chen وآخرون، XEUS, EMNLP 2024 |
| معدل EER للتحقق من المتحدث على VoxCeleb1-O، النظام المرجعي ECAPA-TDNN مقابل WavLM Large مع ضبط دقيق بهامش كبير ومعايرة الدرجات | 1.010% مقابل 0.383% | Microsoft, WavLM, IEEE JSTSP 2022 |
| معدل DER للتجزئة على المكالمات الهاتفية في CALLHOME، تجميع EEND-EDA مقابل WavLM Large | 11.84% مقابل 10.35% | Microsoft, WavLM, IEEE JSTSP 2022 |
لاحظ تغير الطريقة في صف التحقق من المتحدث: فهذه النتيجة مصدرها الضبط الدقيق لا الإعداد المجمّد في SUPERB، لذا فهي ليست درجة في لوحة الصدارة. كما تبيّن مراجعة IEEE مدى ضآلة الأفضلية في القمة: 0.5 نقطة مئوية في تصنيف النية.
4. SUPERB-SG ومعيار المهام الخمس عشرة: أين يتوقف نفع الإشراف الذاتي
أضاف SUPERB-SG خمس مهام أصعب في الدلالات والتوليد. وتُظهر الترجمة أكبر قفزة: ارتفعت درجة BLEU، وهي مقياس لجودة الترجمة، من 2.32 إلى 20.01. كما يتحسن تحويل الصوت بشكل حاد، ويُقاس هنا بعدد الكلمات التي يخطئ فيها نظام التعرف على الصوت المحوَّل.
ثم تتوقف المكاسب. فتحسين الكلام وفصله يعتمدان على تفاصيل الإشارة منخفضة المستوى، ووجد المؤلفون أن هاتين المهمتين غير مرتبطتين ارتباطا قويا ببقية المهام. بل إن wav2vec 2.0 Large يقع فعليا دون FBANK في درجة جودة الكلام PESQ. وتؤكد نسخة المجلة ذلك على نطاق واسع: فالنموذج المبني لتلخيص الكلام ليس بالضرورة جيدا في إعادة بنائه. وللاطلاع على جانب الفصل من هذه الصورة، راجع إحصائيات فصل الكلام لدينا.
| المقياس | القيمة | المصدر |
|---|---|---|
| درجة BLEU لترجمة الكلام على CoVoST2 (من الإنجليزية إلى الألمانية)، FBANK مقابل HuBERT Large | 2.32 مقابل 20.01 | Tsai وآخرون، SUPERB-SG, ACL 2022 |
| معدل خطأ الكلمات في التعرف على الكلام خارج المجال (الإسبانية والماندرين والعربية والإنجليزية العفوية)، FBANK مقابل HuBERT Large | 63.58% مقابل 44.08% | Tsai وآخرون، SUPERB-SG, ACL 2022 |
| معدل خطأ الكلمات للكلام المحوَّل صوتيا على VCC2020، FBANK مقابل HuBERT Large | 38.3% مقابل 9.0% | Tsai وآخرون، SUPERB-SG, ACL 2022 |
| درجة SI-SDRi لفصل الكلام (تحسن جودة الإشارة، الأعلى أفضل)، FBANK مقابل HuBERT Large | 9.23 مقابل 10.45 | Tsai وآخرون، SUPERB-SG, ACL 2022 |
| درجة PESQ لتحسين الكلام على Voicebank-DEMAND، FBANK مقابل wav2vec 2.0 Large مقابل HuBERT Large | 2.55 مقابل 2.52 مقابل 2.64 | Tsai وآخرون، SUPERB-SG, ACL 2022 |
| ارتباط نتائج المهام بالتعرف التلقائي على الكلام، لترجمة الكلام وللتعرف خارج المجال | 0.92 لكل منهما | Tsai وآخرون، SUPERB-SG, ACL 2022 |
| حصة النماذج الـ 33 التي تتفوق على FBANK في المهام الـ 15 كلها | نحو النصف | Yang وآخرون، IEEE/ACM TASLP 2024 |
| المهام التي تتخلف فيها بقية النماذج عن FBANK | نحو 1 إلى 3 من 15، وغالبا تحسين الكلام وفصله | Yang وآخرون، IEEE/ACM TASLP 2024 |
يستحق صف خارج المجال الانتباه: فما زال HuBERT Large يسجل متوسط معدل خطأ قدره 44.08% عبر المهام الفرعية الأربع تلك (تُقيَّم الماندرين بمعدل خطأ الحروف)، أي أعلى بكثير من نسبته 3.62% على LibriSpeech الإنجليزي.
5. التوسع: المعاملات وساعات التدريب المسبق ولوحة الصدارة
كان لأكبر نموذج في تحدي SUPERB @ SLT 2022 نحو ضعف عدد معاملات WavLM-large وسجل درجة أقل بـ 394 نقطة (1242 - 848). فالحجم يشتري أقل مما تشتريه وصفة التدريب. وأوضح دليل على ذلك هو WavLM Base+، الذي طابق حجم نسخته Base عند 94.70M معامل، وأضاف صوتا تدريبيا أكثر تنوعا، وتفوق على نموذج يزيد حجمه على 3 أضعاف حجمه (316.61 / 94.70 = 3.34).
تثبّت درجة التحدي خط الأساس FBANK عند 0 وأفضل مستوى معروف في 15 أكتوبر 2021 عند 1000، لذا فأي شيء فوق 1000 يتفوق على تلك اللقطة. أما الدرجة الإجمالية في ورقة WavLM فهي مقياس منفصل، يقع فيه FBANK عند 43.2، ولا ينبغي مقارنة المقياسين. وفي الوقت نفسه نمت بيانات التدريب المسبق من 94,000 ساعة في WavLM إلى ملايين الساعات، وصارت الفاتورة تظهر الآن في وقت وحدات GPU.
| المقياس | القيمة | المصدر |
|---|---|---|
| درجة SUPERB الإجمالية، HuBERT Large مقابل WavLM Large (كلاهما نحو 316.6M معامل) | 72.2 مقابل 74.6 | Microsoft, WavLM, IEEE JSTSP 2022 |
| درجة SUPERB الإجمالية، WavLM Base+ (94.70M معامل) مقابل HuBERT Large (316.61M معامل) | 73.4 مقابل 72.2 | Microsoft, WavLM, IEEE JSTSP 2022 |
| الصوت المستخدم في التدريب المسبق لـ WavLM | 94,000 ساعة (60,000 Libri-Light، و10,000 GigaSpeech، و24,000 VoxPopuli) | Microsoft, WavLM, IEEE JSTSP 2022 |
| درجة التحدي على المجموعة المخفية لـ WavLM-large، مع الحجم والحوسبة | 1242 (315.45M معامل، 4,326G MACs) | Feng وآخرون، SUPERB @ SLT 2022 |
| درجة التحدي على المجموعة المخفية لأكبر نموذج مقدَّم، ASR غير خاضع للإشراف + T5 (619.82M معامل) | 848 | Feng وآخرون، SUPERB @ SLT 2022 |
| الصوت المستخدم في التدريب المسبق لـ XLS-R عبر خمس مجموعات بيانات | 436,000 ساعة | Mohamed وآخرون، IEEE JSTSP 2022 |
| حجم نموذج XEUS وحوسبة التدريب المسبق | 577M معامل؛ أكثر من مليون ساعة من الصوت؛ 63,000 ساعة GPU على 64 وحدة A100 GPU خلال نحو 40 يوما | Chen وآخرون، XEUS, EMNLP 2024 |
| الصوت المستخدم في التدريب المسبق لنموذج Google Universal Speech Model | 12 مليون ساعة عبر أكثر من 300 لغة | Google، ورقة USM 2023 |
تقدّر عمليات MACs (عمليات الضرب والتراكم) مقدار الحوسبة التي يحتاجها النموذج ليعمل. وصف Google مرجع للحجم فقط: لم نعثر على درجة SUPERB لذلك النموذج.
6. لوحات الصدارة متعددة اللغات: هل ينتقل الترتيب الإنجليزي؟
جزئيا فقط. كان WavLM، الرائد في SUPERB الإنجليزي، أضعف خط أساس في التحدي متعدد اللغات لعام 2025، بمعدل خطأ حروف 72.0% مقابل 40.2% لـ XEUS. وتصف ورقة التحدي ذلك النموذج بأنه للإنجليزية فقط، ما يوحي بأن ترتيب لوحة الصدارة يعكس الصوت المستخدم في التدريب المسبق بقدر ما يعكس البنية. ولمعرفة كيف تتصرف مشفرات الكلام عبر اللغات على مستوى التضمين، راجع إحصائيات تضمين الكلام متعدد اللغات لدينا.
يعيد ML-SUPERB تحجيم درجته بالطريقة نفسها، مع FBANK عند 0. وللتوسع هنا أيضا نتائج عكسية: فالنماذج الكبيرة فازت عادة في التعرف التلقائي على الكلام بلغة واحدة، لكن المؤلفين وجدوا أن النماذج الأساسية (base) تميل إلى التعميم على الحالات متعددة اللغات أفضل من نسخها الكبيرة. ثم يُظهر تحدي ML-SUPERB 2.0 أن اللهجات هي الجزء غير المحلول، إذ يرتفع معدل خطأ الحروف لدى XEUS من 40.2% إلى 68.7%.
| المقياس | القيمة | المصدر |
|---|---|---|
| الصوت التدريبي في ML-SUPERB عبر 143 لغة، مجموعة الـ 10 دقائق مقابل مجموعة الساعة الواحدة | 37.43 ساعة مقابل 222.46 ساعة | Shi وآخرون، ML-SUPERB, Interspeech 2023 |
| درجة ML-SUPERB لنموذج XLSR-128، الأفضل، على مجموعة التدريب ذات الـ 10 دقائق مقابل مجموعة الساعة الواحدة | 947.5 مقابل 996.0 | Shi وآخرون، ML-SUPERB, Interspeech 2023 |
| درجة ML-SUPERB عند 10 دقائق، wav2vec2-base مقابل wav2vec2-large | 755.2 مقابل 598.3 | Shi وآخرون، ML-SUPERB, Interspeech 2023 |
| درجة ML-SUPERB عند 10 دقائق / ساعة واحدة: XEUS (577M معامل، مليون ساعة) مقابل MMS 1B (1B، 491K ساعة) مقابل w2v-BERT 2.0 v2 (580M، 4.5M ساعة) | 956 / 956 مقابل 953 / 948 مقابل 826 / 916 | Chen وآخرون، XEUS, EMNLP 2024 |
| معدل خطأ الحروف على الكلام القياسي، XEUS مقابل WavLM للإنجليزية فقط | 40.2% مقابل 72.0% | Chen وآخرون، ML-SUPERB 2.0 Challenge, Interspeech 2025 |
| معدل خطأ الحروف لدى XEUS، الكلام القياسي مقابل الكلام باللهجات | 40.2% مقابل 68.7% | Chen وآخرون، ML-SUPERB 2.0 Challenge, Interspeech 2025 |
كان لدى w2v-BERT 2.0 v2 أكبر قدر من الصوت المستخدم في التدريب المسبق في تلك المقارنة وأدنى درجة، لذا فإن زيادة الساعات وحدها لم تحسم الأمر أيضا. وينبغي قراءة درجات ML-SUPERB الأصلية ومقارنة XEUS داخل كل ورقة، لا عبر الورقتين.
7. الكفاءة والاعتماد في الواقع
النماذج الرائدة مكلفة، ويحاول خط بحثي الآن تصغيرها. DistilHuBERT هو المثال الأوضح، لكن بيانات التحدي تُظهر الثمن: بـ 27.03M معامل سجل 617، مقابل 784 لـ HuBERT-base بـ 94.70M. وسجل أصغر نموذج في التحدي 104 فقط، ولذلك فالضغط ما زال يخسر أكثر مما توحي به النسب المئوية الرئيسية.
وكان الاختبار المرجعي نفسه عبئا مكلفا أيضا، وهو ما يستهدفه MiniSUPERB. وتضيف أعداد التنزيل إشارة أحدث: يتقدم wav2vec2-base-960h في عدد السحب على WavLM Large وHuBERT Large رغم أن لوحة الصدارة وضعته في مرتبة أدنى. فسهولة الاعتماد والسبق الزمني لهما وزن كبير.
| المقياس | القيمة | المصدر |
|---|---|---|
| DistilHuBERT مقارنة بـ HuBERT | أصغر بنسبة 75%، وأسرع بنسبة 73% | Chang وآخرون، DistilHuBERT, ICASSP 2022 |
| درجة التحدي على المجموعة المخفية، DistilHuBERT (27.03M معامل) مقابل HuBERT-base (94.70M معامل) | 617 مقابل 784 | Feng وآخرون، SUPERB @ SLT 2022 |
| أصغر نموذج في التحدي، Chimera MelHuBERT v1 | 22.50M معامل، 271G MACs، الدرجة 104 | Feng وآخرون، SUPERB @ SLT 2022 |
| خفض الحوسبة في MiniSUPERB، وارتباط الرتب بتحدي SUPERB | حوسبة أقل بنسبة 97% في MACs؛ Spearman 0.982 | Wang وآخرون، MiniSUPERB, IEEE ASRU 2023 |
| وحدات GPU المطلوبة: وصفات SUPERB مقابل وصفة الضبط الدقيق الرسمية لـ wav2vec 2.0 Large | وحدة GPU واحدة مقابل نحو 4 إلى 8 وحدات GPU | Yang وآخرون، IEEE/ACM TASLP 2024 |
| التنزيلات في الشهر الأخير، facebook/wav2vec2-base-960h | 1,737,874 | صفحة نموذج Hugging Face، 31 أكتوبر 2026 |
| التنزيلات في الشهر الأخير، microsoft/wavlm-large | 1,068,711 | صفحة نموذج Hugging Face، 31 أكتوبر 2026 |
| التنزيلات في الشهر الأخير، facebook/hubert-large-ls960-ft | 616,230 | صفحة نموذج Hugging Face، 31 أكتوبر 2026 |
يسجل عداد التنزيل عمليات السحب لا الأشخاص، لذا اقرأ هذه الصفوف بوصفها مؤشرا على النشاط وليس عددا للمستخدمين.
الخلاصة: لوحة صدارة SUPERB لنماذج الكلام ذاتية الإشراف بالأرقام
| المقياس | القيمة | المصدر |
|---|---|---|
| معدل خطأ الكلمات مع 10 دقائق من البيانات الموسومة، wav2vec 2.0 Large (test-clean / test-other) | 4.8% / 8.2% | Meta AI, wav2vec 2.0, NeurIPS 2020 |
| معدل خطأ الكلمات مع الساعات الـ 960 كاملة من البيانات الموسومة، wav2vec 2.0 Large (test-clean / test-other) | 1.8% / 3.3% | Meta AI, wav2vec 2.0, NeurIPS 2020 |
| معدل خطأ الفونيمات، FBANK مقابل HuBERT Large | 82.01% مقابل 3.53% | Yang وآخرون، SUPERB, Interspeech 2021 |
| معدل خطأ الكلمات في التعرف على الكلام ضمن SUPERB، WavLM Large مقابل XEUS | 3.44% مقابل 3.34% | Chen وآخرون، XEUS, EMNLP 2024 |
| دقة التعرف على المشاعر على IEMOCAP، XEUS | 71.08% | Chen وآخرون، XEUS, EMNLP 2024 |
| معدل EER للتحقق من المتحدث على VoxCeleb1-O، النظام المرجعي ECAPA-TDNN مقابل WavLM Large بعد الضبط الدقيق | 1.010% مقابل 0.383% | Microsoft, WavLM, IEEE JSTSP 2022 |
| درجة BLEU لترجمة الكلام، FBANK مقابل HuBERT Large | 2.32 مقابل 20.01 | Tsai وآخرون، SUPERB-SG, ACL 2022 |
| النماذج التي تتفوق على FBANK في المهام الـ 15 كلها | نحو نصف الـ 33 | Yang وآخرون، IEEE/ACM TASLP 2024 |
| درجة التحدي على المجموعة المخفية لـ WavLM-large | 1242 | Feng وآخرون، SUPERB @ SLT 2022 |
| درجة SUPERB الإجمالية، WavLM Base+ مقابل HuBERT Large | 73.4 مقابل 72.2 | Microsoft, WavLM, IEEE JSTSP 2022 |
| حوسبة التدريب المسبق لـ XEUS | 63,000 ساعة GPU | Chen وآخرون، XEUS, EMNLP 2024 |
| الصوت المستخدم في التدريب المسبق لنموذج Google Universal Speech Model | 12 مليون ساعة | Google، ورقة USM 2023 |
| درجة ML-SUPERB لنموذج XLSR-128 على مجموعة التدريب ذات الساعة الواحدة | 996.0 | Shi وآخرون، ML-SUPERB, Interspeech 2023 |
| معدل خطأ الحروف على الكلام القياسي، XEUS مقابل WavLM للإنجليزية فقط | 40.2% مقابل 72.0% | Chen وآخرون، ML-SUPERB 2.0 Challenge, Interspeech 2025 |
| DistilHuBERT مقارنة بـ HuBERT | أصغر بنسبة 75%، وأسرع بنسبة 73% | Chang وآخرون، DistilHuBERT, ICASSP 2022 |
| خفض الحوسبة في MiniSUPERB | حوسبة أقل بنسبة 97% في MACs | Wang وآخرون، MiniSUPERB, IEEE ASRU 2023 |
| التنزيلات في الشهر الأخير، facebook/wav2vec2-base-960h | 1,737,874 | صفحة نموذج Hugging Face، 31 أكتوبر 2026 |
المنهجية والمصادر
- SUPERB: Speech processing Universal PERformance Benchmark (Yang وآخرون، Interspeech 2021)
- SUPERB-SG (Tsai وآخرون، ACL 2022)
- A Large-Scale Evaluation of Speech Foundation Models (Yang وآخرون، IEEE/ACM TASLP 2024)
- تقرير تحدي SUPERB @ SLT 2022 (Feng وآخرون، 2022)
- ML-SUPERB (Shi وآخرون، Interspeech 2023)
- The ML-SUPERB 2.0 Challenge (Chen وآخرون، Interspeech 2025)
- MiniSUPERB (Wang وآخرون، IEEE ASRU 2023)
- wav2vec 2.0 (Meta AI، NeurIPS 2020)
- HuBERT (Meta AI، IEEE/ACM TASLP 2021)
- wav2vec-U (Meta AI، 2021)
- WavLM (Microsoft، IEEE JSTSP 2022)
- XEUS: Towards Robust Speech Representation Learning for Thousands of Languages (Chen وآخرون، EMNLP 2024)
- Universal Speech Model (Google، 2023)
- DistilHuBERT (Chang وآخرون، ICASSP 2022)
- Self-Supervised Speech Representation Learning: A Review (Mohamed وآخرون، IEEE JSTSP 2022)
- صفحات نماذج Hugging Face: facebook/wav2vec2-base-960h، microsoft/wavlm-large، facebook/hubert-large-ls960-ft (31 أكتوبر 2026)
- ملاحظة حول البيانات: تعذرت قراءة لوحة صدارة SUPERB الحية في 31 أكتوبر 2026 (رفض الخادم الاتصال، وصفحة المعيار على GitHub لا تعرض أي درجات)، لذلك فإن كل رقم من أرقام SUPERB هنا مصدره الأوراق المنشورة وقد يوجد طلب تقديم أحدث. وتظهر ثلاثة مقاييس للدرجات وهي غير قابلة للتبادل: الدرجة الإجمالية في ورقة WavLM، ودرجة التحدي (خط الأساس 0، وأفضل مستوى معروف في 15 أكتوبر 2021 هو 1000)، ودرجة ML-SUPERB. وتأتي درجة 586.9 لنموذج wav2vec2-large على مجموعة الساعة الواحدة في ML-SUPERB بعد قيمة مطبوعة لتحديد اللغة هي 8.0 في جدول تلك الورقة، وهي أدنى بكثير من القيم المجاورة، لذلك ينبغي قراءة تلك الفجوة المنفردة بحذر. وتختلف أعداد المعاملات قليلا بين الأوراق: 316.62M مقابل 315.45M لـ WavLM Large، و94.70M مقابل 94.38M لـ WavLM Base+. وهناك تعارضات طفيفة داخل المصادر: يذكر نص SUPERB الرقم 5.10 للتحقق من المتحدث في HuBERT بينما يذكر جدولها 5.11 (نعتمد الجدول)؛ ويذكر نص XEUS الرقم 33.3 لأفضل معدل خطأ حروف عند 10 دقائق بينما يذكر جدوله 30.3 لـ XEUS و33.3 لـ MMS 1B؛ وتذكر ورقة ML-SUPERB 2.0 العددين 149 و154 لغة، ولا تتطابق المكاسب المذكورة في ملخصها مع قسمها 4.1، لذلك نعرض جدول خط الأساس فيها فقط. وتنزيلات Hugging Face عدّاد متحرك للشهر الأخير ويتغير يوميا. وتعود معظم نتائج SUPERB إلى الفترة من 2021 إلى 2024، لذا تُعامل بوصفها أحدث البيانات المتاحة وليست قياسات عام 2026.
آخر تحديث: 31 أكتوبر 2026. نحدّث هذا الاستعراض كل ثلاثة أشهر، ومن المتوقع أن يأتي التحديث التالي عند نشر نتائج تحدي ML-SUPERB القادم.