في معيار HiKE للكوري الإنجليزي، أخطأ Whisper-Large في 26.1% من الكلام المتناوب لغويا، مقابل 4.4% في الإنجليزية أحادية اللغة و3.2% في الكورية أحادية اللغة (Paik وآخرون، معيار HiKE 2026). وهذا يعادل نحو ستة أضعاف معدل الخطأ في الإنجليزية (26.1 / 4.4 = 5.9) للنموذج نفسه. ويتكرر النمط عبر أزواج اللغات: فقد قاس مؤلفو CS-FLEURS معدلات خطأ حروف أعلى بأكثر من ضعفين على التسجيلات المتناوبة لغويا منها على FLEURS أحادية اللغة (Yan وآخرون، Interspeech 2025)، وفي تحدي ASRU 2019 للماندرين-الإنجليزية ظل النظام الفائز يخطئ في 12.33% من الكلمات الإنجليزية المضمنة مقابل 4.04% من الحروف الصينية (Shi وآخرون، تقرير تحدي ASRU 2019). والتناوب اللغوي (الانتقال بين لغتين داخل محادثة أو جملة أو حتى كلمة واحدة) سلوك عادي لدى كثير ممن نصفهم في استعراضنا عن ثنائية اللغة والأسر متعددة اللغات، ومع ذلك ما زالت أنظمة التعرف تُضبط وتُرتب بلغة واحدة في كل مرة، تماما مثل فجوات اللكنات المقاسة في معايير اللغة الواحدة. جمعنا بيانات من مدونة SEAME لدى Linguistic Data Consortium، وتحديي MUCS 2021 وASRU 2019، وCS-FLEURS، وHiKE، وCS-Dialogue، وASCEND، وورقة مقياس PIER، وتحدي DISPLACE 2023، ومركز Pew للأبحاث، وأعمال المسح في ACL حول أبحاث التناوب اللغوي.
ملاحظة حول المصطلحات المستخدمة في المقال: «اللغة المضيفة» هي اللغة الرئيسية للجملة، و«اللغة المدمجة» هي اللغة التي يجري التبديل إليها، و«نقطة التبديل» هي الكلمة الدقيقة التي تتغير عندها اللغة.
أبرز النقاط
- Whisper-Large: معدل خطأ مختلط 26.1% على الكلام الكوري الإنجليزي المتناوب لغويا مقابل 4.4% WER في الإنجليزية أحادية اللغة (Paik وآخرون، HiKE 2026).
- معدل CER أعلى بأكثر من ضعفين على مجموعات CS-FLEURS المتناوبة لغويا منه على FLEURS أحادية اللغة (Yan وآخرون، Interspeech 2025).
- أفضل نظام في ASRU 2019: 4.04% CER للماندرين لكن 12.33% WER للإنجليزية داخل الجمل المختلطة نفسها (Shi وآخرون، ASRU 2019).
- الخطأ في الرموز التي تلي مباشرة التبديل إلى اليوروبا: من 0.95 إلى 1.00 عبر أنظمة التعرف التلقائي ونماذج الصوت واللغة (Okocha وGrant، arXiv 2026).
- حسّن الضبط الدقيق معدل WER لنموذج Whisper-large على الإسبانية-الإنجليزية بنسبة 5.06% بينما ساء خطأ نقاط التبديل (PIER) بنسبة 39.47% (Ugan وآخرون، ICASSP 2025).
- متوسط مقطع اللغة الواحدة في المحادثات الهندية ثنائية اللغة: نحو 500 ms، وكثير منها نحو 200 ms فقط (Baghel وآخرون، DISPLACE 2023).
- Whisper-small بلا تدريب إضافي على مجموعة التطوير SEAME DevSge: 157.5% MER عند توجيهه لتوقع الماندرين مقابل 83.6% عند توجيهه إلى الإنجليزية (Yang وآخرون، 2023).
- تضم TALCS، أكبر مدونة ماندرين-إنجليزية مدرجة، 587 ساعة، أي نحو 0.09% من 680,000 ساعة تدريب لـ Whisper (Zhou وآخرون، CS-Dialogue 2025؛ Radford وآخرون، OpenAI 2022).
- 72 من 114 مدونة للتناوب اللغوي طُرحت في أدبيات معالجة اللغات الطبيعية خاصة وغير متاحة (Winata وآخرون، ACL Findings 2023).
- 63% من البالغين اللاتينيين في الولايات المتحدة يستخدمون Spanglish أحيانا على الأقل، و77% من اللاتينيين ثنائيي اللغة (مركز Pew للأبحاث 2023).
- نحو 3.5% من 50 مليون تغريدة بسبع لغات كانت متناوبة لغويا (Rijhwani وآخرون، ACL 2017).
1. عقوبة التناوب اللغوي: معدلات الخطأ المختلط مقابل أحادي اللغة
النتيجة الرئيسية ثابتة في كل معيار يشغّل النموذج نفسه على النوعين من الكلام: تقفز معدلات الخطأ بأضعاف بمجرد أن تتشارك لغتان جملة واحدة. في HiKE، كان معدل خطأ Whisper-Large على الكلام المتناوب لغويا 5.9 أضعاف معدل WER في الإنجليزية (26.1 / 4.4) و8.2 أضعاف معدل CER في الكورية (26.1 / 3.2). ويُعد HiKE أنظف مقارنة لأنه يعرض نتائج FLEURS أحادية اللغة للنماذج نفسها إلى جانب نتائج الكلام المتناوب لغويا. أما GPT-4o-transcribe، أقوى نظام في ذلك الجدول، فقد ارتفع مع ذلك من 3.3% WER في الإنجليزية إلى 21.8% MER في الكلام المختلط.
والفجوة ليست متماثلة. ففي الجمل المختلطة تتضرر اللغة المدمجة أكثر من غيرها: ارتكب الفائز في ASRU 2019 نحو ثلاثة أضعاف الأخطاء في الكلمات الإنجليزية مقارنة بالحروف الصينية (12.33 / 4.04 = 3.05)، رغم أن الإنجليزية لم تشكل سوى جزء صغير من كل جملة: بمتوسط 1.6 كلمة إنجليزية مقابل 8.6 حرف صيني. وفي تقييم الإنجليزية-اليوروبا يبلغ الخلل حدا شديدا، إذ يقترب الإخفاق من الكامل في اللغة الأقل موارد.
| المقياس | القيمة | المصدر |
|---|---|---|
| Whisper-Large، كلام كوري إنجليزي متناوب لغويا (معدل الخطأ المختلط) مقابل WER في الإنجليزية أحادية اللغة مقابل CER في الكورية أحادية اللغة | 26.1% مقابل 4.4% مقابل 3.2% | Paik وآخرون، معيار HiKE 2026 |
| GPT-4o-transcribe، كلام كوري إنجليزي متناوب لغويا (معدل الخطأ المختلط) مقابل WER في الإنجليزية أحادية اللغة | 21.8% مقابل 3.3% | Paik وآخرون، معيار HiKE 2026 |
| معدل خطأ الحروف في CS-FLEURS المتناوبة لغويا مقابل FLEURS الأصلية أحادية اللغة | أعلى بأكثر من ضعفين | Yan وآخرون، CS-FLEURS، Interspeech 2025 |
| أفضل نظام في ASRU 2019 (المسار 1): CER للماندرين مقابل WER للإنجليزية في الجمل نفسها المتناوبة لغويا | 4.04% مقابل 12.33% | Shi وآخرون، تقرير تحدي ASRU 2019 (2020) |
| WER لنموذج Whisper-large-v3: محاضرات TED الإنجليزية أحادية اللغة مقابل Fisher الإسباني-الإنجليزي مقابل ArzEn العربي المصري-الإنجليزي | 6.07% مقابل 29.43% مقابل 52.80% | Ugan وآخرون، ورقة PIER، ICASSP 2025 |
| مجموعة اختبار الإنجليزية-اليوروبا: معدل الخطأ في رموز الإنجليزية مقابل رموز اليوروبا (ثمانية أنظمة نسخت الكلام دون ترجمته) | 33% إلى 46% مقابل 96.6% على الأقل | Okocha وGrant، arXiv 2026 |
ملاحظة حول السياق: صف Ugan وآخرون يقارن مجموعات بيانات مختلفة (إنجليزية المحاضرات مقابل كلام المحادثات الهاتفية)، لذا يعكس جزء من تلك الفجوة ظروف التسجيل لا التبديل وحده. أما صفا HiKE وCS-FLEURS فيثبّتان النموذج. الأرقام الكاملة: ورقة HiKE وورقة CS-FLEURS.
2. معايير معدل الخطأ المختلط (MER): أين يقف المجال
وُجد معدل الخطأ المختلط لأنه لا توجد «كلمة» واحدة موحدة عبر الماندرين والإنجليزية: يحسب MER الأخطاء لكل حرف في اللغات القائمة على الحروف (الماندرين، الكورية) ولكل كلمة في الإنجليزية، ثم يجمعها في معدل واحد. وهذا يجعل MER العملة المشتركة لأوراق التناوب اللغوي، لكنه يخفي أيضا أي لغة تفشل، ولهذا تطبع الأوراق الأفضل CER وWER منفصلين.
وبقراءة المعايير معا تتباعد الأرقام كثيرا: سجل النظام الفائز 4.94% MER في اختبار ASRU 2019 للماندرين-الإنجليزية، بينما بلغ أفضل خط أساس في محادثات ASCEND العفوية 27.05%. ويمكن أن يبدو زوج اللغات نفسه شبه محلول أو معطلا تماما بحسب أسلوب التسجيل وحجم التدريب: قدمت ASRU 2019 مئتي ساعة من صوت التدريب المتناوب لغويا، في حين لم تقدم ASCEND سوى 10.62 ساعة من الحوار العفوي. ومن بين النماذج الجاهزة، بلغ SenseVoice-Small معدل 6.71% MER على CS-Dialogue مقابل 15.29% لـ Whisper Large-V2.
| المقياس | القيمة | المصدر |
|---|---|---|
| أفضل معدل خطأ مختلط، ASRU 2019 ماندرين-إنجليزية، المسار 1 (التعرف التقليدي، نموذج لغوي ثابت) مقابل المسار 3 (التعرف من طرف إلى طرف) | 4.94% مقابل 5.91% | Shi وآخرون، تقرير تحدي ASRU 2019 (2020) |
| أفضل خط أساس على محادثات هونغ كونغ العفوية في ASCEND: CER مقابل MER | 22.69% مقابل 27.05% | Lovenia وآخرون، مدونة ASCEND (2021) |
| مجموعة اختبار CS-Dialogue، نماذج مدربة مسبقا (MER): SenseVoice-Small مقابل Paraformer مقابل Qwen2-Audio مقابل Whisper Large-V2 | 6.71% مقابل 9.65% مقابل 9.76% مقابل 15.29% | Zhou وآخرون، CS-Dialogue 2025 |
| CS-Dialogue، نموذج Conformer مدرب من الصفر: CER للماندرين مقابل WER للإنجليزية مقابل MER | 15.45% مقابل 32.36% مقابل 18.91% | Zhou وآخرون، CS-Dialogue 2025 |
| WER لخط الأساس من طرف إلى طرف في MUCS 2021 على مجموعة الاختبار: هندية-إنجليزية مقابل بنغالية-إنجليزية | 25.9% مقابل 31.0% | Diwan وآخرون، تحدي MUCS 2021 (Interspeech 2021) |
ملاحظة حول القيم الشاذة: يُظهر صف Conformer في CS-Dialogue مشكلة اللغة المدمجة مرة أخرى، إذ يزيد WER للإنجليزية على ضعف CER للماندرين في مجموعة الاختبار نفسها. وصفوف ASRU 2019 وASCEND (2021) وMUCS 2021 هي أحدث بيانات متاحة، ولم يعد مؤلفوها تشغيلها بالنماذج الحالية. المصادر: تقرير تحدي ASRU 2019 وCS-Dialogue وMUCS 2021.
3. إخفاقات نقاط التبديل: ما تخفيه معدلات الخطأ الإجمالية
قد ينال النص المكتوب درجة جيدة إجمالا ويخطئ في كل تبديل، لأن الكلمات المبدّل إليها تشكل حصة صغيرة من المجموع. وقد صُمم PIER (معدل الخطأ عند نقاط الاهتمام) لقياس الدقة عند الكلمات التي تتغير عندها اللغة فقط، والنتائج مزعجة: بعد الضبط الدقيق، حسّن Whisper-large معدل WER الإجمالي على Fisher الإسباني-الإنجليزي بنسبة 5.06% نسبيا بينما ارتفع خطأ نقاط التبديل لديه بنسبة 39.47%. وبعبارة أخرى، كافأ مقياس لوحة الصدارة المعتاد نموذجا ازداد سوءا في التناوب اللغوي الفعلي.
والاتجاه مهم أيضا. ففي مجموعة الإنجليزية-اليوروبا، تعاملت الأنظمة مع التبديل عائدة إلى الإنجليزية بصورة معقولة وانهارت عند التبديل إلى اليوروبا. وأدى ازدياد كثافة التبديل إلى رفع معدلات الخطأ لدى أقوى الأنظمة، وكانت التبديلات داخل الكلمة الواحدة (جذع بلغة ولاحقة بلغة أخرى) الأصعب على الإطلاق. وتتجاوز بعض معدلات الخطأ 100% لأن الإدخالات تُحسب أخطاء؛ فقد أفرطت ثلاثة نماذج صوتية توليدية في توليد النص على مجموعة اليوروبا، وهو نمط إخفاق نتناوله في استعراضنا لهلوسة التعرف على الكلام.
| المقياس | القيمة | المصدر |
|---|---|---|
| Whisper-large المضبوط بدقة على Fisher الإسباني-الإنجليزي: التغير في WER الإجمالي مقابل التغير في خطأ نقاط التبديل (PIER) | تحسن 5.06% مقابل تدهور 39.47% (نسبيا) | Ugan وآخرون، ورقة PIER، ICASSP 2025 |
| Whisper-large المضبوط بدقة على Fisher: WER مقابل PIER | 27.94% مقابل 50.78% | Ugan وآخرون، ورقة PIER، ICASSP 2025 |
| Whisper-large على ArzEn العربي-الإنجليزي: خطأ نقاط التبديل بين الكلمات مقابل داخل الكلمات | 49.50% مقابل 105.71% | Ugan وآخرون، ورقة PIER، ICASSP 2025 |
| الخطأ في أول رمز بعد التبديل: من الإنجليزية إلى اليوروبا مقابل من اليوروبا إلى الإنجليزية | 0.95 إلى 1.00 مقابل 0.40 إلى 0.53 | Okocha وGrant، arXiv 2026 |
| متوسط WER لأقوى الأنظمة عند كثافة تبديل منخفضة مقابل مرتفعة (إنجليزية-يوروبا) | 66.9% مقابل 71.2% | Okocha وGrant، arXiv 2026 |
| معدل خطأ الرموز، في العبارات التي تغلب عليها الإنجليزية مقابل المتوازنة مقابل التي تغلب عليها اليوروبا | نحو 0.42 مقابل 0.65 مقابل 0.83 | Okocha وGrant، arXiv 2026 |
تحفظ منهجي: يبلغ متوسط التبديلات في مجموعة الإنجليزية-اليوروبا 2.60 تبديل للعبارة الواحدة (الحد الأقصى 9) عبر 9.54 ساعة من الصوت لـ 100 متحدث، فهي اختبار إجهاد لا محادثة نموذجية. الجداول الكاملة: ورقة PIER وتقييم الإنجليزية-اليوروبا الواعي بالتبديل.
4. تحديد اللغة عند نقاط التبديل
تقرر معظم النماذج متعددة اللغات أي لغة تسمعها قبل أن تنسخ. وفي الكلام المتناوب لغويا يكون هذا القرار الواحد خاطئا بالتصميم في جزء من كل جملة. في محادثات هندية حقيقية ثنائية اللغة، استمر المقطع الواحد من لغة واحدة نحو 500 ملي ثانية في المتوسط، وكان كثير من الأدوار كلمات مفردة مدتها نحو 200 ملي ثانية (Baghel وآخرون، ملخص DISPLACE 2023). وتعثرت تجزئة اللغات (وسم من يتكلم أي لغة ومتى، وهي النظير اللغوي لتجزئة المتحدثين) تبعا لذلك، وكان الالتباس بين اللغات أكبر مكونات الخطأ.
ويظهر الضعف نفسه في الحساسية للتوجيه. فإخبار Whisper باللغة المتوقعة قد يغير النتائج بعشرات النقاط، وكان تركه يكتشف اللغة تلقائيا أسوأ من تثبيتها في مجموعة الإنجليزية-اليوروبا. كما يهم نظام الكتابة: ففي CS-FLEURS، كان معدل CER للأزواج المكتوبة بنظامي كتابة مختلفين أعلى بمتوسط 3 أضعاف منه للأزواج التي تتشارك نظام كتابة واحدا، وهي مشكلة مرتبطة بمسائل التمثيل عبر اللغات التي نتناولها في إحصائيات تضمين الكلام متعدد اللغات.
| المقياس | القيمة | المصدر |
|---|---|---|
| معدل خطأ تجزئة اللغات في DISPLACE 2023، تقييم المرحلة 2: خط الأساس (B2) مقابل أفضل فريق | 41.67% مقابل 37.60% | Baghel وآخرون، ملخص تحدي DISPLACE 2023 |
| مكون خطأ الالتباس في خط الأساس (B2)، تقييم المرحلة 2 | 26.40% (أكبر مكون) | Baghel وآخرون، ملخص تحدي DISPLACE 2023 |
| مدونة DISPLACE 2023: إجمالي الساعات واللغات | 32 ساعة؛ سبع لغات (ست لغات هندية بالإضافة إلى الإنجليزية الهندية) | Baghel وآخرون، ملخص تحدي DISPLACE 2023 |
| MER لنموذج Whisper-small بلا تدريب إضافي على مجموعة التطوير SEAME DevSge: توجيه الماندرين مقابل توجيه الإنجليزية | 157.5% مقابل 83.6% | Yang وآخرون، Whisper على SEAME وASRU 2019 (2023) |
| WER لنموذج Whisper-large-v3 على الإنجليزية-اليوروبا: مع الكشف التلقائي عن اللغة مقابل التوجيه الثابت | 74.8% مقابل 71.2% | Okocha وGrant، arXiv 2026 |
| خطأ نقاط التبديل (PIER) لنموذج Whisper-large-v3 على تقسيم الاختبار SEAME.sge: فك الترميز غير المرتبط بلغة محددة مقابل فك الترميز المفروض بالإنجليزية | 64.51% مقابل 36.10% | Ugan وآخرون، ورقة PIER، ICASSP 2025 |
| CER لنموذج Whisper-Large-v3 على كلام CS-FLEURS المقروء: أزواج بنظام كتابة واحد مقابل أزواج بنظامي كتابة مختلفين | 7.32% مقابل 32.33% | Yan وآخرون، CS-FLEURS، Interspeech 2025 |
ملاحظة حول السياق: يعرض ملخص DISPLACE أيضا درجة متسامحة (DER**، وهي 34.72% لخط الأساس في المرحلة 2) تطبق هامش تسامح قدره 250 ms، ما يستبعد من التقييم الكلمات الأجنبية القصيرة التي تبلغ مدتها 500 ms أو أقل. ويخلص مؤلفو الورقة إلى أن الخطأ الرئيسي ينبع من قصر مدة المقاطع المختلطة لغويا. المصدر: ملخص تحدي DISPLACE 2023.
5. ندرة البيانات: كم ساعة من الكلام المتناوب لغويا موجودة
النقص هو السبب الجذري وراء الأقسام من 1 إلى 4. أكبر مدونة ماندرين-إنجليزية في جدول مقارنة CS-Dialogue، TALCS، تضم 587 ساعة؛ ودُرّب Whisper على 680,000 ساعة من الصوت، فتعادل TALCS نحو 0.09% من ذلك (587 / 680,000 = 0.086%). ومعظم مدونات التناوب اللغوي أصغر بكثير، وتغطي زوج لغات واحدا، ولا يمكن تنزيل كثير منها أصلا.
حتى المعيار الذي يستشهد به الجميع يصعب تحديده: تظهر SEAME بواقع 192 ساعة في فهرس Linguistic Data Consortium لكن بواقع 30 ساعة في جدول مقارنة واحد من عام 2025 (انظر ملاحظة البيانات). والتغطية المفرداتية فجوة ثانية: ففي MUCS 2021 بلغ معدل الكلمات خارج المفردات (حصة كلمات الاختبار الغائبة عن مفردات التدريب) 27.3% في مجموعة الاختبار الأعمى للبنغالية-الإنجليزية.
| المقياس | القيمة | المصدر |
|---|---|---|
| مدونة SEAME ماندرين-إنجليزية (سنغافورة وماليزيا): الساعات والمتحدثون | نحو 192 ساعة؛ 156 متحدثا بأعمار من 19 إلى 33 | Linguistic Data Consortium، SEAME LDC2015S04 (2015) |
| بيانات التدريب المتناوبة لغويا في MUCS 2021: هندية-إنجليزية مقابل بنغالية-إنجليزية | 89.86 ساعة مقابل 46.11 ساعة | Diwan وآخرون، تحدي MUCS 2021 |
| معدل الكلمات خارج المفردات في MUCS 2021، الاختبار الأعمى: هندية-إنجليزية مقابل بنغالية-إنجليزية | 19.6% مقابل 27.3% | Diwan وآخرون، تحدي MUCS 2021 |
| بيانات تحدي ASRU 2019: تدريب بالماندرين فقط مقابل تدريب متناوب لغويا مقابل مجموعة تطوير متناوبة لغويا | 500 مقابل 200 مقابل 40 ساعة | Shi وآخرون، تقرير تحدي ASRU 2019 (2020) |
| مدونات ماندرين-إنجليزية عفوية: ASCEND مقابل CS-Dialogue مقابل TALCS | 10.62 ساعة (23 متحدثا) مقابل 104.02 ساعة (200 متحدث) مقابل 587 ساعة | Zhou وآخرون، CS-Dialogue 2025 (جدول المقارنة) |
| CS-FLEURS: اللغات وأزواج التناوب اللغوي وإجمالي الساعات | 52 لغة، 113 زوجا، 294 ساعة | Yan وآخرون، CS-FLEURS، Interspeech 2025 |
| حجم معيار الكوري الإنجليزي HiKE | 1,121 عبارة، نحو 2.2 ساعة، 13 متحدثا | Paik وآخرون، معيار HiKE 2026 |
| مدونات التناوب اللغوي المطروحة في أدبيات معالجة اللغات الطبيعية: الإجمالي مقابل الخاصة | 114 مقابل 72 (63%) | Winata وآخرون، ACL Findings 2023 |
تنبيه حداثة: أرقام SEAME وMUCS ومسح المدونات هي أحدث بيانات متاحة (LDC 2015، MUCS 2021، Winata وآخرون 2023). ولاحظ أيضا أن 128 ساعة من ساعات CS-FLEURS البالغة 294 هي مجموعة تدريب من كلام اصطناعي مولد بتحويل النص إلى كلام، وأن معظم مجموعات الاختبار اصطناعية كذلك؛ ولا تستخدم أصواتا حقيقية ثنائية اللغة سوى مجموعة اختبار READ البالغة 17 ساعة. المصادر: إدخال SEAME في فهرس LDC ومسح Winata وآخرين وورقة Whisper.
6. نتائج الضبط الدقيق والتكيف
الكميات الصغيرة من البيانات المتناوبة لغويا داخل المجال تقطع شوطا بعيدا. خفّض الضبط الدقيق لنموذج Whisper-Medium على كلام كوري إنجليزي طبيعي معدل الخطأ المختلط في HiKE من 31.3 إلى 9.0، أي بانخفاض قدره 22.3 نقطة، وانخفض Whisper-small على SEAME من 101.9 إلى 14.3 MER على مجموعة التطوير DevMan مع التوجيه نفسه. وأفاد فريق Yang وآخرون بأن مكاسب SEAME بلغت حد التشبع بعد نحو 1 إلى 10 ساعات من بيانات التكيف.
لكن هناك مقايضة. فالضبط الدقيق نفسه في HiKE رفع CER للكورية أحادية اللغة من 3.4 إلى 6.0، فالنموذج المضبوط للكلام المختلط قد يفقد دقته في الكلام بلغة واحدة. ويبقى الحجم أقوى من الضبط: فقد تفوق Conformer داخلي دُرّب على أكثر من 40,000 ساعة على Whisper-small المضبوط بدقة بنحو 18% على SEAME (Yang وآخرون، 2023).
| المقياس | القيمة | المصدر |
|---|---|---|
| Whisper-Medium على HiKE: MER قبل الضبط الدقيق مقابل بعده على كلام كوري إنجليزي طبيعي | 31.3 مقابل 9.0 | Paik وآخرون، معيار HiKE 2026 |
| الضبط الدقيق نفسه: CER للكورية أحادية اللغة قبله مقابل بعده | 3.4 مقابل 6.0 | Paik وآخرون، معيار HiKE 2026 |
| Whisper-small على SEAME مع توجيه إنجليزي: MER بلا تدريب إضافي مقابل بعد الضبط الدقيق، مجموعة التطوير DevMan ومجموعة التطوير DevSge | 101.9 مقابل 14.3؛ 83.6 مقابل 20.4 | Yang وآخرون، Whisper على SEAME وASRU 2019 (2023) |
| حجم بيانات التكيف الذي بلغت عنده مكاسب SEAME حد التشبع | نحو 1 إلى 10 ساعات | Yang وآخرون، Whisper على SEAME وASRU 2019 (2023) |
| Whisper-Medium على CS-Dialogue: MER بلا تدريب إضافي مقابل بعد الضبط الدقيق | 15.88% مقابل 7.53% (انخفاض نسبي 52.6%) | Zhou وآخرون، CS-Dialogue 2025 |
| اختبار CS-FLEURS المقروء، أزواج لغات مرئية في التدريب: معدل الخطأ بدون تعزيز بيانات تناوب لغوي اصطناعية مقابل معه | 31.77 مقابل 26.24 | Yan وآخرون، CS-FLEURS، Interspeech 2025 |
ملاحظة حسابية: الانخفاض النسبي في CS-Dialogue هو (15.88 - 7.53) / 15.88 = 52.6%. والضبط الدقيق لا يفيد دائما: ففي ورقة PIER، ارتفع MER لنموذج Whisper-small المضبوط بدقة على SEAME من 68.24 إلى 87.67 على تقسيم الاختبار SEAME.sge. المصدر: Yang وآخرون 2023.
7. مدى شيوع التناوب اللغوي بين المتحدثين ثنائيي اللغة
تتعامل أنظمة التعرف مع التناوب اللغوي بوصفه حالة هامشية، لكن بيانات الاستطلاعات تقول إنه كلام يومي. يقول 63% من البالغين اللاتينيين في الولايات المتحدة إنهم يستخدمون Spanglish أحيانا على الأقل، ويقول 40% إنهم يفعلون ذلك كثيرا (مركز Pew للأبحاث 2023، استطلاع شمل 3,029 بالغا من أصول لاتينية أُجري من 1 إلى 14 أغسطس 2022). وترتفع النسبة بين اللاتينيين ثنائيي اللغة إلى 77%، ويستخدم 52% منهم Spanglish كثيرا أو كثيرا جدا. وبالنسبة لنظام التعرف على الكلام، يعني ذلك أن اللغة المختلطة هي المدخل الطبيعي من شريحة كبيرة من المستخدمين لا استثناء نادرا.
وتظهر بيانات النصوص الشيء نفسه على نطاق واسع. ففي نحو 50 مليون تغريدة بسبع لغات (الهولندية والإنجليزية والفرنسية والألمانية والبرتغالية والإسبانية والتركية)، كانت نحو 3.5% متناوبة لغويا، وحضرت الإنجليزية في 85.4% منها. ويتبع الاهتمام البحثي أكبر الفئات ثنائية اللغة: تهيمن الهندية-الإنجليزية والإسبانية-الإنجليزية على الأدبيات، ومعظم الأوراق في ISCA، الملتقى الرئيسي لأبحاث الكلام، تعمل على بيانات كلام.
| المقياس | القيمة | المصدر |
|---|---|---|
| البالغون اللاتينيون في الولايات المتحدة الذين يستخدمون Spanglish أحيانا على الأقل مقابل كثيرا | 63% مقابل 40% | Pew Research Center, Latinos’ Views of and Experiences With the Spanish Language (2023) |
| استخدام Spanglish أحيانا على الأقل: اللاتينيون ثنائيو اللغة مقابل الغالبة عليهم الإنجليزية مقابل الغالبة عليهم الإسبانية | 77% مقابل 54% مقابل 56% | مركز Pew للأبحاث (2023) |
| استخدام Spanglish أحيانا على الأقل: الجيل الثاني مقابل الجيل الثالث فما فوق | 72% مقابل 45% | مركز Pew للأبحاث (2023) |
| الوالدان ثنائيو اللغة الذين أفادوا بخلط اللغات مع أطفالهم | 90% من 181 والدا | جامعة كونكورديا، دراسة Byers-Heinlein (2013) |
| حصة التغريدات المتناوبة لغويا من نحو 50 مليون تغريدة بسبع لغات | نحو 3.5% | Rijhwani وآخرون، ACL 2017 |
| أكثر الأزواج خلطا كحصة من التغريدات المتناوبة لغويا: الإنجليزية-الإسبانية، الإنجليزية-الفرنسية، الإنجليزية-البرتغالية | 21.5% و20.8% و18.4% | Rijhwani وآخرون، ACL 2017 |
| المدينة صاحبة أعلى حصة تغريدات متناوبة لغويا مقابل أدنى حصة | إسطنبول 12% مقابل هيوستن 1% | Rijhwani وآخرون، ACL 2017 |
| أوراق أبحاث التناوب اللغوي حسب زوج اللغات: الهندية-الإنجليزية مقابل الإسبانية-الإنجليزية مقابل الصينية-الإنجليزية | 128 مقابل 86 مقابل 47 | Winata وآخرون، ACL Findings 2023 |
تنبيه حداثة: دراسة الوالدين (2013) وتحليل Twitter (2017) هما أحدث بيانات متاحة لهذين المقياسين؛ أما أرقام Pew فمصدرها استطلاعها لعام 2022. المصادر: تقرير مركز Pew للأبحاث وRijhwani وآخرون 2017 ونشرة دراسة كونكورديا.
الخلاصة: التعرف على الكلام في التناوب اللغوي بالأرقام
| المقياس | القيمة | المصدر |
|---|---|---|
| Whisper-Large: MER للكلام الكوري الإنجليزي المتناوب لغويا مقابل WER في الإنجليزية أحادية اللغة | 26.1% مقابل 4.4% | Paik وآخرون، معيار HiKE 2026 |
| CER في CS-FLEURS المتناوبة لغويا مقابل FLEURS أحادية اللغة | أعلى بأكثر من ضعفين | Yan وآخرون، CS-FLEURS، Interspeech 2025 |
| الفائز في ASRU 2019: CER للماندرين مقابل WER للإنجليزية المضمنة | 4.04% مقابل 12.33% | Shi وآخرون، تقرير تحدي ASRU 2019 (2020) |
| أفضل MER لخط الأساس في محادثات ASCEND العفوية | 27.05% | Lovenia وآخرون، مدونة ASCEND (2021) |
| MER في CS-Dialogue: SenseVoice-Small مقابل Whisper Large-V2 | 6.71% مقابل 15.29% | Zhou وآخرون، CS-Dialogue 2025 |
| WER لخط الأساس من طرف إلى طرف في MUCS 2021: هندية-إنجليزية مقابل بنغالية-إنجليزية | 25.9% مقابل 31.0% | Diwan وآخرون، تحدي MUCS 2021 |
| Whisper-large المضبوط بدقة على Fisher: تغير WER مقابل تغير خطأ نقاط التبديل | تحسن 5.06% مقابل تدهور 39.47% | Ugan وآخرون، ورقة PIER، ICASSP 2025 |
| الخطأ بعد التبديل إلى اليوروبا مقابل التبديل إلى الإنجليزية | 0.95 إلى 1.00 مقابل 0.40 إلى 0.53 | Okocha وGrant، arXiv 2026 |
| متوسط مقطع اللغة الواحدة في المحادثات الهندية ثنائية اللغة | نحو 500 ms | Baghel وآخرون، ملخص تحدي DISPLACE 2023 |
| أفضل معدل خطأ لتجزئة اللغات، DISPLACE 2023 | 37.60% | Baghel وآخرون، ملخص تحدي DISPLACE 2023 |
| CER في CS-FLEURS المقروءة: أزواج بنظام كتابة واحد مقابل أزواج بنظامي كتابة مختلفين | 7.32% مقابل 32.33% | Yan وآخرون، CS-FLEURS، Interspeech 2025 |
| أكبر مدونة ماندرين-إنجليزية مدرجة (TALCS) مقابل بيانات تدريب Whisper | 587 ساعة مقابل 680,000 ساعة | Zhou وآخرون، CS-Dialogue 2025؛ Radford وآخرون، OpenAI 2022 |
| حجم مدونة SEAME | نحو 192 ساعة، 156 متحدثا | Linguistic Data Consortium، LDC2015S04 |
| الحصة الخاصة من مدونات التناوب اللغوي | 72 من 114 (63%) | Winata وآخرون، ACL Findings 2023 |
| البالغون اللاتينيون في الولايات المتحدة الذين يستخدمون Spanglish أحيانا على الأقل | 63% | مركز Pew للأبحاث (2023) |
| حصة التغريدات المتناوبة لغويا بسبع لغات | نحو 3.5% | Rijhwani وآخرون، ACL 2017 |
المنهجية والمصادر
- Paik وآخرون، HiKE: Hierarchical Evaluation Framework for Korean-English Code-Switching Speech Recognition، arXiv الإصدار v4، 13 يناير 2026: arxiv.org/html/2509.24613v4
- Yan وآخرون، CS-FLEURS: A Massively Multilingual and Code-Switched Speech Dataset، Interspeech 2025: arxiv.org/abs/2509.14161v1
- Okocha وGrant، Beyond Word Error Rate: A Switch Aware Evaluation of ASR and Audio Language Models on English Yoruba Code-Switched Speech، arXiv، 10 سبتمبر 2026: arxiv.org/abs/2609.11786
- Ugan وPham وBarmann وWaibel، PIER: A Novel Metric for Evaluating What Matters in Code-Switching، ICASSP 2025: arxiv.org/html/2501.09512
- Zhou وآخرون، CS-Dialogue: A 104-Hour Dataset of Spontaneous Mandarin-English Code-Switching Dialogues for Speech Recognition، arXiv الإصدار v2، 12 مارس 2025: arxiv.org/html/2502.18913v2
- Shi وFeng وXie، The ASRU 2019 Mandarin-English Code-Switching Speech Recognition Challenge: Open Datasets, Tracks, Methods and Results، 2020: arxiv.org/abs/2007.05916
- Diwan وآخرون، Multilingual and code-switching ASR challenges for low resource Indian languages (MUCS 2021)، 2021: arxiv.org/abs/2104.00235
- Lovenia وآخرون، ASCEND: A Spontaneous Chinese-English Dataset for Code-switching in Multi-turn Conversation، 2021: arxiv.org/abs/2112.06223v4
- Yang وPeng وZhong وHuang وChng، Adapting OpenAI’s Whisper for Speech Recognition on Code-Switch Mandarin-English SEAME and ASRU2019 Datasets، 29 نوفمبر 2023: arxiv.org/html/2311.17382v1
- Baghel وآخرون، Summary of the DISPLACE Challenge 2023، منقح في 3 يناير 2024: arxiv.org/abs/2311.12564
- Linguistic Data Consortium، إدخال فهرس SEAME رقم LDC2015S04، صدر في 15 أبريل 2015: catalog.ldc.upenn.edu/LDC2015S04
- Winata وAji وYong وSolorio، The Decades Progress on Code-Switching Research in NLP، ACL Findings 2023: arxiv.org/abs/2212.09660
- Radford وآخرون (OpenAI)، Robust Speech Recognition via Large-Scale Weak Supervision، 2022: arxiv.org/abs/2212.04356
- مركز Pew للأبحاث، Latinos’ Views of and Experiences With the Spanish Language، 20 سبتمبر 2023: pewresearch.org
- Rijhwani وآخرون، Estimating Code-Switching on Twitter with a Novel Generalized Word-Level Language Detection Technique، ACL 2017: aclanthology.org/P17-1180
- جامعة كونكورديا، دراسة Byers-Heinlein على 181 والدا ثنائيي اللغة، نشرة صحفية بتاريخ 16 يناير 2013: sciencedaily.com
- ملاحظة حول البيانات: يختلف حجم SEAME بحسب المصدر: يذكر فهرس LDC نحو 192 ساعة و156 متحدثا، ويذكر جدول مقارنة CS-Dialogue 30 ساعة و157 متحدثا (بينما يذكر نصه 92 متحدثا)، واستخدم Yang وآخرون مجموعة تدريب مدتها 93.6 ساعة، ولذلك يرجح أن الأرقام تصف مجموعات فرعية مختلفة. ويذكر ملخص MUCS 2021 معدل WER لخط الأساس في التناوب اللغوي قدره 32.45% يطابق متوسط النموذج من طرف إلى طرف غير المحاذى، لا النتائج المعاد محاذاتها المقتبسة هنا، ولا يطابق إجماليه المذكور البالغ نحو 600 ساعة مجموع جداوله هو. ويذكر ملخص ASRU 2019 240 ساعة من البيانات المتناوبة لغويا، وهي 200 ساعة تدريب زائد 40 ساعة تطوير. وتغيرت أرقام HiKE بين إصدارات arXiv (معدل MER الإجمالي لـ Whisper-Tiny هو 103.8 في v2 و93.6 في v4)؛ ونحن نقتبس v4. ونُشرت ورقة الإنجليزية-اليوروبا في 10 سبتمبر 2026 وقد تتغير أرقامها بعد المراجعة العلمية. ويمكن أن تتجاوز MER وCER وWER وPIER نسبة 100% لأن الإدخالات تُحسب أخطاء. وتقيس أرقام الانتشار أشياء مختلفة (كلام أفاد به أصحابه، وكلام أفاد به الوالدان، وتغريدات مكتوبة) ولا ينبغي جمعها.
- آخر تحديث: 31 أكتوبر 2026. نحدّث هذا الاستعراض كل ثلاثة أشهر، ومن المتوقع أن يأتي التحديث التالي عند نشر أوراق التناوب اللغوي في Interspeech 2026 وICASSP 2027 والنسخة النهائية المحكّمة من معيار HiKE.