احتوت بيانات تدريب التعرف على الكلام وراء نموذج Whisper من OpenAI على 438,218 ساعة من الإنجليزية، مقابل 0.1 ساعة فقط لكل من اللاوية والسوندانية والبورمية (OpenAI، ورقة Whisper 2022). هذه الفجوة تختصر في سطر واحد الذيل الطويل للتعرف على الكلام، في عالم يضم 7,170 لغة مستخدمة (Ethnologue, How Many Languages 2026). والحد الأدنى للدقة المفيدة يبدو أقل مما توحي به تلك الفجوة: فقد بلغت إحدى دراسات 2025 معدل خطأ كلمات أقل من 13% بما لا يتجاوز 50 ساعة من بيانات التدريب (Akera وآخرون، دراسة توسيع بيانات الكينيارواندية والكيكويو 2025). ويسد التمويل الجماعي جزءا من الفجوة، إذ يبلغ رصيد Mozilla Common Voice 29,295 ساعة تم التحقق منها (Mozilla، مستودع cv-dataset الخاص بـ Common Voice 2026). وتتناول إحصائيات التحيز تجاه اللكنات في التعرف على الكلام فجوات الدقة بين اللكنات داخل اللغات الكبرى؛ أما هذا الاستعراض فينظر إلى اللغات ككل. جمعنا البيانات من Ethnologue وورقة OpenAI حول Whisper وورقتي Meta حول MMS وOmnilingual ASR وورقتي Google حول USM وFLEURS وMozilla Common Voice وProject Vaani وIndicVoices وNaijaVoices وAfrican Next Voices ومعايير مرجعية حديثة للتعرف على الكلام في اللغات الأفريقية.
أبرز النقاط
- يوجد اليوم 7,170 لغة مستخدمة، ونحو 44% منها مهددة بالانقراض، وغالبا ما يقل عدد مستخدميها عن 1,000 (Ethnologue, How Many Languages 2026).
- لم تبلغ سوى 195 لغة من 546 لغة منخفضة الموارد (36%) معدل خطأ حروف أقل من 10 في نموذج Meta ذي 7 مليارات معامل، مقابل 236 لغة من 249 لغة عالية الموارد (Meta FAIR، ورقة Omnilingual ASR 2025).
- 65% من صوت تدريب Whisper كان تعرفا على الكلام الإنجليزي، أي 438,218 ساعة، بينما تقاسمت 96 لغة أخرى 117,113 ساعة (OpenAI، ورقة Whisper 2022).
- بلغ نموذج للكينيارواندية معدل خطأ كلمات أقل من 13% بـ 50 ساعة فقط من بيانات التدريب (Akera وآخرون، دراسة توسيع البيانات 2025).
- انخفض معدل خطأ الكلمات لأفضل نموذج للسواحيلية من 24.81% مع ساعة واحدة من البيانات إلى 11.36% مع 400 ساعة (Nahabwe وآخرون، Benchmarking ASR Models for African Languages 2025).
- تضم Mozilla Common Voice Scripted Speech ما مجموعه 42,593 ساعة، منها 29,295 ساعة تم التحقق منها، في الإصدار 27.0 (Mozilla، مستودع cv-dataset الخاص بـ Common Voice 2026).
- سجل Project Vaani ما مقداره 31,278.37 ساعة من الكلام الهندي، لكن نحو 6.8% فقط منها مفرغ نصيا (IISc وARTPARK، لوحة متابعة Project Vaani 2026).
- سجل African Next Voices أكثر من 9,000 ساعة في 18 لغة عبر كينيا ونيجيريا وجنوب أفريقيا (جامعة بريتوريا، أخبار African Next Voices 2025).
- أدى الضبط الدقيق على مدونة NaijaVoices البالغة 1,800 ساعة إلى تحسين متوسط معدل خطأ الكلمات في Whisper بنسبة 75.86% على الإيغبو والهوسا واليوروبا (ورقة مجموعة بيانات NaijaVoices، Interspeech 2025).
- تفوق Universal Speech Model من Google على Whisper بنسبة 66% في معدل خطأ الكلمات النسبي على 62 لغة من FLEURS بمجموعة موسومة حجمها نحو سُبع الحجم (Google، ورقة USM 2023).
- تضم IndicVoices ما مقداره 7,348 ساعة من 16,237 متحدثا عبر 22 لغة هندية (ورقة مجموعة بيانات IndicVoices 2024).
1. كم من لغات العالم يتوفر لها أي تعرف على الكلام
المقام هو القصة. تحصي Ethnologue 7,170 لغة مستخدمة اليوم، ولا تمثل 20 لغة منها فقط، أي 0.3% من الإجمالي، سوى اللغات الأم لأكثر من 3.7 مليار شخص (Ethnologue, How Many Languages 2026). وقد تبع التعرف على الكلام هذا التركز: فحتى عام 2023 كان Universal Speech Model من Google يغطي أكثر من 100 لغة.
حتى أوسع نظام مفتوح اليوم، بأكثر من 1,600 لغة، لا يبلغ سوى نحو خمس ما تحصيه Ethnologue. ويمثل فقدان اللغات الوجه الآخر لهذه الفجوة، وتتناوله إحصائيات اللغات المهددة بالانقراض لدينا. وتضم أفريقيا وحدها أكثر من 2,000 لغة، يفتقر كثير منها إلى بيانات كلام مفرغة نصيا.
| المقياس | القيمة | المصدر |
|---|---|---|
| اللغات المستخدمة في العالم | 7,170 | Ethnologue, How Many Languages 2026 |
| حصة اللغات الحية المهددة بالانقراض | نحو 44%، وغالبا يقل عدد مستخدميها المتبقين عن 1,000 | Ethnologue, How Many Languages 2026 |
| المتحدثون الأصليون لأكبر 20 لغة | أكثر من 3.7 مليار شخص، أي ما يقارب نصف سكان العالم، من 0.3% من جميع اللغات | Ethnologue, How Many Languages 2026 |
| اللغات المتحدث بها في أنحاء أفريقيا | أكثر من 2,000، يفتقر كثير منها إلى بيانات كلام مفرغة نصيا | Nahabwe وآخرون، Benchmarking ASR Models for African Languages 2025 |
| اللغات التي يغطيها Universal Speech Model من Google للتعرف على الكلام | أكثر من 100 | Google، ورقة USM 2023 |
| لغات الجدول الثامن من دستور الهند التي يغطيها IndicASR، الذي يصفه مؤلفوه بأنه أول نموذج يدعمها جميعا | 22 | ورقة مجموعة بيانات IndicVoices 2024 |
| اللغات التي يغطيها أوسع نظام مفتوح للتعرف على الكلام | أكثر من 1,600 (منها أكثر من 500 لم يخدمها أي نظام تعرف على الكلام من قبل)، أي نحو 22% من 7,170 لغة مستخدمة (1,600 / 7,170) | Meta FAIR، ورقة Omnilingual ASR 2025؛ Ethnologue 2026 |
السياق: يستبعد هذا النظام الذي يتجاوز 1,600 لغة عمدا نحو 150 لغة إشارة ولغة مصطنعة ولغة بلا نظام كتابة راسخ، لذا فإن جزءا من الإجمالي غير المغطى يقع خارج نطاق التعرف على الكلام الذي يخرج نصا. أحدث بيانات متاحة لـ USM: 2023.
2. ساعات التدريب: الإنجليزية مقابل الذيل الطويل
بيانات التدريب الخاصة بالتعرف على الكلام ليست توزيعا متدرجا، بل هاوية. كانت بيانات التعرف على الكلام الإنجليزي في Whisper (438,218 ساعة) أكبر بنحو 81,000 ضعف من بياناتها السواحيلية (5.4 ساعة) (438,218 / 5.4 = 81,151)، بينما حصلت اللاوية والسوندانية والبورمية على 0.1 ساعة لكل منها. وحتى مقارنة بالصينية، وهي أفضل لغة غير إنجليزية من حيث التزويد بـ 23,446 ساعة، كان للإنجليزية نحو 19 ضعفا من الصوت (438,218 / 23,446 = 18.7).
تصنف الأنظمة الأحدث اللغات في فئات بحسب الموارد، وحدود هذه الفئات لافتة: تعد اللغة عالية الموارد (أي المزودة جيدا ببيانات التدريب) عند تجاوز 50 ساعة فقط. ويمكن للمجموعات المصممة لهذا الغرض أن تنقل لغة عبر هذا الخط: فقد أفادت IndicVoices بوسيط قدره 73 ساعة مفرغة نصيا لكل لغة عبر لغاتها الـ 22 (ورقة مجموعة بيانات IndicVoices 2024).
| المقياس | القيمة | المصدر |
|---|---|---|
| صوت تدريب Whisper: التعرف على الكلام الإنجليزي مقابل 96 لغة أخرى | 438,218 ساعة (65%) مقابل 117,113 ساعة (17%) | OpenAI، ورقة Whisper 2022 |
| ساعات التعرف على الكلام في Whisper لكل لغة، الأكبر مقابل الأصغر | الصينية 23,446؛ الألمانية 13,344؛ الإسبانية 11,100 مقابل السواحيلية 5.4؛ اللاوية والسوندانية والبورمية 0.1 لكل منها | OpenAI، ورقة Whisper 2022 |
| لغات معيار FLEURS التي لا تتوفر لها أي بيانات تدريب في Whisper إطلاقا | 20 من 102 | OpenAI، ورقة Whisper 2022 |
| لغات Omnilingual ASR بحسب بيانات التدريب الموسومة: أكثر من 50 ساعة / من 10 إلى 50 ساعة / أقل من 10 ساعات | 249 / 881 / 546 لغة | Meta FAIR، ورقة Omnilingual ASR 2025 |
| بيانات تقييم FLEURS لكل لغة | نحو 12 ساعة من الكلام في كل لغة من 102 لغة | Google، ورقة FLEURS 2022 |
| الصوت المفرغ نصيا في IndicVoices | 1,639 ساعة، بوسيط 73 ساعة لكل لغة | ورقة مجموعة بيانات IndicVoices 2024 |
أحدث بيانات متاحة لـ Whisper: 2022. الساعات الواردة أعلاه هي بيانات التعرف على الكلام فقط، منفصلة عن صوت الترجمة في Whisper. ولم نعثر على تفصيل مماثل لكل لغة لإصدارات Whisper اللاحقة.
3. معدلات الخطأ: اللغات منخفضة الموارد مقابل عالية الموارد
معدل خطأ الكلمات (WER) هو نسبة الكلمات التي يخطئ فيها النظام، محتسبا الاستبدالات والحذف والإدراجات؛ ولأن الكلمات المدرجة تحتسب، يمكن أن يتجاوز 100% عندما ينتج النموذج كلمات خاطئة أكثر مما يحتويه النص المرجعي. سجل Whisper large-v2 معدل خطأ كلمات بلغ 4.2% في الإنجليزية لكنه بلغ 121.0% في الشونا على معيار FLEURS، أي أن الأخطاء في الشونا فاقت عدد الكلمات المنطوقة فعلا (OpenAI، ورقة Whisper 2022). وإحدى الطرق المعروفة التي يصل بها النموذج إلى ذلك هي كتابة نص سلس لم ينطق به أحد، وهو نمط الإخفاق الذي نتتبعه في إحصائيات هلوسة التعرف على الكلام.
لا تزال النماذج الأحدث تُبقي الفجوة قائمة. ففي الجدول أدناه، ظل معدل خطأ الحروف (CER، الفكرة نفسها لكن محسوبة لكل حرف لا لكل كلمة) أقل من 10 لنحو 95% من اللغات التي تتوفر لها 10 ساعات أو أكثر من البيانات (1,077 من 1,130)، لكنه لم يكن كذلك إلا لما يزيد قليلا على الثلث في مجموعة اللغات التي تقل عن 10 ساعات. وداخل نموذج واحد، يفصل حجم البيانات وحده بين هاتين النتيجتين.
| المقياس | القيمة | المصدر |
|---|---|---|
| معدل خطأ الكلمات في Whisper large-v2 على FLEURS: الإنجليزية / الإسبانية / السواحيلية | 4.2% / 3.0% / 39.3% | OpenAI، ورقة Whisper 2022 |
| معدل خطأ الكلمات في Whisper large-v2 على FLEURS: اليوروبا / الصومالية / الشونا / السندية | 94.8% / 102.9% / 121.0% / 156.5% | OpenAI، ورقة Whisper 2022 |
| لغات Omnilingual 7B LLM-ASR التي يقل معدل خطأ الحروف فيها عن 10، بحسب مستوى الموارد: عالٍ / متوسط / منخفض | 236 من 249 / 841 من 881 / 195 من 546 (تقرب الورقة حصة اللغات منخفضة الموارد إلى 36%) | Meta FAIR، ورقة Omnilingual ASR 2025 |
| متوسط معدل خطأ الحروف في Omnilingual 7B LLM-ASR: اللغات عالية الموارد مقابل منخفضة الموارد | 3.13 مقابل 18.0 | Meta FAIR، ورقة Omnilingual ASR 2025 |
ملاحظة حول القيم الشاذة: صفوف Whisper مأخوذة من جدول large-v2 في ورقة 2022، وهو أحدث جدول متاح لكل لغة من هذا النوع. وWER وCER مقياسان مختلفان، لذا لا يمكن مقارنة صفوف Whisper وOmnilingual مباشرة.
4. كم من البيانات يسد الفجوة
النتيجة المشجعة لعام 2025 هي أن عتبة التعرف القابل للاستخدام تقاس بعشرات الساعات لا بالآلاف. بلغ نموذج للكينيارواندية دقة عملية، أي معدل خطأ كلمات أقل من 13%، بما لا يتجاوز 50 ساعة من بيانات التدريب، وانخفض إلى أقل من 10% عند 200 ساعة (Akera وآخرون، دراسة توسيع البيانات 2025). وإذا صح ذلك على لغات أخرى، فإن حملة تسجيل ممولة واحدة تكفي لبناء أول نموذج قابل للاستخدام.
جودة البيانات مهمة أيضا. فقد أرجعت الدراسة نفسها 38.6% من حالات الخطأ المرتفع إلى نصوص مرجعية مشوشة، أي أن جزءا من «الأخطاء» كان سببه خطأ النص المرجعي نفسه. وتبين نتائج السواحيلية في معيار مرجعي منفصل يضم 13 لغة ما يشتريه الحجم وحده: فالانتقال من ساعة واحدة إلى 400 ساعة خفض أفضل معدل خطأ إلى أقل من النصف، ومع ذلك يظل 11.36% أعلى بكثير من نتيجة Whisper في الإنجليزية الواردة في القسم 3.
| المقياس | القيمة | المصدر |
|---|---|---|
| بيانات تدريب الكينيارواندية اللازمة لمعدل خطأ كلمات أقل من 13% | 50 ساعة فقط | Akera وآخرون، دراسة توسيع بيانات الكينيارواندية والكيكويو 2025 |
| معدل خطأ الكلمات في الكينيارواندية عند 200 ساعة من بيانات التدريب | أقل من 10% | Akera وآخرون، دراسة توسيع بيانات الكينيارواندية والكيكويو 2025 |
| حالات الخطأ المرتفع الناتجة عن نصوص مرجعية مشوشة | 38.6% | Akera وآخرون، دراسة توسيع بيانات الكينيارواندية والكيكويو 2025 |
| اللغات الأفريقية في المعيار المرجعي، مع مجموعات ضبط دقيق فرعية من 1 و5 و10 و20 و50 و100 و200 ساعة | 13 لغة (للسواحيلية وحدها مجموعة فرعية من 400 ساعة أيضا) | Nahabwe وآخرون، Benchmarking ASR Models for African Languages 2025 |
| أفضل معدل خطأ كلمات في السواحيلية مع 400 ساعة من بيانات الضبط الدقيق (XLS-R مقابل Whisper) | 11.36% مقابل 16.88% | Nahabwe وآخرون، Benchmarking ASR Models for African Languages 2025 |
السياق: اللغات الـ 13 في معيار Nahabwe وآخرين هي الأفريقانية والأكان والبامبارا والبيمبا والإيوي والكينيارواندية واللينغالا واللوغندية والشونا والسواحيلية والولوف والكوسا والزولو.
5. مجموعات الكلام الجماعية والمجتمعية
المجموعات المفتوحة التي يبنيها المجتمع هي المكان الذي تصبح فيه بيانات الكلام في الذيل الطويل متاحة للعموم. نمت مجموعة Scripted Speech من Mozilla Common Voice بنحو 31 ضعفا، من 1,368 ساعة في إصدارها الأول إلى 42,593 ساعة في الإصدار 27.0 (42,593 / 1,368 = 31.1)، ويدرج المستودع 295 لغة (Mozilla، مستودع cv-dataset الخاص بـ Common Voice 2026). وقد انتقلت العقبة من التسجيل إلى التحقق: فنحو 31% من تلك الساعات لم يتم التحقق منها (29,295 / 42,593 = 68.8% تم التحقق منها).
تُظهر المشاريع الإقليمية النمط نفسه على نطاق أكبر. فقد جمع Project Vaani أكثر من 31,000 ساعة من الكلام الهندي، لكنه فرّغ نصيا نحو 6.8% منها فقط (2,122.21 / 31,278.37)، ووصل إلى 165 من أصل 773 مقاطعة في الهند (21.3%). وفي أفريقيا، يضم مشروعان أُعلن عنهما في 2025 أكثر من 10,800 ساعة معا (أكثر من 9,000 زائد 1,800)، مقابل 5.4 ساعة من السواحيلية في بيانات التعرف على الكلام في Whisper.
| المقياس | القيمة | المصدر |
|---|---|---|
| إجمالي ساعات Common Voice Scripted Speech: الإصدار 1 مقابل الإصدار 27.0 (موعد إغلاق البيانات سبتمبر 2026) | 1,368 مقابل 42,593 ساعة | Mozilla، مستودع cv-dataset الخاص بـ Common Voice 2026 |
| ساعات Common Voice Scripted Speech التي تم التحقق منها، الإصدار 27.0 | 29,295 (68.8% من الإجمالي) | Mozilla، مستودع cv-dataset الخاص بـ Common Voice 2026 |
| اللغات المدرجة في Common Voice Scripted Speech: الإصدار 19.0 (2024) مقابل الإصدار 27.0 (2026) | 131 مقابل 295 | Mozilla، إصدار Common Voice 19.0 لعام 2024؛ مستودع cv-dataset 2026 |
| Common Voice Spontaneous Speech الإصدار 5.0 | 541 ساعة (302 منها تم التحقق منها)، 80 لغة | Mozilla، مستودع cv-dataset الخاص بـ Common Voice 2026 |
| كلام Project Vaani المجمع في الهند | 31,278.37 ساعة من 156,208 متحدثين في 105 لغات، 165 من 773 مقاطعة | IISc وARTPARK، لوحة متابعة Project Vaani 2026 |
| كلام Project Vaani المفرغ نصيا | 2,122.21 ساعة (نحو 6.8% من الصوت المجمع) | IISc وARTPARK، لوحة متابعة Project Vaani 2026 |
| كلام African Next Voices المسجل | أكثر من 9,000 ساعة في 18 لغة عبر 3 دول | جامعة بريتوريا، أخبار African Next Voices 2025 |
| بيانات الكلام والنص في NaijaVoices | 1,800 ساعة من أكثر من 5,000 متحدث بالإيغبو والهوسا واليوروبا | ورقة مجموعة بيانات NaijaVoices، Interspeech 2025 |
السياق: الهدف المعلن لـ Project Vaani هو أكثر من 150,000 ساعة من الكلام من المقاطعات الـ 773 كلها، لذا فإن لوحة المتابعة الحالية تمثل نحو خمس الصوت المخطط له (31,278.37 / 150,000 = 20.9%).
6. المقاربات: التدريب المسبق ذاتي الإشراف وقراءات النصوص الدينية والتوسيع بأمثلة قليلة
يجري الوصول إلى الذيل الطويل عبر ثلاثة أساليب. التدريب المسبق ذاتي الإشراف (يتعلم النموذج أولا من صوت غير مفرغ نصيا، ثم لا يحتاج إلا إلى مجموعة صغيرة موسومة) هو الطبقة الأساس؛ وقد تفوق Universal Speech Model من Google على Whisper بنسبة 66% في معدل خطأ الكلمات النسبي على 62 لغة من FLEURS مع استخدام مجموعة موسومة حجمها نحو سُبع الحجم (Google، ورقة USM 2023). وأتاحت قراءات النصوص الدينية المتاحة للعموم لمشروع MMS متوسطا قدره 32 ساعة لكل لغة، وهو متوسط يقع ضمن نطاق 10 إلى 50 ساعة من القسم 2.
أحدث أسلوب هو التوسيع بأمثلة قليلة: تقديم عدد قليل من أزواج الصوت والنص إلى النموذج أثناء التشغيل ليتكيف دون إعادة تدريب. وتغطي إحصائيات نماذج الكلام الأساسية متعددة اللغات لدينا الصورة الأوسع للنماذج المشتركة التي تتعامل مع لغات كثيرة في آن واحد. وتختلف كفاءة البيانات أيضا بحسب التصميم: ففي ساعة واحدة من السواحيلية، تفوق MMS، المبني على تدريب مسبق ذاتي الإشراف، على Whisper بفارق 26.52 نقطة في WER (51.33 - 24.81).
| المقياس | القيمة | المصدر |
|---|---|---|
| بيانات MMS الموسومة المبنية من قراءات النصوص الدينية | 44.7 ألف ساعة عبر 1,107 لغات، بمتوسط نحو 32 ساعة لكل لغة | Meta AI، ورقة MMS ومدونتها 2023 |
| معدل خطأ الحروف في لغات لم تظهر أثناء التدريب: النموذج الأساسي CTC مقابل نموذج التعلم الصفري (دون إعادة تدريب) المزود بـ 10 أمثلة سياقية | 26.33% مقابل 14.4% | Meta FAIR، ورقة Omnilingual ASR 2025 |
| بيانات التدريب الخاضعة للإشراف في USM مقابل Whisper، باستثناء الإنجليزية | 90 ألف ساعة مقابل 117 ألف ساعة، مع تفوق على Whisper بنسبة 66% في WER النسبي على 62 لغة من FLEURS | Google، ورقة USM 2023 |
| معدل خطأ الكلمات في السواحيلية بعد ساعة واحدة من الضبط الدقيق: MMS / W2v-BERT / Whisper / XLS-R | 24.81% / 32.36% / 51.33% / 58.23% | Nahabwe وآخرون، Benchmarking ASR Models for African Languages 2025 |
| متوسط التحسن في معدل خطأ الكلمات بعد الضبط الدقيق على NaijaVoices: Whisper / MMS / XLSR | 75.86% / 52.06% / 42.33% | ورقة مجموعة بيانات NaijaVoices، Interspeech 2025 |
ملاحظة حول القيم الشاذة: تصف ورقة USM مجموعتها الموسومة من YouTube بأنها تغطي 73 لغة في المقدمة و75 لغة في القسم 3.1. أحدث بيانات متاحة لـ MMS وUSM: 2023.
الخلاصة: تغطية التعرف على الكلام للغات منخفضة الموارد بالأرقام
| المقياس | القيمة | المصدر |
|---|---|---|
| اللغات المستخدمة في العالم | 7,170 | Ethnologue, How Many Languages 2026 |
| اللغات التي يغطيها أوسع نظام مفتوح للتعرف على الكلام | أكثر من 1,600، منها أكثر من 500 لم تخدم من قبل | Meta FAIR، ورقة Omnilingual ASR 2025 |
| اللغات منخفضة الموارد (أقل من 10 ساعات) التي يقل معدل خطأ الحروف فيها عن 10 | 195 من 546 (36%) | Meta FAIR، ورقة Omnilingual ASR 2025 |
| حصة صوت تدريب Whisper التي كانت تعرفا على الكلام الإنجليزي | 65% (438,218 ساعة) | OpenAI، ورقة Whisper 2022 |
| اللغات المتحدث بها في أنحاء أفريقيا | أكثر من 2,000 | Nahabwe وآخرون، Benchmarking ASR Models for African Languages 2025 |
| بيانات الكينيارواندية اللازمة لمعدل خطأ كلمات أقل من 13% | 50 ساعة فقط | Akera وآخرون، دراسة توسيع البيانات 2025 |
| معدل خطأ الكلمات في الكينيارواندية عند 200 ساعة | أقل من 10% | Akera وآخرون، دراسة توسيع البيانات 2025 |
| أفضل معدل خطأ كلمات في السواحيلية: ساعة واحدة مقابل 400 ساعة من بيانات الضبط الدقيق | 24.81% مقابل 11.36% | Nahabwe وآخرون، Benchmarking ASR Models for African Languages 2025 |
| ساعات Common Voice Scripted Speech، الإصدار 27.0 | 42,593 إجمالا، 29,295 تم التحقق منها | Mozilla، مستودع cv-dataset الخاص بـ Common Voice 2026 |
| اللغات المدرجة في Common Voice Scripted Speech | 295 | Mozilla، مستودع cv-dataset الخاص بـ Common Voice 2026 |
| صوت Project Vaani المجمع مقابل المفرغ نصيا | 31,278.37 مقابل 2,122.21 ساعة | IISc وARTPARK، لوحة متابعة Project Vaani 2026 |
| صوت IndicVoices | 7,348 ساعة، 16,237 متحدثا، 22 لغة | ورقة مجموعة بيانات IndicVoices 2024 |
| كلام African Next Voices المسجل | أكثر من 9,000 ساعة، 18 لغة | جامعة بريتوريا، أخبار African Next Voices 2025 |
| بيانات الكلام والنص في NaijaVoices | 1,800 ساعة، 3 لغات | ورقة مجموعة بيانات NaijaVoices، Interspeech 2025 |
| USM مقابل Whisper على 62 لغة من FLEURS | انخفاض نسبي في WER بنسبة 66% | Google، ورقة USM 2023 |
المنهجية والمصادر
- Ethnologue، How Many Languages Are There in the World? (اطلعنا على الصفحة في أكتوبر 2026): اللغات الحية، وحصة اللغات المهددة بالانقراض، وتركز أكبر 20 لغة.
- OpenAI، Robust Speech Recognition via Large-Scale Weak Supervision (ورقة Whisper)، 2022: ساعات التدريب لكل لغة (الشكل 11) ومعدلات خطأ الكلمات على FLEURS (الجدول 13).
- Meta، Scaling Speech Technology to 1,000+ Languages (ورقة MMS)، 2023، مع إعلان MMS؛ وOmnilingual ASR: Open-Source Multilingual Speech Recognition for 1600+ Languages، 10 نوفمبر 2025.
- Google، ورقة Universal Speech Model، 2023، وورقة معيار FLEURS، 2022.
- Mozilla، مستودع cv-dataset الخاص بـ Common Voice (الإصدار 27.0، موعد إغلاق البيانات سبتمبر 2026)، ومنشور إصدار Common Voice 19.0 (أُعلن عنه في 18 سبتمبر 2024)، وملاحظات إصدار Scripted Speech 26.0 (19 يونيو 2026).
- IISc وARTPARK، لوحة المتابعة الحية لـ Project Vaani (اطلعنا عليها في أكتوبر 2026).
- ورقة مجموعة بيانات IndicVoices، 4 مارس 2024.
- Akera وآخرون، How much speech data is necessary for ASR in African languages?، 8 أكتوبر 2025.
- Nahabwe وآخرون، Benchmarking Automatic Speech Recognition Models for African Languages، 30 نوفمبر 2025.
- The NaijaVoices Dataset، قُبلت في Interspeech 2025.
- جامعة بريتوريا، African Next Voices featured in Nature، 1 أغسطس 2025.
- ملاحظة حول البيانات: تختلف أعداد اللغات بحسب المصدر والمنهج (فرقم Ethnologue البالغ 7,170 يحصي اللغات المستخدمة، بينما تحصي أوراق التعرف على الكلام رموز ISO 639-3 وتستبعد لغات الإشارة واللغات غير المكتوبة)، لذا فإن حصص التغطية تقريبية. قفز عدد لغات Common Voice من 131 (الإصدار 19.0) إلى 295 (الإصدار 27.0)، ولا يوضح المستودع ما إذا كان الرقم الأحدث يحصي فقط اللغات التي صدر لها صوت، لذا نتعامل معه على أنه عدد اللغات المدرجة. وتحسب حصة 68.8% التي تم التحقق منها من بيانات المخطط في المستودع، بينما تصف ملاحظات الإصدار 26.0 نحو 25% من صوت Scripted Speech بأنه لا يزال ينتظر التحقق؛ والمقياسان غير متطابقين. وعند الإعلان عن الإصدار 19.0، أشار تعليق في المنتدى إلى أنه لم يكن بالإمكان تنزيل سوى 129 من لغاته الـ 131، لذا قد يختلف عدد اللغات المدرجة عن عدد اللغات المصدرة. وأرقام African Next Voices مصدرها صفحة أخبار جامعية تلخص تغطية Nature، ولم نطلع على ورقة مجموعة البيانات. وأرقام Whisper (2022) وFLEURS (2022) وMMS (2023) وUSM (2023) كلها أقدم من ثلاث سنوات وقد وسمناها بأنها أحدث بيانات متاحة. ويختلف نص ورقة Omnilingual (549) وجدولها 8 (546) في عدد اللغات منخفضة الموارد؛ ونعتمد قيم الجدول.
آخر تحديث: 31 أكتوبر 2026. نحدّث هذا الاستعراض كل ثلاثة أشهر، ومن المتوقع أن يأتي التحديث التالي عندما تنشر Mozilla الإصدار 28.0 من Common Voice Scripted Speech.