بلغ متوسط معدل خطأ الكلمات (WER) في خمسة أنظمة تجارية للتعرف على الكلام 0.35 للمتحدثين السود مقابل 0.19 للمتحدثين البيض (Stanford، Koenecke وآخرون، PNAS 2020)، ولا تزال دراسة نشرت في 2026 تجد متوسط WER قدره 20% مقابل 15% عبر أربعة أنظمة تجارية (University of Washington، Scott وآخرون، LREC 2026). وتخفي المعايير المرجعية هذه الفجوة: فنموذج Whisper large يسجل 2.7% على LibriSpeech test-clean و19.7% على مدونة من اللهجات الإنجليزية الدولية (University of Edinburgh، ورقة EdAcc البحثية 2023). وبالنسبة للمتحدثين المصابين بعسر التلفظ المرتبط بمرض باركنسون، فإن نظاما يخطئ بنسبة 3.4% في الكلام المعتاد يخطئ بنسبة 36.3% (Speech Accessibility Project، JSLHR 2024). وقد جمعنا بيانات من PNAS وورقة OpenAI Whisper البحثية ومجموعة Fair-Speech من Meta ومشروع Speech Accessibility Project وMozilla Common Voice وأكثر من اثني عشر مصدرا آخر محكما، مع الإبقاء على تدوين كل مصدر كما هو (بعضها يبلغ عن WER ككسر مثل 0.35، وأغلبها كنسبة مئوية مثل 19.7%). وهذا المقياس نفسه هو الأساس الذي تقوم عليه قواعد دقة الترجمة النصية المباشرة، ولهذا فإن بضع نقاط من WER تهم كثيرا خارج المختبر.
أبرز النقاط
- بلغ متوسط WER في خمسة أنظمة ASR تجارية 0.35 للمتحدثين السود مقابل 0.19 للمتحدثين البيض، وكانت 23% مقابل 1.6% من المقاطع غير صالحة للاستخدام عند WER فوق 0.5 (Stanford، Koenecke وآخرون، PNAS 2020).
- بلغ متوسط WER في أربعة أنظمة تجارية 20% للمتحدثين الأمريكيين من أصل أفريقي مقابل 15% للمتحدثين الأمريكيين من أصل قوقازي، أي زيادة نسبية قدرها 33% (University of Washington، Scott وآخرون، LREC 2026).
- يسجل Whisper large نسبة WER قدرها 2.7% على LibriSpeech test-clean و19.7% على مجموعة اختبار EdAcc للإنجليزية ذات اللهجات (University of Edinburgh، ورقة EdAcc البحثية 2023).
- سجل Whisper-large-v2 القيمة 9.52 للمتحدثين السود أو الأمريكيين من أصل أفريقي مقابل 3.96 للمتحدثين البيض في الأوامر الصوتية (Meta، Fair-Speech Dataset 2024).
- بلغ WER في نظام هولندي 55.9% على الكلام المقروء لغير الناطقين الأصليين مقابل 26.1% للناطقين الأصليين (TU Delft، Feng وآخرون، Quantifying Bias in ASR 2021).
- ارتفع WER المرجعي من 3.4% إلى 36.3% مع الكلام المصاب بعسر التلفظ، وخفضه الضبط الدقيق إلى 23.7% (Speech Accessibility Project، JSLHR 2024).
- بلغ أفضل نظام في Interspeech 2025 Speech Accessibility Project Challenge نسبة WER قدرها 8.11% مقابل 17.82% للنموذج المرجعي whisper-large-v2 (Zheng وآخرون، Interspeech 2025).
- بلغ متوسط WER في ستة أنظمة ASR نسبة .281 على الكلام المتلعثم مقابل .105 بعد إزالة اضطرابات الطلاقة (Mujtaba وآخرون، NAACL 2024).
- تضم مجموعة Common Voice Scripted Speech v27.0 ما مجموعه 29,295 ساعة موثقة في 295 لغة، مقابل إجمالي عالمي يتجاوز 7,000 لغة (Mozilla Common Voice 2026؛ Pratap وآخرون، ورقة MMS البحثية 2023).
- بلغ الوسيط لمعدل WER في AWS General Transcribe نسبة 50% لمرضى الرعاية الصحية المنزلية السود مقابل 33% للمرضى البيض، P = 0.016 (Zolnoori وآخرون، JAMIA Open 2024).
- بلغ متوسط دقة الكلمات لدى مدوّني جلسات المحاكم المعتمدين بدقة 95% نسبة 82.9% في الإنجليزية الأمريكية الأفريقية (Jones وآخرون، Language 2019).
- عدّل 93% من المشاركين الأمريكيين من أصل أفريقي في دراسة يوميات استمرت أسبوعين لهجتهم كي تفهمهم تقنية الصوت (Mengesha وآخرون، Frontiers in Artificial Intelligence 2021).
1. فجوات العرق واللهجة في أنظمة ASR التجارية والمفتوحة
الرقم المرجعي عمره ست سنوات ولم تلغه أدلة أفضل. ففي تدقيق PNAS لأنظمة Amazon وApple وGoogle وIBM وMicrosoft، بلغ متوسط WER 0.35 للمتحدثين السود و0.19 للمتحدثين البيض، أي بفجوة قدرها 0.16 (0.35 ناقص 0.19)، قيست على 19.8 ساعة من الصوت لـ 73 متحدثا أسود و42 متحدثا أبيض متطابقين في العمر والجنس. وقد حدد المؤلفون المشكلة في النماذج الصوتية، لأن الفجوة استمرت مع عبارات متطابقة: فقد سجلت Microsoft، وهي أفضل الأنظمة، 0.13 مقابل 0.07 في العبارات المتطابقة. أحدث البيانات المتاحة لتدقيق شمل خمسة مزودين: Koenecke وآخرون، PNAS 2020.
وتظهر الأدلة الأحدث، المستمدة من مدونات مختلفة، معدلات خطأ أدنى بوجه عام وفجوة لم تُغلق. فقد أفاد فريق من University of Washington بزيادة نسبية قدرها 33% للمتحدثين الأمريكيين من أصل أفريقي عبر أربعة أنظمة تجارية، وتظهر مجموعة الأوامر الصوتية الخاصة بـ Meta أن Whisper-large-v2 سجل 9.52 للمتحدثين السود أو الأمريكيين من أصل أفريقي مقابل 3.96 للمتحدثين البيض. ويربط فريق واشنطن أخطاءه بتباين جودة حروف العلة بين اللهجات، وهو ما يتفق مع تشخيص النماذج الصوتية الصادر في 2020.
| المقياس | القيمة | المصدر |
|---|---|---|
| متوسط WER، المتحدثون السود مقابل البيض، خمسة أنظمة تجارية | 0.35 مقابل 0.19 | Stanford (Koenecke وآخرون)، PNAS 2020 |
| أفضل مزود وأسوأ مزود، المتحدثون السود مقابل البيض | Microsoft 0.27 مقابل 0.15؛ Apple 0.45 مقابل 0.23 | Stanford (Koenecke وآخرون)، PNAS 2020 |
| المقاطع التي يتجاوز فيها WER نسبة 0.5 (تفريغات غير صالحة للاستخدام) | 23% من مقاطع المتحدثين السود مقابل 1.6% من مقاطع المتحدثين البيض | Stanford (Koenecke وآخرون)، PNAS 2020 |
| متوسط WER، المتحدثون الأمريكيون من أصل أفريقي مقابل الأمريكيين من أصل قوقازي، أربعة أنظمة تجارية | 20% مقابل 15% (زيادة نسبية 33%) | University of Washington (Scott وآخرون)، LREC 2026 |
| متوسط WER، متحدثو ChicanX وYakama، الأنظمة الأربعة نفسها | 23% و21% | University of Washington (Scott وآخرون)، LREC 2026 |
| WER، المتحدثون السود أو الأمريكيون من أصل أفريقي مقابل البيض، Whisper-large-v2 وWhisper-small | 9.52 مقابل 3.96؛ 16.99 مقابل 4.51 | Meta (Veliche وآخرون)، Fair-Speech Dataset 2024 |
| فجوة WER النسبية بين المجموعات العرقية، Whisper-large-v2 مقابل نموذج الفيديو شبه الخاضع للإشراف من Meta | 61.13% مقابل 31.04% | Meta (Veliche وآخرون)، Fair-Speech Dataset 2024 |
السياق: استخدم تقييم واشنطن 16 متحدثا (أربعة في كل مجموعة) ويعكس أداء الأنظمة في 2022، رغم أن الورقة ظهرت في وقائع LREC 2026. وتغطي Fair-Speech نحو 593 متحدثا أمريكيا و26.5K مقطعا صوتيا تقريبا، ويذكر مؤلفوها أن الفجوة النسبية في نماذج Whisper أكبر من 40% في جميع الأبعاد التي قاسوها.
2. WER في المعايير المرجعية مقابل الكلام في العالم الحقيقي
المعيار المرجعي المعلن هو الكلام المقروء النظيف، لا المحادثة. وتوضح ورقة Whisper البحثية ذلك بجدولها: فالنموذج نفسه الذي يسجل 2.7 على LibriSpeech Clean يسجل 25.5 على CHiME6 و16.2 على CORAAL، وهي مدونة مقابلات بالإنجليزية الأمريكية الأفريقية. ينتقل Whisper large من WER قدره 2.7% على LibriSpeech test-clean إلى 19.7% على EdAcc، وهي مجموعة محادثات عبر مكالمات فيديو بين أصدقاء بأكثر من 40 لهجة إنجليزية أعلنها أصحابها.
ومع ذلك فهذا هو النموذج المتين. فنظام wav2vec 2.0 الذي سجل 2.9 على LibriSpeech بلغ 36.1% على المحادثات ذات اللهجات نفسها. وأسلوب الكلام وحده يحرك الرقم: فقد بلغ متوسط WER في نظام هولندي 36.2% على الكلام المقروء و47.5% على كلام التفاعل بين الإنسان والآلة من مجموعة المتحدثين نفسها (TU Delft، Feng وآخرون، Quantifying Bias in ASR 2021).
| المقياس | القيمة | المصدر |
|---|---|---|
| WER في Whisper Large V2، LibriSpeech Clean | 2.7 | OpenAI (Radford وآخرون)، ورقة Whisper البحثية 2022 |
| WER في Whisper Large V2، CHiME6 وCORAAL | 25.5 و16.2 | OpenAI (Radford وآخرون)، ورقة Whisper البحثية 2022 |
| متوسط WER عبر مجموعات بيانات الجدول 2 في الورقة، wav2vec 2.0 Large مقابل Whisper Large V2 | 29.3 مقابل 12.8 (خفض نسبي متوسط للأخطاء بنسبة 55.2%) | OpenAI (Radford وآخرون)، ورقة Whisper البحثية 2022 |
| WER في Whisper large، اختبار EdAcc مقابل LibriSpeech test-clean | 19.7% مقابل 2.7% | University of Edinburgh (Sanabria وآخرون)، ورقة EdAcc البحثية 2023 |
| WER في wav2vec 2.0 ونظام تجاري، اختبار EdAcc مقابل LibriSpeech test-clean | 36.1 مقابل 2.9؛ 18.7 مقابل 3.8 | University of Edinburgh (Sanabria وآخرون)، ورقة EdAcc البحثية 2023 |
| أفضل متوسط WER، مسار المقاطع القصيرة بالإنجليزية؛ وWhisper Large v3 في المسار نفسه | 5.42؛ 7.44 | ورقة Open ASR Leaderboard البحثية (Srivastav وآخرون)، الإصدار 4 مارس 2026 |
| الأنظمة التي خضعت للمقارنة | 86 نظاما من 26 مؤسسة عبر 12 مجموعة بيانات؛ 74 منها مفتوحة المصدر | ورقة Open ASR Leaderboard البحثية (Srivastav وآخرون)، الإصدار 4 مارس 2026 |
السياق: يعرض Open ASR Leaderboard متوسطات على مجموعات اختبار منتقاة، ولا تتضمن الجداول التي قرأناها أي تقسيم ديموغرافي للمتحدثين، فمتوسط 5.42 لا يخبرنا شيئا عمن يقع في ذيل التوزيع. ورقم CORAAL هو أقرب ما تصل إليه ورقة Whisper من رقم خاص بلهجة بعينها: فقد خفض Whisper خطأ wav2vec 2.0 على تلك المدونة من 35.6 إلى 16.2، وظل مع ذلك ستة أضعاف نتيجة LibriSpeech Clean (16.2 مقسومة على 2.7).
3. اللهجات الإقليمية ولهجات غير الناطقين الأصليين
تقاس فجوات اللهجات في الغالب على الإنجليزية، وفي الغالب بمدونات صغيرة أو ذاتية الاختيار. وأوسع تدقيق وجدناه، على 2,713 متحدثا من أرشيف Speech Accent Archive ولدوا في 171 دولة، لا يستخدم WER إطلاقا: فهو يعرض معلومات الكلمات المفقودة (WIL)، ويجدها أقل بمقدار 0.14 لدى المتحدثين الذين لغتهم الأولى الإنجليزية (P<0.001). وفي الإنجليزية ذات اللهجات الأفريقية، سجل Whisper-large نسبة WER قدرها 0.240 في الكلام العام و0.375 في الكلام السريري، وكانت أنظمة السحابة التجارية الثلاثة التي اختبرت كلها أسوأ.
وتتبع اللهجات الإقليمية للغة الأم النمط نفسه. ففي الترجمات التلقائية على YouTube، أظهر 80 متحدثا من خمس مناطق لهجية (كاليفورنيا وجورجيا ونيو إنغلاند ونيوزيلندا واسكتلندا) تعرفا أسوأ بصورة مؤكدة على المتحدثين الاسكتلنديين (University of Washington، Tatman، ACL Ethics in NLP Workshop 2017). وفي الهولندية، جرى التعرف على مراهقين فلمنكيين يقرؤون بصوت عال بنسبة WER قدرها 40.5% بواسطة نموذج دُرّب على الهولندية في هولندا. وتتراكم هذه الأخطاء لاحقا، لأن الجملة المصدرية التي أسيء التعرف عليها هي مدخل كل مسار ترجمة كلام إلى كلام.
| المقياس | القيمة | المصدر |
|---|---|---|
| حجم مدونة EdAcc | نحو 40 ساعة، أكثر من 40 لهجة أعلنها أصحابها، 51 لغة أولى | University of Edinburgh (Sanabria وآخرون)، ورقة EdAcc البحثية 2023 |
| فجوة WIL، المتحدثون بالإنجليزية كلغة أولى مقابل غيرهم، جميع الخدمات | أقل بمقدار 0.14 لدى المتحدثين بالإنجليزية كلغة أولى (P<0.001)؛ 2,713 متحدثا، 212 لغة أولى | DiChristofano وآخرون، Global Performance Disparities Between English-Language Accents (arXiv) 2023 |
| فجوة WIL حسب الخدمة | Google 0.17؛ Amazon 0.14؛ Microsoft 0.11 | DiChristofano وآخرون، Global Performance Disparities Between English-Language Accents (arXiv) 2023 |
| WER في Whisper-large على الإنجليزية الأفريقية، المجال العام مقابل السريري | 0.240 مقابل 0.375 | Olatunji وآخرون، AfriSpeech-200، TACL 2023 |
| WER في السحابة التجارية على الإنجليزية الأفريقية، المجالان معا | Azure 0.391؛ AWS 0.442؛ GCP 0.578 | Olatunji وآخرون، AfriSpeech-200، TACL 2023 |
| WER في Whisper-medium على الإنجليزية الأفريقية، قبل التدريب المسبق مقابل بعد الضبط الدقيق على AfriSpeech | 0.332 مقابل 0.216 | Olatunji وآخرون، AfriSpeech-200، TACL 2023 |
| WER في ASR الهولندي على الكلام المقروء، غير الناطقين الأصليين مقابل الناطقين الأصليين | 55.9% مقابل 26.1% | TU Delft (Feng وآخرون)، Quantifying Bias in ASR 2021 |
| WER في ASR الهولندي على الكلام المقروء، المراهقون الفلمنكيون مقابل المراهقين في أربع مناطق هولندية | 40.5% مقابل 19.3% و22.9% و16.8% و17.9% | TU Delft (Feng وآخرون)، Quantifying Bias in ASR 2021 |
حالة شاذة: كون المتحدث غير ناطق أصلي لا يتنبأ دائما بنتائج أسوأ. ففي الأوامر الصوتية في Fair-Speech، سجل Whisper-large-v2 القيمة 3.78 لمتحدثي اللغة الثانية و6.11 لمتحدثي اللغة الأولى (Meta، Fair-Speech Dataset 2024)، وهو تذكير بأن فجوات المجموعات هي خصائص لمجموعة بيانات ولمهمة، لا ثوابت. وفي البيانات الهولندية، لم ينخفض الخطأ مع ارتفاع كفاءة المتعلمين البالغين: 57.2 و56.5 و57.0 عند مستويات CEF وهي A1 وA2 وB1. أحدث البيانات المتاحة: أجريت تفريغات أرشيف اللهجات في 2021، وصدرت AfriSpeech-200 (200.70 ساعة، 2,463 متحدثا، 120 لهجة، 13 دولة) في 2023.
4. فجوات الجنس والعمر والدخل
ليس لأي محور ديموغرافي اتجاه ثابت، وهذه هي النتيجة. فقد كانت ترجمات YouTube أسوأ للنساء في 2017. وكانت الأنظمة التجارية أسوأ للرجال في 2020. سجل Whisper-large-v2 القيمة 7.91 للمتحدثين الذكور مقابل 3.86 للمتحدثات الإناث على Fair-Speech، أي نحو الضعف (7.91 مقسومة على 3.86 تساوي 2.05). فنظام جرى تدقيقه على مجموعة بيانات واحدة قد يبدو عادلا من حيث الجنس ثم يفشل على أخرى.
ويسلك العمر السلوك نفسه. فالفئة الأعلى خطأ في Fair-Speech لم تكن الأكبر سنا بل الشريحة من 31 إلى 45 عاما، بينما كانت أسوأ مجموعة من الناطقين الأصليين في الهولندية هي الأطفال. وكلام الأطفال نقطة ضعف متكررة: فقد بدأ Whisper-Small بنسبة WER قدرها 13.93% على مجموعة اختبار MyST لكلام الأطفال قبل أي تكييف (Kid-Whisper، 2024).
| المقياس | القيمة | المصدر |
|---|---|---|
| متوسط WER عبر خمسة أنظمة تجارية، الرجال السود مقابل النساء السود؛ الرجال البيض مقابل النساء البيض | 0.41 مقابل 0.30؛ 0.21 مقابل 0.17 | Stanford (Koenecke وآخرون)، PNAS 2020 |
| WER في Whisper-large-v2، المتحدثون الذكور مقابل الإناث | 7.91 مقابل 3.86 | Meta (Veliche وآخرون)، Fair-Speech Dataset 2024 |
| WER في Whisper-large-v2 حسب الشريحة العمرية، 18-22 و23-30 و31-45 و46-65 | 4.46 و4.62 و7.48 و3.65 | Meta (Veliche وآخرون)، Fair-Speech Dataset 2024 |
| WER في Whisper-large-v2 حسب دخل الأسرة، منخفض ومتوسط ومرتفع | 5.4 و6.38 و3.62 | Meta (Veliche وآخرون)، Fair-Speech Dataset 2024 |
| WER في ترجمات YouTube، النساء مقابل الرجال | أعلى للنساء (t(78) = -3.5, p < 0.01)، 80 متحدثا | University of Washington (Tatman)، ACL Ethics in NLP Workshop 2017 |
| WER في ASR الهولندي على الكلام المقروء، الأطفال والمراهقون وكبار السن من الناطقين الأصليين | 35.3% و18.4% و24.2% | TU Delft (Feng وآخرون)، Quantifying Bias in ASR 2021 |
| WER في Whisper على كلام الأطفال في MyST، قبل الضبط الدقيق مقابل بعده | Small من 13.93% إلى 9.11%؛ Medium من 13.23% إلى 8.61% | Attia وآخرون، Kid-Whisper 2024 |
السياق: شرائح الدخل في Fair-Speech هي المنخفض (50 ألف دولار أمريكي أو أقل)، والمتوسط (من 50 ألفا إلى 100 ألف دولار)، والمرتفع (100 ألف دولار فأكثر)، والشريحة المرتفعة هي أصغر مجموعة في مجموعة البيانات (41 متحدثا في جدول الورقة). أحدث البيانات المتاحة عن فجوات الجنس في الترجمات النصية: Tatman 2017، قيست على مهمة قائمة كلمات معزولة يصفها المؤلف بأنها صعبة بصفة خاصة على ASR.
5. الكلام غير النمطي والمصاب بعسر التلفظ وغير الطلق
هنا تبلغ الفجوات رتبة من حيث الحجم، لا بضع نقاط. ففي أول حزمة بيانات من Speech Accessibility Project، فرّغ نظام مرجعي بمعدل WER قدره 3.4% للمتحدثين المعتادين كلام المتحدثين المصابين بعسر التلفظ المرتبط بمرض باركنسون بنسبة 36.3%. وقد خفض الضبط الدقيق على 190 متحدثا تدريبيا هذه النسبة إلى 23.7%، وظل اثنان من 42 متحدثا في الاختبار عند 67.10% و93.08%.
والبيانات، لا البنية المعمارية، هي ما يحرك هذه الأرقام. فقد منح Interspeech 2025 Speech Accessibility Project Challenge الفرق نحو 415 ساعة من 524 مشاركا، وتفوق 12 فريقا من 22 على النموذج المرجعي whisper-large-v2؛ وبلغ متوسط WER لأفضل خمسة نماذج 10.06% لمرض باركنسون و7.36% للتصلب الجانبي الضموري (ALS)، مقابل 17.09% و16.88% للنموذج المرجعي. ويذهب التخصيص أبعد من ذلك: فقد أبلغ Project Euphonia من Google عن WER قدره 4.6% للنماذج المخصصة على العبارات القصيرة. وتخلق فترات التوقف نمط فشل منفصلا، إذ هلوس Whisper نصا في 1.7% من مقاطع المتحدثين المصابين بالحبسة الكلامية مقابل 1.2% لدى المجموعة الضابطة (Koenecke وآخرون، Careless Whisper، FAccT 2024).
| المقياس | القيمة | المصدر |
|---|---|---|
| WER المرجعي، المتحدثون المعتادون مقابل عسر التلفظ المرتبط بمرض باركنسون؛ بعد الضبط الدقيق | 3.4% مقابل 36.3%؛ 23.7% | Speech Accessibility Project (Hasegawa-Johnson وآخرون)، JSLHR 2024 |
| النموذج المرجعي Whisper-large-v2 مقابل أفضل فريق، مجموعة Test2 في التحدي | WER 17.82% مقابل 8.11% (أعلى SemScore هو 88.44%) | Zheng وآخرون، Interspeech 2025 Speech Accessibility Project Challenge |
| بيانات التحدي والمشاركة | نحو 415 ساعة، 524 مشاركا، خمسة أسباب مرضية؛ تفوق 12 فريقا من 22 على النموذج المرجعي في WER | Zheng وآخرون، Interspeech 2025 Speech Accessibility Project Challenge |
| النماذج المخصصة مقابل المستقلة عن المتحدث، 432 متحدثا بكلام مضطرب | WER 4.6% مقابل 31% | Google Research (Green وآخرون)، Interspeech 2021 |
| الوسيط لمعدل WER على عبارات أتمتة المنزل، الكلام شديد الاضطراب، قبل التخصيص وبعده | نحو 89% إلى 13% | Google Research، مدونة Project Euphonia 2021 |
| مدونة Project Euphonia (حتى أغسطس 2021) | أكثر من 1 مليون مقطع كلامي، أكثر من 1,400 ساعة، 1,330 متحدثا | Google Research، مدونة Project Euphonia 2021 |
| متوسط WER عبر ستة أنظمة ASR، الكلام المتلعثم مقابل إزالة اضطرابات الطلاقة | .281 مقابل .105 | Mujtaba وآخرون، Lost in Transcription، NAACL 2024 |
| WER في التعرف على كلام المتلعثمين، قبل تغييرات النظام وبعدها (تسجيل 91 مشاركا) | 25.4% إلى 9.9%؛ انقطاع المقاطع الكلامية أقل بنسبة 79.1% | Lea وآخرون، CHI 2023 |
السياق: يمثل مرض باركنسون 73.4% من مدونة تدريب التحدي من حيث المدة، لذا فإن الرقم المعلن 8.11% يصف في معظمه سببا مرضيا واحدا؛ ولم تُعرض متلازمة داون والشلل الدماغي والسكتة الدماغية بصورة منفصلة بسبب قلة عدد حالات الاختبار. وفي دراسة التلعثم، كان Whisper أدق الأنظمة الستة ومع ذلك انتقل من .063 إلى .121. أحدث البيانات المتاحة لدقة النماذج المخصصة: Green وآخرون، Interspeech 2021.
6. اللغات قليلة الموارد وتغطية مجموعات البيانات
يتبع الخطأ ساعات التدريب بصورة شبه آلية. فيذكر مؤلفو Whisper ارتباطا تربيعيا قدره 0.83 بين لوغاريتم WER ولوغاريتم ساعات التدريب لكل لغة، ويقدّرون أن WER ينخفض إلى النصف مع كل زيادة قدرها 16 ضعفا في بيانات التدريب. ومن بين 680,000 ساعة تدريب لـ Whisper، تغطي 117,000 ساعة 96 لغة غير الإنجليزية، وتشير الورقة إلى أن لدى معظم اللغات أقل من 1,000 ساعة.
وقد توسعت التغطية أسرع من أدلة الدقة. فقد قدّرت ورقة MMS عدد لغات العالم بأكثر من 7,000 لغة تدعم تقنية الكلام نحو 100 منها، ويعلن Omnilingual ASR الآن أكثر من 1,600. ويغطي المعيار المرجعي متعدد اللغات القياسي FLEURS ما مجموعه 102 لغة بنحو 12 ساعة إشراف لكل منها (Conneau وآخرون، FLEURS 2022)، لذا فليس لمعظم اللغات المضافة حديثا مقياس عام مشترك. ونتتبع التغطية من جانب النماذج بتعمق أكبر في إحصائيات نماذج الكلام الأساسية متعددة اللغات لدينا.
| المقياس | القيمة | المصدر |
|---|---|---|
| بيانات تدريب Whisper | 680,000 ساعة إجمالا؛ 117,000 ساعة تغطي 96 لغة غير الإنجليزية | OpenAI (Radford وآخرون)، ورقة Whisper البحثية 2022 |
| العلاقة بين ساعات التدريب لكل لغة وWER | ارتباط تربيعي 0.83؛ ينخفض WER إلى النصف مع كل زيادة قدرها 16 ضعفا في البيانات | OpenAI (Radford وآخرون)، ورقة Whisper البحثية 2022 |
| لغات العالم مقابل اللغات التي تدعمها تقنية الكلام | أكثر من 7,000 مقابل نحو 100 | Pratap وآخرون، ورقة MMS البحثية (Scaling Speech Technology to 1,000+ Languages) 2023 |
| تغطية MMS ودقته | ASR لـ 1,107 لغات؛ انخفض WER بأكثر من النصف مقارنة بـ Whisper في 54 لغة من FLEURS | Pratap وآخرون، ورقة MMS البحثية (Scaling Speech Technology to 1,000+ Languages) 2023 |
| تغطية Omnilingual ASR | أكثر من 1,600 لغة، منها أكثر من 500 لم تخدمها ASR من قبل | فريق Omnilingual ASR، arXiv 2511.09690، 2025 |
| بيانات التدريب المسبق لـ Google USM | 12 مليون ساعة من الصوت غير الموسوم تغطي أكثر من 300 لغة؛ والمجموعة الموسومة بحجم 1/7 من مجموعة Whisper | ورقة Google USM البحثية (Zhang وآخرون) 2023 |
| Common Voice Scripted Speech v27.0 | 295 لغة؛ 42,593 ساعة إجمالا؛ 29,295 ساعة موثقة | Mozilla Common Voice، cv-dataset v27.0 2026 |
| توزيع الجنس في Common Voice v27.0، الإنجليزية والألمانية | الإنجليزية 0.4318 ذكور و0.1776 إناث و0.3894 غير معلن؛ الألمانية 0.5786 ذكور و0.0818 إناث | Mozilla Common Voice، cv-dataset v27.0 2026 |
حالة شاذة: في إحصائيات Common Voice v27.0، يحتوي الكتالونية على صوت مسجل أكثر من الإنجليزية (3,940.31 ساعة إجمالا مقابل 3,795.9)، بينما تضم أصغر لغة محلية قرأناها 25 مقطعا من مستخدمَين اثنين. فجهد المتطوعين، لا عدد المتحدثين، هو ما يقرر اللغات التي تحصل على بيانات. أما مجموعة Spontaneous Speech، الأقرب إلى الاستخدام الفعلي، فهي أصغر بكثير: 541 ساعة إجمالا عبر 80 لغة في الإصدار 5.0.
7. العواقب في المحاكم والعيادات والتوظيف والمساعدات الصوتية
ترتفع المخاطر حيث يصبح التفريغ النصي سجلا. والبشر يضعون مستوى مرجعيا ضعيفا: فقد بلغ متوسط دقة الكلمات لدى مدوّني جلسات المحاكم المعتمدين بدقة 95% نسبة 82.9% ودقة الجمل 59.5% في الإنجليزية الأمريكية الأفريقية، وغيّرت تفريغاتهم من قال وماذا ومتى وأين في 31% من الحالات (Jones وآخرون، Language 2019). وتتناول إحصائيات دقة التعرف على الكلام في قاعات المحاكم لدينا التجارب الآلية التي ترث هذه المشكلة.
والأدلة السريرية حديثة وعيناتها صغيرة. ففي زيارات الرعاية الصحية المنزلية المسجلة، أظهر نظامان من Amazon فجوة بلغت 17 نقطة في الوسيط لمعدل WER بين المرضى السود والبيض لكل منهما (50 ناقص 33، و54 ناقص 37)، بينما كان Whisper سيئا بالقدر نفسه للفئتين. والتوظيف هو المجال الوحيد الذي ظهرت فيه نتيجة مطمئنة: فقد ظهر تحيز التفريغ النصي في كل المقارنات تقريبا، ووجد المؤلفون أنه لم ينتقل إلى درجات المقابلات. أما الكلفة التي يبلغ عنها المستخدمون فهي سلوكية، إذ غيّر كل مشارك تقريبا في دراسة اليوميات التي استمرت أسبوعين طريقة كلامه.
| المقياس | القيمة | المصدر |
|---|---|---|
| دقة مدوّني جلسات المحاكم في الإنجليزية الأمريكية الأفريقية، على مستوى الكلمات مقابل مستوى الجمل (معيار الاعتماد 95%) | 82.9% مقابل 59.5% | Jones وآخرون، Testifying While Black، Language 2019 |
| التفريغات التي غيّرت من قال وماذا ومتى وأين | 31%؛ 27 مدوّنا، 9 متحدثين، 83 جملة | Jones وآخرون، Testifying While Black، Language 2019 |
| الوسيط لمعدل WER، مرضى الرعاية الصحية المنزلية السود مقابل البيض، AWS General وAWS Medical | 50% مقابل 33% (P = 0.016)؛ 54% مقابل 37% (P = 0.0012) | Zolnoori وآخرون، JAMIA Open 2024 |
| الوسيط لمعدل WER، المرضى السود مقابل البيض، Whisper large-v3 | 75% مقابل 72% (P = 0.66)؛ 35 مريضا | Zolnoori وآخرون، JAMIA Open 2024 |
| معدل الخطأ في الملاحظات السريرية المملاة: مسودة التعرف على الكلام، بعد المفرّغ، الملاحظة الموقعة | 7.4% و0.4% و0.3%؛ 217 ملاحظة | Zhou وآخرون، JAMA Network Open 2018 |
| تفريغات Whisper التي تحتوي على نص مهلوس؛ حصة الهلوسات ذات الأضرار الصريحة | 1.4% من 13,140 مقطعا؛ 38% | Koenecke وآخرون، Careless Whisper، FAccT 2024 |
| مقابلات فيديو تجريبية فرّغتها أربع طرق ASR وطريقة بشرية واحدة | N = 1,014 وN = 414؛ تحيز ASR ملحوظ في كل المقارنات تقريبا، دون تحيز قياس ذي أهمية في الدرجات | Hickman وآخرون، Journal of Applied Psychology 2025 |
| مستخدمو تقنية الصوت الأمريكيون من أصل أفريقي الذين عدّلوا لهجتهم ليفهمهم النظام | 93% (n = 28 من 30)؛ أفاد 77% بالإحباط من الأخطاء | Mengesha وآخرون، Frontiers in Artificial Intelligence 2021 |
السياق: تقيس دراسة مدوّني جلسات المحاكم مفرّغين بشريين لا برمجيات، وتمثل دراسة الإملاء السريري أحدث البيانات المتاحة عن معدلات الخطأ في الملاحظات الموقعة (Zhou وآخرون، JAMA Network Open 2018). وأجريت تجارب الهلوسة في 2023؛ ووجد المؤلفون أن 19% من 312 تفريغا مهلوسا تضمنت عنفا، و13% ارتباطات غير دقيقة، و8% سلطة زائفة، ولم تظهر هلوسات مماثلة عند إعادة تشغيل المقاطع المتأثرة عبر أنظمة مزودين آخرين (Careless Whisper). أما نتيجة التوظيف (Hickman وآخرون) فمصدرها مقابلات تجريبية لا قرارات اختيار فعلية.
الخلاصة: تحيز اللهجات في التعرف على الكلام ومعدل خطأ الكلمات بالأرقام
| المقياس | القيمة | المصدر |
|---|---|---|
| متوسط WER، المتحدثون السود مقابل البيض، خمسة أنظمة تجارية | 0.35 مقابل 0.19 | Stanford (Koenecke وآخرون)، PNAS 2020 |
| متوسط WER، المتحدثون الأمريكيون من أصل أفريقي مقابل الأمريكيين من أصل قوقازي، أربعة أنظمة تجارية | 20% مقابل 15% | University of Washington (Scott وآخرون)، LREC 2026 |
| WER في Whisper-large-v2، المتحدثون السود أو الأمريكيون من أصل أفريقي مقابل البيض | 9.52 مقابل 3.96 | Meta (Veliche وآخرون)، Fair-Speech Dataset 2024 |
| WER في Whisper-large-v2، المتحدثون الذكور مقابل الإناث | 7.91 مقابل 3.86 | Meta (Veliche وآخرون)، Fair-Speech Dataset 2024 |
| WER في Whisper large، الإنجليزية ذات اللهجات في EdAcc مقابل LibriSpeech test-clean | 19.7% مقابل 2.7% | University of Edinburgh (Sanabria وآخرون)، ورقة EdAcc البحثية 2023 |
| WER في Whisper Large V2، CORAAL مقابل LibriSpeech Clean | 16.2 مقابل 2.7 | OpenAI (Radford وآخرون)، ورقة Whisper البحثية 2022 |
| أفضل متوسط WER، مسار المقاطع القصيرة بالإنجليزية في Open ASR Leaderboard | 5.42 عبر 86 نظاما خضع للمقارنة | ورقة Open ASR Leaderboard البحثية (Srivastav وآخرون)، الإصدار 4 مارس 2026 |
| WER في Whisper-large على الإنجليزية الأفريقية، العام مقابل السريري | 0.240 مقابل 0.375 | Olatunji وآخرون، AfriSpeech-200، TACL 2023 |
| فجوة WIL، المتحدثون بالإنجليزية كلغة أولى مقابل غيرهم | 0.14 (P<0.001) | DiChristofano وآخرون، arXiv 2023 |
| WER في ASR الهولندي على الكلام المقروء، غير الناطقين الأصليين مقابل الناطقين الأصليين | 55.9% مقابل 26.1% | TU Delft (Feng وآخرون)، Quantifying Bias in ASR 2021 |
| WER المرجعي، الكلام المعتاد مقابل المصاب بعسر التلفظ المرتبط بمرض باركنسون | 3.4% مقابل 36.3% | Speech Accessibility Project (Hasegawa-Johnson وآخرون)، JSLHR 2024 |
| النموذج المرجعي Whisper-large-v2 مقابل أفضل نظام في التحدي على الكلام المصاب بعسر التلفظ | 17.82% مقابل 8.11% | Zheng وآخرون، Interspeech 2025 Speech Accessibility Project Challenge |
| WER للنماذج المخصصة مقابل المستقلة عن المتحدث، الكلام المضطرب | 4.6% مقابل 31% | Google Research (Green وآخرون)، Interspeech 2021 |
| متوسط WER عبر ستة أنظمة، الكلام المتلعثم مقابل النسخ الطليقة | .281 مقابل .105 | Mujtaba وآخرون، Lost in Transcription، NAACL 2024 |
| ساعات تدريب Whisper، الإجمالي مقابل غير الإنجليزية | 680,000 مقابل 117,000 (96 لغة) | OpenAI (Radford وآخرون)، ورقة Whisper البحثية 2022 |
| Common Voice Scripted Speech v27.0 | 295 لغة، 29,295 ساعة موثقة | Mozilla Common Voice، cv-dataset v27.0 2026 |
| الوسيط لمعدل WER، مرضى الرعاية الصحية المنزلية السود مقابل البيض، AWS General | 50% مقابل 33% (P = 0.016) | Zolnoori وآخرون، JAMIA Open 2024 |
| دقة كلمات مدوّني جلسات المحاكم في الإنجليزية الأمريكية الأفريقية مقابل معيار الاعتماد | 82.9% مقابل 95% | Jones وآخرون، Testifying While Black، Language 2019 |
| مستخدمو تقنية الصوت الذين عدّلوا لهجتهم | 93% (n = 28 من 30) | Mengesha وآخرون، Frontiers in Artificial Intelligence 2021 |
المنهجية والمصادر
أجرينا 23 عملية بحث وقرأنا الورقة الأصلية أو صفحة مجموعة البيانات أو سجل المجلة لكل رقم أعلاه. ويعرض WER بتدوين كل مصدر نفسه: كسور في Koenecke وآخرون وAfriSpeech-200 وMujtaba وآخرون، ونسب مئوية في غيرها. وقد وسمنا في الأقسام الأرقام التي يزيد عمرها على ثلاث سنوات بأنها أحدث البيانات المتاحة.
- Koenecke وآخرون، Racial disparities in automated speech recognition، PNAS 2020
- Scott وLiang وWassink وLevow، A Sociophonetic Analysis of Racial Bias in Commercial ASR Systems Using the Pacific Northwest English Corpus، LREC 2026
- Veliche وآخرون (Meta)، Towards measuring fairness in speech recognition: Fair-Speech dataset، 2024
- Radford وآخرون (OpenAI)، Robust Speech Recognition via Large-Scale Weak Supervision، 2022
- Sanabria وآخرون (University of Edinburgh)، The Edinburgh International Accents of English Corpus، ICASSP 2023
- Srivastav وآخرون، ورقة Open ASR Leaderboard البحثية، الإصدار 4 مارس 2026
- DiChristofano وShuster وChandra وPatwari، Global Performance Disparities Between English-Language Accents in Automatic Speech Recognition، 2023
- Olatunji وآخرون، AfriSpeech-200: Pan-African Accented Speech Dataset for Clinical and General Domain ASR، TACL 2023
- Feng وKudina وHalpern وScharenborg (TU Delft)، Quantifying Bias in Automatic Speech Recognition، 2021
- Tatman (University of Washington)، Gender and Dialect Bias in YouTube’s Automatic Captions، ACL Ethics in NLP Workshop 2017
- Attia وآخرون، Kid-Whisper، 2024
- Hasegawa-Johnson وآخرون، Community-Supported Shared Infrastructure in Support of Speech Accessibility، JSLHR 2024
- Zheng وآخرون، The Interspeech 2025 Speech Accessibility Project Challenge
- Green وآخرون (Google Research)، Automatic Speech Recognition of Disordered Speech، Interspeech 2021 ومدونة مجموعة بيانات Project Euphonia، 2021
- Mujtaba وآخرون، Lost in Transcription، NAACL 2024
- Lea وآخرون، From User Perceptions to Technical Improvement: Enabling People Who Stutter to Better Use Speech Recognition، CHI 2023
- Koenecke وآخرون، Careless Whisper: Speech-to-Text Hallucination Harms، FAccT 2024
- Pratap وآخرون، Scaling Speech Technology to 1,000+ Languages (MMS)، 2023؛ Omnilingual ASR، 2025؛ Google USM، 2023؛ FLEURS، 2022
- Mozilla Common Voice، مستودع cv-dataset وإحصائيات v27.0، 2026
- Jones وKalbfeld وHancock وClark، Testifying While Black، Language 95(2)، 2019
- Zolnoori وآخرون، Decoding disparities، JAMIA Open 2024
- Zhou وآخرون، Analysis of Errors in Dictated Clinical Documents Assisted by Speech Recognition Software and Professional Transcriptionists، JAMA Network Open 2018
- Hickman وLanger وSaef وTay، Automated speech recognition bias in personnel selection، Journal of Applied Psychology 2025
- Mengesha وآخرون، Impact of Automated Speech Recognition Errors on African Americans، Frontiers in Artificial Intelligence 2021
- ملاحظة حول البيانات: تتعارض عدة مصادر مع نفسها أو تقيس أشياء مختلفة. فنص ورقة Whisper يذكر WER قدره 2.5 على LibriSpeech clean بينما يورد جدولها 2 القيمة 2.7 (نعتمد الجدول). ويقول ملخص Careless Whisper إن نحو 1% من التفريغات كانت مهلوسة بينما يذكر قسم النتائج 1.4% (نعتمد 1.4%)، ويشير مؤلفوه إلى أن التجارب تعود إلى 2023. وتطابق نسبتا 36.3% و23.7% في ملخص Speech Accessibility Project صفوف الورقة الخاصة بالمطالبات غير المشتركة؛ أما على جميع مطالبات الاختبار فتبلغ نسبة النموذج المضبوط ضبطا دقيقا 18.72%. ويذكر نص Fair-Speech وجود 50 متحدثا في شريحة الدخل الأعلى بينما يورد جدوله 41. ويعرض DiChristofano وآخرون معلومات الكلمات المفقودة لا WER، لذا فإن فجواتهم لا تقارن بالصفوف الأخرى. وأجري تقييم Scott وآخرون في 2022 على 16 متحدثا ونشر في 2026. ويتغير Open ASR Leaderboard باستمرار: فقد أورد إصدار الورقة في أكتوبر 2025 ما مجموعه 64 نموذجا بأفضل متوسط WER قدره 5.63، وأورد إصدار مارس 2026 ما مجموعه 86 نظاما وقيمة 5.42. وتأتي إجماليات ساعات Common Voice من بيانات مخطط الإصدارات في المستودع، وتأتي نسب الجنس من ملف إحصائيات v27.0. وفي Testifying While Black تقع صفحة المجلة خلف فحص للوصول، لذا قرأنا الأرقام من ملخص للورقة نشره المؤلف الرئيسي؛ ويورد ذلك الملخص رقمين مختلفين لفهم إعادة الصياغة، ولذلك استبعدناهما. ولم نتمكن من التحقق من ادعاء متكرر على نطاق واسع بشأن WER لدى أحد مزودي أدوات التوظيف مع المتحدثين من غير الناطقين الأصليين، فحذفناه.
آخر تحديث: 11 أكتوبر 2026. نحدّث هذا الاستعراض كل ثلاثة أشهر، ومن المتوقع أن يأتي التحديث التالي عندما تنشر Mozilla إصدار Common Voice Scripted Speech v28.0.