عبر 67 دراسة و392 حجم أثر، ترتبط درجات الآلة بأحكام البشر على النطق عند r = .606، وهو أقل من القيم المجمعة للطلاقة أو الإلقاء (Wang وMin، Language Testing 2026). وتروي أرقام المعايير القصة نفسها بدرجة أدق: فأعلى معامل ارتباط بيرسون (PCC) على مستوى الفونيم مذكور لمدونة speechocean762 هو 0.693، ولا يزال أفضل كاشف أخطاء لعام 2026 يفوّت نحو خطأ نطق حقيقي واحد من كل ثلاثة. وتعلن الجهات المنتجة للاختبارات أرقاما أعلى بكثير للاختبارات الكاملة، تصل إلى 0.97، بينما تقع درجات النطق الفرعية لديها دون ذلك بوضوح. وهذه الأرقام تقيس الاتفاق لا المبيعات، ولذلك يقف هذا الاستعراض بمعزل عن إحصائيات تعلم اللغات الأوسع لدينا. جمعنا بيانات من Language Testing ومدونة speechocean762 وتقارير ETS البحثية وتقارير التحقق من Pearson وPLOS One وLanguage Learning واثنتي عشرة ورقة ووثيقة تقنية أخرى.
أبرز النقاط
- معامل الارتباط المجمع بين الآلة والإنسان في النطق: r = .606، مقابل r = .654 عبر جميع مكونات التحدث (Wang وMin، Language Testing 2026).
- أعلى PCC على مستوى الفونيم مذكور في speechocean762: 0.693، ارتفاعا من خط أساس قدره 0.45 في ورقة المدونة (Cao وآخرون، arXiv 2025؛ Zhang وآخرون، 2021).
- الدرجة الفرعية للنطق في Versant English Test: ارتباط 0.88 بين الآلة والإنسان، وهو الأدنى بين درجاتها الفرعية (Pearson، ملخص التحقق من Versant 2022).
- إنسان مقابل إنسان في التحدث بـ TOEFL Junior: r = .89، مقابل r = .81 لإنسان مقابل آلة (ETS، تقرير التقدير الآلي لـ TOEFL Junior 2015).
- معلمان في دراسة صفية واحدة لم يتفقا إلا عند r = 0.583، بينما بلغ زوج آخر r = 0.901 (Chen وSun، PLOS One 2025).
- أفضل F1 مسجل لاكتشاف النطق الخاطئ على L2-ARCTIC في مصادرنا: 71.77% (Geng وآخرون، arXiv 2026).
- القبول الخاطئ لأخطاء النطق الحقيقية في ذلك النظام: 32.76%، مقابل 3.39% رفضا خاطئا للأصوات الصحيحة (Geng وآخرون، arXiv 2026).
- أفضل نتيجة لـ GPT-4o على speechocean762: 0.502 على مستوى العبارة، مقابل 0.782 لـ Azure Pronunciation Assessment (Wang وآخرون، arXiv 2025).
- ارتبط تطبيق استهلاكي واحد بالمعلمين عند r = 0.869 لكنه منح متوسط درجات 92.00 مقابل 86.41 من البشر (Chen وSun، PLOS One 2025).
- نقل كاشف من نموذج عام إلى مجموعة متعلمين مستهدفة رفع ROC-AUC من 0.72 إلى 0.85 (Nijat وآخرون، Applied Sciences 2026).
1. خط الأساس: ما تقوله 67 دراسة عن الاتفاق بين الآلة والإنسان
يمتد معامل بيرسون r من -1 إلى 1، ويقيس ما إذا كانت مجموعتان من الدرجات ترتفعان وتنخفضان معا. القيمة المجمعة للنطق r = .606 قوية بهذا المقياس، لكن تربيعها يكشف حدها: .606 x .606 = .367، أي أن نحو 37% من التباين في الدرجات البشرية مشترك مع الآلة.
ترتيب المكونات هو المفاجأة. يتفوق الإلقاء (في تقييم التحدث: كيف يبدو الكلام عموما لا ما يقوله) على النطق بفارق كبير، فالأنظمة أجود في الانطباع العام منها في المكوّن المحدد الذي يتتبعه هذا الاستعراض. وتأتي القواعد والمفردات في المؤخرة. ووجد التحليل التلوي المنشور في Language Testing أيضا أن دقة التعرف الآلي على الكلام (ASR) لم تكن متغيرا وسيطا ذا دلالة، وهو ما يقوض الافتراض الشائع بأن تحسن أداة التعرف على الكلام يعني تلقائيا نظام تقدير أفضل.
| المقياس | القيمة | المصدر |
|---|---|---|
| حجم التحليل التلوي ومعامل الارتباط المجمع العام بين الآلة والإنسان | 67 دراسة، 392 حجم أثر، r = .654 (p < .001) | Wang وMin، Language Testing 2026 |
| الارتباط المجمع للإلقاء مقابل الارتباط المجمع للنطق | r = .784 مقابل r = .606 | Wang وMin، Language Testing 2026 |
| الارتباط المجمع للكفاءة الشفهية العامة مقابل الارتباط المجمع للطلاقة | r = .686 مقابل r = .618 | Wang وMin، Language Testing 2026 |
| الارتباط المجمع للمحتوى مقابل الارتباط المجمع للقواعد والمفردات | r = .574 مقابل r = .499 | Wang وMin، Language Testing 2026 |
| المتغيرات الوسيطة ذات الأثر الدال مقابل التي لا أثر دالا لها | 10 دالة (منها الفئة العمرية وخبرة المقيّم والاتساق بين المقيّمين) مقابل 4 غير دالة (منها دقة ASR) | Wang وMin، Language Testing 2026 |
| نطاق ارتباط بيرسون الذي تصفه إحدى الجهات المنتجة بأنه اتفاق «مرتفع» مع المحكّمين البشر | من 0.5 إلى 1.0 | Microsoft، مذكرة الشفافية لـ Pronunciation Assessment 2026 (إرشاد الجهة المنتجة نفسها) |
ملاحظة سياقية: على مقياس Microsoft نفسه، يقترب حتى أضعف مكوّن في التحليل التلوي من مستوى «مرتفع». وهذه التسميات لا تقول الكثير عن مدى إمكانية الوثوق بدرجة متعلم واحد. فلو استُخدم إرشاد Microsoft كحد للنجاح لاجتاز تقريبا كل رقم مجمع في الجدول أعلاه.
2. السقف البشري: مدى اتفاق المقيّمين مع بعضهم
لا يمكن قياس الآلة على معيار مثالي، لأن المرجع البشري نفسه مشوش. تراوحت أزواج المعلمين المدرَّبين في دراسة واحدة من عام 2025 بين r = 0.901 وr = 0.583، وهذه القيمة الدنيا أقل من الارتباط المجمع للنطق لدى الآلات في القسم 1. وكانت العينة 30 طالبا فقط، وكانت المهمة الكفاءة الشفهية العامة، ولذلك فهي توضح مدى التباين ولا تثبت أن الآلات تتفوق على المعلمين.
اتفق الأخصائيون السريريون في الدراسة العربية أدناه فيما بينهم بدرجة أقرب بكثير من المعلمين، وإن كانت اللغة والمهمة مختلفتين، والمتوسط يساعد: فتنتقل دراسة PLOS One من 0.713 لمقيّم واحد إلى 0.882 لمتوسط ثلاثة. ويمثل ICC، أي معامل الارتباط داخل الفئة، مقياسا مختلفا عن r لبيرسون: ففي صيغة الاتفاق المطلق يعاقب المقيّمين أيضا على كونهم أشد صرامة أو أكثر تساهلا بوجه عام. وأنفع مقارنة هي دراسة ETS عن TOEFL Junior، التي تعرض الرقمين على البيانات نفسها. والفجوة بينهما هي المقياس الصادق لما ما زال ينقص الأتمتة. وتمتد مشكلة حكم المستمع نفسها إلى درجات جودة الكلام الاصطناعي.
| المقياس | القيمة | المصدر |
|---|---|---|
| التحدث في TOEFL Junior على مستوى النموذج الكامل، خمس إجابات: ارتباط إنسان مقابل إنسان مقارنة بارتباط إنسان مقابل آلة | r = .89 مقابل r = .81 | ETS، تقرير التقدير الآلي لـ TOEFL Junior 2015 (أحدث بيانات متاحة) |
| ثلاثة أخصائيين في أمراض النطق واللغة يقيّمون النطق العربي: نطاق PCC الثنائي | من 0.858 إلى 0.927 | Azad وآخرون، Harf-Speech، arXiv 2026 |
| الأخصائيون السريريون الثلاثة أنفسهم: نطاق ICC(2,1) الثنائي | من 0.846 إلى 0.922 | Azad وآخرون، Harf-Speech، arXiv 2026 |
| ثلاثة معلمين للإنجليزية يقيّمون الكفاءة الشفهية: اتفاق مقيّم واحد، ICC(2,1) | 0.713 (فاصل ثقة 95%: من 0.539 إلى 0.835) | Chen وSun، PLOS One 2025 |
| المعلمون الثلاثة أنفسهم: اتفاق الدرجة المتوسطة، ICC(2,k) | 0.882 (فاصل ثقة 95%: من 0.778 إلى 0.938) | Chen وSun، PLOS One 2025 |
| المعلمون الثلاثة أنفسهم: أقوى زوج مقابل أضعف زوج | r = 0.901 مقابل r = 0.583 | Chen وSun، PLOS One 2025 |
| انخفاض تأثير متغيرات المستمع غير المرتبطة بالسمة بعد تدريب المقيّمين: تقييمات الكفاءة الشفهية الكلية مقابل تقييمات القابلية للفهم | 75% مقابل 50% | Dalman وKang، IntechOpen 2019، تلخيصا لـ Kang وآخرين 2019 (أحدث بيانات متاحة) |
| إحصاء الاتفاق المنشور للمعلّقين الخبراء الخمسة في speechocean762 | لم يُبلَّغ عن أي إحصاء | Zhang وآخرون، ورقة speechocean762 2021 |
ملاحظة عن القيم الشاذة: الصف الأخير أهم مما يبدو. فالمعيار العام الرئيسي في هذا المجال لا ينشر أي ارتباط أو كابا بين المعلّقين، ولذلك لا يستطيع قارئ ورقته أن يقول مدى قرب 0.693 من السقف البشري.
3. الاختبارات عالية المخاطر: أرقام الجهات المنتجة وفجوة النطق داخلها
تبدو أرقام الاختبارات الكاملة شبه مثالية، والنطق هو الموضع الذي تتوقف فيه عن ذلك. في بيانات Versant الخاصة بـ Pearson، يمثل النطق أضعف درجة فرعية عند 0.88 بينما تبلغ الدرجة الإجمالية 0.97. والانخفاض متسق عبر وثائق Pearson: 0.81 في عرض عن PTE Academic، و0.85 لأسلوب التحدث، وهي فئة Versant التي تحتوي النطق.
هذه الأرقام أعلى بكثير من القيمة المجمعة r = .606 في القسم 1. ويعود جزء من الفرق إلى المعاينة: فدرجات الاختبار تجمع بنودا كثيرة، وعينات التحقق كثيرا ما تغطي نطاقا واسعا من القدرات (يضم تقرير Versant Speaking and Listening 26 متحدثا من الناطقين بالإنجليزية لغة أولى (L1) ضمن 260 بالغا)، والنطاقات الواسعة ترفع الارتباطات. كما يدرج التحليل التلوي مطوّر النظام ووحدة العينة ضمن متغيراته الوسيطة ذات الدلالة. اقرأ أرقام الجهات المنتجة بوصفها حدودا عليا من ظروف مواتية. ولمعرفة وزن هذه الاختبارات، راجع إحصائيات حجم اختبارات الإنجليزية لدينا.
| المقياس | القيمة | المصدر |
|---|---|---|
| Versant English Test، الارتباط بين الآلة والإنسان حسب الدرجة، n = 143 | الإجمالي 0.97، إتقان الجمل 0.97، المفردات 0.96، الطلاقة 0.94، النطق 0.88 | Pearson، ملخص التحقق من Versant 2022 (ادعاء الجهة المنتجة نفسها، أحدث بيانات متاحة) |
| ثبات التجزئة النصفية لدرجة النطق في Versant English Test: التقدير الآلي مقابل التقدير البشري، n = 143 | 0.97 مقابل 0.99 | Pearson، ملخص التحقق من Versant 2022 (ادعاء الجهة المنتجة نفسها) |
| ارتباط درجات Versant باختبارات خارجية، n = 130 لكل منهما: التحدث في TOEFL iBT مقابل التحدث في IELTS | 0.75 مقابل 0.76 | Pearson، ملخص التحقق من Versant 2022 (ادعاء الجهة المنتجة نفسها) |
| Versant English Speaking and Listening Test، الارتباط بين الآلة والإنسان، n = 260 | الإجمالي .96، التحدث .88، أسلوب التحدث .85 | Pearson، تقرير التحقق من Versant Speaking and Listening 2024 (ادعاء الجهة المنتجة نفسها) |
| التحدث في PTE Academic، الارتباط بين الآلة والإنسان حسب السمة، N = 158 | النطق 0.81، الطلاقة 0.82، الإجمالي 0.96 | Pearson، عرض MELTA عن التقدير الآلي 2018 (ادعاء الجهة المنتجة نفسها، أحدث بيانات متاحة) |
| الجدول الزمني لـ ETS SpeechRater: سنة أول نشر للخدمة مقابل سنة دخول الإصدار 5.0 حيز التشغيل | 2006 مقابل 2016 | Chen وآخرون، تقرير ETS البحثي 2018 |
ملاحظة سياقية: ثبات التجزئة النصفية يبين مدى اتساق المقدّر مع نفسه عبر نصفي الاختبار. ويمكن للآلة أن تبلغ 0.97 في هذا المقياس وتظل مختلفة مع البشر، وهذا هو النمط بعينه في صفوف النطق في Versant.
4. معيار speechocean762: التقدم حسب مستوى التفصيل
يضم speechocean762 5,000 عبارة منطوقة بالإنجليزية من 250 متحدثا من غير الناطقين بها، نصفهم من الأطفال، وقد قيّم كل عبارة خمسة خبراء. وتتوافر درجاته على ثلاثة مستويات: الفونيم (phone، أي صوت كلامي منفرد لا جهاز هاتف)، والكلمة، والعبارة. والمقاييس هي PCC حيث الأعلى أفضل، وMSE (متوسط مربع الخطأ) حيث الأدنى أفضل. أما GOP، أي Goodness of Pronunciation (جودة النطق)، فهو الدرجة الإحصائية الكلاسيكية التي تحاول النماذج الأحدث التفوق عليها.
ارتفع PCC على مستوى الفونيم من 0.45 إلى 0.693 بين خط الأساس لعام 2021 ونموذج عام 2023، ولا تزال ورقة منقحة في 5 فبراير 2026 تذكر 0.693 بوصفه أعلى رقم معروف. ويتراجع الاتفاق كلما صغرت الوحدة: فتبلغ درجات العبارة نطاق 0.80 بينما تبقى درجات الفونيم والكلمة في نطاق 0.60. فالمتوسط على مستوى الجملة يخفي الأخطاء، ولذلك قد تكون الدرجة الإجمالية للمتعلم جديرة بالثقة بينما لا تكون الملاحظات عن صوت منفرد كذلك. وتلاحظ ورقة المدونة أيضا أن معظم درجات الفونيم، حين تُحوَّل إلى مقياس من 0 إلى 10، تقع بين 8 و10، فتهيمن الأصوات الصحيحة على البيانات.
| المقياس | القيمة | المصدر |
|---|---|---|
| خط الأساس الأصلي على مستوى الفونيم: قيمة GOP الخام مقابل ميزات قائمة على GOP | MSE 0.69 وPCC 0.25 مقابل MSE 0.16 وPCC 0.45 | Zhang وآخرون، ورقة speechocean762 2021 |
| نموذج GOPT المحوّل (Transformer)، على مستوى الفونيم | MSE 0.085 ± 0.001، PCC 0.612 ± 0.003 | Gong وآخرون، GOPT، ICASSP 2022 |
| أعلى PCC على مستوى الفونيم مذكور لـ speechocean762 | 0.693 | Chao وآخرون، Interspeech 2023، كما ورد في Cao وآخرون، arXiv 2025 |
| ميزات GOP بلا تجزئة مغذاة إلى GOPT، على مستوى الفونيم | PCC 0.648 ± 0.002 | Cao وآخرون، arXiv 2025 |
| PCC الكلي على مستوى الكلمة مقابل PCC الكلي على مستوى العبارة، GOPT | 0.549 مقابل 0.742 | Gong وآخرون، GOPT، ICASSP 2022 |
| PCC الكلي على مستوى الكلمة مقابل PCC الكلي على مستوى العبارة، نموذج 3MH | 0.694 مقابل 0.811 | Wang وآخرون، دراسة GPT-4o للنطق، arXiv 2025 |
| نموذج HMamba على مستوى العبارة: PCC للدقة والطلاقة والعروض | 0.807 و0.848 و0.843 | Sara وChowdhury، arXiv 2026 |
| الارتباط المجمع بين الآلة والإنسان حسب جيل التقنية: التعلم الآلي التقليدي، التعلم العميق، النماذج المحوّلة (Transformer) | r = .597، r = .641، r = .680 | Wang وMin، Language Testing 2026 |
ملاحظة عن القيم الشاذة: نموذج 3MH نفسه لا يبلغ سوى 0.361 للنبر على مستوى الكلمة و0.374 لاكتمال العبارة (Wang وآخرون، arXiv 2025). وهاتان أصعب التسميتين في المعيار.
5. اكتشاف أخطاء الفونيمات: الضبط والاستدعاء والثلث الفائت
يسأل التقدير عن مدى جودة الصوت. أما اكتشاف النطق الخاطئ فيطرح سؤال نعم أو لا لكل فونيم، ويعلن F1، وهو درجة واحدة توازن بين الضبط (precision: كم من التنبيهات كان صحيحا) والاستدعاء (recall: كم من الأخطاء الحقيقية جرى اصطيادها). أعلى نتيجة على L2-ARCTIC في مصادرنا هي F1 بقيمة 71.77%، من ورقة أولية لعام 2026، أي أعلى بـ 8.73 نقطة (71.77 - 63.04) من أفضل خط أساس في مقارنة عام 2025.
يعكس الفصل بين نوعي الخطأ أولوية تصميمية. فالقبول الخاطئ يعني أن صوتا خاطئا يمر على أنه صحيح، والرفض الخاطئ يعني أن صوتا صحيحا يُنبَّه إليه. والرقمان متممان للاستدعاء: 100 - 67.24 = 32.76، أي أن خطأ حقيقيا واحدا من كل ثلاثة يمر دون تنبيه. وتصف ورقة 2025 الرفض الخاطئ بأنه أهم مقياس لأن تصحيح المتعلمين خطأً يحبطهم، وتنسجم النتائج مع هذه الأولوية: يرى المتعلم إنذارات كاذبة قليلة بينما تمر أخطاء حقيقية كثيرة دون تنبيه.
| المقياس | القيمة | المصدر |
|---|---|---|
| معيار L2-ARCTIC: إجمالي المتحدثين مقابل المتحدثين في مجموعة الاختبار | 24 مقابل 6 | Tu وآخرون، PER-MDD، arXiv 2025 |
| مكسب F1 لكاشف مبكر من طرف إلى طرف على طريقة GOP مقابل مكسبه على خط أساس من طرف إلى طرف | 27.71% مقابل 11.05% | Yan وآخرون، Interspeech 2020 |
| F1 على L2-ARCTIC: أفضل خط أساس سابق (Joint-Align) مقابل نظام استرجاع لا يحتاج إلى تدريب (PER-MDD) | 63.04% مقابل 69.60% | Tu وآخرون، PER-MDD، arXiv 2025 |
| L2-ARCTIC، نظام CROTTC-IF: F1 والضبط والاستدعاء | 71.77% و76.94% و67.24% | Geng وآخرون، CROTTC-IF، arXiv 2026 |
| L2-ARCTIC، نظام CROTTC-IF: الرفض الخاطئ مقابل القبول الخاطئ | 3.39% مقابل 32.76% | Geng وآخرون، CROTTC-IF، arXiv 2026 |
| معدل خطأ الفونيم على L2-ARCTIC: CROTTC-IF مقابل نموذجه الصوتي وحده مقابل PER-MDD | 46.52 مقابل 17.48 مقابل 104.08 | Geng وآخرون، CROTTC-IF، arXiv 2026 |
| F1 للاكتشاف على speechocean762: CROTTC-IF مقابل HMamba مقابل MuFFIN | 57.16% مقابل 63.85% مقابل 67.98% | Geng وآخرون، arXiv 2026؛ Chao وChen، HMamba، arXiv 2025 |
ملاحظة عن القيم الشاذة: معدلات أخطاء الفونيم التي تزيد على 100 ليست خطأ مطبعيا. يعزوها المؤلفون إلى الفونيمات المدرجة، وهي تبين أن النظام قد يكتشف الأخطاء جيدا بينما ينسخ النص بشكل ضعيف. وتبدو النتائج العربية مشابهة: فلوحة صدارة Iqra’Eval2 في الورقة نفسها لعام 2026 تبلغ حدها الأعلى عند F1 بقيمة 72.01%.
6. الواجهات التجارية والتطبيقات الاستهلاكية وروبوتات الدردشة
الفجوة بين الخدمات أكبر من الفجوة بين النماذج البحثية. وضع اختبار عام 2025 على speechocean762 خدمة Azure Pronunciation Assessment عند 0.782 على مستوى العبارة. وبلغ أفضل إعداد لـ GPT-4o نسبة 0.502، وعلى مستوى الفونيم بلغ 0.249 فقط. تستطيع النماذج متعددة الوسائط العامة أن تستمع، لكنها بحسب هذه الأدلة لا تستطيع بعد الحكم على صوت منفرد.
الاختبارات خارج مختبرات الجهات المنتجة أقل إطراء للأدوات التجارية. فقد وجدت دراسة Won لعام 2025 على 190 تسجيلا للقراءة بصوت عال لمتعلمين كوريين في المرحلة الابتدائية ارتباطات متوسطة بين درجات الفونيم في Azure وأحكام البشر، بينما ارتبطت معدلات أخطاء الكلمات لأدق الأنظمة، القريبة من الصفر، ارتباطا ضعيفا فقط بتقييمات البشر. فأداة التعرف التي تفهم الجميع لم تعد بديلا مفيدا للنطق. ويبين صف SmartSpeech أدناه نقطة ثانية: يمكن لأداة أن ترتبط ارتباطا قويا بالبشر وأن تضخم مع ذلك متوسط الدرجة بأكثر من خمس نقاط.
| المقياس | القيمة | المصدر |
|---|---|---|
| تصريح الجهة المنتجة عن الاتفاق مع المحكّمين البشر | ارتباط بيرسون فوق 0.5 | Microsoft، مذكرة الشفافية لـ Pronunciation Assessment 2026 (ادعاء الجهة المنتجة نفسها) |
| Azure Pronunciation Assessment على speechocean762: PCC لدقة الكلمة مقابل PCC الكلي للعبارة | 0.623 مقابل 0.782 | Wang وآخرون، دراسة GPT-4o للنطق، arXiv 2025 |
| أفضل نتيجة لـ GPT-4o على speechocean762: PCC للفونيم والكلي للكلمة والكلي للعبارة | 0.249 و0.277 و0.502 | Wang وآخرون، دراسة GPT-4o للنطق، arXiv 2025 |
| كلام عربي قيّمه أخصائيون سريريون، 40 عينة: PCC مع متوسط درجة الأخصائيين، Harf-Speech مقابل Azure | 0.791 مقابل 0.635 | Azad وآخرون، Harf-Speech، arXiv 2026 |
| الاختبار العربي نفسه: RMSE على مقياس من 0 إلى 5، Harf-Speech مقابل Azure | 1.05 مقابل 1.28 | Azad وآخرون، Harf-Speech، arXiv 2026 |
| ثلاثة تطبيقات تحدث بالذكاء الاصطناعي مقابل متوسط المقيّمين البشر، 30 طالبا: AI Speaking Master وTalkAI Language Practice وSmartSpeech AI Assessment | r = 0.854 و0.873 و0.869 | Chen وSun، PLOS One 2025 |
| متوسط درجات SmartSpeech مقابل متوسط الدرجات البشرية | 92.00 مقابل 86.41، الفرق 5.589 (فاصل ثقة 95%: من 5.023 إلى 6.155)، Cohen’s d = 3.688 | Chen وSun، PLOS One 2025 |
| مقدّر النطق في Duolingo: ارتباط سبيرمان مع تقييمات الخبراء البشر | 0.82 | مدونة Duolingo English Test عن Cai وآخرين 2025 (ملخص الجهة المنتجة نفسها) |
ملاحظة سياقية: أرقام Harf-Speech مأخوذة من ورقة أولية كتبها مؤلفو النظام أنفسهم، فتعامل مع تفوقه على Azure بحذر. وتصف Duolingo القيمة 0.82 بأنها تكاد تطابق الاتفاق بين المقيّمين البشر، لكن منشور المدونة لا يطبع الرقم البشري.
7. النقل والإنصاف: ما يحدث خارج المعيار
كثير من أدلة المعيار أعلاه يأتي من مدونة واحدة لمتعلمين ناطقين بالماندرين، ولا ينتقل بسلاسة. النظام نفسه الذي سجل 0.661 للدقة على speechocean762 هبط إلى 0.506 على L2-ARCTIC، وهي مدونة بمتحدثين من لغات أم متعددة، وإعادة التدريب على البيانات الجديدة رفعته إلى 0.527 فقط. والتكيف مع المجموعة المستهدفة أنفع للاكتشاف: فقد رفعت دراسة واحدة عام 2026 ROC-AUC من 0.72 إلى 0.85 بالضبط الدقيق على المتعلمين أنفسهم. ويقيس ROC-AUC مدى قدرة النظام على الفصل بين الصحيح والخاطئ عبر جميع العتبات، حيث 0.5 هو الصدفة.
نتائج التحيز في معظمها اتجاهية، إذ تنشر أوراق قليلة الفجوات على مستوى المجموعات. ومع ذلك فإن دراسة ETS عن المختبرين ذوي اضطرابات النطق وورقة Duolingo في Language Learning وجدتا مشكلات قابلة للقياس، بما في ذلك في أنظمة تقدير بنتها مؤسسات اختبار كبيرة. وللطبقة الأدنى من التعرف فجواتها الخاصة، وقد غطيناها في إحصائيات التحيز تجاه اللهجات، ويحتاج الأطفال أدلتهم الخاصة كما تبين إحصائيات التعرف على كلام الأطفال.
| المقياس | القيمة | المصدر |
|---|---|---|
| PCC للدقة لنموذج تقدير واحد مدرَّب على speechocean762: مُختبَر على speechocean762 مقابل مُختبَر على L2-ARCTIC | 0.661 مقابل 0.506 | Sara وChowdhury، arXiv 2026 |
| النموذج نفسه على L2-ARCTIC بعد إعادة التدريب على بيانات L2-ARCTIC | 0.527 | Sara وChowdhury، arXiv 2026 |
| ROC-AUC لاكتشاف النطق الخاطئ: النموذج قبل الضبط الدقيق على متعلمين غير ناطقين بالإنجليزية مقابل بعده | 0.72 مقابل 0.85 | Nijat وآخرون، Applied Sciences 2026 |
| F1 للاكتشاف على مدونة ERJ: دون بيانات متعلمين (zero-shot) مقابل بعد الضبط الدقيق | 78.44% مقابل 89.27% | Geng وآخرون، CROTTC-IF، arXiv 2026 |
| كلام الأطفال (CMU Kids)، أخطاء حقيقية، AUC: GOP-DNN-Avg الأقدم مقابل GOP-CTC-SF-SD بلا تجزئة | 0.796 مقابل 0.914 | Cao وآخرون، arXiv 2025 |
| GOP-CTC-SF-SD على كلام الأطفال: أخطاء محاكاة مقابل أخطاء حقيقية، AUC | 0.986 مقابل 0.914 | Cao وآخرون، arXiv 2025 |
| مختبرون ذوو اضطرابات في النطق أو السمع، ست مهام تحدث في TOEFL iBT | مالت درجات SpeechRater إلى أن تكون أعلى من الدرجات البشرية | Loukina وBuzick، تقرير ETS البحثي 2017 (أحدث بيانات متاحة) |
| مصادر التحيز المبلَّغ عنها في مقدّر نطق حديث | جودة الصوت ومجموعات الأسر اللغوية | Cai وآخرون، Language Learning 2025 |
ملاحظة سياقية: تسميات التقدير في L2-ARCTIC في الصفين الأولين هي تسميات زائفة من Azure مع مراجعة خبراء لـ 10 متحدثين، ولذلك فإن قيم PCC هذه تقيس الاتفاق مع آلة أخرى بقدر ما تقيسه مع البشر. وتنصح Microsoft كذلك بصوت بتردد 16 kHz أو أعلى ومتحدث واحد لخدمتها.
الخلاصة: دقة تقييم النطق بالذكاء الاصطناعي بالأرقام
| المقياس | القيمة | المصدر |
|---|---|---|
| الارتباط المجمع بين الآلة والإنسان: النطق مقابل جميع مكونات التحدث | r = .606 مقابل r = .654 | Wang وMin، Language Testing 2026 |
| التحدث في TOEFL Junior: إنسان مقابل إنسان مقارنة بإنسان مقابل آلة | r = .89 مقابل r = .81 | ETS، تقرير التقدير الآلي لـ TOEFL Junior 2015 |
| ثلاثة أخصائيين في أمراض النطق واللغة: نطاق PCC الثنائي | من 0.858 إلى 0.927 | Azad وآخرون، Harf-Speech، arXiv 2026 |
| ثلاثة معلمين للإنجليزية: أقوى زوج مقابل أضعف زوج | r = 0.901 مقابل r = 0.583 | Chen وSun، PLOS One 2025 |
| Versant English Test: الارتباط بين الآلة والإنسان، الإجمالي مقابل النطق | 0.97 مقابل 0.88 | Pearson، ملخص التحقق من Versant 2022 (ادعاء الجهة المنتجة نفسها) |
| التحدث في PTE Academic: الارتباط بين الآلة والإنسان للنطق، N = 158 | 0.81 | Pearson، عرض MELTA 2018 (ادعاء الجهة المنتجة نفسها) |
| PCC لخط الأساس على مستوى الفونيم في speechocean762 | 0.45 | Zhang وآخرون، ورقة speechocean762 2021 |
| PCC لنموذج GOPT على مستوى الفونيم | 0.612 | Gong وآخرون، GOPT، ICASSP 2022 |
| أعلى PCC على مستوى الفونيم مذكور في speechocean762 | 0.693 | Chao وآخرون، Interspeech 2023، كما ورد في Cao وآخرون، arXiv 2025 |
| PCC الكلي على مستوى العبارة لنموذج 3MH | 0.811 | Wang وآخرون، دراسة GPT-4o للنطق، arXiv 2025 |
| أعلى F1 للاكتشاف على L2-ARCTIC في مصادرنا | 71.77% | Geng وآخرون، CROTTC-IF، arXiv 2026 |
| الرفض الخاطئ مقابل القبول الخاطئ في ذلك النظام | 3.39% مقابل 32.76% | Geng وآخرون، CROTTC-IF، arXiv 2026 |
| PCC على مستوى العبارة في speechocean762: Azure مقابل أفضل إعداد لـ GPT-4o | 0.782 مقابل 0.502 | Wang وآخرون، دراسة GPT-4o للنطق، arXiv 2025 |
| الاختبار العربي: PCC مع متوسط درجة الأخصائيين، Harf-Speech مقابل Azure | 0.791 مقابل 0.635 | Azad وآخرون، Harf-Speech، arXiv 2026 |
| متوسط درجات SmartSpeech مقابل متوسط الدرجات البشرية | 92.00 مقابل 86.41 | Chen وSun، PLOS One 2025 |
| ROC-AUC قبل الضبط الدقيق على المتعلمين المستهدفين مقابل بعده | 0.72 مقابل 0.85 | Nijat وآخرون، Applied Sciences 2026 |
المنهجية والمصادر
قرأنا كل دراسة أو تقرير أو وثيقة تقنية مباشرة، واحتفظنا بترميز كل مصدر كما هو، بما في ذلك قيم r المكتوبة دون صفر بادئ. والأوراق الأولية موسومة بـ arXiv وقد لا تكون خضعت بالضرورة لمراجعة الأقران.
- Wang وMin، The human-machine correlation in automated speech evaluation: A three-level meta-analysis، Language Testing، 2026.
- Zhang وآخرون، speechocean762: An Open-Source Non-native English Speech Corpus For Pronunciation Assessment، 2021.
- Gong وآخرون، Transformer-Based Multi-Aspect Multi-Granularity Non-Native English Speaker Pronunciation Assessment، ICASSP 2022.
- Chao وآخرون، A Hierarchical Context-aware Modeling Approach for Multi-aspect and Multi-granular Pronunciation Assessment، Interspeech 2023.
- Cao وآخرون، Segmentation-free Goodness of Pronunciation، arXiv 2025، نُقحت في 5 فبراير 2026.
- Sara وChowdhury، Light-weight Pronunciation Assessment via Discrete Speech Token Surprisal، arXiv 2026.
- Wang وآخرون، Exploring the Potential of Large Multimodal Models as Effective Alternatives for Pronunciation Assessment، arXiv 2025.
- Chao وChen، ورقة HMamba، arXiv 2025.
- Tu وآخرون، Mispronunciation Detection and Diagnosis Without Model Training، arXiv 2025.
- Geng وآخرون، Beyond Acoustic Sparsity and Linguistic Bias، arXiv 2026.
- Yan وآخرون، An End-to-End Mispronunciation Detection System for L2 English Speech، Interspeech 2020.
- Azad وآخرون، Harf-Speech: A Clinically Aligned Framework for Arabic Phoneme-Level Speech Assessment، arXiv 2026.
- Chen وSun، Evaluating automated evaluation systems for spoken English proficiency، PLOS One، 2025.
- Won، Assessing the efficacy of word error rate as a proxy for pronunciation quality، Journal of Second Language Pronunciation، 2025.
- Nijat وآخرون، Beyond Native Norms: A Perceptually Grounded and Fair Framework for Automatic Speech Assessment، Applied Sciences، 2026.
- Cai وآخرون، Developing an Automatic Pronunciation Scorer، Language Learning، 2025، مع ملخص مدونة Duolingo English Test.
- Pearson، Versant English Test Description and Validation Summary، 2022.
- Pearson، تقرير التحقق من Versant English Speaking and Listening Test، 2024.
- Pearson، عرض MELTA عن التقدير الآلي، 2018.
- ETS، Automated Scoring for the TOEFL Junior Comprehensive Writing and Speaking Test، 2015.
- Loukina وBuzick، Use of Automated Scoring in Spoken Language Assessments for Test Takers With Speech Impairments، تقرير ETS البحثي، 2017.
- Chen وآخرون، Automated Scoring of Nonnative Speech Using the SpeechRater v. 5.0 Engine، تقرير ETS البحثي، 2018.
- Microsoft، Characteristics and limitations of Pronunciation Assessment، 2026.
- Dalman وKang، Listener Background in L2 Speech Evaluation، IntechOpen، 2019.
- ملاحظة حول البيانات: أحدث البيانات المتاحة: ETS لعامي 2015 و2017، وPearson لعامي 2018 و2022، وDalman وKang لعام 2019، إذ لم نجد مكافئات عامة أحدث، ولا تنشر ETS أرقام اتفاق تشغيلية لـ TOEFL iBT في الوثائق التي استطعنا قراءتها. والمعايير غير قابلة للمقارنة المباشرة بين الأوراق لأن بيانات التدريب وطرائق التقسيم والتسميات الزائفة تختلف، ورقم 0.693 القياسي هو ما يذكره Cao وآخرون بحسب علمهم: استطعنا قراءة ملخص HMamba لكن لا جدوله على مستوى الفونيم، لذلك قد يوجد رقم أحدث على مستوى الفونيم. وCROTTC-IF ليس أفضل كاشف على speechocean762، حيث يتصدر MuFFIN بنسبة 67.98% في الجدول نفسه. وأرقام الجهات المنتجة مأخوذة من عينات التحقق الخاصة بها. ولم نجد معامل كابا لكوهين (Cohen’s kappa) صالحا للاستخدام للنطق في المصادر التي قرأناها، وهي تفضل PCC وICC، وأرقام Wang وMin وLoukina وBuzick مأخوذة من الملخصات المنشورة. وعينة Chen وSun هي 30 طالبا، وتستخدم Harf-Speech 40 عينة، فكلاهما صغير.
آخر تحديث: 31 أكتوبر 2026. نحدّث هذا الاستعراض كل ثلاثة أشهر، ومن المتوقع أن يأتي التحديث التالي حين ينشر أرشيف ISCA وقائع Interspeech القادمة.