سجل نموذج لتحسين الكلام بُني عمدا لاستغلال PESQ الدرجة 3.82 على مجموعة اختبار VoiceBank-DEMAND، أي أعلى من 3.69 التي يعلنها أفضل نظام مشروع في هذا الاستعراض، بينما انهارت درجته في POLQA إلى 1.46 مقابل 3.11 للمدخل المشوش غير المعالج (de Oliveira وآخرون، ورقة PESQetarian، Interspeech 2024). والسباق المشروع حقيقي أيضا: فقد ارتفع PESQ على المعيار نفسه من 2.16 لـ SEGAN في عام 2017 إلى 3.61 لـ PrimeK-Net في عام 2025. ومع ذلك فإن STOI، مقياس وضوح الكلام الذي يُطبع عادة إلى جانب PESQ، بلغ متوسط ارتباطه 0.62 فقط مع وضوح الكلام المقيس عبر 13 مجموعة بيانات استماع (Edraki وآخرون، IEEE/ACM TASLP 2020). جمعنا البيانات من ITU-T، والأوراق المحكّمة في مؤتمرات Interspeech وICASSP وIEEE SLT وWASPAA، ومجلة IEEE/ACM Transactions on Audio, Speech, and Language Processing، وتحدي إزالة الضوضاء العميقة (DNS) من Microsoft، وتقارير تحديي URGENT وCCF AATC. وللاطلاع على جانبي زمن الاستجابة والمنتج لهذه النماذج نفسها، راجع إحصائيات زمن استجابة كتم الضوضاء العصبي؛ أما هذه الصفحة فتتناول الدرجات نفسها ومدى الوثوق بها.
أبرز النقاط
- ارتفع PESQ على VoiceBank-DEMAND من 2.16 (SEGAN، 2017) إلى 3.41 (CMGAN، 2022) (Cao وآخرون، ورقة CMGAN، Interspeech 2022).
- بلغ SEMamba درجة PESQ قدرها 3.55، و3.69 مع إضافة التمديد الإدراكي للتباين (Chao وآخرون، IEEE SLT 2024).
- أعلن PrimeK-Net عن PESQ قدره 3.61 بعدد 1.41M معلمة فقط (ورقة PrimeK-Net، ICASSP 2025).
- حقق PESQetarian درجة PESQ قدرها 3.82 مع SI-SDR قدره -19.8 dB، مقابل 8.4 dB للمدخل المشوش (de Oliveira وآخرون، Interspeech 2024).
- بلغ متوسط ارتباط بيرسون بين STOI ووضوح الكلام المقيس 0.62 عبر 13 مجموعة بيانات، و0.88 لـ eSTOI (Edraki وآخرون، IEEE/ACM TASLP 2020).
- انخفض ارتباط DNSMOS P.835 بجودة الكلام من 0.94 لكل نموذج إلى 0.71 لكل مقطع (Reddy وآخرون، Microsoft، ورقة DNSMOS P.835 لعام 2021).
- بلغت فجوة التعميم في ESTOI لنموذج Conv-TasNet على مدونة كلام لم يرها -68% مقارنة بنموذج مرجعي مطابق (Gonzalez وآخرون، IEEE/ACM TASLP 2023).
- انخفض PESQ لـ ROSE-CD من 3.49 داخل النطاق إلى 2.62 خارج النطاق (Xu وآخرون، WASPAA 2025).
- أظهرت المقاييس الخالية من المرجع ارتباط رتب قدره -0.8 مع MOS المستمعين للأنظمة الهجينة (Zhang وآخرون، استعراض CCF AATC 2025).
- ألغت ITU-T المعيار PESQ (P.862) في 5 يناير 2024 (صفحة التوصية ITU-T P.862).
1. سباق PESQ على VoiceBank-DEMAND، من 2017 إلى 2025
يقارن PESQ (التقييم الإدراكي لجودة الكلام) تسجيلا محسّنا بأصله النظيف ويتنبأ بالدرجة التي سيمنحها مستمع. وأصبح VoiceBank-DEMAND، وهو مجموعة اختبار إنجليزية صغيرة من جمل مقروءة ممزوجة بضوضاء يومية مسجلة، المكان الافتراضي للإبلاغ عنه. ارتفع PESQ من 2.16 لـ SEGAN في عام 2017 إلى 3.69 لـ SEMamba مع التمديد الإدراكي للتباين في عام 2024، وإيقاع هذا الارتفاع يروي قصة بحد ذاته.
فمن SEGAN (2.16) إلى MetricGAN+ (3.15) أضاف المجال 0.99 نقطة PESQ في أربع سنوات. ومن CMGAN (3.41، 2022) إلى PrimeK-Net (3.61، 2025) أضاف 0.20 في ثلاث سنوات (من حسابنا بطرح الأرقام المنشورة). والمعيار قريب من التشبع، لذا فإن المكاسب المتبقية صغيرة إلى حد يمكّن التقنيات الإضافية والتدريب الواعي بالمقياس من حسم ترتيب لوحة الصدارة (انظر القسم 5). المصادر: ورقة CMGAN، ورقة SEMamba، ورقة PrimeK-Net.
| المقياس | القيمة | المصدر |
|---|---|---|
| PESQ: مجموعة الاختبار المشوشة غير المعالجة مقابل SEGAN، وهو محسّن قائم على شبكات GAN (2017) | 1.97 مقابل 2.16 | Cao وآخرون، ورقة CMGAN، Interspeech 2022 |
| PESQ لـ MetricGAN+ (2021) ومكسبه مقارنة بـ MetricGAN | 3.15؛ نحو +0.3 | ورقة MetricGAN+، Interspeech 2021 |
| PESQ لـ CMGAN (2022) | 3.41 | Cao وآخرون، ورقة CMGAN، Interspeech 2022 |
| PESQ لـ MP-SENet، إزالة الضوضاء المتوازية للمقدار والطور (2023) | 3.50 | ورقة MP-SENet، Interspeech 2023 |
| PESQ لـ SEMamba غير السببي: بدون التمديد الإدراكي للتباين مقابل معه | 3.55 مقابل 3.69 | Chao وآخرون، ورقة SEMamba، IEEE SLT 2024 |
| PESQ لـ PrimeK-Net (2025) وحجم النموذج | 3.61؛ 1.41M معلمة | ورقة PrimeK-Net، ICASSP 2025 |
ملاحظة سياقية: هذه الأرقام هي ما أعلنته كل ورقة بنفسها على مجموعة الاختبار العامة نفسها، وليست نتائج إعادة تشغيل مستقلة واحدة لكل نظام.
2. ما الذي يقيسه المعيار فعلا
تقوم لوحة الصدارة على قاعدة ضيقة. تضم مجموعة اختبار VoiceBank-DEMAND عدد 824 مقطعا صوتيا من متحدثَين اثنين فقط لم يرهما النموذج، ممزوجة بـ 5 أنواع من الضوضاء عند نسب إشارة إلى ضوضاء (SNR، أي مقدار علو الكلام عن الضوضاء) معتدلة نسبيا تتراوح من 2.5 إلى 17.5 dB. ولا يوجد مقطع اختبار ممزوج دون 2.5 dB، لذا فإن الطرف الأصعب من المكالمات الحقيقية لا يؤخذ منه أي عينة.
أما وضوح الكلام فلا يترك مجالا يُذكر للتحسن. فالمدخل المشوش يحصل أصلا على 0.91 في STOI (الوضوح الموضوعي قصير المدى، وهو مقياس يتنبأ بمقدار ما سيفهمه المستمع من الكلام)، ويصل CMGAN إلى 0.96. وفي الوقت نفسه انخفض حجم النماذج بأكثر من رتبة عشرية كاملة: فقد استخدم SEGAN عدد 97.47M معلمة، بينما استخدم CMGAN عدد 1.83M. أما معايير الأصوات المتداخلة فتعمل بطريقة مختلفة، كما توضح إحصائيات فصل الكلام لدينا. المصدر: ورقة CMGAN، قسما مجموعة البيانات والنتائج.
| المقياس | القيمة | المصدر |
|---|---|---|
| مجموعة التدريب: الحجم وظروف الضوضاء | 11,572 مقطعا من 28 متحدثا؛ 8 أنواع ضوضاء من DEMAND بالإضافة إلى نوعين من الضوضاء الاصطناعية، عند نسب SNR قدرها 0 و5 و10 و15 dB | Cao وآخرون، ورقة CMGAN، Interspeech 2022 |
| مجموعة الاختبار: الحجم وظروف الضوضاء | 824 مقطعا من متحدثَين لم يرهما النموذج؛ 5 أنواع ضوضاء من DEMAND لم يرها النموذج، عند نسب SNR قدرها 2.5 و7.5 و12.5 و17.5 dB | Cao وآخرون، ورقة CMGAN، Interspeech 2022 |
| STOI: المدخل المشوش مقابل مخرج CMGAN | 0.91 مقابل 0.96 | Cao وآخرون، ورقة CMGAN، Interspeech 2022 |
| درجة إشارة الكلام المركبة (CSIG) والدرجة الكلية (COVL): المدخل المشوش مقابل مخرج CMGAN | 3.35 و2.63 مقابل 4.63 و4.12 | Cao وآخرون، ورقة CMGAN، Interspeech 2022 |
| حجم النموذج: SEGAN مقابل DEMUCS مقابل CMGAN | 97.47M مقابل 128M مقابل 1.83M معلمة | Cao وآخرون، ورقة CMGAN، Interspeech 2022 |
ملاحظة سياقية: CSIG وCOVL مقياسان مركبان مبنيان من عدة مقاييس موضوعية للتنبؤ بتقييمات المستمعين لإشارة الكلام وللجودة الكلية. وهما يرثان النقاط العمياء للمقاييس التي يجمعانها.
3. هل تتفق مقاييس الجودة مع المستمعين البشر؟
تعتمد الإجابة على ما إذا كنت تحسب المتوسط. يُقاس الارتباط هنا بمعامل PCC (ارتباط بيرسون، أي الاتفاق في القيمة) أو SRCC (ارتباط سبيرمان للرتب، أي الاتفاق في الترتيب) أو KRCC (ارتباط كيندال للرتب، وهو اختبار آخر للترتيب)؛ والقيمة 1.0 تعني اتفاقا تاما. حقق DNSMOS P.835، وهو شبكة عصبية تتنبأ بتقييمات المستمعين دون مرجع نظيف، معامل PCC قدره 0.94 مع تقييمات المستمعين للكلام عند حساب المتوسط لكل نموذج، لكن 0.71 على المقاطع الفردية.
والجانب البشري مشوش أيضا. فقد اتفقت جولتان منفصلتان من تقييم P.808 على المقاطع نفسها بمعامل PCC يبلغ نحو 0.5 فقط لكل مقطع، ومن ثم فإن MOS لمقطع واحد (متوسط تقييم المستمعين، أي متوسط تقييمات المستمعين) هو في ذاته رقم تقريبي. وهذا سبب إضافي لمقارنة الأنظمة لا الملفات، ولاعتبار انقلاب واحد في لوحة الصدارة دليلا ضعيفا. وينطبق التحفظ نفسه على مستوى المقطع في حالة الأصوات الاصطناعية، التي نتناولها في إحصائيات MOS لطبيعية الكلام الاصطناعي. المصادر: ورقة DNSMOS P.835، ورقة DNSMOS، ورقة تحدي DNS في ICASSP 2022، ورقة NISQA.
| المقياس | القيمة | المصدر |
|---|---|---|
| درجة الكلام في DNSMOS P.835 (SIG) مقابل تقييمات المستمعين: PCC لكل نموذج مقابل لكل مقطع | 0.94 مقابل 0.71 | Reddy وآخرون، Microsoft، ورقة DNSMOS P.835 لعام 2021 |
| درجة ضوضاء الخلفية في DNSMOS P.835 (BAK) مقابل تقييمات المستمعين: PCC لكل نموذج مقابل لكل مقطع | 0.98 مقابل 0.83 | Reddy وآخرون، Microsoft، ورقة DNSMOS P.835 لعام 2021 |
| الاتفاق بين جولتين بشريتين منفصلتين من تقييم P.808 على المقاطع نفسها (PCC لكل مقطع) | نحو 0.5 | Reddy وآخرون، Microsoft، ورقة DNSMOS لعام 2020 |
| DNSMOS P.835 مقابل تقييمات المستمعين في المسار 1 من تحدي DNS في ICASSP 2022، درجة الكلام: PCC مقابل SRCC | 0.93 مقابل 0.78 | Microsoft، ورقة تحدي DNS في ICASSP 2022 |
| ارتباط الرتب (SRCC) لـ DNSMOS الأصلي عبر فئات المجموعة العمياء في تحدي DNS 2: نموذج أحادي المرحلة مقابل متعدد المراحل | 0.65 مقابل 0.90 | Reddy وآخرون، Microsoft، ورقة DNSMOS لعام 2020 |
| NISQA، متنبئ عصبي آخر بالجودة: ملفات كلام جديدة للتدريب والتحقق، ومجموعات البيانات المستخدمة للتدريب والتقييم | أكثر من 13,000 ملف؛ 81 مجموعة بيانات | Mittag وآخرون، ورقة NISQA، Interspeech 2021 |
| URGENT 2024: KRCC بين درجة الترتيب الكلية للتحدي وترتيب MOS المستمعين | 0.73 | Zhang وSaijo وآخرون، ورقة دروس URGENT 2024، Interspeech 2025 |
ملاحظة سياقية: دُرّب DNSMOS P.835 على نحو 30,000 مقطع مقيَّم (75 ساعة)، أما DNSMOS الأصلي فعلى نحو 120,000 مقطع. وحُسبت الارتباطات لكل نموذج بواسطة 5 تقييمات لكل مقطع، واستخدم تحليل مستوى المقطع 30 تقييما لكل مقطع، لذا فإن الرقمين في كل صف ليسا من إعدادين متطابقين.
4. مقاييس وضوح الكلام: STOI وخلفاؤه
بُني STOI للإجابة عن سؤال أضيق من سؤال PESQ: ليس مدى لطف الكلام في السمع، بل عدد الكلمات التي تبقى مفهومة. عبر 13 مجموعة بيانات استماع، بلغ متوسط ارتباط بيرسون بين STOI ووضوح الكلام المقيس 0.62، بينما بلغ متوسط النسخة الموسعة eSTOI نحو 0.88. وفي إحدى مجموعات البيانات التي تضم كلاما في ضوضاء شديدة التقلب، كان ارتباط STOI سالبا (-0.77): أي أن المقياس تحرك في الاتجاه الخاطئ.
والقراءة العملية هي أن STOI يعمل بأفضل صورة مع الضوضاء الثابتة والإخفاء الزمني الترددي اللذين صُمم حولهما، وبأسوأ صورة مع الكلام في ضوضاء متقطعة ومضمنة، من النوع الذي ينتجه المتحدثون المتنافسون والغرف المزدحمة. أحدث بيانات متاحة: Edraki وآخرون، IEEE/ACM TASLP 2020. المصادر: Edraki وآخرون على PubMed Central، Taal وآخرون، IEEE TASLP 2011.
| المقياس | القيمة | المصدر |
|---|---|---|
| طول مقطع التحليل في STOI | 386 ms | Taal وآخرون، IEEE TASLP 2011 |
| التحقق من STOI في ورقته الأصلية | 3 تجارب استماع؛ ارتباط أفضل من 5 نماذج مرجعية لوضوح الكلام | Taal وآخرون، IEEE TASLP 2011 |
| متوسط ارتباط بيرسون مع وضوح الكلام المقيس عبر 13 مجموعة بيانات، بعد التحويل اللوجستي: STOI مقابل eSTOI مقابل HASPI مقابل wSTMI | 0.62 مقابل 0.88 مقابل 0.82 مقابل 0.93 | Edraki وآخرون، IEEE/ACM TASLP 2020 |
| متوسط ارتباط سبيرمان للرتب عبر مجموعات البيانات الـ 13 نفسها: STOI مقابل eSTOI | 0.59 مقابل 0.82 | Edraki وآخرون، IEEE/ACM TASLP 2020 |
| ارتباط بيرسون لـ STOI على مجموعة بيانات كلام في ضوضاء مضمنة (ModN-Fogerty) | -0.77 | Edraki وآخرون، IEEE/ACM TASLP 2020 |
| ارتباط بيرسون لـ STOI على مجموعة بيانات لتحسين الاستماع عند الطرف المستقبِل (NELE-Taal) | 0.90 | Edraki وآخرون، IEEE/ACM TASLP 2020 |
| عدد الاستشهادات بورقة STOI الأصلية | 2,265 | سجل OpenAlex، تم الاطلاع عليه في 31 أكتوبر 2026 |
ملاحظة حول القيم الشاذة: جرى تدريب wSTMI، صاحب أفضل أداء، والتحقق منه على مجموعتين من مجموعات البيانات الـ 13، لذا فإن متوسطه ليس محجوبا بالكامل عن التدريب. أما HASPI فهو مقياس صُمم مع وضع المستمعين ضعاف السمع في الاعتبار، وأما eSTOI فيتخلى عن افتراض STOI بأن نطاقات التردد مستقلة.
5. قانون غودهارت: حين يتوقف PESQ عن قياس الجودة
ينص قانون غودهارت على أن المقياس الذي يصبح هدفا يتوقف عن كونه مقياسا جيدا. ولدى تحسين الكلام اليوم من البيانات ما يثبت ذلك. سجل PESQetarian، وهو نموذج دُرّب لتعظيم PESQ، الدرجة 3.82 على VoiceBank-DEMAND بينما هبطت نسبة SI-SDR لديه (نسبة الإشارة إلى التشويه الثابتة مع المقياس، أي مدى قرب الموجة من الأصل النظيف) إلى -19.8 dB، أي أقل بكثير من 8.4 dB للمدخل المشوش غير المعالج.
والأثر لا يقتصر على ورقة واحدة. فقد بلغ نموذج انتشار أحادي الخطوة لعام 2025 دُرّب بدالة خسارة PESQ درجة PESQ قدرها 3.99 لكن SI-SDR قدره 0.40 dB فقط، بينما سجلت النسخة المتوازنة لدى المؤلفين 3.49 في PESQ و17.8 dB في SI-SDR. وحتى التقنيات المشروعة تحرك الرقم: فالتمديد الإدراكي للتباين، الذي يعزز تباين الخصائص المستهدفة بحسب أهميتها الإدراكية، أضاف 0.14 إلى PESQ لـ SEMamba (من 3.55 إلى 3.69، من حسابنا بالطرح). والدرس للمشترين والمراجعين بسيط: سجل PESQ بلا اختبار استماع مقابل له علامة تحذير لا عنوان رئيسي. المصادر: ورقة PESQetarian، ورقة ROSE-CD.
| المقياس | القيمة | المصدر |
|---|---|---|
| PESQ: المدخل المشوش مقابل نموذج مدرَّب بـ MSE العادي مقابل PESQetarian | 1.97 مقابل 2.78 مقابل 3.82 | de Oliveira وآخرون، ورقة PESQetarian، Interspeech 2024 |
| POLQA (خليفة PESQ لدى ITU-T): المدخل المشوش مقابل نموذج MSE مقابل PESQetarian | 3.11 مقابل 3.87 مقابل 1.46 | de Oliveira وآخرون، ورقة PESQetarian، Interspeech 2024 |
| الدرجة الكلية في DNSMOS: المدخل المشوش مقابل نموذج MSE مقابل PESQetarian | 2.69 مقابل 3.13 مقابل 2.06 | de Oliveira وآخرون، ورقة PESQetarian، Interspeech 2024 |
| PESQ بعد إضافة نقرة ثابتة واحدة إلى كل ملف اختبار مشوش، دون أي إزالة للضوضاء | 3.46 | de Oliveira وآخرون، ورقة PESQetarian، Interspeech 2024 |
| التحسين المباشر على ستة ملفات: PESQ قبل وبعد، وPOLQA قبل وبعد | من 1.91 إلى 3.76؛ من 3.46 إلى 2.73 | de Oliveira وآخرون، ورقة PESQetarian، Interspeech 2024 |
| ROSE-CD المدرَّب بدالة خسارة PESQ مقابل ROSE-CD النهائي: PESQ وSI-SDR وWV-MOS (متنبئ عصبي بدرجة المستمع) | 3.99 و0.40 dB و2.31 مقابل 3.49 و17.8 dB و4.41 | Xu وآخرون، ورقة ROSE-CD، WASPAA 2025 |
| مكسب PESQ من التمديد الإدراكي للتباين على SEMamba | +0.14 (من 3.55 إلى 3.69) | Chao وآخرون، ورقة SEMamba، IEEE SLT 2024 |
ملاحظة سياقية: استخدم اختبار الاستماع الخاص بـ PESQetarian عشرة خبراء صوت قيّموا 10 عينات اختبار عشوائية على مقياس من 0 إلى 100، وتعرض الورقة النتائج لكل نظام في شكل بياني فقط. ويمثل PESQetarian اختبار إجهاد متعمدا، وليس منتجا.
6. من المعيار إلى التسجيلات الحقيقية: فجوة التعميم
النموذج الذي يفوز على متحدثَي اختبار اثنين لم يثبت أنه قادر على التعامل مع متحدثيك. فقد درّبت دراسة عام 2023 عدد 40 نموذجا لكل بنية عبر خمس قواعد بيانات للكلام وخمس للضوضاء وخمس لصوتيات الغرف، ثم قاست كل نموذج مقابل نموذج مرجعي دُرّب على ظرف الاختبار نفسه. وعندما جاء كلام الاختبار من مدونة لم يرها النموذج، أظهر Conv-TasNet فجوة تعميم في ESTOI قدرها -68% مقابل ذلك المرجع، وكان عدم تطابق الكلام أشد ضررا من عدم تطابق الضوضاء أو الغرفة لدى كل النماذج.
والنتيجة المشجعة أن تعميم الضوضاء قابل للحل بالبيانات: فالتدريب على أربع قواعد بيانات للضوضاء أبقى فجوة تحسين SNR عند -5% أو أفضل. ويُظهر اختبار خارج النطاق في ورقة عام 2025 أن النماذج التوليدية الأحدث تخسر أرضا هي الأخرى. المصادر: Gonzalez وآخرون، ورقة فجوة التعميم، ورقة ROSE-CD، ورقة تحدي DNS في ICASSP 2021.
| المقياس | القيمة | المصدر |
|---|---|---|
| فجوة تعميم ESTOI عند عدم تطابق مدونة الكلام، Conv-TasNet المدرَّب على قاعدة بيانات كلام واحدة | -68% | Gonzalez وآخرون، IEEE/ACM TASLP 2023 |
| فجوة تعميم PESQ عند عدم تطابق مدونة الكلام: MANNER المدرَّب على قاعدة بيانات واحدة مقابل Conv-TasNet المدرَّب على 4 | -50% مقابل -35% | Gonzalez وآخرون، IEEE/ACM TASLP 2023 |
| فجوة تحسين SNR عند عدم تطابق الضوضاء مع 4 قواعد بيانات ضوضاء للتدريب (Conv-TasNet وDCCRN وMANNER) | -5% أو أفضل | Gonzalez وآخرون، IEEE/ACM TASLP 2023 |
| عدم تطابق صوتيات الغرفة مع قاعدة بيانات تدريب واحدة: فجوة PESQ لشبكة أمامية التغذية مقابل فجوة ESTOI لـ Conv-TasNet | -10% مقابل -17% | Gonzalez وآخرون، IEEE/ACM TASLP 2023 |
| PESQ لـ ROSE-CD على VoiceBank-DEMAND مقابل TIMIT+NOISE92 خارج النطاق | 3.49 مقابل 2.62 | Xu وآخرون، ورقة ROSE-CD، WASPAA 2025 |
| PESQ لـ SGMSE+ (نموذج انتشار) على VoiceBank-DEMAND مقابل TIMIT+NOISE92 خارج النطاق | 2.93 مقابل 2.08 | Xu وآخرون، ورقة ROSE-CD، WASPAA 2025 |
| الاختبار الأعمى للمسار 1 في تحدي DNS في ICASSP 2021: تسجيلات حقيقية مقابل مقاطع اصطناعية | 650 حقيقيا مقابل 50 اصطناعيا (700 مقطع) | Microsoft، ورقة تحدي DNS في ICASSP 2021 |
ملاحظة سياقية: تُقاس فجوة التعميم مقابل نموذج مرجعي دُرّب على ظرف الاختبار، لذا فهي رقم نسبي وليست انخفاضا مطلقا في درجة ESTOI أو PESQ. أما الانخفاضات الخام لـ ROSE-CD وSGMSE+ فتخلط في المقابل بين البيانات التي لم يرها النموذج وصعوبة المهمة، وهما الأثران اللذان صُممت طريقة النموذج المرجعي للفصل بينهما. وقد بنى منظمو DNS اختبارهم الأعمى في معظمه من تسجيلات حقيقية وحكّموا فيه المستمعين، مشيرين إلى أنه ثبت أن المقاييس الموضوعية مثل PESQ وSDR وPOLQA لا ترتبط جيدا بالجودة الذاتية في وجود ضوضاء الخلفية.
7. كيف تغيّر التحديات والمعايير طريقة التقييم
الجواب الحالي على التلاعب بالمقاييس هو لوحة نتائج أوسع. في URGENT 2024، احتل الفريق صاحب المركز الأول في DNSMOS (3.26) المركز 18 في MOS المستمعين (3.05)، بدقة كلمات لا تتجاوز 40.73%، بينما جمع الفريق الأول بين MOS قدره 3.52 ودقة كلمات 73.57%. وتعني دقة الكلمات هنا عدد الكلمات التي ما زال برنامج التعرف على الكلام يصيبها بعد التحسين، وهو فحص مباشر لكون النموذج لم يخترع كلاما أو يمحوه؛ وتغطي إحصائيات هلوسة التعرف على الكلام لدينا هذا الإخفاق من جانب برنامج التعرف.
وتجعل المحسّنات الهجينة والتوليدية المشكلة أحدّ. فقد قاس تحدٍّ لاستعادة الكلام عام 2025 ارتباط رتب قدره -0.8 بين المقاييس الخالية من المرجع واسعة الاستخدام ومتوسط تقييم المستمعين (MOS) للأنظمة الهجينة، أي أن ترتيب المقياس جاء في معظمه معاكسا للترتيب البشري. وتحركت الهيئات المعيارية أيضا: فلم يعد PESQ توصية لدى ITU-T. المصادر: استعراض CCF AATC 2025، نظرة عامة على URGENT 2025، نظرة عامة على URGENT في ICASSP 2026، صفحة ITU-T P.862، صفحة ITU-T P.863.
| المقياس | القيمة | المصدر |
|---|---|---|
| الاختبار الأعمى ومجموعة الاستماع الفرعية في URGENT 2024 | 500 تسجيل محاكى بالإضافة إلى 500 تسجيل حقيقي؛ مجموعة MOS الفرعية من 300 عينة، 8 مستمعين لكل عينة؛ 21 فريقا | Zhang وSaijo وآخرون، ورقة دروس URGENT 2024، Interspeech 2025 |
| بيانات تدريب URGENT 2024 التي لا يتطابق فيها النطاق الترددي المعلن مع الفعلي | نحو 25% من LibriTTS؛ نحو 100% من DNS5 LibriVox وCommonVoice 11.0 | Zhang وSaijo وآخرون، ورقة دروس URGENT 2024، Interspeech 2025 |
| CCF AATC 2025: ارتباط الرتب بين المقاييس الخالية من المرجع وMOS المستمعين للأنظمة الهجينة | -0.8 (25 نظاما جرى تحليلها في التحدي) | Zhang وآخرون، استعراض CCF AATC 2025، arXiv 2025 |
| مجموعة تقييم URGENT 2025 | 14 مقياسا في 5 فئات؛ 7 أنواع من التشويه؛ 5 لغات تدريب | Saijo وآخرون، نظرة عامة على URGENT 2025، Interspeech 2025 |
| بيانات تدريب المسار 1 في URGENT بمؤتمر ICASSP 2026 | مجموعة فرعية منتقاة من 700 ساعة من مجموعة URGENT 2025 البالغة 2,500 ساعة | نظرة عامة على تحدي URGENT في ICASSP 2026 |
| وضع PESQ لدى ITU-T | P.862 والأجزاء من P.862.1 إلى P.862.3 ملغاة في 5 يناير 2024 | صفحة التوصية ITU-T P.862 |
| وضع POLQA لدى ITU-T | P.863 (مارس 2018) سارية، مع التعديل 1 (أبريل 2020) | صفحة التوصية ITU-T P.863 |
ملاحظة سياقية: رصد URGENT 2024 أيضا نحو 2,000 تسمية كلام في مدوناته التدريبية «عالية الجودة» ذات قيم WADA-SNR سالبة، وهو تقدير أعمى لنسبة SNR، ما يعني أن ضوضاء التسميات موجودة داخل المراجع النظيفة التي تقارن بها المقاييس التدخلية مثل PESQ.
الخلاصة: معايير PESQ وSTOI لتحسين الكلام بالأرقام
| المقياس | القيمة | المصدر |
|---|---|---|
| PESQ على VoiceBank-DEMAND: SEGAN (2017) مقابل CMGAN (2022) | 2.16 مقابل 3.41 | Cao وآخرون، ورقة CMGAN، Interspeech 2022 |
| PESQ على VoiceBank-DEMAND: SEMamba بدون التمديد الإدراكي للتباين مقابل معه | 3.55 مقابل 3.69 | Chao وآخرون، IEEE SLT 2024 |
| PESQ وحجم PrimeK-Net على VoiceBank-DEMAND | 3.61؛ 1.41M معلمة | ورقة PrimeK-Net، ICASSP 2025 |
| STOI: المدخل المشوش مقابل مخرج CMGAN | 0.91 مقابل 0.96 | Cao وآخرون، ورقة CMGAN، Interspeech 2022 |
| PESQetarian: PESQ وSI-SDR وPOLQA (المدخل المشوش بين قوسين) | 3.82 و-19.8 dB و1.46 (1.97 و8.4 dB و3.11) | de Oliveira وآخرون، Interspeech 2024 |
| نسخة ROSE-CD المدرَّبة بدالة خسارة PESQ: PESQ مقابل SI-SDR | 3.99 مقابل 0.40 dB | Xu وآخرون، WASPAA 2025 |
| ارتباط STOI بوضوح الكلام المقيس: المتوسط عبر 13 مجموعة بيانات (متوسط eSTOI بين قوسين) مقابل مجموعة الضوضاء المضمنة | 0.62 (0.88) مقابل -0.77 | Edraki وآخرون، IEEE/ACM TASLP 2020 |
| PCC لدرجة الكلام في DNSMOS P.835: لكل نموذج مقابل لكل مقطع | 0.94 مقابل 0.71 | Reddy وآخرون، Microsoft، ورقة DNSMOS P.835 لعام 2021 |
| فجوة تعميم ESTOI مع مدونة كلام لم يرها النموذج (Conv-TasNet) | -68% | Gonzalez وآخرون، IEEE/ACM TASLP 2023 |
| فجوة تعميم PESQ مع مدونة كلام لم يرها النموذج (MANNER، قاعدة بيانات تدريب واحدة) | -50% | Gonzalez وآخرون، IEEE/ACM TASLP 2023 |
| PESQ لـ ROSE-CD داخل النطاق مقابل خارجه | 3.49 مقابل 2.62 | Xu وآخرون، WASPAA 2025 |
| URGENT 2024: ترتيب الفريق نفسه في DNSMOS مقابل ترتيبه في MOS المستمعين | الأول مقابل الثامن عشر | Zhang وSaijo وآخرون، Interspeech 2025 |
| PESQ بعد إضافة نقرة ثابتة واحدة إلى كل ملف اختبار مشوش، دون أي إزالة للضوضاء | 3.46 | de Oliveira وآخرون، Interspeech 2024 |
| المقاييس الخالية من المرجع مقابل MOS المستمعين للأنظمة الهجينة (ارتباط الرتب) | -0.8 | Zhang وآخرون، استعراض CCF AATC 2025 |
| إلغاء PESQ لدى ITU-T | 5 يناير 2024 | صفحة التوصية ITU-T P.862 |
المنهجية والمصادر
- ITU-T، صفحة التوصية P.862 (PESQ)، حُدّثت حالتها في 9 يناير 2024، وصفحة التوصية P.863 (POLQA)، تم الاطلاع عليها في أكتوبر 2026.
- Taal وآخرون، An Algorithm for Intelligibility Prediction of Time-Frequency Weighted Noisy Speech، IEEE TASLP 2011 (قُرئ الملخص عبر سجل OpenAlex؛ وعدد الاستشهادات من OpenAlex).
- Edraki وChan وJensen وFogerty، Speech Intelligibility Prediction using Spectro-Temporal Modulation Analysis، IEEE/ACM TASLP 2020.
- Cao وAbdulatif وYang، CMGAN: Conformer-based Metric GAN for Speech Enhancement، Interspeech 2022 (مصدر أرقام SEGAN وDEMUCS ومجموعة البيانات).
- MetricGAN+، Interspeech 2021؛ MP-SENet، Interspeech 2023؛ Chao وآخرون، SEMamba، IEEE SLT 2024؛ PrimeK-Net، ICASSP 2025.
- de Oliveira وWelker وRichter وGerkmann، The PESQetarian: On the Relevance of Goodhart’s Law for Speech Enhancement، Interspeech 2024.
- Xu وYan وKleijn، Robust One-step Speech Enhancement via Consistency Distillation (ROSE-CD)، WASPAA 2025.
- Gonzalez وAlstrøm وMay، Assessing the Generalization Gap of Learning-Based Speech Enhancement Systems، IEEE/ACM TASLP 2023.
- أوراق Microsoft البحثية: Reddy وGopal وCutler، DNSMOS (2020) وDNSMOS P.835 (2021)؛ وورقتا تحدي DNS في ICASSP 2021 وتحدي DNS في ICASSP 2022.
- Mittag وNaderi وChehadi وMöller، NISQA، Interspeech 2021.
- Zhang وSaijo وآخرون، Lessons Learned from the URGENT 2024 Speech Enhancement Challenge، Interspeech 2025؛ Saijo وآخرون، Interspeech 2025 URGENT Challenge؛ نظرة عامة على تحدي URGENT في ICASSP 2026 (2026).
- Zhang وZhu وXu وBu وLing وWu، The CCF AATC 2025 Speech Restoration Challenge: A Retrospective، arXiv 2025.
- ملاحظة حول البيانات: درجات VoiceBank-DEMAND هنا هي ما أعلنته كل ورقة بنفسها، وقد تختلف أرقام النظام الواحد بين الأوراق (فقيمة MetricGAN+ هي 3.15 في ورقته وهي 3.13 في جدول ROSE-CD). وورقة ROSE-CD غير متسقة داخليا: فجدول نتائجها يمنح النموذج النهائي PESQ قدره 3.49، بينما يذكر استنتاجها 3.99، وهو ما يطابق النسخة المدرَّبة بدالة خسارة PESQ وحدها؛ ونحن نعلن 3.49 على أنه النموذج النهائي. وتختلف أعداد الاستشهادات بورقة STOI حسب المصدر (2,265 في OpenAlex و2,499 في Semantic Scholar، وكلاهما قُرئ في 31 أكتوبر 2026). وارتباطات مقاييس وضوح الكلام مأخوذة من دراسة عام 2020 وهي أحدث مقارنة متعددة المجموعات وجدناها. ونشرت ITU-T في يوليو 2026 إصدارا جديدا من P.835، وهي طريقة اختبار الاستماع التي يقوم عليها DNSMOS P.835، ولا تطبع ورقة URGENT في ICASSP 2026 حتى الآن ارتباطات متنبئات الجودة في نصها.
آخر تحديث: 31 أكتوبر 2026. نراجع هذا الاستعراض ونحدثه كل ثلاثة أشهر، ومن المتوقع أن يأتي التحديث التالي عندما تنشر وقائع تحدي URGENT في ICASSP 2026 ارتباطات متنبئات الجودة في مسارها الثاني.