انخفض خطأ التحقق من المتحدث على اختبار VoxCeleb1 من 8.8% عام 2017 (Nagrani وآخرون، ورقة VoxCeleb، 2017) إلى 0.12% في ورقة بحثية عام 2025 (Li وCheng وLi، ورقة w2v-BERT 2.0، 2025)، أي انخفاض بمقدار 73 ضعفا (8.8 / 0.12). التحقق من المتحدث هو فحص «هل هذا هو الشخص نفسه؟»، ومعدل الخطأ المتساوي (EER) هو مقياسه المعياري. وهذا الرقم القياسي مصدره قائمة ثابتة من كلام المشاهير مأخوذة من YouTube. وفي المجال نفسه يُسجَّل 9.30% عندما تكون ثرثرة الحشد بقوة الصوت نفسه (Gu وآخرون، ورقة Noise-Conditioned Mixture-of-Experts، 2025)، و10.419% عند مقارنة الشخص نفسه عبر فجوة عمرية كبيرة (Qin وآخرون، Interspeech 2022). جمعنا البيانات من منظمي تحدي VoxSRC، وتقييم التعرف على المتحدث من NIST، وأوراق Interspeech وOdyssey، وفرق مجموعتي VoxBlink2 وCN-Celeb، وأبحاث الإنصاف في FAccT. وللاطلاع على الجانب التجاري من هذه التقنية، راجع إحصائيات القياسات الحيوية الصوتية لدينا، وللاطلاع على مشكلة «من تحدث ومتى» المجاورة لها، راجع استعراض معدل خطأ تمييز المتحدثين لدينا.
أبرز النقاط
- أقل EER على VoxCeleb1-O وجدناه في ورقة بحثية أصلية: 0.12%، من نموذج يضم نحو 600 مليون معامل (Li وCheng وLi، ورقة w2v-BERT 2.0، 2025).
- ساعدت مجموعة بيانات من 111,284 متحدثا في دفع نموذج ResNet واحد إلى 0.17% من EER و0.006 من minDCF (Lin وآخرون، VoxBlink2، Interspeech 2024).
- يصل ReDimNet2-B6 إلى 0.29% من EER بـ 12.3M معاملا (Yakovlev وOkhotnikov، ورقة ReDimNet2، 2026).
- انخفض EER للمركز الأول في المسار 2 على مجموعة اختبار VoxSRC الثابتة لعام 2019 من 1.26% في 2019 إلى 0.47% في 2023 (Huh وآخرون، استعراض VoxSRC بأثر رجعي، 2024).
- محاولة مدتها ثانيتان ترفع ERes2NetV2 من 0.61% إلى 1.48% من EER (Chen وآخرون، ورقة ERes2NetV2، 2024).
- ضجيج الأحاديث المتداخلة عند 0 ديسيبل يرفع نظام ResNet34 الأساسي من 1.98% إلى 9.30% من EER (Gu وآخرون، 2025).
- الأزواج ذات الفجوات العمرية الكبيرة ترفع نظاما أساسيا من 1.939% إلى 10.419% من EER (Qin وآخرون، Interspeech 2022).
- بلغ EER للرجال 51.61% عند فجوة 40 سنة في مجموعة فنلندية، متجاوزا خط الـ 50% الذي يعادل رمي عملة (Singh وآخرون، Interspeech 2023).
- سجل نظام x-vector مدرب على VoxCeleb نسبة 3.48% على SITW و16.59% على CN-Celeb.E (Li وآخرون، ورقة CN-Celeb، 2020).
- تصدر لوحة نتائج تحدي الهاتف SRE24 نظام بلغ 2.37% من EER (لوحة نتائج تحدي NIST SRE24-CTS، 24 أكتوبر 2024).
- شكلت النساء 38% من المتحدثين لكن 29.5% من المقاطع في مجموعة اختبار VoxCeleb 1 (Hutiri وDing، FAccT 2022).
1. المقياس المرجعي: ما الذي يقيسه EER وما الذي تحتويه VoxCeleb
يتلقى نظام التحقق تسجيلين، يسمى زوجهما «محاولة» (trial)، ويقرر ما إذا كانا صادرين عن المتحدث نفسه. رفع عتبة القبول يرفض مزيدا من المتحدثين الحقيقيين، وخفضها يقبل مزيدا من المنتحلين. ومعدل الخطأ المتساوي هو النقطة التي يتطابق عندها معدلا الخطأ هذان. أما المقياس المرافق minDCF (أدنى تكلفة كشف) فيزن الخطأين أنفسهما عند نقطة تشغيل مختارة، والقيمة الأقل فيه أفضل أيضا. ولا يغطي أي من المقياسين الأصوات الاصطناعية أو المعاد تشغيلها: فـ«المنتحلون» هنا مجرد أشخاص حقيقيين آخرين.
قائمة الاختبار الكلاسيكية صغيرة: 37,720 محاولة من 40 متحدثا (Gu وآخرون، ورقة Noise-Conditioned Mixture-of-Experts، 2025). وVoxCeleb1-O، وهو اسم تلك القائمة، سهلة مقارنة بشقيقاتها الأصعب: يتضاعف خطأ أحد النماذج أربع مرات عند الانتقال من Vox1-O إلى Vox1-H (من 0.17% إلى 0.68%). وبالمقابل، نمت بيانات التدريب نموا هائلا، ويبين القسم 3 لماذا يهم ذلك أكثر من معظم تغييرات البنية.
| المقياس | القيمة | المصدر |
|---|---|---|
| حجم VoxCeleb1: المتحدثون، المقاطع، مقاطع الفيديو، الساعات، الجنسيات | 1,251 / 153,516 / 22,496 / 352 / 36 | Chung وآخرون، ورقة VoxCeleb2، 2018 |
| جزء التدريب في VoxCeleb2: المتحدثون، المقاطع، الساعات، متوسط الثواني لكل مقطع | 5,994 / 1,092,009 / 2,442 / 7.8 | Lin وآخرون، VoxBlink2، Interspeech 2024 |
| حجم VoxBlink2: المتحدثون، المقاطع، الساعات، متوسط الثواني لكل مقطع | 111,284 / 9,904,382 / 16,672 / 6.0 | Lin وآخرون، VoxBlink2، Interspeech 2024 |
| حجم CN-Celeb: المتحدثون، أنواع التسجيلات، ساعات CN-Celeb1 مضافا إليها CN-Celeb2 | 3,000 / 11 / 274 زائد 1,090 | Li وآخرون، ورقة CN-Celeb، 2020 |
| قائمة اختبار VoxCeleb1-O: المحاولات، المتحدثون | 37,720 / 40 | Gu وآخرون، ورقة Noise-Conditioned Mixture-of-Experts، 2025 |
| EER لنموذج واحد على Vox1-O (القائمة السهلة) مقابل Vox1-E (القائمة الموسعة) مقابل Vox1-H (القائمة الصعبة) | 0.17% مقابل 0.37% مقابل 0.68% | Lin وآخرون، VoxBlink2، Interspeech 2024 |
أحدث بيانات متاحة لأرقام المجموعة الأصلية: ورقة VoxCeleb2، 2018.
2. سجل تحدي VoxSRC، من 2019 إلى 2023
أقيم تحدي VoxCeleb للتعرف على المتحدث كل عام من 2019 إلى 2023، وكان أفضل قرار تصميمي فيه إبقاء مجموعة اختبار 2019 داخل كل مجموعة اختبار لاحقة. وهذا يمنح المجال مسطرة ثابتة واحدة. وعلى هذه المسطرة، انخفض EER للمركز الأول في المسار 1 من 1.42% في 2019 إلى 0.57% في 2021، ثم توقف عن الانخفاض. ويقول المنظمون إن الفائزين ظلوا دون 1% منذ 2020، «وهو ما نعده تشبعا في الأداء»، وظلت مجموعة الاختبار الجديدة لكل عام أصعب: فقد سجل فائزو المسار 1 نسب 3.73% و1.85% و1.49% و1.59% على مجموعاتهم الخاصة من 2020 إلى 2023، مع نمو الاختبار من 208,008 أزواج و745 متحدثا في 2019 إلى 825,437 زوجا و2,532 متحدثا في 2023 (Huh وآخرون، استعراض VoxSRC بأثر رجعي، 2024).
للتشبع حد أدنى قابل للقياس. فعلى مجموعة 2019 تلك، كانت فترات الثقة 95% بطريقة البوتستراب بعرض يتراوح بين 18.6% و31.2% من قيمة EER نفسها، لذلك قد تكون الفروق الصغيرة بين الفائزين مجرد ضوضاء. ومن بين 232 زوجا أخطأ فيها جميع فائزي 2022 و2023، كان 16 زوجا من المتحدث نفسه، و12 من تلك الأزواج الـ 16 كانت أخطاء في وسم قائمة الاختبار. والحالات الصعبة حقيقية أيضا: فقد سجل فائز المسار 1 لعام 2022 نسبة 0.90% على الأزواج العادية و2.07% عندما كان كل زوج صعبا (المتحدث نفسه في أعمار مختلفة، أو متحدثان مختلفان في بيئة التسجيل نفسها).
| المقياس | القيمة | المصدر |
|---|---|---|
| EER للمركز الأول في المسار 1 (بيانات تدريب مغلقة) على مجموعة اختبار 2019 الثابتة، 2019 / 2020 / 2021 / 2022 / 2023 | 1.42% / 0.83% / 0.57% / 0.90% / 0.58% | Huh وآخرون، استعراض VoxSRC بأثر رجعي، 2024 |
| EER للمركز الأول في المسار 2 (بيانات تدريب مفتوحة) على مجموعة اختبار 2019 الثابتة، 2019 / 2020 / 2021 / 2022 / 2023 | 1.26% / 0.80% / 0.57% / 0.69% / 0.47% | Huh وآخرون، استعراض VoxSRC بأثر رجعي، 2024 |
| مشاركة UNISOUND في 2023، الأولى في المسار 1 بحسب تقرير الفريق: EER وminDCF على مجموعة اختبار 2023 | 1.5880%، 0.0855 | Zheng وآخرون، تقرير نظام UNISOUND، 2023 |
| مشاركة ID R&D في 2023، الأولى على لوحة النتائج العامة للمسار 2: EER وminDCF عند P_target 0.05 | 1.30%، 0.0762 | Torgashov وآخرون، تقرير نظام ID R&D، 2023 |
| مشاركة ChinaTelecom المدمجة في المسار 1 عام 2023، بحسب إفادة الفريق: EER وminDCF | 1.980%، 0.1066 | Du وآخرون، تقرير نظام ChinaTelecom، 2023 |
السياق: أقيمت النسخة الأخيرة عام 2023، لذلك فإن أحدث بيانات متاحة لهذا التحدي هي الاستعراض بأثر رجعي لعام 2024. ولم يكن EER في كثير من الأحيان مقياس الترتيب، ولهذا يظهر لفريق في المركز الثاني أحيانا EER أقل من الفائز.
3. الرقم القياسي على VoxCeleb1-O، من 8.8% إلى 0.12%
يجعل عدد المحاولات التحسن ملموسا. فمعدلا الخطأ كلاهما يساويان EER عند نقطة التشغيل، لذا فإن إجمالي الأخطاء يساوي تقريبا EER مضروبا في عدد المحاولات: 8.8% من 37,720 يساوي نحو 3,319 قرارا خاطئا، و0.12% يساوي نحو 45. نظام عام 2025 يرتكب نحو 45 خطأ حيث كان نظام 2017 الأساسي يرتكب نحو 3,319 (Li وCheng وLi، ورقة w2v-BERT 2.0، 2025). وعند هذا المستوى، قد تحسم حفنة من المحاولات ذات الوسوم الخاطئة الرقم القياسي.
البيانات تحرك الدرجة الآن أكثر من البنية. فـ W2V-BERT 2.0 مسجل عند 0.38% عند تدريبه على VoxCeleb2 وحدها و0.14% مع إضافة VoxBlink2، وهو النموذج نفسه بـ 587M معاملا في الصفين (Yakovlev وOkhotnikov، ورقة ReDimNet2، 2026). وللوصفات التدريبية أثرها أيضا: فقد انتقل ResNet34 من 1.31% في ورقته الأصلية المشار إليها إلى 0.723% في إعادة التنفيذ ضمن حزمة WeSpeaker. وتعمل هذه التضمينات نفسها أيضا حكما في أبحاث تحويل الصوت، وهو ما يتناوله استعراض تشابه المتحدث في تحويل الصوت لدينا.
| المقياس | القيمة | المصدر |
|---|---|---|
| 2017: خط الأساس i-vector مع PLDA على اختبار VoxCeleb1، EER وأدنى تكلفة كشف | 8.8%، 0.73 | Nagrani وآخرون، ورقة VoxCeleb، 2017 |
| 2018: ResNet-50 مدرب على VoxCeleb2، EER وأدنى تكلفة كشف | 3.95%، 0.429 | Chung وآخرون، ورقة VoxCeleb2، 2018 |
| 2020: ECAPA-TDNN بـ 1,024 قناة، EER وminDCF | 0.87%، 0.1066 | Desplanques وآخرون، Interspeech 2020 |
| 2022: ResNet293 في حزمة WeSpeaker، EER وminDCF | 0.447%، 0.043 | Wang وآخرون، ورقة WeSpeaker، 2022 |
| 2024: SimAM-ResNet293 مدرب مسبقا على VoxBlink2 مع معايرة الجودة، EER وminDCF | 0.17%، 0.006 | Lin وآخرون، VoxBlink2، Interspeech 2024 |
| 2025: w2v-BERT 2.0 على Vox1-O مقابل Vox1-H، EER | 0.12% مقابل 0.55% | Li وCheng وLi، ورقة w2v-BERT 2.0، 2025 |
| 2026: ReDimNet2-B6، EER وعدد المعاملات وGMACs (المليارات من عمليات الضرب والتجميع) لمدخل مدته ثانيتان | 0.29%، 12.3M، 13.05 | Yakovlev وOkhotnikov، ورقة ReDimNet2، 2026 |
| 2026: ReDimNet2-B0، أصغر نموذج في العائلة، EER وعدد المعاملات | 1.04%، 1.1M | Yakovlev وOkhotnikov، ورقة ReDimNet2، 2026 |
ملاحظة عن القيم الشاذة: يفيد مؤلفو w2v-BERT 2.0 بأن التقليم خفض حجم النموذج بنسبة 80% مع تدهور في EER لا يتجاوز 0.04%، لذلك قد لا تحتاج أكبر النماذج إلى البقاء كبيرة.
4. المقاطع القصيرة والصوت الصاخب
قص مقطع الاختبار إلى ثانيتين يضاعف خطأ نموذج رائد أكثر من مرتين، من 0.61% إلى 1.48% (Chen وآخرون، ورقة ERes2NetV2، 2024). وهذا يهم أي منتج مبني على عبارة منطوقة قصيرة، لأن الرقم الرئيسي الذي لا يتجاوز 1% يخص المقاطع كاملة الطول. والعكس صحيح أيضا: مع أزواج VoxSRC التي تزيد مدتها على 8 ثوان، كاد فائز المسار 2 لعام 2023 ألا يخطئ.
تتبع الضوضاء منحنى حادا لا خطا مستقيما. و«Babble» (ضجيج الأحاديث المتداخلة) يعني ثرثرة حشد في الخلفية، وتقيس نسبة الإشارة إلى الضوضاء (SNR) الصوت مقابل الضوضاء، لذا فإن 0 ديسيبل يعني أنهما بالقوة نفسها. نظام ResNet34 الأساسي بالكاد يتحرك عند 20 ديسيبل، ثم يتضاعف خطؤه أكثر من أربع مرات عند 0 ديسيبل (Gu وآخرون، ورقة Noise-Conditioned Mixture-of-Experts، 2025). وأضرت ثرثرة الحشد أكثر من الموسيقى، ويرجح أن السبب أنها من نوع الإشارة نفسه الذي يدرب النموذج على تمييزه.
| المقياس | القيمة | المصدر |
|---|---|---|
| EER لنموذج ERes2NetV2 على VoxCeleb1-O: محاولات كاملة الطول مقابل 3 ثوان مقابل ثانيتين | 0.61% مقابل 0.98% مقابل 1.48% | Chen وآخرون، ورقة ERes2NetV2، 2024 |
| EER لنموذج ECAPA-TDNN على VoxCeleb1-O: محاولات 3 ثوان مقابل ثانيتين | 1.27% مقابل 1.95% | Chen وآخرون، ورقة ERes2NetV2، 2024 |
| EER لنموذج ResNet34 على VoxCeleb1-O: محاولات 3 ثوان مقابل ثانيتين | 1.47% مقابل 2.12% | Chen وآخرون، ورقة ERes2NetV2، 2024 |
| EER لفائز المسار 2 في VoxSRC 2023 على مجموعة اختبار 2019: كل الأزواج مقابل الأزواج التي تزيد على 6 ثوان مقابل الأزواج التي تزيد على 8 ثوان | 0.47% مقابل 0.26% مقابل 0.03% | Huh وآخرون، استعراض VoxSRC بأثر رجعي، 2024 |
| مقاطع اختبار SRE24 التي واجهت الأنظمة فيها أكبر صعوبة، والنقطة التي تتقلص بعدها المكاسب | من 4.5 إلى 13 ثانية؛ مكاسب أصغر بعد 22.6 ثانية | Singer وآخرون، Odyssey 2026 |
| EER لنظام ResNet34 الأساسي على اختبار VoxCeleb1: نظيف مقابل ضجيج أحاديث متداخلة عند 20 ديسيبل مقابل ضجيج أحاديث متداخلة عند 0 ديسيبل | 1.98% مقابل 2.18% مقابل 9.30% | Gu وآخرون، ورقة Noise-Conditioned Mixture-of-Experts، 2025 |
| النظام الأساسي نفسه عند 0 ديسيبل: الموسيقى مقابل الضوضاء العامة | 5.82% مقابل 7.3% | Gu وآخرون، ورقة Noise-Conditioned Mixture-of-Experts، 2025 |
| النظام الأساسي نفسه عند 0 ديسيبل مع ضوضاء Nonspeech100، والنموذج المشروط بالضوضاء عند ضجيج أحاديث متداخلة 0 ديسيبل | 10.17%؛ 8.10% | Gu وآخرون، ورقة Noise-Conditioned Mixture-of-Experts، 2025 |
السياق: نتائج الضوضاء لا تنتقل بين الأوراق البحثية. فقد قاست دراسة من جامعة سيول نموذج ECAPA-TDNN عند 3.46% في الصوت النظيف و13.01% مع ضجيج الأحاديث المتداخلة عند 0 ديسيبل (Kim وآخرون، ورقة PAS، 2023)، بإعداد تدريب مختلف، لذلك قارن الارتفاع داخل كل دراسة لا القيم المطلقة.
5. العمر وعدم تطابق المجموعات والمجالات
الرقم القياسي على VoxCeleb1-O لا يقول الكثير عن صوت سُجل بعد سنوات أو في وسط آخر. اختيار أزواج من المتحدث نفسه ذات فجوات عمرية كبيرة رفع نظاما أساسيا من 1.939% إلى 10.419% من EER (Qin وآخرون، Interspeech 2022). وتظهر مجموعة فنلندية طولية الطرف البعيد من ذلك المنحنى: فعند فجوة 40 سنة، يكون EER للرجال البالغ 51.61% أسوأ من التخمين (Singh وآخرون، Interspeech 2023). وهذه المجموعة صغيرة، إذ تضم 109 متحدثين بعد المعالجة المسبقة، وأعمار VoxCeleb مقدرة لا مسجلة، لذلك اقرأ الاتجاه بثقة أكبر من القيم الدقيقة.
تحول المجال هو الخطر التجاري الأكبر، لأنه يأتي بصمت. فقد ارتفع خطأ نظام x-vector المدرب على VoxCeleb في ورقة CN-Celeb نحو خمسة أضعاف على صوت صيني متعدد الأنواع (16.59 / 3.48 = 4.8). وإعادة التدريب على المجال الجديد تساعد لكنها لا تسد الفجوة: فوصفة ECAPA-TDNN نفسها ما زالت تظهر خطأ يزيد على تسعة أضعاف على CN-Celeb مقارنة بـ VoxCeleb (8.877 / 0.936 = 9.5).
| المقياس | القيمة | المصدر |
|---|---|---|
| EER لنظام أساسي على اختبار Vox-H مقابل Vox-CA20، وهو اختبار لأزواج ذات فجوات عمرية كبيرة | 1.939% مقابل 10.419% | Qin وآخرون، Interspeech 2022 |
| EER لنموذج ECAPA-TDNN على VoxCeleb1-Age-Enriched (الولايات المتحدة) عند فجوة عمرية 3 / 6 / 9 سنوات، المتحدثون الذكور | 2.31% / 2.84% / 3.63% | Singh وآخرون، Interspeech 2023 |
| الاختبار نفسه عند فجوة عمرية 3 / 6 / 9 سنوات، المتحدثات الإناث | 2.70% / 3.12% / 3.87% | Singh وآخرون، Interspeech 2023 |
| EER للمجموعة الفنلندية الطولية (LCFSH) عند فجوة عمرية 0 / 20 / 40 سنة، المتحدثون الذكور | 5.12% / 18.68% / 51.61% | Singh وآخرون، Interspeech 2023 |
| المجموعة نفسها عند فجوة عمرية 0 / 20 / 40 سنة، المتحدثات الإناث | 10.04% / 21.67% / 40.61% | Singh وآخرون، Interspeech 2023 |
| EER لنظام x-vector المدرب على VoxCeleb على مجموعة اختبار SITW مقابل CN-Celeb.E (مجموعة تقييم من CN-Celeb) | 3.48% مقابل 16.59% | Li وآخرون، ورقة CN-Celeb، 2020 |
| ECAPA-TDNN بدالة الخسارة AM-Softmax: اختبار VoxCeleb1 مقابل تقييم CN-Celeb، كل منهما مدرب على مجاله الخاص | 0.936% مقابل 8.877% | Wang وآخرون، ورقة DASA، 2023 |
| مسار التكيف مع المجال في VoxSRC 2023 على CNCeleb: النظام الأساسي مقابل المركز الأول، EER | 13.11% مقابل 4.95% | Huh وآخرون، استعراض VoxSRC بأثر رجعي، 2024 |
أحدث بيانات متاحة عن الشيخوخة طويلة الأمد: Singh وآخرون، Interspeech 2023.
6. NIST SRE: المعيار الأصعب دون أرقام رئيسية
تجري NIST هذه التقييمات منذ عام 1996، وهي لا تشبه مقابلات YouTube في شيء. فقد استخدم SRE24 مجموعة بيانات جديدة جُمعت خارج أمريكا الشمالية، وكلاما هاتفيا وصوتا مأخوذا من مقاطع فيديو، والعربية التونسية والإنجليزية والفرنسية. تصدر تحدي الهاتف في SRE24 نظام بلغ 2.37% من EER، أي نحو 20 ضعف الرقم القياسي على VoxCeleb1-O (2.37 / 0.12 = 19.8) (موقع NIST SRE24)، مع أن الاختبارين يختلفان كثيرا بحيث لا تقيس هذه النسبة سوى مستوى الصعوبة.
وجد تحليل 91 نظاما قدمت في SRE24 أن محاولات الهاتف المتطابقة تفوقت باستمرار على محاولات الصوت المأخوذ من الفيديو المتطابقة، وأن نوع المصدر كان أهم من عدم تطابق اللغة. وتفوقت ثلاثة مقاطع تسجيل على مقطع واحد بوجه عام، حتى مع تساوي إجمالي الكلام، وأظهرت معظم الأنظمة فروقا محدودة بين الجنسين في المحاولات من الجنس نفسه (Singer وآخرون، Odyssey 2026). وحققت بيانات التدريب غير المقيدة مكاسب كبيرة، وتنافست النماذج المفردة مع الأنظمة المدمجة (Greenberg وآخرون، Interspeech 2025). وتظهر أرقام الجدول أدناه الدرس الآخر: النظام الذي لا يستطيع ضبط عتبته بنفسه ليس جاهزا، مهما كانت أدنى تكلفة له جيدة.
| المقياس | القيمة | المصدر |
|---|---|---|
| تحدي الهاتف SRE19: الجهات، الفرق، مخرجات الأنظمة الصالحة | 67 / 51 / 1,347 | Sadjadi وآخرون، تحدي NIST SRE19 CTS، Odyssey 2020 |
| اختبار الصوت SRE21: محاولات الهدف مقابل محاولات غير الهدف | 132,038 مقابل 5,899,731 | Sadjadi وآخرون، NIST SRE21، 2022 |
| SRE24: الفرق، الجهات، الأنظمة المقدمة | 11 / 26 / 91 | Singer وآخرون، Odyssey 2026 |
| الصف الأول في لوحة نتائج SRE24-CTS بتاريخ 24 أكتوبر 2024: EER، أدنى تكلفة، التكلفة الفعلية | 2.37%، 0.102، 0.106 | لوحة نتائج تحدي NIST SRE24-CTS، 2024 |
| مشاركة أخرى على لوحة النتائج نفسها: EER، أدنى تكلفة، التكلفة الفعلية (النظام التافه يسجل 1) | 3.00%، 0.080، 1.000 | لوحة نتائج تحدي NIST SRE24-CTS، 2024 |
| نظام HCCL المقدم إلى SRE21، مجموعة التطوير مقابل مجموعة التقييم: EER | 2.27% مقابل 3.05% | Li وآخرون، نظام HCCL، Interspeech 2022 |
| النظام نفسه، مجموعة التطوير مقابل مجموعة التقييم: التكلفة الفعلية | 0.170 مقابل 0.560 | Li وآخرون، نظام HCCL، Interspeech 2022 |
السياق: تعرض ورقتا النظرة العامة والتحليل لـ SRE24 النتائج في رسوم بيانية دون قيم EER مطبوعة، لذلك فإن لوحة النتائج هي النافذة الرقمية على هذه الدورة. أحدث بيانات متاحة للنتائج الرقمية الرسمية: لوحة نتائج تحدي NIST SRE24-CTS، 2024.
7. الإنصاف: من يقيسه المعيار
درجة معيار واحدة قد تخفي معدل إيجابيات كاذبة لمجموعة واحدة يبلغ 13 ضعف المعدل الإجمالي. فعند عتبة أدنى التكلفة الإجمالية، كان معدل الإيجابيات الكاذبة للمتحدثات الهنديات 13.0387 ضعف المعدل الإجمالي في دراسة لسير عمل تحدي VoxCeleb للتعرف على المتحدث (Hutiri وDing، FAccT 2022). وتساعد تركيبة البيانات في تفسير ذلك: فمجموعة اختبار VoxCeleb 1 تتألف من متحدثين أمريكيين بنسبة 62.5%، وتساهم النساء بنسبة 38% من المتحدثين لكن 29.5% من المقاطع.
اتجاه الفجوة بين الجنسين ليس ثابتا، وهذه هي النتيجة المفيدة. فقد كان أداء فائزي VoxSRC أفضل على الرجال، وكان أداء دراسة Amazon أفضل على النساء، وتبين تجربة مضبوطة أن مزيج التدريب قد يخلق فجوة خاصة به. ويظهر النمط نفسه في أدوات الكلام على مستوى الكلمات، كما يوثق استعراض التحيز تجاه اللهجات في التعرف على الكلام لدينا.
| المقياس | القيمة | المصدر |
|---|---|---|
| مجموعة اختبار VoxCeleb 1: حصة الولايات المتحدة من المتحدثين؛ حصة النساء من المتحدثين؛ حصة النساء من المقاطع | 62.5%؛ 38%؛ 29.5% | Hutiri وDing، FAccT 2022 |
| مجموعة تدريب VoxCeleb 2: حصة الرجال؛ حصة الولايات المتحدة | 61%؛ 29% | Hutiri وDing، FAccT 2022 |
| المتحدثات الهنديات مقابل المعدل الإجمالي: نسبة الإيجابيات الكاذبة؛ نسبة السلبيات الكاذبة | 13.0387 ضعفا؛ 1.2497 ضعفا | Hutiri وDing، FAccT 2022 |
| فائزو VoxSRC 2023 على مجموعة اختبار 2019، EER للرجال مقابل النساء: المسار 1؛ المسار 2 | 0.57% مقابل 0.69%؛ 0.43% مقابل 0.59% | Huh وآخرون، استعراض VoxSRC بأثر رجعي، 2024 |
| نظام إعادة الترجيح التنافسي، EER للرجال مقابل النساء | 1.25% مقابل 0.67% | Jin وآخرون، Interspeech 2022 |
| الدراسة نفسها، الفجوة بين المجموعتين الجنسيتين قبل إعادة الترجيح مقابل بعدها | 0.70% مقابل 0.58% | Jin وآخرون، Interspeech 2022 |
| الدراسة نفسها، EER للولايات المتحدة مقابل المملكة المتحدة مقابل بقية الجنسيات | 1.04% مقابل 0.76% مقابل 1.22% | Jin وآخرون، Interspeech 2022 |
| نظام ResNet-34 الأساسي (بربع القنوات) مدرب على مزيج 9:1 من الإناث إلى الذكور، EER للإناث مقابل الذكور | 3.52% مقابل 7.22% | Shen وآخرون، ICASSP 2022 |
أحدث بيانات متاحة لنسب الخطأ بين المجموعات الفرعية: Hutiri وDing، FAccT 2022. وبصورة منفصلة، وجد Estevez وFerrer أن الأداء «تدهور بشكل ملحوظ» للمجموعات ناقصة التمثيل في التدريب، وأن موازنة البيانات البسيطة خفضت التحيز دون الإضرار بالمجموعات الأغلبية (Study on the Fairness of Speaker Verification Systems).
الخلاصة: معدل الخطأ المتساوي في التحقق من المتحدث على VoxCeleb بالأرقام
| المقياس | القيمة | المصدر |
|---|---|---|
| أقل EER على VoxCeleb1-O وُجد في ورقة بحثية أصلية | 0.12% | Li وCheng وLi، ورقة w2v-BERT 2.0، 2025 |
| النظام نفسه على قائمة Vox1-H الصعبة | 0.55% | Li وCheng وLi، ورقة w2v-BERT 2.0، 2025 |
| SimAM-ResNet293 على VoxCeleb1-O مع تدريب مسبق على VoxBlink2 ومعايرة الجودة، EER وminDCF | 0.17%، 0.006 | Lin وآخرون، VoxBlink2، Interspeech 2024 |
| متحدثو VoxBlink2 مقابل متحدثي VoxCeleb2 | 111,284 مقابل 5,994 | Lin وآخرون، VoxBlink2، Interspeech 2024 |
| EER وعدد المعاملات لـ ReDimNet2-B6 | 0.29%، 12.3M | Yakovlev وOkhotnikov، ورقة ReDimNet2، 2026 |
| EER لنموذج ECAPA-TDNN بـ 1,024 قناة | 0.87% | Desplanques وآخرون، Interspeech 2020 |
| EER للمركز الأول في المسار 2 من VoxSRC على مجموعة اختبار 2019 الثابتة، 2019 مقابل 2023 | 1.26% مقابل 0.47% | Huh وآخرون، استعراض VoxSRC بأثر رجعي، 2024 |
| EER لنموذج ERes2NetV2 على المحاولات كاملة الطول مقابل محاولات الثانيتين | 0.61% مقابل 1.48% | Chen وآخرون، ورقة ERes2NetV2، 2024 |
| EER لنظام ResNet34 الأساسي، نظيف مقابل ضجيج أحاديث متداخلة عند 0 ديسيبل | 1.98% مقابل 9.30% | Gu وآخرون، ورقة Noise-Conditioned Mixture-of-Experts، 2025 |
| EER لنظام أساسي على Vox-H مقابل Vox-CA20 (فجوات عمرية كبيرة) | 1.939% مقابل 10.419% | Qin وآخرون، Interspeech 2022 |
| EER للرجال عند فجوة عمرية 0 سنة مقابل 40 سنة، المجموعة الفنلندية | 5.12% مقابل 51.61% | Singh وآخرون، Interspeech 2023 |
| EER لنظام x-vector المدرب على VoxCeleb على SITW مقابل CN-Celeb.E | 3.48% مقابل 16.59% | Li وآخرون، ورقة CN-Celeb، 2020 |
| EER لنموذج ECAPA-TDNN على VoxCeleb1 مقابل تقييم CN-Celeb، كل منهما مدرب على مجاله الخاص | 0.936% مقابل 8.877% | Wang وآخرون، ورقة DASA، 2023 |
| الصف الأول في لوحة نتائج SRE24-CTS، EER | 2.37% | لوحة نتائج تحدي NIST SRE24-CTS، 2024 |
| التكلفة الفعلية لنظام HCCL في SRE21، مجموعة التطوير مقابل مجموعة التقييم | 0.170 مقابل 0.560 | Li وآخرون، نظام HCCL، Interspeech 2022 |
| مجموعة اختبار VoxCeleb 1، حصة النساء من المتحدثين مقابل المقاطع | 38% مقابل 29.5% | Hutiri وDing، FAccT 2022 |
| معدل الإيجابيات الكاذبة للمتحدثات الهنديات مقابل المعدل الإجمالي | 13.0387 ضعفا | Hutiri وDing، FAccT 2022 |
| نظام إعادة الترجيح التنافسي، EER للرجال مقابل النساء | 1.25% مقابل 0.67% | Jin وآخرون، Interspeech 2022 |
المنهجية والمصادر
قُرئ كل رقم في ورقة بحثية أصلية أو تقرير تحدٍّ أو صفحة من NIST خلال هذا البحث. وتُقتبس قيم EER والتكلفة كما تطبعها كل جهة مصدر. أما النسب وأعداد القرارات الخاطئة فهي من حسابنا الخاص، مع إظهار العملية الحسابية. ولا تُستخدم أي بيانات من VoxBooster.
- Huh وآخرون، The VoxCeleb Speaker Recognition Challenge: A Retrospective، 2024
- Nagrani وChung وZisserman، VoxCeleb: a large-scale speaker identification dataset، Interspeech 2017
- Chung وNagrani وZisserman، VoxCeleb2: Deep Speaker Recognition، Interspeech 2018
- Desplanques وThienpondt وDemuynck، ECAPA-TDNN، Interspeech 2020
- Wang وآخرون، ورقة حزمة WeSpeaker، 2022
- Lin وآخرون، VoxBlink2، Interspeech 2024
- Li وCheng وLi، w2v-BERT 2.0 والتقليم المهيكل، 2025
- Yakovlev وOkhotnikov، ReDimNet2، 2026
- Zheng وآخرون، نظام UNISOUND لتحدي VoxSRC 2023
- Torgashov وآخرون، نظام ID R&D لتحدي VoxSRC 2023
- Du وFang وLi، نظام ChinaTelecom لتحدي VoxSRC 2023
- Chen وآخرون، ERes2NetV2، 2024
- Gu وآخرون، Noise-Conditioned Mixture-of-Experts Framework، 2025
- Kim وآخرون، ورقة تعزيز PAS، 2023
- Qin وآخرون، Cross-Age Speaker Verification، Interspeech 2022
- Singh وSahidullah وKinnunen، Speaker Verification Across Ages، Interspeech 2023
- Li وآخرون، CN-Celeb: multi-genre speaker recognition، 2020
- Wang وآخرون، ورقة DASA، 2023
- موقع NIST للتقييم الخاص بالتعرف على المتحدث ولوحة نتائج تحدي SRE24-CTS
- Greenberg وآخرون، The 2024 NIST Speaker Recognition Evaluation، Interspeech 2025
- Singer وآخرون، Analysis of the NIST 2024 Speaker Recognition Evaluation، Odyssey 2026
- Sadjadi وآخرون، The 2021 NIST Speaker Recognition Evaluation، 2022
- Sadjadi وآخرون، The 2019 NIST SRE CTS Challenge، Odyssey 2020
- Li وآخرون، The HCCL System for the NIST SRE21، Interspeech 2022
- Hutiri وDing، Bias in Automated Speaker Recognition، FAccT 2022
- Jin وآخرون، Adversarial Reweighting for Speaker Verification Fairness، Interspeech 2022
- Shen وآخرون، Group-adapted Fusion Network، ICASSP 2022
- Estevez وFerrer، Study on the Fairness of Speaker Verification Systems Across Accent and Gender Groups
- Qu وآخرون، Fair-Gate، 2026
- ملاحظة حول البيانات: أرقام VoxCeleb1-O القياسية ليست قابلة للمقارنة التامة، لأن بعض الأوراق تستخدم نسخة منقحة من البروتوكول، وبعضها يضيف تطبيع الدرجات أو معايرة الجودة. فرقم ECAPA-TDNN وحده يتفاوت بين الأوراق: 0.87% في الورقة الأصلية، و0.728% في WeSpeaker، و0.94% في جدول ReDimNet2، و1.12% في ورقة Fair-Gate لعام 2026. ويفيد مؤلفو w2v-BERT 2.0 بـ 0.12%، بينما يدرج جدول المقارنة في ReDimNet2 نسبة 0.14% لنموذج w2v-BERT 2.0 مدرب على VoxBlink2 مضافا إليه VoxCeleb2، ولم نتمكن من مطابقة هذين الإدخالين تماما. ونسبة خفض EER البالغة 43.4% التي تذكرها ورقة VoxBlink2 لا تتطابق مع جدولها (من 0.606% إلى 0.340% تعادل 43.9%)، لذلك لا نقتبسها. كما يطبع ملخص الورقة قيمة minDCF على أنها 0.006%، بينما يطبعها الجدول 0.006. وتذكر ورقة CN-Celeb القيمة 15.52% في المقدمة و16.59% في الجدول لـ CN-Celeb.E؛ ونحن نعتمد الجدول. أما النتائج الأقدم هنا (من 2017 إلى منتصف 2023) فهي موسومة بأنها أحدث بيانات متاحة حيث لا يوجد ما يعادلها أحدث. وستغير نتائج NIST الرقمية لدورة التقييم التالية القسم 6 أولا. وجميع قيم EER هنا تخص أشخاصا حقيقيين آخرين بوصفهم منتحلين، لذا فهي لا تقول شيئا عن مقاومة الأصوات الاصطناعية.
آخر تحديث: 31 أكتوبر 2026. نراجع هذا الاستعراض ونحدثه كل ثلاثة أشهر، ومن المتوقع أن يأتي التحديث التالي عندما تنشر NIST نتائج رقمية من دورة تقييم التعرف على المتحدث التالية.