في معيار CALLHOME للمكالمات الهاتفية، يسجل نظام تجزئة المتحدثين الشامل نفسه معدل DER قدره 8.50% في المكالمات ذات متحدثين اثنين، و40.29% في المكالمات ذات ستة متحدثين (Horiguchi وآخرون، EEND-EDA، Interspeech 2020). تجزئة المتحدثين (Speaker Diarization) هي خطوة «من تحدث ومتى»: فهي تقسم التسجيل إلى مقاطع وتسم كل مقطع بمتحدث، قبل التفريغ النصي أو بالتوازي معه. وعلى المعايير المنتقاة تحسنت بسرعة، إذ انخفض الخطأ الوسيط في المسار 1 من DIHARD من أكثر من 30% في DIHARD I إلى أقل من 20% في DIHARD III (Ryant وآخرون، Third DIHARD Challenge 2021)، لكن صوت حفل العشاء ما زال ينتج DER أساسيا قدره 62.0% في CHiME-6 (Watanabe وآخرون، نظرة عامة على تحدي CHiME-6 لعام 2020). جمعنا بيانات من منظمي تحديي DIHARD وVoxSRC، وتحديات CHiME-6 وNOTSOFAR-1 وDISPLACE، ومعيار ETH Zurich لعام 2025 في تجزئة المتحدثين، وBrno University of Technology، وبطاقات نماذج مشروع pyannote، ودراسات سريرية محكمة. وللاطلاع على الجانب الخاص بالكلمات من خط المعالجة نفسه، راجع استعراضنا عن تحيز التعرف على الكلام للهجات ومعدل خطأ الكلمات.
ملاحظة حول قراءة كل رقم أدناه: معدل DER (معدل خطأ تجزئة المتحدثين) كلما انخفض كان أفضل، ولا تصح المقارنة بين نتيجتين إلا إذا اشتركتا في المعيار نفسه، و«نافذة التسامح» نفسها (collar، وهي نافذة قصيرة غير محتسبة حول كل تغير للمتحدث)، والقاعدة نفسها بشأن الكلام المتداخل. يذكر كل جدول الإعداد المستخدم متى ذكره المصدر.
أبرز النقاط
- يرتفع DER في CALLHOME من 8.50% مع متحدثين اثنين إلى 40.29% مع 6 متحدثين للنظام نفسه (Horiguchi وآخرون، Interspeech 2020).
- انخفض DER الوسيط في المسار 1 من DIHARD من أكثر من 30% (DIHARD I) إلى 25% (DIHARD II) ثم إلى أقل من 20% (DIHARD III) (Ryant وآخرون، Third DIHARD Challenge 2021).
- سجل الفائزون في VoxSRC نسبة DER قدرها 3.71% في 2020 و4.30% في 2023 على صوت YouTube، أي نحو نصف خط الأساس في كل سنة (Huh وآخرون، مراجعة VoxSRC، IEEE TASLP 2024).
- إزالة نافذة التسامح البالغة 0.25 s ترفع DER في AMI من 9.8% إلى 15.4% للنظام نفسه (Han وآخرون، Brno University of Technology 2024).
- أكثر من 33% من الأخطاء في بيانات اجتماعات NIST ذات الميكروفون الواحد تقع ضمن 0.5 s من تغير المتحدث (Knox، UC Berkeley 2013).
- يبلغ متوسط الكلام المتداخل في تسجيلات الاجتماعات 12% إلى 15% (Park وآخرون، Computer Speech and Language 2022).
- بلغ متوسط DER في حوارات الطبيب والمريض 33.38% مقابل 15.18% للحديث العام عبر ثمانية أنظمة (Okocha وآخرون، 2025).
- سجل خط الأساس لحفل العشاء في CHiME-6 نسبة 62.0% DER على مجموعة التقييم (Watanabe وآخرون، نظرة عامة على CHiME-6 لعام 2020).
- خفض أفضل نظام اجتماعات في NOTSOFAR-1 معدل خطأ الكلمات المنسوبة للمتحدثين إلى 10.8% من خط أساس بلغ 28.3% (Abramovski وآخرون، ملخص NOTSOFAR-1 لعام 2025).
- عالج أسرع نموذج في معيار 2025 الصوت أسرع 214.3 مرة من الزمن الحقيقي (Lanzendoerfer وآخرون، ETH Zurich 2025).
1. ما الذي يقيسه DER، ولماذا يغير إعداد التقييم الرقم
يجمع DER ثلاثة أنواع من الزمن ويقسمها على إجمالي الكلام المرجعي: الكلام الفائت (تحدث شخص ما وسمع النظام صمتا)، والإنذار الكاذب (وسم النظام كلاما حيث لا يوجد)، وخلط المتحدثين (اكتُشف الكلام لكنه نُسب إلى الشخص الخطأ). تُظهر بطاقة نموذج pyannote 3.1 الحساب بوضوح: على صوت سماعات الرأس في AMI، يتكون DER البالغ 18.8% من 3.6% إنذار كاذب و9.5% كلام فائت و5.7% خلط.
الفخ الأكبر هو نافذة التسامح. منذ تقييمات NIST Rich Transcription، تتجاهل معظم الأوراق 0.25 s على كل جانب من كل حد مرجعي، لأن المدونين البشر نادرا ما يتفقون على الميلي ثانية الدقيقة التي يبدأ فيها الدور. هذا الخيار وحده يزيل 5.6 نقطة، أي 36% من الرقم دون نافذة تسامح: النظام نفسه من Brno University of Technology يسجل 15.4% على AMI دون نافذة تسامح و9.8% معها (Han وآخرون، 2024). والمنطقة المسموح بها هي بالضبط حيث تفشل الأنظمة أكثر، إذ يقع ثلث الأخطاء أو أكثر ضمن نصف ثانية من تغير المتحدث (Knox، تقرير تقني من UC Berkeley 2013).
| المقياس | القيمة | المصدر |
|---|---|---|
| نافذة التسامح القياسية غير المحتسبة حول كل حد لمقطع مرجعي (تقييم بنمط RT) | 0.25 s، موصوفة بأنها المخطط الأكثر استخداما | Park وآخرون، Computer Speech and Language 2022 |
| قاعدة التقييم في DIHARD وCHiME-6 | دون نافذة تسامح، مع احتساب الكلام المتداخل | Park وآخرون، Computer Speech and Language 2022 |
| DER في AMI، نظام BUT القائم على WavLM، دون نافذة تسامح مقابل نافذة 0.25 s | 15.4% مقابل 9.8% | Han وآخرون، Brno University of Technology 2024 |
| DER في AliMeeting، النظام نفسه، دون نافذة تسامح مقابل نافذة 0.25 s | 17.6% مقابل 10.2% | Han وآخرون، Brno University of Technology 2024 |
| DER في AMI، خط أساس pyannote 3، دون نافذة تسامح مقابل نافذة 0.25 s | 21.1% مقابل 13.7% | Han وآخرون، Brno University of Technology 2024 |
| نسبة الأخطاء ضمن 0.5 s من تغير المتحدث، اجتماعات NIST RT-09، ميكروفون بعيد واحد مقابل عدة ميكروفونات بعيدة | أكثر من 33% مقابل 40% | Knox، UC Berkeley 2013 |
| DER في خليط سماعات الرأس في AMI، pyannote 3.1، مقسما إلى إنذار كاذب + كلام فائت + خلط | 18.8% = 3.6% + 9.5% + 5.7% (بحسب ما أعلنه المشروع) | pyannote، بطاقة نموذج speaker-diarization-3.1 |
السياق: يعد تحليل Berkeley للأخطاء أحدث البيانات المتاحة عن موضع الخطأ (Knox، UC Berkeley 2013). ويشير معيار ETH لعام 2025 في الاتجاه نفسه: كان الكلام الفائت هو نوع الخطأ المهيمن لدى معظم النماذج، ويعزو المؤلفون المقاطع الفائتة، التي يبلغ متوسطها نحو 350 ms، إلى توقيت بداية الكلام ونهايته لا إلى عبارات كاملة لم تُسمع (Lanzendoerfer وآخرون، Benchmarking Diarization Models 2025).
2. أحدث ما بلغته المعايير، وسرعة انخفاض DER
التقدم حقيقي، لكنه خاص بكل معيار. ففي DIHARD، وهو مزيج صعب عمدا من 11 مجالا، انخفض DER الوسيط في المسار 1 من أكثر من 30% إلى أقل من 20% عبر ثلاث نسخ (Ryant وآخرون، The Third DIHARD Diarization Challenge 2021). يزود المسار 1 الأنظمة بمناطق الكلام الفعلية، أما المسار 2 فيجبرها على اكتشاف الكلام بنفسها، ولهذا تأتي أرقامه أعلى.
وعلى صوت YouTube بنمط البث، يستقر الفائزون في VoxSRC عند نحو 4%، أي نحو نصف خط أساس المنظمين في كل سنة (Huh وآخرون، The VoxCeleb Speaker Recognition Challenge: A Retrospective, IEEE TASLP 2024). لكن فائزي 2020 و2023 لا يشكلون سلسلة زمنية: فقد ازدادت مجموعة الاختبار من 232 ملفا إلى 413 ملفا، لذا فإن رقم 2023 الأعلى قليلا لا يعني أن المجال تراجع.
| المقياس | القيمة | المصدر |
|---|---|---|
| DER الوسيط في المسار 1 من DIHARD (مع تزويد النظام بمناطق الكلام الفعلية)، DIHARD I مقابل II مقابل III | أكثر من 30% مقابل 25% مقابل أقل من 20% | Ryant وآخرون، Third DIHARD Challenge 2021 |
| DER الوسيط في المسار 2 من DIHARD (النظام يكتشف الكلام بنفسه)، DIHARD I مقابل III | 40% مقابل أقل من 25% | Ryant وآخرون، Third DIHARD Challenge 2021 |
| فائز DIHARD III (USTC-NELSLIP)، مجموعة التقييم الأساسية، المسار 1 مقابل المسار 2 | 13.45% مقابل 19.37% (دون نافذة تسامح، مع احتساب التداخل) | نتائج تحدي DIHARD III |
| مسار تجزئة المتحدثين في VoxSRC، مجموعة اختبار 2020، الفائز مقابل خط الأساس | 3.71% مقابل 8.15% (نافذة تسامح 0.25 s، مع احتساب التداخل) | Huh وآخرون، مراجعة VoxSRC 2024 |
| مسار تجزئة المتحدثين في VoxSRC، مجموعة اختبار 2023، الفائز مقابل خط الأساس | 4.30% مقابل 8.54% (نافذة تسامح 0.25 s، مع احتساب التداخل) | Huh وآخرون، مراجعة VoxSRC 2024 |
| DER في CALLHOME، جميع المكالمات، EEND-EDA الشامل مقابل التجميع بمتجهات x-vector | 15.29% مقابل 19.43% (نافذة تسامح 0.25 s) | Horiguchi وآخرون، Interspeech 2020 |
| متوسط DER لنظام ICSI على اجتماعات NIST RT-09، ميكروفون بعيد واحد | 31.3% | Sinclair وKing، University of Edinburgh 2013 |
السياق: بلغ DER للفائز في DIHARD III على مجموعة التقييم الكاملة 11.3% في المسار 1 و16.78% في المسار 2، مقابل خط أساس بلغ 20.65% و27.34% على المجموعة الأساسية (نتائج تحدي DIHARD III). ورقم RT-09 هو أحدث البيانات المتاحة لذلك التقييم (Sinclair وKing, Where are the challenges in speaker diarization? 2013)، وهو يأتي من بيانات مختلفة ومن حقبة مختلفة عن DIHARD، لذلك لا ينبغي قراءته على أنه مقارنة مباشرة بين ما قبل وما بعد.
3. الكلام المتداخل وعدد المتحدثين: أكبر عاملين مؤثرين في DER
التداخل ليس حالة هامشية. يبلغ متوسط الكلام المتداخل في تسجيلات الاجتماعات 12% إلى 15%، وتشير المراجعة التي جمعت هذا الرقم إلى أنه قد يرتفع أكثر في المحادثة اليومية (Park وآخرون، A Review of Speaker Diarization, Computer Speech and Language 2022). تسند خطوط المعالجة القديمة القائمة على التجميع متحدثا واحدا بالضبط لكل لحظة، لذا ففي تداخل بين شخصين يكون نصف الزمن المحتسب على الأقل خاطئا قبل وقوع أي خطأ آخر.
ويضاعف عدد المتحدثين المشكلة. ففي CALLHOME ينتقل نموذج EEND-EDA نفسه من 8.50% DER في المكالمات ذات متحدثين اثنين إلى 40.29% في المكالمات ذات ستة متحدثين (Horiguchi وآخرون، EEND-EDA, Interspeech 2020)، وتدفع النماذج ذات الحد الصارم لعدد المتحدثين الثمن مرتين: فعائلة Sortformer، المحدودة بأربعة متحدثين، أظهرت خلطا أكبر بين المتحدثين في التسجيلات المزدحمة ضمن معيار ETH. ويساعد التسجيل بعدة ميكروفونات، كما تظهر نتائج اجتماعات NOTSOFAR-1 في القسم 5، وهو نمط يظهر أيضا في بياناتنا عن تشكيل الحزمة في المجال البعيد ودقة كلمة التنبيه.
| المقياس | القيمة | المصدر |
|---|---|---|
| متوسط حصة الكلام المتداخل في تسجيلات الاجتماعات | 12% إلى 15% | Park وآخرون، Computer Speech and Language 2022 |
| متوسط حصة التداخل: AliMeeting مقابل AMI مقابل CALLHOME مقابل VoxConverse | 19% مقابل 15.94% مقابل 12.58% مقابل 3.52% | Lanzendoerfer وآخرون، ETH Zurich 2025 |
| DER في CALLHOME، EEND-EDA، مكالمات بـ 2 مقابل 3 مقابل 4 متحدثين | 8.50% مقابل 13.24% مقابل 21.46% | Horiguchi وآخرون، Interspeech 2020 |
| DER في CALLHOME، EEND-EDA، مكالمات بـ 5 مقابل 6 متحدثين | 33.16% مقابل 40.29% | Horiguchi وآخرون، Interspeech 2020 |
| DER في CALLHOME، التجميع بمتجهات x-vector، مكالمات بمتحدثين اثنين مقابل 6 | 15.45% مقابل 34.27% | Horiguchi وآخرون، Interspeech 2020 |
| DER في تسجيلات بأربعة متحدثين: Sortformer (حد أقصى 4 متحدثين) مقابل DiariZen | 21.3% مقابل 12.7% (نافذة تسامح 0.25 s، مع احتساب التداخل) | Lanzendoerfer وآخرون، ETH Zurich 2025 |
| متوسط عدد المتحدثين في التسجيل، مجموعة اختبار VoxSRC 2020 | 6.5 متحدثين خلال متوسط 675.6 s | Huh وآخرون، مراجعة VoxSRC 2024 |
السياق: عدد المتحدثين وحده لا يحدد النتيجة. ففي معيار ETH سجل أفضل نظام 6.6% على التسجيلات ذات 5 متحدثين أو أكثر، لكن 10.1% على التسجيلات ذات 4 متحدثين، وهو تذكير بأن التداخل وظروف التسجيل لا تقل أهمية عن عدد الأشخاص. كما أن نتائج CALLHOME لخمسة وستة متحدثين تستند إلى ملفات قليلة: يشير مؤلفو EEND-EDA إلى أن CALLHOME فيه عشرة تسجيلات فقط بأكثر من أربعة متحدثين.
4. فجوات المجالات: الصوت السريري وصوت الأطفال والمتعدد اللغات والواقعي غير المقيد
النموذج المضبوط على الاجتماعات والمكالمات الهاتفية لا ينقل دقته إلى عيادة أو منزل عائلي أو فيديو على الإنترنت. عبر ثمانية أنظمة لتجزئة المتحدثين، بلغ متوسط DER في حوارات الطبيب والمريض 33.38% مقابل 15.18% للمحادثات العامة، أي فجوة قدرها 18.20 نقطة مئوية (اختبار t المقترن، p < 10⁻⁴)، وتسببت الإنذارات الكاذبة في معظم العقوبة السريرية (Okocha وآخرون، Domain-Aware Speaker Diarization on African-Accented English 2025). وقد خفض الضبط الدقيق على الكلام ذي اللكنات خطأ أحد النماذج المفتوحة إلى النصف، لكن الفجوة السريرية تقلصت ولم تختف.
الأطفال حدود مستقلة. ففي دراسة BabyHuBERT تُقيَّم التسجيلات اليومية الطويلة المتمحورة حول الطفل لكل نوع متحدث (الطفل المحوري، وأطفال آخرون، ورجال بالغون، ونساء بالغات) بدرجة F1، حيث الأعلى هو الأفضل، ولا يزال أفضل نموذج لعام 2026 دون مدون بشري ثان (Charlot وآخرون، BabyHuBERT 2026). وقد أشار DIHARD III إلى نقطة الضعف نفسها، مبرزا الأطفال في المقابلات السريرية بوصفهم تحديا خاصا.
| المقياس | القيمة | المصدر |
|---|---|---|
| DER الوسيط في المسار 1 من DIHARD III، مجالات الاجتماعات وفيديو الويب والمطاعم | 35% إلى 45% | Ryant وآخرون، Third DIHARD Challenge 2021 |
| DER في DIHARD III، المقابلات السريرية والكلام الهاتفي، المسار 1 مقابل المسار 2 | عموما 10% إلى 20% مقابل 15% إلى 25% | Ryant وآخرون، Third DIHARD Challenge 2021 |
| متوسط DER عبر 8 أنظمة، حوارات الطبيب والمريض مقابل الحوارات العامة بالإنجليزية ذات اللكنات الأفريقية | 33.38% مقابل 15.18% (دون نافذة تسامح، مع احتساب التداخل) | Okocha وآخرون، 2025 |
| DER لـ pyannote قبل الضبط الدقيق مقابل بعده على الكلام ذي اللكنات الأفريقية، الحوارات الطبية | 31.46% مقابل 15.73% | Okocha وآخرون، 2025 |
| التسجيلات المتمحورة حول الطفل، متوسط F1 عبر أنواع المتحدثين: LENA مقابل BabyHuBERT-VTC مقابل مدون بشري ثان | 40.8% مقابل 65.1% مقابل 69.8% (الأعلى هو الأفضل) | Charlot وآخرون، BabyHuBERT 2026 |
| DER في معياري الفيديو الواقعي غير المقيد Ego4D (التطوير) وAVA-AVD، pyannote community-1 | 46.8% و44.6% (بحسب ما أعلنه المشروع، دون نافذة تسامح) | pyannote، بطاقة نموذج community-1 لعام 2025 |
| DER حسب اللغة عبر مجموعات بيانات معيار ETH، أفضل نظام (pyannoteAI)، الإسبانية مقابل الإنجليزية | 14.3% مقابل 6.6% | Lanzendoerfer وآخرون، ETH Zurich 2025 |
| محادثات هندية متعددة اللغات (DISPLACE)، DER لأفضل فريق على بيانات التقييم نفسها، 2023 مقابل 2024 | 27.8% مقابل 21.27% | Kalluri وآخرون، Second DISPLACE Challenge 2024 |
السياق: تغطي بيانات DISPLACE تسع لغات هندية بالإضافة إلى الإنجليزية الهندية، بمشاركة 3 إلى 5 أشخاص في كل جلسة (Kalluri وآخرون، The Second DISPLACE Challenge 2024). ويربط مؤلفو ETH فجوة اللغات بندرة البيانات لبعض اللغات، ويسمون الإسبانية أصعب اللغات الخمس التي اختبروها.
5. النشر في العالم الحقيقي: الاجتماعات ومراكز الاتصال والعيادات
في الإنتاج، تظهر أخطاء تجزئة المتحدثين على شكل أسطر في النص المفرغ تُنسب إلى الشخص الخطأ، ولهذا كثيرا ما تعرض دراسات الاجتماعات والطب مقاييس على مستوى الكلمات. يرد منها مقياسان أدناه: tcpWER، وهو معدل خطأ الكلمات الذي يحتسب أيضا الكلمات المنسوبة إلى المتحدث الخطأ ضمن نافذة زمنية، وWDER، وهو نسبة الكلمات التي أُعطيت وسم متحدث خاطئ. ومن أصعب البيئات التي جرى قياسها حفل العشاء: سجل خط الأساس في CHiME-6 نسبة 62.0% DER على مجموعة التقييم، ويعزو المنظمون نحو 15% مطلقة من فجوة معدل خطأ الكلمات بين مساري التحدي أساسا إلى تجزئة المتحدثين (Watanabe وآخرون، نظرة عامة على تحدي CHiME-6 لعام 2020).
اجتماعات المكاتب أيسر. ففي NOTSOFAR-1، المبني من 315 اجتماعا حقيقيا بمشاركة 4 إلى 8 أشخاص في كل اجتماع ضمن 30 بيئة، بلغ أفضل نظام متعدد القنوات 10.8% tcpWER (Abramovski وآخرون، Summary of the NOTSOFAR-1 Challenge, Computer Speech and Language 2025). وللتفريغ القانوني رهاناته الخاصة في وسم المتحدثين، وقد تناولناها في إحصائيات دقة تفريغ الكلام في قاعات المحاكم، أما أخطاء النص التي تتراكم فوق أخطاء المتحدثين فتغطيها بياناتنا عن هلوسة التعرف على الكلام.
| المقياس | القيمة | المصدر |
|---|---|---|
| DER لخط أساس حفل العشاء في CHiME-6، مجموعة التطوير مقابل مجموعة التقييم | 61.6% مقابل 62.0% | Watanabe وآخرون، نظرة عامة على CHiME-6 لعام 2020 |
| فجوة معدل خطأ الكلمات بين المسارين في CHiME-6 المنسوبة أساسا إلى تجزئة المتحدثين | نحو 15% مطلقة | Watanabe وآخرون، نظرة عامة على CHiME-6 لعام 2020 |
| تفريغ اجتماعات NOTSOFAR-1، tcpWER لأفضل نظام مقابل خط الأساس، متعدد القنوات | 10.8% مقابل 28.3% | Abramovski وآخرون، ملخص NOTSOFAR-1 لعام 2025 |
| تفريغ اجتماعات NOTSOFAR-1، tcpWER لأفضل نظام مقابل خط الأساس، قناة واحدة | 22.2% مقابل 41.4% | Abramovski وآخرون، ملخص NOTSOFAR-1 لعام 2025 |
| DER في المكالمات الهاتفية في CALLHOME، community-1 المفتوح مقابل precision-2 التجاري | 26.7% مقابل 16.6% (بحسب ما أعلنه المورّد، دون نافذة تسامح) | pyannote، بطاقة نموذج community-1 لعام 2025 |
| WDER عبر أربعة نماذج كلام تجارية، 36 محادثة رعاية أولية | 1.8% إلى 13.9% | Tran وآخرون، AMIA Annual Symposium 2022 |
| WDER في محادثات الطبيب والمريض، خط المعالجة التقليدي مقابل نموذج مشترك للتعرف والتجزئة | 15.8% مقابل 2.2% | El Shafey وآخرون، Interspeech 2019 |
السياق: أُعيد تمثيل تسجيلات الرعاية الأولية بواسطة متحدثين أصليين للإنجليزية في استوديو هادئ، لذلك يصف المؤلفون أرقامهم بأنها على الأرجح حد أعلى لأداء العيادات الحقيقية (Tran وآخرون، AMIA Annual Symposium Proceedings 2022). ونتيجة النموذج المشترك هي أحدث البيانات المتاحة من مدونة نصوص غير عامة (El Shafey وآخرون، Interspeech 2019). أما رقم precision-2 فهو ادعاء المورّد نفسه عن نموذجه التجاري.
6. السرعة والنماذج المفتوحة وحجم البحث
الدقة نصف قرار النشر فقط. عمل أسرع نظام في معيار ETH أسرع 214.3 مرة من الزمن الحقيقي، أي أكثر من عشرة أضعاف سرعة نموذج DiariZen المفتوح الذي عمل بسرعة 20.2 ضعف الزمن الحقيقي وسجل 13.3% DER إجمالا (Lanzendoerfer وآخرون، ETH Zurich 2025). وهذه المفاضلة أثقل وزنا بكثير في التعليق النصي المباشر منها في مهمة دفعية ليلية.
النماذج المفتوحة واسعة الاستخدام. تُظهر خطوط pyannote ملايين عمليات التنزيل الشهرية، ويعلن معيار المشروع نفسه لشهر سبتمبر 2025 عن DER أقل لإصداره المفتوح الحالي مقارنة بإصداره القديم في معظم مجموعات البيانات، مع تفوق مستواه التجاري على كليهما (pyannote، بطاقة نموذج speaker-diarization-community-1). تعامل مع هذه الدرجات على أنها معلنة من المشروع: فهي تُجرى بواسطة الفريق نفسه الذي يصدر النماذج.
| المقياس | القيمة | المصدر |
|---|---|---|
| عامل الزمن الحقيقي (طول الصوت مقسوما على زمن المعالجة)، Sortformer v2 مقابل Sortformer v2 للبث المباشر | 214.3x مقابل 209.5x | Lanzendoerfer وآخرون، ETH Zurich 2025 |
| عامل الزمن الحقيقي، pyannote المفتوح مقابل DiariZen | 45.0x مقابل 20.2x | Lanzendoerfer وآخرون، ETH Zurich 2025 |
| DER الإجمالي عبر معيار ETH، pyannoteAI مقابل DiariZen | 11.2% مقابل 13.3% (نافذة تسامح 0.25 s، مع احتساب التداخل) | Lanzendoerfer وآخرون، ETH Zurich 2025 |
| DER في DIHARD 3 full، pyannote 3.1 مقابل community-1 مقابل precision-2 | 21.4% مقابل 20.2% مقابل 14.7% (بحسب ما أعلنه المشروع والمورّد، دون نافذة تسامح) | pyannote، بطاقة نموذج community-1 لعام 2025 |
| التنزيلات الشهرية على Hugging Face، pyannote speaker-diarization-3.1 مقابل community-1 | 6,886,119 مقابل 5,051,937 (اطلع عليها في أكتوبر 2026) | صفحات نماذج Hugging Face |
| بيانات تدريب NOTSOFAR-1 المحاكاة المتاحة للمشاركين | نحو 1,000 ساعة | Abramovski وآخرون، ملخص NOTSOFAR-1 لعام 2025 |
| حجم AMI Meeting Corpus | 100 ساعة، نحو ثلثيها اجتماعات تصميم بتمثيل الأدوار | University of Edinburgh، AMI Meeting Corpus |
السياق: يسجل AMI Meeting Corpus، الذي ما زال معيارا أساسيا في تجزئة المتحدثين، ميكروفونات الحديث القريب والمجال البعيد بتزامن (University of Edinburgh، AMI Meeting Corpus). ولم يتمكن معيار ETH من قياس سرعة pyannoteAI لأن الوصول كان متاحا عبر واجهة API فقط.
الخلاصة: معدل خطأ تجزئة المتحدثين بالأرقام
| المقياس | القيمة | المصدر |
|---|---|---|
| DER في CALLHOME، EEND-EDA، متحدثان مقابل 6 (نافذة تسامح 0.25 s) | 8.50% مقابل 40.29% | Horiguchi وآخرون، Interspeech 2020 |
| DER في CALLHOME، EEND-EDA مقابل التجميع بمتجهات x-vector، جميع المكالمات | 15.29% مقابل 19.43% | Horiguchi وآخرون، Interspeech 2020 |
| DER الوسيط في المسار 1 من DIHARD، DIHARD I مقابل III | أكثر من 30% مقابل أقل من 20% | Ryant وآخرون، Third DIHARD Challenge 2021 |
| فائز DIHARD III، مجموعة التقييم الأساسية، المسار 1 مقابل المسار 2 | 13.45% مقابل 19.37% | نتائج تحدي DIHARD III |
| فائز VoxSRC مقابل خط الأساس، مجموعة اختبار 2023 | 4.30% مقابل 8.54% | Huh وآخرون، مراجعة VoxSRC 2024 |
| DER في AMI، النظام نفسه، دون نافذة تسامح مقابل نافذة 0.25 s | 15.4% مقابل 9.8% | Han وآخرون، Brno University of Technology 2024 |
| الأخطاء ضمن 0.5 s من تغير المتحدث، NIST RT-09، ميكروفون بعيد واحد | أكثر من 33% | Knox، UC Berkeley 2013 |
| DER لنظام ICSI، NIST RT-09، ميكروفون بعيد واحد | 31.3% | Sinclair وKing، University of Edinburgh 2013 |
| حصة الكلام المتداخل في تسجيلات الاجتماعات | 12% إلى 15% | Park وآخرون، Computer Speech and Language 2022 |
| حصة التداخل، AliMeeting مقابل AMI | 19% مقابل 15.94% | Lanzendoerfer وآخرون، ETH Zurich 2025 |
| DER في حوارات الطبيب والمريض مقابل الحوارات العامة، متوسط 8 أنظمة | 33.38% مقابل 15.18% | Okocha وآخرون، 2025 |
| التسجيلات المتمحورة حول الطفل، متوسط F1، أفضل نموذج مقابل مدون بشري ثان | 65.1% مقابل 69.8% | Charlot وآخرون، BabyHuBERT 2026 |
| DER لأفضل فريق في DISPLACE، 2023 مقابل 2024 | 27.8% مقابل 21.27% | Kalluri وآخرون، Second DISPLACE Challenge 2024 |
| DER لخط أساس حفل العشاء في CHiME-6، مجموعة التقييم | 62.0% | Watanabe وآخرون، نظرة عامة على CHiME-6 لعام 2020 |
| tcpWER في NOTSOFAR-1، أفضل نظام مقابل خط الأساس، متعدد القنوات | 10.8% مقابل 28.3% | Abramovski وآخرون، ملخص NOTSOFAR-1 لعام 2025 |
| نطاق WDER، أربعة نماذج كلام تجارية، الرعاية الأولية | 1.8% إلى 13.9% | Tran وآخرون، AMIA Annual Symposium 2022 |
| التنزيلات الشهرية لـ pyannote 3.1 على Hugging Face | 6,886,119 | Hugging Face، صفحة نموذج pyannote speaker-diarization-3.1 |
المنهجية والمصادر
- Ryant et al., The Third DIHARD Diarization Challenge (2021): 11 مجالا، والقيم الوسيطة عبر نسخ DIHARD، والنطاقات لكل مجال، والتقييم دون نوافذ تسامح ومع احتساب التداخل.
- نتائج تحدي DIHARD III: لوحة المتصدرين الرسمية للمسار 1 والمسار 2، ومجموعتا التقييم الأساسية والكاملة.
- Huh et al., The VoxCeleb Speaker Recognition Challenge: A Retrospective (IEEE TASLP 2024): فائزو مسار تجزئة المتحدثين وخطوط الأساس، بنافذة تسامح 0.25 s ومع احتساب التداخل.
- Horiguchi et al., End-to-End Speaker Diarization for an Unknown Number of Speakers with Encoder-Decoder Based Attractors (Interspeech 2020): DER في CALLHOME حسب عدد المتحدثين.
- Han et al., Leveraging Self-Supervised Learning for Speaker Diarization (Brno University of Technology, 2024): نتائج نافذة التسامح 0 s مقابل 0.25 s على AMI وAISHELL-4 وAliMeeting.
- Lanzendoerfer et al., Benchmarking Diarization Models (ETH Zurich, 2025): نحو 196.6 ساعة عبر CALLHOME وVoxConverse وAMI وAliMeeting؛ وحصص التداخل، وDER لكل لغة ولكل عدد متحدثين، والسرعة.
- Park et al., A Review of Speaker Diarization: Recent Advances with Deep Learning (Computer Speech and Language, 2022): أعراف نافذة التسامح وحصة التداخل في الاجتماعات.
- Knox, Speaker Diarization: Current Limitations and New Directions (UC Berkeley technical report, 2013): موضع الخطأ بالنسبة لتغيرات المتحدث في NIST RT-09.
- Sinclair and King, Where are the challenges in speaker diarization? (University of Edinburgh, 2013): DER في اجتماعات RT-09.
- Watanabe et al., CHiME-6 Challenge overview (2020): DER لخط أساس حفل العشاء وحصة تجزئة المتحدثين من فجوة خطأ الكلمات.
- Abramovski et al., Summary of the NOTSOFAR-1 Challenge (Computer Speech and Language, 2025): مجموعة بيانات الاجتماعات ونتائج tcpWER.
- Kalluri et al., The Second DISPLACE Challenge (2024): نتائج تجزئة المتحدثين في المحادثات متعددة اللغات.
- Okocha et al., Domain-Aware Speaker Diarization on African-Accented English (2025): DER السريري مقابل العام عبر ثمانية أنظمة.
- Charlot et al., BabyHuBERT (2026): تجزئة المتحدثين في التسجيلات الطويلة المتمحورة حول الطفل.
- Tran et al., Automatic speech recognition performance for digital scribes (AMIA Annual Symposium Proceedings, 2022): WDER في محادثات الرعاية الأولية.
- El Shafey et al., Joint Speech Recognition and Speaker Diarization via Sequence Transduction (Interspeech 2019): WDER في محادثات الطبيب والمريض.
- بطاقة نموذج pyannote speaker-diarization-3.1 وبطاقة نموذج pyannote speaker-diarization-community-1: قيم DER المعلنة من المشروع (دون نافذة تسامح، مع احتساب التداخل) وأعداد التنزيلات؛ أما أرقام precision-2 فهي ادعاءات المورّد نفسه عن نموذج تجاري.
- University of Edinburgh, AMI Meeting Corpus: حجم المدونة وإعداد التسجيل.
- ملاحظة حول البيانات: لا تصح المقارنة بين قيم DER إلا ضمن معيار واحد وإعداد تقييم واحد؛ فـ VoxSRC يستخدم نافذة تسامح 0.25 s بينما لا يستخدمها DIHARD ولا بطاقات نماذج pyannote ولا الدراسة السريرية للإنجليزية ذات اللكنات الأفريقية، لذا لا تقارن 4.30% في VoxSRC بـ 13.45% في DIHARD. تذكر بطاقة نموذج pyannote 3.1 القيمة 21.7% على DIHARD 3 full بينما تذكر بطاقة community-1 الأحدث 21.4% للخط القديم نفسه، وهو فارق صغير ناتج عن تحديثات التقييم؛ ونعتمد جدول community-1 في مقارنات الإصدارات. وصفوف عامي 2021 و2022 في مراجعة VoxSRC غير متسقة داخليا بين جدولها ونصها، لذلك نورد 2020 و2023 فقط. وجدول الأخطاء لكل مكون في الدراسة السريرية للإنجليزية ذات اللكنات الأفريقية لا يطابق مجموعه تماما قيمة DER الطبي المعلنة، لذلك نقتبس المتوسطات الرئيسية فقط. ويسم ملخص NOTSOFAR-1 أفضل نتائجه للقناة الواحدة والقنوات المتعددة بشكل غير متسق في أحد الجداول؛ ونتبع النص الذي يطابق تحسنه النسبي البالغ 51% الأرقام الواردة أعلاه. وأعداد التنزيل على Hugging Face لقطة شهرية متحركة وتتغير يوميا. وأرقام Berkeley وEdinburgh وCHiME-6 وDIHARD III وEEND-EDA وInterspeech 2019 وAMIA 2022 هي أحدث البيانات المتاحة لقياساتها المحددة.
- آخر تحديث: 27 أكتوبر 2026. نحدث هذا الاستعراض كل ثلاثة أشهر، ومن المتوقع أن يأتي التحديث التالي عند نشر الأوراق الملخصة لتحدي Interspeech 2026 والتحديث التالي لمعيار بطاقة نموذج pyannote.