في 30 ساعة من المحادثات الثنائية الموسومة يدويا، بدأ المستمعون الكلام قبل انتهاء الدور الحالي بوسيط قدره 151 ms، بينما ينتظر Amazon Lex V2 افتراضيا 600 ms من الصمت بعد توقف المتصل قبل أن يقرر أن الجملة اكتملت. هذه الفجوة هي المشكلة كلها في اكتشاف نهاية الدور: البشر يتوقعون نهاية الدور، أما معظم الآلات فتنتظر الصمت. وللانتظار كلفة قابلة للقياس في الاتجاهين. فقد قاطع روبوت يعتمد اكتشاف نهاية الدور بالصمت مستخدميه في 16.6% من أدواره، ومع ذلك أجاب بتأخير وسيط قدره 2.7 s، وعندما تحدث المستخدمون فوق نماذج صوتية تجارية، تراوح الزمن الذي احتاجته تلك النماذج لتتوقف عن الكلام بين 0.23 s و2.25 s. يركز هذا الاستعراض على قرار الدور نفسه؛ أما لمعرفة التأخير الكامل في المسار من الميكروفون إلى أول صوت، فراجع إحصائيات زمن استجابة وكلاء الذكاء الاصطناعي الصوتي. جمعنا بيانات من معيار TurnBench، ودراسة Max Planck في PNAS حول تبادل الأدوار، وأبحاث Amazon Science وGoogle Research حول تحديد نقطة النهاية، وورقة Moshi من Kyutai، ومعياري Full-Duplex-Bench وTalking Turns، وأبحاث Voice Activity Projection المحكمة.
أبرز النقاط
- يبدأ المستمعون الكلام قبل انتهاء دور الطرف الآخر بوسيط قدره 151 ms في عمليات انتقال الدور السلسة (TurnBench، IEEE SLT 2026)
- تستغرق 51% إلى 55% من انتقالات الأدوار في ثلاث مدونات محادثة أقل من 200 ms (Heldner وEdlund 2010، مراجعة في Frontiers in Psychology 2015)
- ينتظر Amazon Lex V2 افتراضيا 600 ms من الصمت قبل أن يعد الجملة المنطوقة منتهية (توثيق AWS Lex V2)
- خفض الدمج بين التعرف على الكلام وتحديد نقطة النهاية وسيط زمن الوصول لنقطة النهاية لدى Google من 390 ms إلى 270 ms (Bijwadia وآخرون، Google، SLT 2022)
- قاطع روبوت أساسي قائم على الصمت المستخدمين في 16.6% من أدوار النظام مقابل 6.9% لنموذج تنبؤي (Skantze وIrfan، KTH، 2025)
- انخفضت الدقة المتوازنة لنموذج تبادل أدوار مدرب على الإنجليزية إلى 59.43% على المحادثة اليابانية (Inoue وآخرون، LREC-COLING 2024)
- عندما قاطع المستخدمون، توقف GPT-4o Realtime عن الكلام خلال 0.23 s وتوقف Nova Sonic خلال 2.25 s (Full-Duplex-Bench v1.5، 2025)
- انتهى 17.4% فقط من مقاطعات المستخدم بانتزاع المستخدم حق الكلام من Moshi، مقابل 63.6% في المحادثة البشرية (Arora وآخرون، ICLR 2025)
- يبلغ زمن الوصول النظري لتصميم Moshi ثنائي الاتجاه الكامل 160 ms، و200 ms عمليا (Kyutai، ورقة Moshi 2024)
- أنتج مسار حوار متسلسل 0.0 s من الكلام المتداخل في الدقيقة، مقابل 3.6 s في مكالمات Fisher الهاتفية الحقيقية (Nguyen وآخرون، Generative Spoken Dialogue Language Modeling 2022)
1. المعيار البشري: الأدوار تتداخل أكثر مما تنتظر
الصورة المعتادة للمحادثة، شخص يتكلم ويتوقف ثم يجيب الآخر، خاطئة بطريقة تهم البرمجيات. ففي TurnBench، وهو معيار لعام 2026 بُني من 30 ساعة من المحادثات الثنائية (بين شخصين) الموسومة يدويا، بدأ المستمعون الكلام قبل انتهاء الدور الحالي بوسيط قدره 151 ms، وعند إدراج المقاطعات التي تنتزع حق الكلام يصل وسيط الإزاحة إلى 281 ms قبل النهاية (TurnBench، Jiang وآخرون، IEEE SLT 2026). والمقصود هنا بـ«انتقال حق الكلام» هو اللحظة التي ينتقل فيها الحق في الكلام من شخص إلى آخر. فالمكتشف الذي ينتظر الصمت متأخر بحكم تصميمه، قبل أن تبدأ أي معالجة.
وللتوقيت دلالة أيضا. فقد وجدت دراسة PNAS التي شملت 10 لغات أن الردود التي لا تجيب عن السؤال (مثل «لا أعرف») تأتي متأخرة بمقدار 131.78 ms عن الإجابات الفعلية، وأن الإجابات بالتأكيد تأتي أسرع بمقدار 206.87 ms من الإجابات بالنفي في النموذج متعدد المتغيرات (Stivers وآخرون، PNAS 2009). يسمع البشر هذه التأخيرات بوصفها إشارات. أما الوكيل الصوتي الذي ينتظر دائما صمتا ثابتا ذاته قبل الرد فيرسل إشارة لا يقصدها.
| المقياس | القيمة | المصدر |
|---|---|---|
| وسيط الإزاحة عندما يبدأ المستمع الكلام، في عمليات انتقال الدور السلسة (القيمة السالبة = قبل انتهاء الدور) | -151 ms | TurnBench، Jiang وآخرون، IEEE SLT 2026 |
| الإزاحة الأكثر شيوعا (المنوال) للرد بعد سؤال نعم/لا، 10 لغات مجتمعة | 0 ms (منوال كل لغة من 0 إلى +200 ms) | Stivers وآخرون، PNAS 2009 |
| التأخير الإضافي عندما لا يجيب الرد عن السؤال، النموذج متعدد المتغيرات | +131.78 ms (فاصل الثقة 95%: من 59.34 إلى 204.23) | Stivers وآخرون، PNAS 2009 |
| فرق التأخير بين الإجابات بالتأكيد والإجابات بالنفي، النموذج متعدد المتغيرات | -206.87 ms (فاصل الثقة 95%: من -268.61 إلى -145.12) | Stivers وآخرون، PNAS 2009 |
| متوسط إزاحة الرد بين الردود التي عدها المرمّزون في وقتها، اليابانية مقابل الدنماركية | 36 ms مقابل 203 ms | Stivers وآخرون، PNAS 2009 |
| حصة انتقالات الأدوار الأسرع من 200 ms، ثلاث مدونات | 51% إلى 55% | Heldner وEdlund 2010، مراجعة في Levinson وTorreira، Frontiers in Psychology 2015 |
| حصة إشارة Switchboard التي يتكلم فيها الطرفان معا | 3.8% | Levinson وTorreira، Frontiers in Psychology 2015 |
ملاحظة سياقية: صورة التداخل تتوقف على طريقة القياس. فالكلام المتداخل لا يغطي سوى 3.8% من صوت Switchboard، ومع ذلك وجد Heldner وEdlund تداخلات في نحو 40% من الانتقالات، لأن معظم التداخلات قصيرة (Levinson وTorreira، Frontiers in Psychology 2015). أحدث البيانات المتاحة للأرقام عبر اللغات: Stivers وآخرون، 2009، وHeldner وEdlund، 2010. يتغير توقيت الأدوار البشرية ببطء، لذلك يقل أثر قدم هذه الدراسات مقارنة بمعايير المنتجات.
2. كم تنتظر الآلات: مهلات الصمت وزمن الوصول لنقطة النهاية
لا تزال معظم الأنظمة الإنتاجية تقرر انتهاء الدور بمؤقت. ينتظر Amazon Lex V2 افتراضيا 600 ms من الصمت بعد توقف المتصل عن الكلام قبل أن يعد الجملة منتهية، وينتظر 4,000 ms حتى يبدأ المتصل أصلا، ويقتطع أي جملة منفردة عند 55,000 ms (AWS، Configuring timeouts for capturing user input with a Lex V2 bot). وتصف أوراق بحثية إعدادات أطول من ذلك: يقول مؤلفو Voice Activity Projection إن أنظمة الحوار المنطوق تستخدم عادة مهلة صمت تبلغ نحو ثانية أو ثانيتين.
وحدود البحث الآن هي اقتطاع أجزاء من الميلي ثانية من لحظة حسم النظام لقراره. فقد خفض نموذج Google المشترك، الذي يتشارك الطبقات بين التعرف على الكلام ومكتشف نقطة النهاية (المكوّن الذي يقرر أن المستخدم انتهى)، وسيط زمن الوصول لنقطة النهاية من 390 ms إلى 270 ms وزمن المئين التسعين من 740 ms إلى 570 ms، مع بقاء معدل أخطاء الكلمات عند 5.8% (Bijwadia وآخرون، Google، Unified End-to-End Speech Recognition and Endpointing، SLT 2022). لا يفيد الحسم الأسرع إلا إذا كان النص المكتوب صحيحا، وهو موضوع تناولناه في إحصائيات هلوسة التعرف على الكلام.
| المقياس | القيمة | المصدر |
|---|---|---|
| مدة انتظار الصمت الافتراضية بعد توقف المتصل عن الكلام، Amazon Lex V2 | 600 ms | توثيق AWS Lex V2 |
| تأخير الصمت الافتراضي قبل إنهاء الدور بواسطة VAD فقط، LiveKit Agents (الإعداد الافتراضي للمورد) | 500 ms | مدونة LiveKit، 20 ديسمبر 2024 (إعداد المورد نفسه) |
| مهلة الصمت المعتادة في أنظمة الحوار المنطوق | نحو ثانية أو ثانيتين | Inoue وآخرون، جامعة كيوتو، IWSDS 2024 |
| الوسيط / المئين التسعون لزمن الوصول لنقطة النهاية، نموذجان منفصلان للتعرف وتحديد نقطة النهاية (البحث الصوتي في Google، نحو 14,000 جملة) | 390 ms / 740 ms | Bijwadia وآخرون، Google، SLT 2022 |
| الوسيط / المئين التسعون لزمن الوصول لنقطة النهاية، النموذج المشترك | 270 ms / 570 ms (أقل بمقدار 120 ms و170 ms، أي 30.8% و23.0%) | Bijwadia وآخرون، Google، SLT 2022 |
| زمن الوصول لنقطة النهاية عند المئين الخمسين / التسعين / التاسع والتسعين، الأساس لدى Alexa في الاستعلامات المعاملاتية | 300 / 570 / 1,110 ms | Raju وآخرون، Amazon، Two-Pass Endpoint Detection 2024 |
ملاحظة سياقية: توزع المئينات هو الخلاصة. فوسيط 300 ms يبدو قريبا من التوقيت البشري، لكن أبطأ 1% من الاستعلامات المعاملاتية في Alexa انتظرت 1,110 ms أو أكثر لقرار نقطة النهاية وحده، قبل توليد أي إجابة (Raju وآخرون، Amazon، Two-Pass Endpoint Detection for Speech Recognition، 2024). أحدث البيانات المتاحة لأرقام Google: عام 2022.
3. المقاطعات الخاطئة مقابل الردود المتأخرة: المفاضلة في تحديد نقطة النهاية
يوازن كل مكتشف لنقطة النهاية بين إخفاقين: مقاطعة المستخدم في منتصف فكرته (مقاطعة خاطئة) أو ترك صمت ميت بعد أن ينتهي. وأكثر القياسات مباشرة وجدناه في دراسة شملت 39 مشاركا مع رأس الروبوت Furhat. مع الأساس القياسي القائم على الصمت، قاطع الروبوت المستخدمين في 16.6% من أدواره، ومع ذلك كان وسيط زمن استجابته 2.7 s؛ أما نموذج تنبؤي يجمع TurnGPT وVoice Activity Projection فخفض المقاطعات إلى 6.9% ووسيط الاستجابة إلى 1.5 s، وكلا الفرقين عند p < 0.001 (Skantze وIrfan، KTH، Applying General Turn-taking Models to Conversational Human-Robot Interaction، 2025). فخسر التصميم القائم على الصمت على المحورين معا.
وإصلاح جانب واحد يكلف عادة الجانب الآخر. فقد خفّض «الحكم» من المرحلة الثانية لدى Amazon، الذي يراجع مكتشف نقطة النهاية الأول قبل أن يغلق الميكروفون، الإنهاء المبكر (التوقف قبل أن ينهي المستخدم كلامه) بنسبة 16.34% في الاستعلامات المعاملاتية، لكنه رفع زمن الوصول عند المئين التاسع والتسعين من 1,110 ms إلى 1,320 ms. وتفشل المكتشفات الأكثر فظاظة في الاتجاه المعاكس: فقد أطلقت المشغلات البسيطة المعتمدة على مستوى الصوت إشارة النهاية في أكثر من نصف اللحظات التي لم ينته فيها الدور فعلا (انظر صف الإيجابيات الكاذبة أدناه). وهذه المشغلات تتفاعل مع الصوت لا مع المعنى، ولذلك تهم جودة الصوت الواصل إليها، وهذا يرتبط بـإحصائيات كتم الضوضاء العصبي.
| المقياس | القيمة | المصدر |
|---|---|---|
| أدوار النظام التي قاطعت المستخدم، الأساس القائم على الصمت مقابل نموذج TurnGPT مع VAP | 16.6% مقابل 6.9% | Skantze وIrfan، KTH، 2025 |
| وسيط زمن استجابة النظام، الأساس القائم على الصمت مقابل نموذج TurnGPT مع VAP | 2.7 s مقابل 1.5 s | Skantze وIrfan، KTH، 2025 |
| المشاركون الذين فضلوا الأساس القائم على الصمت / الذين لم يكن لديهم تفضيل | 9 من 39 / 3 من 39 | Skantze وIrfan، KTH، 2025 |
| الجمل التي توقف فيها مكتشف نقطة النهاية عن الاستماع مبكرا جدا، معيار SLURP، الأساس مقابل الأساس مع الحكم | 2.39% مقابل 2.19% (انخفاض نسبي 8.37%) | Raju وآخرون، Amazon، 2024 |
| الانخفاض النسبي في الإنهاء المبكر للاستعلامات المعاملاتية / زمن الوصول عند المئين التاسع والتسعين قبل وبعد | 16.34% / 1,110 ms مقابل 1,320 ms | Raju وآخرون، Amazon، 2024 |
| الدقة (precision) عند التنبؤ بنهاية دور حقيقية، المكتشف الصوتي مقابل النموذج الشامل (الاستدعاء 97.3% مقابل 97.5%) | 67.3% مقابل 84.7% | Chang وآخرون، Google، Interspeech 2022 |
| معدل الإيجابيات الكاذبة في TurnBench، مكتشف الطاقة البسيط مقابل server VAD في OpenAI Realtime | 0.632 مقابل 0.525 | لوحة صدارة TurnBench، اطلعنا عليها في 31 أكتوبر 2026 |
| الانخفاض في المقاطعات غير المقصودة، مكتشف أدوار قائم على المحوّل مع VAD مقابل VAD وحده | 85% | مدونة LiveKit، 20 ديسمبر 2024 (ادعاء المورد نفسه، دون الكشف عن مجموعة اختبار) |
ملاحظة سياقية: اعتمد الأساس القائم على الروبوت على مكتشف لنهاية الكلام من Google غير موثق، ويستنتج المؤلفون أنه قائم على عتبة، ويذكرون عتبة قدرها ثانية واحدة، لذلك يُقرأ على أنه نظام قائم على الصمت لا ضبط دقيق لمؤقت. واستخدمت دراسة نهاية الدور من Google كلاما اختباريا غير سلس (توقفات عشوائية، وتوقفات مملوءة مثل «إمم»، وكلمات ممطوطة وعبارات مكررة)، وهي الحالات التي تقول الورقة إن مكتشف نقطة النهاية التقليدي يقاطع فيها المستخدم (Chang وآخرون، Google، Turn-Taking Prediction for Natural Conversational Speech، Interspeech 2022). ولا تضم مجموعة اختبار المحادثة الطبيعية فيها سوى 200 جملة من 10 متحدثين، لذلك تُعد أرقام الدقة (precision) اتجاهية.
4. التنبؤ بنهاية الدور: VAP وTurnGPT ولوحة الصدارة
تستمع النماذج التنبؤية إلى مسار الجملة، لا إلى ما إذا كانت الغرفة قد هدأت فحسب. فقد حقق TurnGPT، وهو نموذج نصي، دقة متوازنة قدرها 0.823 على الحوار المنطوق العفوي مقابل 0.748 لأساس LSTM (Ekstedt وSkantze، TurnGPT، Findings of EMNLP 2020). تحسب الدقة المتوازنة متوسط الأداء في «تبدلات الدور» و«الاستمرارات»، لذلك فإن 0.5 يمثل الصدفة. ويعمل Voice Activity Projection (VAP) على الصوت نفسه ويتنبأ بمن سيتكلم خلال الثانيتين التاليتين.
اللغة هي المتغير الخفي. فقد انخفضت الدقة المتوازنة لنموذج VAP مدرب على الإنجليزية إلى 59.43% على اليابانية، مقابل 74.20% لنموذج مدرب على اليابانية، وشكلت تبدلات الدور 42.9% من لحظات التبدل أو الاستمرار في البيانات اليابانية مقابل 9.9% في الإنجليزية (Inoue وآخرون، Multilingual Turn-taking Prediction Using Voice Activity Projection، LREC-COLING 2024). فمكتشف الأدوار المضبوط على مكالمات إنجليزية ليس مكونا محايدا في منتج متعدد اللغات.
| المقياس | القيمة | المصدر |
|---|---|---|
| الدقة المتوازنة في التنبؤ بتبدلات الدور في الحوار المنطوق العفوي، TurnGPT مقابل أساس LSTM | 0.823 مقابل 0.748 | Ekstedt وSkantze، KTH، Findings of EMNLP 2020 |
| الدقة المتوازنة لـ VAP في التمييز بين التبدل والاستمرار، التدريب والاختبار على اللغة نفسها: الإنجليزية / الماندرين / اليابانية | 79.59% / 84.49% / 74.20% | Inoue وآخرون، جامعة كيوتو، LREC-COLING 2024 |
| VAP مدرب على الإنجليزية ومختبر على اليابانية | 59.43% | Inoue وآخرون، جامعة كيوتو، LREC-COLING 2024 |
| حصة أحداث التبدل أو الاستمرار التي هي تبدلات دور، بيانات الاختبار الإنجليزية مقابل اليابانية | 9.9% مقابل 42.9% | Inoue وآخرون، جامعة كيوتو، LREC-COLING 2024 |
| VAP على المعالج المركزي، سياق صوتي مدته 1 s مقابل 20 s، البيانات اليابانية: عامل الزمن الحقيقي (أقل من 1 = أسرع من الزمن الحقيقي) | 0.73 مقابل 13.69 | Inoue وآخرون، جامعة كيوتو، IWSDS 2024 |
| Voice Activity Projection في TurnBench: الاستدعاء / معدل الإيجابيات الكاذبة / زمن الوصول | 0.845 / 0.055 / 368 ms | لوحة صدارة TurnBench، اطلعنا عليها في 31 أكتوبر 2026 |
| Smart Turn v3 مقابل Kyutai Semantic VAD في TurnBench: الاستدعاء / معدل الإيجابيات الكاذبة / زمن الوصول | 0.752 / 0.047 / 1,017 ms مقابل 0.773 / 0.059 / 1,007 ms | لوحة صدارة TurnBench، اطلعنا عليها في 31 أكتوبر 2026 |
| Gemini 3.1 Live مقابل OpenAI Realtime مع semantic VAD في TurnBench: الاستدعاء / معدل الإيجابيات الكاذبة / زمن الوصول | 0.657 / 0.022 / 1,234 ms مقابل 0.303 / 0.018 / 793 ms | لوحة صدارة TurnBench، اطلعنا عليها في 31 أكتوبر 2026 |
ملاحظة سياقية: تأتي حصص التبدل من مدونات مختلفة (مكالمات Switchboard الهاتفية مقابل مهمة وكالة سفر يابانية)، لذلك تعكس الفجوة المهمة كما تعكس اللغة. ونتيجة الزمن الحقيقي مهمة للنشر: فمع ثانية واحدة من السياق، عمل VAP بمعدل 14.61 ms للإطار على معالج Intel Xeon وحقق دقة متوازنة قدرها 76.16%، أعلى قليلا من 74.20% المقاسة مع 20 ثانية من السياق (Inoue وآخرون، Real-time and Continuous Turn-taking Prediction Using Voice Activity Projection، IWSDS 2024). وتستبعد لوحة صدارة TurnBench الأنظمة التي يزيد معدل الإيجابيات الكاذبة لديها على 0.15، ويحافظ النظامان الأكثر حذرا في الجدول على أدنى معدل للإنذارات الكاذبة بينما يفوتان أكبر عدد من نهايات الأدوار الحقيقية. أحدث البيانات المتاحة لـ TurnGPT: عام 2020.
5. المقاطعة (Barge-In): ماذا يحدث عندما يتكلم المستخدم فوق الوكيل
المقاطعة هي المشكلة المعاكسة: الوكيل يتحدث ويبدأ المستخدم الكلام. والتوقف السريع نصف المهمة فقط. ففي Full-Duplex-Bench v1.5، توقف GPT-4o Realtime عن الكلام بعد 0.23 s من مقاطعة المستخدم وتناول ما قاله المستخدم في 78% من الحالات، بينما احتاج Nova Sonic إلى 2.25 s ليتوقف وتجاهل المقاطعة ليواصل إجابته السابقة في 71% من الحالات (Lin وآخرون، Full-Duplex-Bench v1.5، arXiv 2025). وفرق مراكز الاتصال التي تقيّم هذه النماذج، وناقشناها في إحصائيات أتمتة مراكز الاتصال بوكلاء صوتيين، تختار بين سلوكين مختلفين جدا.
أما الخطأ المعاكس فهو الاستسلام لإشارة تأييد راجعة (backchannel)، أي «ممم» القصيرة أو «صحيح» التي يقولها المستمع ليُظهر أنه يتابع. فقد توقف GPT-4o Realtime خلال 0.21 s حتى عند تلك الإشارات، وهو ما يعده المؤلفون توقفا مفرطا في الحماسة. والاستسلام الفوري ليس القاعدة البشرية أيضا: فالشخص الذي يُقاطَع يواصل الكلام بوسيط 1.48 s قبل أن يتنازل عن حق الكلام، لذلك ليس أقل زمن توقف هو الهدف الصحيح تلقائيا. ويقع Moshi في الطرف الأقصى من هذا المقياس، إذ تنتهي 17.4% فقط من مقاطعات المستخدم بانتزاع المستخدم حق الكلام.
| المقياس | القيمة | المصدر |
|---|---|---|
| يقاطع المستخدم الوكيل، GPT-4o Realtime: معدل تناول ما قاله المستخدم / معدل مواصلة إجابته السابقة / زمن التوقف عن الكلام | 0.78 / 0.10 / 0.23 s | Lin وآخرون، Full-Duplex-Bench v1.5، 2025 |
| يقاطع المستخدم الوكيل، واجهة Gemini 2.0 Flash Live: معدل تناول ما قاله المستخدم / معدل مواصلة إجابته السابقة / زمن التوقف عن الكلام | 0.33 / 0.55 / 2.20 s | Lin وآخرون، Full-Duplex-Bench v1.5، 2025 |
| يقاطع المستخدم الوكيل، Nova Sonic: معدل تناول ما قاله المستخدم / معدل مواصلة إجابته السابقة / زمن التوقف عن الكلام | 0.24 / 0.71 / 2.25 s | Lin وآخرون، Full-Duplex-Bench v1.5، 2025 |
| يكتفي المستخدم بإشارات التأييد الراجعة («ممم»): زمن توقف GPT-4o Realtime مقابل معدل مواصلة Nova Sonic لإجابته السابقة | 0.21 s مقابل 0.98 | Lin وآخرون، Full-Duplex-Bench v1.5، 2025 |
| مقاطعات المستخدم التي تنتهي بانتزاع المستخدم حق الكلام، بحسب من جرت مقاطعته: Moshi / نظام متسلسل / متحدث بشري | 17.4% / 59.4% / 63.6% | Arora وآخرون، Talking Turns، ICLR 2025 |
| قرارات Moshi التي كانت مقاطعات إيجابية كاذبة للمستخدم | 2.09% من جميع القرارات | Arora وآخرون، Talking Turns، ICLR 2025 |
| وسيط المدة التي يواصل فيها الإنسان الذي جرت مقاطعته الكلام قبل أن يتنازل عن حق الكلام | 1.48 s | TurnBench، Jiang وآخرون، IEEE SLT 2026 |
| الإعداد الافتراضي للمقاطعة (السماح بالمقاطعة) في رسائل Amazon Lex V2 | مفعّل (true) | توثيق AWS Lex V2 |
ملاحظة سياقية: جمعت دراسة المستخدمين في Talking Turns نحو 4 ساعات من المحادثة بين البشر والذكاء الاصطناعي لكل نظام مع 11 مشاركا، ولم تشكل مقاطعات المستخدم سوى 0.2% (Moshi) و0.1% (المتسلسل) من الحالات المقيّمة، لذلك تستند هذه النسب إلى أعداد صغيرة، والمتسلسل منها خاصة (Arora وآخرون، Talking Turns: Benchmarking Audio Foundation Models on Turn-Taking Dynamics، ICLR 2025). ويستخدم Full-Duplex-Bench v1.5 عدد 200 مقاطعة مصطنعة، لا متصلين فعليين. ولم نجد مجموعة بيانات أولية عامة حول عدد مرات مقاطعة متصلي مراكز الاتصال للوكلاء الصوتيين في بيئة الإنتاج.
6. نماذج Full-Duplex: الاستماع والتحدث في الوقت نفسه
تتخلى النماذج ثنائية الاتجاه الكامل (Full-Duplex) عن قرار الدور كليا: فهي تستمع وتتكلم على مجريي صوت متوازيين، فيحدث التداخل وإشارات التأييد الراجعة بصورة طبيعية. يعلن Moshi من Kyutai عن زمن وصول نظري قدره 160 ms و200 ms عمليا، ويلاحظ مؤلفوه أن الكلام المتداخل يشكل 10% إلى 20% من زمن الكلام في المحادثة الحقيقية (Défossez وآخرون، Kyutai، Moshi: a speech-text foundation model for real-time dialogue، 2024). أما الأساس المتسلسل في تقييم dGSLM فلم ينتج شيئا منه، بصفر توقفات وصفر تداخل في كل دقيقة من الحوار المولَّد (Nguyen وآخرون، Generative Spoken Dialogue Language Modeling، 2022).
لم تتحول السرعة بعد إلى حكم سليم. ففي Full-Duplex-Bench، سجل Moshi معدل استحواذ على الدور قدره 0.980 أثناء توقفات المستخدم في مجموعة Candor، مقابل 0.310 لـ Gemini Live؛ وفي هذا المقياس الأقل أفضل، لأن انتزاع حق الكلام بينما المستخدم يتوقف فحسب هو مقاطعة خاطئة (Lin وآخرون، Full-Duplex-Bench، ASRU 2025). فقد حلت النماذج ثنائية الاتجاه الكامل مشكلة الصمت وورثت مشكلة المقاطعة.
| المقياس | القيمة | المصدر |
|---|---|---|
| زمن استجابة Moshi النظري / العملي | 160 ms / 200 ms | Défossez وآخرون، Kyutai، 2024 |
| بيانات التدريب المسبق الصوتي لـ Moshi / الضبط الدقيق على المحادثات الهاتفية Fisher | 7 ملايين ساعة / 2,000 ساعة | Défossez وآخرون، Kyutai، 2024 |
| الكلام المتداخل في المحادثة الحقيقية، كما ورد في ورقة Moshi | 10% إلى 20% من زمن الكلام | Défossez وآخرون، Kyutai، 2024 (نقلا عن Cetin وShriberg 2006) |
| التداخل في الدقيقة، محادثات Fisher الحقيقية مقابل نظام حوار متسلسل | 3.6 s مقابل 0.0 s | Nguyen وآخرون، dGSLM، 2022 |
| الفجوات بين المتحدثين في الدقيقة، محادثات Fisher الحقيقية مقابل نظام متسلسل | 7.5 مقابل 14.9 | Nguyen وآخرون، dGSLM، 2022 |
| الفجوة / التداخل التراكميان، Moshi عند درجة حرارة أخذ العينات 1.0 مقابل المحادثات الحقيقية (بروتوكول dGSLM نفسه) | 4.5 s / 4.1 s مقابل 4.2 s / 3.3 s | Défossez وآخرون، Kyutai، 2024 |
| حصة زمن المحادثة المقضية في فجوات صامتة، Moshi مقابل نظام متسلسل (دراسة المستخدمين) | 11.8% مقابل 32.4% | Arora وآخرون، Talking Turns، ICLR 2025 |
| معدل الاستحواذ على الدور أثناء توقفات المستخدم، مجموعة Candor (الأقل أفضل): Moshi / dGSLM / Gemini Live | 0.980 / 0.935 / 0.310 | Lin وآخرون، Full-Duplex-Bench، 2025 |
ملاحظة سياقية: تتأرجح إحصاءات الأدوار في Moshi مع درجة حرارة أخذ العينات. فعند درجة حرارة 0.8 انخفض التداخل التراكمي إلى 1.2 s وارتفعت الفجوات إلى 12.5 s، لذلك يمكن أن يُقتبس رقم «تداخل Moshi» الواحد بأحد الوجهين. أحدث البيانات المتاحة لـ dGSLM: عام 2022.
الخلاصة: اكتشاف نهاية الدور والمقاطعة في الذكاء الاصطناعي المحادثي بالأرقام
| المقياس | القيمة | المصدر |
|---|---|---|
| وقت بدء المستمع في عمليات انتقال الدور السلسة (قبل انتهاء الدور) | وسيط 151 ms مبكرا | TurnBench، IEEE SLT 2026 |
| انتقالات الأدوار الأسرع من 200 ms | 51% إلى 55% | Heldner وEdlund 2010، عبر Frontiers in Psychology 2015 |
| تأخير الرد عندما لا يجيب الرد عن السؤال | +131.78 ms | Stivers وآخرون، PNAS 2009 |
| متوسط إزاحة الردود التي عدها المرمّزون في وقتها، اليابانية مقابل الدنماركية | 36 ms مقابل 203 ms | Stivers وآخرون، PNAS 2009 |
| مدة انتظار الصمت الافتراضية في Amazon Lex V2 قبل إنهاء الجملة | 600 ms | توثيق AWS Lex V2 |
| وسيط زمن الوصول لنقطة النهاية لدى Google، نموذجان منفصلان مقابل نموذج مشترك | 390 ms مقابل 270 ms | Bijwadia وآخرون، Google، SLT 2022 |
| أدوار الروبوت التي قاطعت المستخدم، الأساس القائم على الصمت مقابل النموذج التنبؤي | 16.6% مقابل 6.9% | Skantze وIrfan، KTH، 2025 |
| وسيط زمن استجابة الروبوت، الأساس القائم على الصمت مقابل النموذج التنبؤي | 2.7 s مقابل 1.5 s | Skantze وIrfan، KTH، 2025 |
| الدقة (precision) في التنبؤ بنهاية دور حقيقية، المكتشف الصوتي مقابل النموذج الشامل | 67.3% مقابل 84.7% | Chang وآخرون، Google، Interspeech 2022 |
| دقة VAP، النموذج المدرب على الإنجليزية على اليابانية مقابل المدرب على اليابانية | 59.43% مقابل 74.20% | Inoue وآخرون، LREC-COLING 2024 |
| GPT-4o Realtime مقابل Nova Sonic، زمن التوقف بعد مقاطعة المستخدم | 0.23 s مقابل 2.25 s | Full-Duplex-Bench v1.5، 2025 |
| مقاطعات المستخدم التي تنتهي بانتزاع المستخدم حق الكلام، Moshi مقابل متحدث بشري | 17.4% مقابل 63.6% | Arora وآخرون، ICLR 2025 |
| زمن وصول Moshi النظري / العملي | 160 ms / 200 ms | Kyutai، 2024 |
| التداخل في الدقيقة، مكالمات Fisher الحقيقية مقابل نظام متسلسل | 3.6 s مقابل 0.0 s | Nguyen وآخرون، dGSLM، 2022 |
| حصة الفجوات الصامتة من المحادثة، Moshi مقابل نظام متسلسل | 11.8% مقابل 32.4% | Arora وآخرون، ICLR 2025 |
| معدل استحواذ Moshi على الدور أثناء توقفات المستخدم، مجموعة Candor | 0.980 | Full-Duplex-Bench، 2025 |
المنهجية والمصادر
- Jiang وآخرون، TurnBench: A Multi-Domain Benchmark for Turn-Taking Dynamics in Spoken Dialogue، IEEE SLT 2026 ولوحة صدارة TurnBench الحية: إحصاءات التوقيت البشري واستدعاء الأنظمة ومعدل الإيجابيات الكاذبة وزمن الوصول.
- Stivers وآخرون، Universals and cultural variation in turn-taking in conversation، PNAS 2009: 10 لغات، 101 محادثة، أسئلة نعم/لا.
- Levinson وTorreira، Timing in turn-taking and its implications for processing models of language، Frontiers in Psychology 2015: تحليل Switchboard ومراجعة Heldner وEdlund (Journal of Phonetics 2010).
- AWS، Configuring timeouts for capturing user input with a Lex V2 bot: إعدادات الصمت الافتراضية والبدء والمقاطعة.
- Bijwadia وآخرون، Google، Unified End-to-End Speech Recognition and Endpointing for Fast and Efficient Speech Systems، SLT 2022.
- Chang وآخرون، Google، Turn-Taking Prediction for Natural Conversational Speech، Interspeech 2022.
- Raju وآخرون، Amazon، Two-Pass Endpoint Detection for Speech Recognition، 2024.
- Skantze وIrfan، KTH، Applying General Turn-taking Models to Conversational Human-Robot Interaction، 2025.
- Ekstedt وSkantze، TurnGPT، Findings of EMNLP 2020.
- Inoue وآخرون، Multilingual Turn-taking Prediction Using Voice Activity Projection، LREC-COLING 2024 وInoue وآخرون، Real-time and Continuous Turn-taking Prediction Using Voice Activity Projection، IWSDS 2024.
- Lin وآخرون، Full-Duplex-Bench، ASRU 2025 وLin وآخرون، Full-Duplex-Bench v1.5، 2025 (الإصدار 3، 28 يناير 2026).
- Arora وآخرون، Talking Turns: Benchmarking Audio Foundation Models on Turn-Taking Dynamics، ICLR 2025.
- Défossez وآخرون، Kyutai، Moshi: a speech-text foundation model for real-time dialogue، 2024.
- Nguyen وآخرون، Generative Spoken Dialogue Language Modeling (dGSLM)، 2022، نُشرت في TACL 2023.
- LiveKit، Using a transformer to improve end of turn detection، 20 ديسمبر 2024: ادعاءات المورد، مع الإشارة إلى ذلك.
- ملاحظة حول البيانات: تصف ورقة Moshi زمن استجابة متوسطا قدره 230 ms عبر 10 لغات، بينما تفيد دراسة PNAS بمتوسط 208 ms، لذلك تختلف المتوسطات عبر اللغات بحسب المصدر. كما يختلف انتشار التداخل بحسب الطريقة: نحو 30% من انتقالات حق الكلام في تحليل Switchboard لدى Levinson وTorreira مقابل نحو 40% من الانتقالات لدى Heldner وEdlund. ويورد ملخص مؤتمر Google انخفاضين في الوسيط والمئين التسعين قدرهما 130 ms (33.3%) و160 ms (22.2%)، بينما تعطي جداول arXiv المستخدمة هنا 120 ms (30.8%) و170 ms (23.0%). ولوحة صدارة TurnBench حية وتقبل مشاركات خارجية، لذا ستتغير الترتيبات؛ وقد قرأنا الأرقام أعلاه في 31 أكتوبر 2026، واستبعدنا المشاركات الخارجية المرسلة ذاتيا، وتسع منها تتفوق على Voice Activity Projection في الاستدعاء. وتأتي أرقام Full-Duplex-Bench v1.5 من الإصدار 3 على arXiv. ولم نجد بيانات عامة أولية عن تكرار المقاطعة في مراكز الاتصال.
آخر تحديث: 31 أكتوبر 2026. نحدّث هذا الاستعراض كل ثلاثة أشهر، ومن المتوقع أن يأتي التحديث التالي عند نشر وقائع IEEE SLT 2026 لورقة TurnBench النهائية.