عندما طلب معيار اختبار عام 2026 من أنظمة تحويل النص إلى كلام (TTS) العصبية أن تضع النبر على الكلمة الصحيحة في نسختين من الجملة نفسها، كانت درجات Pair-Correct قريبة من الصفر لدى جميعها تقريبا، وكانت أفضل نتيجة 11.5% حتى مع تحديد النبر صراحة في المدخلات (Turetzky وآخرون، معيار CAST 2026). ويتكرر النمط نفسه في بقية أبحاث البروسودي: ففي دراسة على الكتب الصوتية اليابانية تضاعف خطأ طبقة الصوت تقريبا بين إعادة التخليق بالفوكودر وحده والـ TTS الكامل، وسجل مصنف انفعالات 99.64% على التسجيلات البشرية لكنه سجل 15.31% على التسجيلات المُخلَّقة، وتأخرت النماذج مغلقة المصدر عن التسجيلات الحقيقية بمقدار 0.93 نقطة في ثراء التعبير عند القراءة الطويلة. وتقترب درجات الطبيعية الإجمالية الآن من التسجيلات البشرية (انظر إحصائيات MOS للكلام الاصطناعي لدينا)، لكن اللحن والتوقيت والتوكيد هي المواضع التي تبقى فيها الفجوة. وقد جمعنا بيانات من Journal of the Brazilian Computer Society وInterspeech وورشات ISCA لتخليق الكلام وBlizzard Challenge وACL 2026 Findings وJournal of the Acoustical Society of America وLabPhon، وأكثر من عشر أوراق على arXiv.
أبرز النقاط
- حللت 95 دراسة من أصل 100 دراسة لتقييم البروسودي بين عامي 2020 و2024 طبقة الصوت (F0)، وكان F0 RMSE أكثر المقاييس استخداما (Galdino وآخرون، JBCS 2025).
- يرتبط لوغاريتم F0 RMSE بتقييمات البشر للبروسودي عند r = 0.30 فقط (Yang وآخرون، ProsodyEval 2025).
- بلغ خطأ طبقة الصوت (F0 RMSE) 14.03 لصف HiFi-GAN الذي يمثل الفوكودر وحده مقابل 27.93 لأفضل نموذج TTS كامل (Xin وآخرون، TTS للكتب الصوتية 2022).
- ارتكب نظام TTS كانتوني أساسي أخطاء إطارات F0 بنسبة 32.76% في الأسئلة الخبرية الصياغة مقابل 13.53% في الجمل الخبرية (Bai وآخرون، Interspeech 2022).
- سمع المستمعون 21.83% فقط من الأسئلة الخبرية الصياغة التي خلّقها النظام الأساسي على أنها أسئلة (Bai وآخرون، Interspeech 2022).
- لم تتجاوز نسبة Pair-Correct لوضع النبر 11.5% عبر جميع أنظمة TTS المختبرة، بينما بلغ نموذج نصي فقط 76.1% (Turetzky وآخرون، CAST 2026).
- تعرف المستمعون على الغضب في 37% من التسجيلات البشرية لكن في 7% من المقاطع المُخلَّقة (Abilbekov وآخرون، KazEmoTTS 2024).
- انخفض التعرف على الانفعالات في مخرجات CosyVoice 2 من 83.93% (كلام حقيقي) إلى 34.57% عندما كان على البروسودي أن يأتي من النص (Ge وآخرون، 2026).
- فسرت تقييمات الجمل المعزولة نحو 12% فقط من التباين في تقييمات الفقرات (Clark وآخرون، SSW10 2019).
- بلغ متوسط ثراء التعبير في TTS الطويل مغلق المصدر 3.42 مقابل 4.35 للكلام الحقيقي (Pan وآخرون، SwanBench-Speech، ACL 2026 Findings).
- قرأ القراء البشر بسرعة 3.20 مقطع في الثانية مقابل 4.96 عند الكلام الحر (Jacewicz وآخرون، JASA 2010).
1. قياس البروسودي: مشكلة المقاييس
يقيس المجال البروسودي في معظمه برقم واحد، وهذا الرقم بالكاد يعكس ما يسمعه المستمعون. ارتبط لوغاريتم F0 RMSE، وهو مقياس خطأ طبقة الصوت الافتراضي، بتقييمات البشر للبروسودي عند r = 0.30، أي أقل من نصف ارتباط مقياس أحدث قائم على الرموز (Yang وآخرون، ProsodyEval 2025). و F0 (التردد الأساسي) هو القياس الصوتي وراء طبقة الصوت المُدركة، أما RMSE (الجذر التربيعي لمتوسط مربع الخطأ) فيقارن منحنى طبقة الصوت الاصطناعي إطارا بإطار مع تسجيل بشري واحد للجملة نفسها.
والمشكلة بنيوية: يمكن قراءة الجملة جيدا بألحان مختلفة كثيرة، فتعاقب المسافة إلى مرجع واحد التباين المشروع. وحتى نماذج الصوت اللغوية الكبيرة ليست حلا بعد، إذ سجل Gemini 2.5 Pro ارتباطا قدره r = 0.27 مع تقييمات البشر للبروسودي في المعيار نفسه الذي ضم 1,000 عينة و7 أنظمة TTS و2,000 تقييم بشري.
| المقياس | القيمة | المصدر |
|---|---|---|
| دراسات تقييم البروسودي التي روجعت (منشورة من 2020 إلى 2024) | 100 | Galdino وآخرون، JBCS 2025 |
| الدراسات التي حللت طبقة الصوت (F0) | 95 من 100 | Galdino وآخرون، JBCS 2025 |
| الدراسات بحسب اللغة: الإنجليزية / الصينية الماندرين / اليابانية | 48 / 27 / 15 | Galdino وآخرون، JBCS 2025 |
| الارتباط بتقييمات البشر للبروسودي: لوغاريتم F0 RMSE | r = 0.30 [0.19, 0.40] | Yang وآخرون، ProsodyEval 2025 |
| الارتباط بتقييمات البشر للبروسودي: DS-WED (مقياس قائم على الرموز) | r = 0.77 [0.73, 0.81] | Yang وآخرون، ProsodyEval 2025 |
| Gemini 2.5 Pro بصفته حكما على البروسودي، الارتباط بتقييمات البشر | r = 0.27 | Yang وآخرون، ProsodyEval 2025 |
السياق: وجدت المراجعة المنهجية في Journal of the Brazilian Computer Society أيضا أن LJ Speech، وهي مدونة إنجليزية بمتحدث واحد لنصوص غير روائية مقروءة، كانت أكثر مجموعات البيانات استخداما، ولذلك فإن جزءا كبيرا من الأدلة المنشورة يصف أسلوب قراءة واحدا في لغة واحدة. ويفيد معيار منفصل شمل 35 نظام TTS من 2008 إلى 2024 بأن البروسودي يزداد أهمية في الأنظمة الأحدث، ويرى مؤلفوه أن المقيّمين البشر يركزون عليه أكثر مع تلاشي مشكلات الضوضاء والوضوح (Minixhofer وآخرون، TTSDS 2024).
2. خطأ طبقة الصوت والمدة مقيسا مقابل التسجيلات البشرية
عندما تفصل الدراسة الفوكودر عن المرحلة التي تتنبأ بالبروسودي من النص، يظهر معظم خطأ طبقة الصوت في المرحلة الثانية. في دراسة على الكتب الصوتية اليابانية، بلغ F0 RMSE 14.03 لصف HiFi-GAN الذي يمثل الفوكودر وحده و27.93 لأفضل نموذج TTS كامل، أي أعلى بنحو مرتين (27.93 / 14.03 = 1.99) (Xin وآخرون، TTS للكتب الصوتية 2022). والفوكودر هو المرحلة الأخيرة التي تحول السمات الصوتية إلى شكل موجي، لذلك فإن درجة الفوكودر وحده تقارب الحد الأدنى للخطأ في سلسلة الصوت نفسها.
ولا تخفض المتنبئات الأحدث سوى بضع نقاط. فقد طابق نموذج بروسودي عام 2025 دُرّب على نحو 750 ساعة من الصوت الإنجليزي طبقة الصوت المرجعية في 43.9% من الإطارات، ارتفاعا من 40.2% لأقوى نموذج أساسي. كما أن تنوع البروسودي هش: فقد خفّض الضبط الدقيق بالتفضيل (DPO) تنوع البروسودي المقيس لدى أحد الأنظمة بنسبة 18.8%.
| المقياس | القيمة | المصدر |
|---|---|---|
| F0 RMSE: الفوكودر وحده (HiFi-GAN) مقابل أفضل نموذج TTS كامل (كتب صوتية يابانية) | 14.03 مقابل 27.93 | Xin وآخرون، TTS للكتب الصوتية 2022 |
| خطأ طبقة الصوت الإجمالي: الفوكودر وحده (HiFi-GAN) مقابل أفضل نموذج TTS مقابل النموذج الأساسي | 2.2 مقابل 12.57 مقابل 14.16 | Xin وآخرون، TTS للكتب الصوتية 2022 |
| تفضيل AB: النموذج الواعي بالسياق مقابل النموذج الأساسي (40 مستمعا) | 61.5% مقابل 38.5% | Xin وآخرون، TTS للكتب الصوتية 2022 |
| F0 RMSE: النموذج الهرمي للقراءة الطويلة مقابل FastSpeech 2 مع BERT الأساسي (كتب صوتية بالماندرين) | 36.61 مقابل 51.12 | Guo وآخرون، HiGNN-TTS 2023 |
| MSE للمدة: النموذج الهرمي للقراءة الطويلة مقابل النموذج الأساسي | 0.1083 مقابل 0.1421 | Guo وآخرون، HiGNN-TTS 2023 |
| دقة طبقة الصوت الخام (نسبة الإطارات القريبة من طبقة الصوت البشرية): ProMode مقابل StyleTTS 2 الأساسي | 43.9% مقابل 40.2% | Eren وآخرون، ProMode 2025 |
| التغير في تنوع البروسودي بعد الضبط الدقيق بـ DPO، CosyVoice 2 (LibriSpeech) | -18.8% | Yang وآخرون، ProsodyEval 2025 |
ملاحظة حول القيم الشاذة: قيم F0 RMSE قابلة للمقارنة داخل الورقة الواحدة فقط، لأن الوحدات والمحاذاة ومجموعات البيانات تختلف. فـ ورقة ProMode لا تذكر وحدات RMSE لديها، ويصف نص HiGNN-TTS نتيجة F0 الخاصة به بكلمات تناقض جدوله، لذلك أوردنا قيم الجدول.
3. الأسئلة والتركيب النحوي والمتجانسات الكتابية: قراءة نوع الجملة قراءة صحيحة
يفشل تنغيم الأسئلة حيث لا تقدم القواعد النحوية أي إشارة. ارتكب نظام Tacotron 2 الكانتوني الأساسي أخطاء إطارات F0 في 32.76% من الإطارات في الأسئلة الخبرية الصياغة، مقابل 13.53% في الجمل الخبرية، ولم يحدد المستمعون سوى 21.83% من أسئلته الخبرية الصياغة على أنها أسئلة (Bai وآخرون، Interspeech 2022). والسؤال الخبري الصياغة جملة على هيئة جملة خبرية ينبغي أن تنتهي بطبقة صوت صاعدة؛ وفي مدونة CanTTS يبلغ عددها نحو 1,000 من 12,010 جملة منطوقة، فلا يرى النموذج هذا النمط إلا نادرا. ويحصي خطأ إطارات F0 الإطارات التي تنحرف فيها طبقة الصوت، أو وجود الجهر، انحرافا واضحا عن التسجيل البشري.
أما الحل في تلك الدراسة، وهو مصنف نصي منفصل للتمييز بين السؤال والجملة الخبرية، فقد رفع نسبة التعرف إلى 98.41%. وتبقى الأنظمة الأحدث متفاوتة: ففي معيار EmergentTTS-Eval لعام 2025، الذي يقيّمه حَكَم ذكاء اصطناعي مقابل نظام تجاري مرجعي تعني فيه نسبة 50% التكافؤ، فازت النماذج مفتوحة المصدر Sesame1B وOrpheus-TTS وQwen 2.5 Omni بنسبة 31.78% و39.64% و49.28% من مطالبات الأسئلة (Manku وآخرون، Boson AI، EmergentTTS-Eval 2025).
| المقياس | القيمة | المصدر |
|---|---|---|
| الأسئلة الخبرية الصياغة التي حُددت على أنها أسئلة: Tacotron 2 الأساسي مقابل النموذج المزود بمصنف الأسئلة | 21.83% مقابل 98.41% | Bai وآخرون، Interspeech 2022 |
| خطأ إطارات F0 في الأسئلة الخبرية الصياغة مقابل الجمل الخبرية، Tacotron 2 الأساسي | 32.76% مقابل 13.53% | Bai وآخرون، Interspeech 2022 |
| تنغيم الأسئلة المُدرَك إدراكا صحيحا: إعادة التخليق بالفوكودر مقابل نموذجين أساسيين لـ TTS العاطفي | 99.2% مقابل 81.6% و85.9% | Tang وآخرون، QI-TTS 2023 |
| نسبة الفوز في فئة الأسئلة مقابل النموذج الأساسي: GPT-4o-audio (الأفضل إجمالا) مقابل Sesame1B | 56.96% مقابل 31.78% | Boson AI، EmergentTTS-Eval 2025 |
| نسبة الفوز في التعقيد التركيبي مقابل النموذج الأساسي: Orpheus-TTS مقابل Sesame1B | 38.92% مقابل 18.88% | Boson AI، EmergentTTS-Eval 2025 |
| نسبة الفوز في النطق المعقد مقابل النموذج الأساسي: Qwen 2.5 Omni | 3.30% | Boson AI، EmergentTTS-Eval 2025 |
| الاتفاق بين ترتيب حَكَم الذكاء الاصطناعي والترتيب البشري (سبيرمان) | 90.5% | Boson AI، EmergentTTS-Eval 2025 |
| اختبار المتجانسات الكتابية الفرنسية (Blizzard 2023): مستوى الصدفة مقابل أفضل الأنظمة | 50% مقابل أكثر من 80% | Perrotin وآخرون، Blizzard Challenge 2023 |
السياق: قيّم 218 مستمعا المتجانسات الكتابية (كلمات تُكتب بالطريقة نفسها وتُنطق بطرق مختلفة، مثل الكلمة الفرنسية ‘est’ فعلا أو جهة من جهات البوصلة) في اختبار ABX ضمن Blizzard Challenge 2023، وربط المنظمون أفضل النتائج بالأنظمة التي استخدمت نموذجا لغويا كبيرا في مشفّر النص. أما دراسة QI-TTS فتعود إلى مارس 2023؛ وهي أحدث بيانات متاحة لهذا المقياس.
4. التوكيد والنبر التقابلي
يمثل وضع النبر على الكلمة الصحيحة أوضح إخفاق راهن. في معيار CAST المؤلف من 113 زوجا تقابليا (226 عنصرا)، كانت درجات Pair-Correct (أي النبر على الكلمة الصحيحة في نسختي الزوج معا) قريبة من الصفر لدى جميع الأنظمة تقريبا، وكانت الأفضل 11.5%، ولم تتحقق إلا عند تحديد النبر صراحة في المدخلات (Turetzky وآخرون، CAST 2026). وأظهر المعيار نفسه أن نموذجا لغويا نصيا فقط يستطيع استنتاج النبر المقصود من السياق بنسبة 76.1%، فالمعلومة متاحة: أنظمة TTS لا تحولها إلى صوت.
ولم يؤد تزويد نموذج TTS بالسياق السابق إلى تحسن واضح لدى أي نظام. وتشير دراسات المستمعين الأقدم إلى الاتجاه نفسه: فعلامات الخطأ في الكلام الاصطناعي تتجمع حول الحدود البروسودية، وغالبا ما يُسمع التنوع البروسودي الإضافي على أنه خطأ حين لا يتناسب مع السياق.
| المقياس | القيمة | المصدر |
|---|---|---|
| الكلمة المستهدفة منبورة (Hit) / الجانبان صحيحان (Pair-Correct): Kokoro | 38.1% / 0.0% | Turetzky وآخرون، CAST 2026 |
| Hit / Pair-Correct: GPT-4o-mini-tts مع تحديد صريح للنبر | 51.8% / 11.5% | Turetzky وآخرون، CAST 2026 |
| Hit / Pair-Correct: Claude Haiku 4.5 نصي فقط يتنبأ بالنبر من السياق | 88.1% / 76.1% | Turetzky وآخرون، CAST 2026 |
| الكلمة المؤكَّدة التي حددها المستمعون، EME-TTS: المتوسط مقابل انفعال المفاجأة | 78% مقابل 64% | Li وآخرون، EME-TTS 2025 |
| الارتباط بين تقييم البروسودي ومعدل الخطأ الذي وسمه المستمعون | R = -0.75 | Gutierrez وآخرون، SSW11 2021 |
| نسبة المرات التي وقعت فيها الكلمة الأكثر وسما بالخطأ لدى FastPitch قبل علامة الترقيم مباشرة (نص كتاب صوتي) | 73% | Gutierrez وآخرون، SSW11 2021 |
السياق: اتفاق المستمعين على موضع النبر في الكلام الاصطناعي متواضع بحد ذاته (معامل كابا لفليس = 0.36 بين ثلاثة مستمعين في المعيار نفسه)، وهذا أحد أسباب صعوبة قياس التوكيد. وفي EME-TTS (11 مستمعا) سجلت المفاجأة أدنى النتائج، ويعزو المؤلفون ذلك إلى ارتفاع طبقة الصوت المتكرر في نهاية الكلام المتفاجئ، ما جعل المستمعين يسمعون الكلمة الأخيرة منبورة. أما دراسة النسخ البروسودي السريع فتعود إلى عام 2021؛ وهي أحدث بيانات متاحة لوسم أخطاء المستمعين.
5. البروسودي العاطفي: ما الذي يتعرف عليه المستمعون والمصنفات
تُحمَل العاطفة في معظمها عبر البروسودي، ويُتعرف على العاطفة الاصطناعية أقل بكثير من العاطفة المسجلة. في دراسة كازاخية شارك فيها 64 مستمعا، جرى التعرف على الانفعال المقصود في 43% من التسجيلات البشرية لكن في 32% من المقاطع المُخلَّقة، وانخفض الغضب من 37% إلى 7% (Abilbekov وآخرون، KazEmoTTS 2024).
وتتبع تحليل عام 2026 موضع ضياع العاطفة. ففي CosyVoice 2 ظل التعرف على الانفعالات عند 82.43% بعد إعادة بناء الفوكودر وعند 84.07% عندما غُذّي النموذج برموز الكلام الحقيقية، قريبا من 83.93% للكلام الحقيقي، لكنه هبط إلى 34.57% عندما كان على النموذج أن يولّد الكلام من النص (Ge وآخرون، On the Emotion Understanding of Synthesized Speech، 2026). فالخسارة تقع في خطوة تحويل النص إلى بروسودي، لا في جودة الصوت. وللاطلاع على أداء نماذج التعرف على الأصوات البشرية، انظر إحصائيات التعرف على الانفعالات في الكلام لدينا.
| المقياس | القيمة | المصدر |
|---|---|---|
| تعرف المستمعين على الانفعال: التسجيلات البشرية مقابل المُخلَّقة (6 انفعالات) | 43% مقابل 32% | Abilbekov وآخرون، KazEmoTTS 2024 |
| تعرف المستمعين على الغضب: التسجيلات البشرية مقابل المُخلَّقة | 37% مقابل 7% | Abilbekov وآخرون، KazEmoTTS 2024 |
| دقة مصنف الانفعالات (emotion2vec): تسجيلات TESS البشرية مقابل TESS المُخلَّقة | 99.64% مقابل 15.31% | Ge وآخرون، 2026 |
| دقة مصنف الانفعالات: IEMOCAP البشرية مقابل IEMOCAP المُخلَّقة | 71.28% مقابل 49.58% | Ge وآخرون، 2026 |
| CosyVoice 2 على TESS: الكلام الحقيقي مقابل الفوكودر وحده مقابل التوليد المعتمد على النص | 83.93% مقابل 82.43% مقابل 34.57% | Ge وآخرون، 2026 |
| دقة مصنف الانفعالات على مخرجات gpt-4o-tts (جمل CREMA-D / TESS) | 32.94% / 46.42% | Ge وآخرون، 2026 |
| دقة إعادة تصنيف الانفعالات: التسجيلات البشرية المعاد تخليقها بالفوكودر مقابل أفضل وأضعف نظام من ثلاثة أنظمة TTS | 0.931 مقابل 0.749 و0.623 | Tang وآخرون، ED-TTS 2024 |
| نسبة الفوز في فئة الانفعالات مقابل النموذج الأساسي: GPT-4o-audio مقابل Sesame1B | 88.84% مقابل 7.32% | Boson AI، EmergentTTS-Eval 2025 |
ملاحظة حول القيم الشاذة: أرقام المصنفات لعام 2026 درجات آلية لا أحكام مستمعين، وقد بلغ مصنف دُرّب على كلام مُخلَّق 91.84% على TESS المُخلَّقة لكنه بلغ 15.00% على TESS البشرية، ما يوحي بأن العاطفة الاصطناعية والبشرية تختلفان صوتيا. واستخدم ED-TTS مصنف انفعالات خاصا به، لذلك فإن مقياسه غير قابل للمقارنة المباشرة بـ emotion2vec.
6. القراءة الطويلة: حيث تتوقف اختبارات الجمل عن العمل
قد يبدو البروسودي سليما جملة جملة ثم ينجرف أو يتسطح أو تُوضع وقفاته في غير موضعها عبر الفقرة. في دراسة لقراءة الأخبار، لم يفسر حتى أفضل تقييم لجملة مفردة في الفقرة سوى نحو 12% من التباين في تقييم الفقرة بأكملها (أقصى MOS للجملة مقابل MOS الفقرة، r = 0.345، p < 0.01) (Clark وآخرون، Evaluating Long-form Text-to-Speech، SSW10 2019). وخلص المؤلفون إلى أن تقييمات مستوى الجملة «مؤشرات رديئة للتنبؤ بـ MOS الفقرة».
وصورة عام 2026 أضيق لكنها لم تُغلق بعد. ففي SwanBench-Speech اقترب أفضل نظام مغلق المصدر من التسجيلات الحقيقية بفارق 0.09 في درجة البروسودي (3.95 مقابل 4.04)، لكن متوسط الأنظمة مغلقة المصدر تأخر عن الكلام الحقيقي بمقدار 0.93 نقطة في كل من ثراء التعبير (الصدى العاطفي وتجسيد الشخصيات وسرد القصص) والتسلسل الهرمي للتعبير (الديناميكيات التعبيرية على مستوى الفقرة)، وتراجع أداء معظم النماذج حين تجاوز المقطع 100 كلمة (Pan وآخرون، SwanBench-Speech، ACL 2026 Findings). وللمنتجين الذين يعملون على محتوى التدريب والشروحات المروية، تتناول إحصائيات التعليق الصوتي بالذكاء الاصطناعي لدينا مدى الاعتماد، ويسهل الحكم على مولد الصوت بالذكاء الاصطناعي من فقرة كاملة لا من سطر واحد.
| المقياس | القيمة | المصدر |
|---|---|---|
| الارتباط بين متوسط تقييم الجملة وتقييم الفقرة (أخبار) | r = 0.296 (p < 0.05) | Clark وآخرون، SSW10 2019 |
| متوسط التقييم، الجمل القصيرة مقابل المقاطع التي تبلغ 40 ثانية، أفضل نموذج | 4.09 مقابل 3.86 | Guo وآخرون، HiGNN-TTS 2023 |
| متوسط التقييم، الجمل القصيرة مقابل المقاطع التي تبلغ 40 ثانية، النموذج الأساسي | 3.52 مقابل 3.34 | Guo وآخرون، HiGNN-TTS 2023 |
| اختبار الاستماع للكتب الصوتية: المستمعون / التقييمات / طول المقطع | 204 / 33,750 / نحو دقيقتين | Zhang وآخرون، SSW 2023 |
| مكسب الجودة الإجمالية من تحسينات القراءة الطويلة (الملخص) | +0.47 MOS | Zhang وآخرون، SSW 2023 |
| الدرجة المقارنة بعد إزالة سياق الجمل المتعددة: صوت أنثوي / صوت ذكوري | -0.42 / -0.58 | Zhang وآخرون، SSW 2023 |
| ثراء التعبير: الكلام الحقيقي مقابل متوسط مغلق المصدر مقابل متوسط مفتوح المصدر | 4.35 مقابل 3.42 مقابل 3.03 | Pan وآخرون، SwanBench-Speech 2026 |
| التسلسل الهرمي للتعبير (ديناميكيات مستوى الفقرة): الكلام الحقيقي مقابل متوسط مغلق المصدر | 3.94 مقابل 3.01 | Pan وآخرون، SwanBench-Speech 2026 |
السياق: درجات SwanBench آلية. فقد اتفق مقياس البروسودي لديه مع 10 مقيّمين بشريين عند SRCC = 0.82 على 50 زوجا، واتفق حَكَم الثراء والتسلسل الهرمي لديه (Gemini 3 Pro) عند 0.71 و0.62. وتذكر ورقة تخليق الكتب الصوتية أن تحسيناتها «تقلص الفجوة الكبيرة بين التخليق الأساسي والتسجيلات الطبيعية» دون أن تغلقها. ودراسة Clark وآخرون تعود إلى عام 2019؛ وهي أحدث بيانات متاحة للمقارنة بين الجملة والفقرة.
7. المرجع البشري: مدى تباين البروسودي الحقيقي
يفترض أي رقم «خطأ» وجود هدف، والبروسودي البشري هدف واسع. عبر 192 متحدثا بالإنجليزية الأمريكية، بلغ معدل النطق 3.20 مقطع في الثانية عند قراءة الجمل و4.96 في الكلام التلقائي (Jacewicz وآخرون، JASA 2010). ويحصي معدل النطق المقاطع في الثانية بعد حذف الوقفات، فيعزل بذلك السرعة عن التردد.
والتباين داخل الشخص الواحد هو الأكبر: ففي البيانات نفسها تجاوز التباين من عبارة إلى أخرى لدى المتحدث الواحد التباين بين المتحدثين. ووجدت دراسة مدونة قُدمت في LabPhon 19، شملت نحو 120,000 جملة منطوقة، أن المتحدثين الأفراد يتباينون أكثر مما تتباين اللهجات. ولهذا فإن تسجيلا مرجعيا واحدا مقياس ضعيف، كما أظهر القسم 1 بالنسبة إلى F0 RMSE.
| المقياس | القيمة | المصدر |
|---|---|---|
| معدل النطق، الجمل المقروءة مقابل الكلام التلقائي (مقطع في الثانية) | 3.20 مقابل 4.96 | Jacewicz وآخرون، JASA 2010 |
| المعدل التلقائي، متحدثو ويسكونسن مقابل كارولاينا الشمالية (مقطع في الثانية) | 5.21 مقابل 4.80 | Jacewicz وآخرون، JASA 2010 |
| معدل القراءة، الشباب مقابل الأكبر سنا (مقطع في الثانية) | 3.58 مقابل 3.0 | Jacewicz وآخرون، JASA 2010 |
| تباين معدل الكلام: داخل المتحدث الواحد مقابل بين المتحدثين | 1.0 مقابل 0.19 | Jacewicz وآخرون، JASA 2010 |
| حجم المدونة: الجمل المنطوقة / المتحدثون / اللهجات | 119,736 / 1,115 / 15 | Tanner وآخرون، LabPhon 19 |
| الفرق المقدر في معدل النطق بين اللهجات الإنجليزية | نحو 40% (نحو مقطعين في الثانية) | Tanner وآخرون، LabPhon 19 |
| احتمال أن يتجاوز تباين المتحدثين تباين اللهجات | 0.98 | Tanner وآخرون، LabPhon 19 |
السياق: استخدمت ورقة معدل النطق من SPADE 14 مدونة من الكلام التلقائي بالإنجليزية البريطانية والأمريكية الشمالية. وبيانات Jacewicz تعود إلى عام 2010؛ وهي أحدث بيانات متاحة لسرعة القراءة مقابل الكلام التلقائي في عينة واحدة محكومة. ولسمة بروسودية أخرى تتباعد فيها أحكام المستمعين عن القياسات الصوتية، انظر إحصائيات الصرير الصوتي لدينا.
الخلاصة: أخطاء البروسودي والتنغيم في تحويل النص إلى كلام العصبي بالأرقام
| المقياس | القيمة | المصدر |
|---|---|---|
| دراسات البروسودي (2020 إلى 2024) التي حللت طبقة الصوت | 95 من 100 | Galdino وآخرون، JBCS 2025 |
| ارتباط لوغاريتم F0 RMSE بتقييمات البشر للبروسودي | r = 0.30 | Yang وآخرون، ProsodyEval 2025 |
| F0 RMSE: الفوكودر وحده مقابل أفضل TTS كامل | 14.03 مقابل 27.93 | Xin وآخرون، 2022 |
| دقة طبقة الصوت الخام لمتنبئ بروسودي عام 2025 | 43.9% | Eren وآخرون، ProMode 2025 |
| خطأ إطارات F0، الأسئلة الخبرية الصياغة مقابل الجمل الخبرية (النموذج الأساسي) | 32.76% مقابل 13.53% | Bai وآخرون، Interspeech 2022 |
| الأسئلة الخبرية الصياغة المسموعة على أنها أسئلة: النموذج الأساسي مقابل نموذج المصنف | 21.83% مقابل 98.41% | Bai وآخرون، Interspeech 2022 |
| نسبة الفوز في الأسئلة مقابل النموذج الأساسي: GPT-4o-audio مقابل Sesame1B | 56.96% مقابل 31.78% | Boson AI، EmergentTTS-Eval 2025 |
| اختبار المتجانسات الكتابية: الصدفة مقابل أفضل الأنظمة | 50% مقابل أكثر من 80% | Perrotin وآخرون، Blizzard 2023 |
| Pair-Correct للنبر التقابلي: أفضل TTS مقابل نموذج لغوي نصي فقط | 11.5% مقابل 76.1% | Turetzky وآخرون، CAST 2026 |
| تعرف المستمعين على الانفعال: البشري مقابل المُخلَّق | 43% مقابل 32% | Abilbekov وآخرون، KazEmoTTS 2024 |
| مصنف الانفعالات: TESS البشرية مقابل المُخلَّقة | 99.64% مقابل 15.31% | Ge وآخرون، 2026 |
| دقة الانفعالات في CosyVoice 2: الكلام الحقيقي مقابل المعتمد على النص | 83.93% مقابل 34.57% | Ge وآخرون، 2026 |
| تقييم الجملة مقابل تقييم الفقرة، التباين المفسَّر | نحو 12% | Clark وآخرون، SSW10 2019 |
| ثراء التعبير: الكلام الحقيقي مقابل متوسط مغلق المصدر | 4.35 مقابل 3.42 | Pan وآخرون، SwanBench-Speech 2026 |
| الجمل القصيرة مقابل المقاطع التي تبلغ 40 ثانية، أفضل نموذج | 4.09 مقابل 3.86 | Guo وآخرون، HiGNN-TTS 2023 |
| معدل النطق المقروء مقابل التلقائي (مقطع في الثانية) | 3.20 مقابل 4.96 | Jacewicz وآخرون، JASA 2010 |
| فرق معدل النطق بين اللهجات الإنجليزية | نحو 40% | Tanner وآخرون، LabPhon 19 |
المنهجية والمصادر
قُرئ كل رقم أعلاه في الورقة أو صفحة وقائع المؤتمر أو النص الكامل الذي أورده. وحيثما عرضت ورقة نتائجها في رسم بياني فقط، استخدمنا خلاصاتها المعلنة واستبعدنا القيم التقريبية. والدرجات التي أصدرتها الآلات (حكام الذكاء الاصطناعي ومصنفات الانفعالات والمعايير الآلية) موسومة بذلك في النص، ولا ينبغي قراءتها على أنها نسب مستمعين.
- Galdino وMatos وSvartman وAluisio، «The evaluation of prosody in speech synthesis: a systematic review»، Journal of the Brazilian Computer Society، 9 يوليو 2025
- Yang وآخرون، «Measuring Prosody Diversity in Zero-Shot TTS» (ProsodyEval)، arXiv 2509.19928، نسخة منقحة في 1 أبريل 2026
- Minixhofer وKlejch وBell، «TTSDS - Text-to-Speech Distribution Score»، arXiv 2407.12707، 2024
- Xin وآخرون، «Improving Speech Prosody of Audiobook Text-to-Speech Synthesis with Acoustic and Textual Contexts»، arXiv 2211.02336، 2022
- Guo وآخرون، «HiGNN-TTS: Hierarchical Prosody Modeling with Graph Neural Networks for Expressive Long-form TTS»، arXiv 2309.13907، 2023
- Eren وآخرون، «ProMode: A Speech Prosody Model Conditioned on Acoustic and Textual Inputs»، arXiv 2508.09389، 2025
- Bai وKo وZhang، «A Study of Modeling Rising Intonation in Cantonese Neural Speech Synthesis»، Interspeech 2022
- Tang وآخرون، «QI-TTS: Questioning Intonation Control for Emotional Speech Synthesis»، arXiv 2303.07682، 2023
- Manku وآخرون (Boson AI)، «EmergentTTS-Eval»، arXiv 2505.23009، 29 مايو 2025
- Perrotin وStephenson وGerber وBailly، «The Blizzard Challenge 2023»، أرشيف ISCA
- Turetzky وآخرون، «Knowing What to Stress: A Discourse-Conditioned Text-to-Speech Benchmark» (CAST)، arXiv 2604.10580، 12 أبريل 2026
- Li وآخرون، EME-TTS، حول العلاقة بين التوكيد والانفعال في تخليق الكلام، arXiv 2507.12015، 2025
- Gutierrez وOplustil-Gallegos وLai، «Location, Location»، ISCA SSW11، 2021
- Abilbekov وآخرون، «KazEmoTTS: A Dataset for Kazakh Emotional Text-to-Speech Synthesis»، arXiv 2404.01033، 2024
- Ge وآخرون، «On the Emotion Understanding of Synthesized Speech»، arXiv 2603.16483، 17 مارس 2026
- Tang وآخرون، «ED-TTS: Multi-Scale Emotion Modeling using Cross-Domain Emotion Diarization»، arXiv 2401.08166، 2024
- Clark وSilen وKenter وLeith، «Evaluating Long-form Text-to-Speech: Comparing the Ratings of Sentences and Paragraphs»، SSW10، arXiv 1909.03965، 2019
- Zhang وآخرون، «Audiobook synthesis with long-form neural text-to-speech»، ISCA SSW12، 2023
- Pan وآخرون، «Comprehensive Benchmarking of Long-Form Speech Generation in Diverse Scenarios» (SwanBench-Speech)، ACL 2026 Findings، arXiv 2605.28618
- Jacewicz وFox وWei، «Between-speaker and within-speaker variation in speech tempo of American English»، Journal of the Acoustical Society of America، 2010
- Tanner وآخرون وSPADE Data Consortium، «Exposing the anatomy of articulation rate across English dialects and speakers»، LabPhon 19
- ملاحظة حول البيانات: قيم F0 RMSE غير قابلة للمقارنة بين الأوراق (اختلاف الوحدات والمحاذاة ومجموعات البيانات)، ولا تذكر ورقة ProMode الوحدات. وتورد Xin وآخرون صف HiFi-GAN دون وصفه؛ وقد قرأناه على أنه مخرجات الفوكودر وحده لأن تشوهه الطيفي أدنى بكثير من صفوف TTS، وهذا استنتاج منا. ويورد Jacewicz وآخرون 5.21 و4.80 مقطع في الثانية في النص لكن 5.38 و4.97 في جدول للهجات نفسها؛ وقد أوردنا ما في النص. وتذكر ورقة الكتب الصوتية في SSW 2023 مكسبا قدره 0.47 MOS في ملخصها و0.46 في متنها؛ أما قيم رسمها البياني لكل نظام فلم يمكن ربطها بالأنظمة بصورة موثوقة فحذفناها. ويقول SwanBench-Speech إن فجوة التسلسل الهرمي «أكثر من نصف نقطة» بينما تفيد متوسطات جدوله بـ 0.93؛ وقد أوردنا ما في الجدول. وتأتي نتائج EmergentTTS-Eval وSwanBench من حكام ذكاء اصطناعي جرى التحقق منهم مقابل لجان بشرية صغيرة، ولا تقارن التقارير التقنية اللاحقة التي أعادت كتابة نصوص EmergentTTS بالورقة الأصلية. وأرقام QI-TTS (2023) وXin وآخرون (2022) وBai وآخرون (2022) وGutierrez وآخرون (2021) وClark وآخرون (2019) وJacewicz وآخرون (2010) أقدم من ثلاث سنوات وهي أحدث بيانات متاحة لتلك القياسات تحديدا. وعدة مصادر لعام 2026 نسخ أولية وقد تتغير بعد المراجعة العلمية. وقد تضيف نتائج Blizzard Challenge التالية ووقائع Speech Prosody بيانات أحدث عن تنغيم الأسئلة والقراءة الطويلة.
آخر تحديث: 31 أكتوبر 2026. نراجع هذا الاستعراض ونحدثه كل ثلاثة أشهر، ومن المتوقع أن يأتي التحديث التالي عند نشر نتائج Blizzard Challenge القادمة على أرشيف ISCA.