เมื่อเกณฑ์วัดปี 2026 ให้ระบบแปลงข้อความเป็นเสียงพูด (TTS) แบบนิวรัลเน้นเสียงคำที่ถูกต้องในประโยคเดียวกันสองเวอร์ชัน คะแนน Pair-Correct ใกล้ศูนย์สำหรับเกือบทุกระบบ และผลที่ดีที่สุดคือ 11.5% แม้จะมีการทำเครื่องหมายการเน้นเสียงอย่างชัดเจนในอินพุตแล้วก็ตาม (Turetzky และคณะ, เกณฑ์วัด CAST 2026) รูปแบบเดียวกันปรากฏตลอดงานวิจัยด้านโพรโซดีที่เหลือ ในการศึกษาหนังสือเสียงภาษาญี่ปุ่น ข้อผิดพลาดด้านระดับเสียงเพิ่มขึ้นราวสองเท่าจากการสังเคราะห์ซ้ำด้วยโวโคเดอร์ไปเป็น TTS เต็มรูปแบบ ตัวจำแนกอารมณ์ที่ได้ 99.64% กับเสียงบันทึกจากมนุษย์ได้เพียง 15.31% กับเสียงสังเคราะห์ และโมเดลปิดซอร์สตามหลังเสียงบันทึกจริง 0.93 คะแนนในด้านความอุดมสมบูรณ์ของการแสดงออกในการอ่านข้อความยาว คะแนนความเป็นธรรมชาติโดยรวมตอนนี้ใกล้เคียงเสียงบันทึกจากมนุษย์แล้ว (ดูสถิติ MOS ของเสียงพูดสังเคราะห์ของเรา) แต่ท่วงทำนอง จังหวะเวลา และการเน้นเสียงคือจุดที่ช่องว่างที่เหลืออยู่ เรารวบรวมข้อมูลจาก Journal of the Brazilian Computer Society, Interspeech และ ISCA Speech Synthesis Workshops, Blizzard Challenge, ACL 2026 Findings, Journal of the Acoustical Society of America, LabPhon และบทความ arXiv มากกว่าสิบสองชิ้น
สรุปโดยย่อ
- งานประเมินโพรโซดี 95 จาก 100 ชิ้นในช่วงปี 2020 ถึง 2024 วิเคราะห์ระดับเสียง (F0) และ RMSE ของ F0 เป็นเมตริกที่ใช้มากที่สุด (Galdino และคณะ, JBCS 2025)
- RMSE ของลอการิทึม F0 สัมพันธ์กับคะแนนโพรโซดีจากมนุษย์เพียง r = 0.30 (Yang และคณะ, ProsodyEval 2025)
- ข้อผิดพลาดด้านระดับเสียง (RMSE ของ F0) อยู่ที่ 14.03 สำหรับแถว HiFi-GAN ที่ใช้เฉพาะโวโคเดอร์ เทียบกับ 27.93 สำหรับโมเดล TTS เต็มรูปแบบที่ดีที่สุด (Xin และคณะ, TTS หนังสือเสียง 2022)
- TTS ภาษากวางตุ้งฐานทำผิดพลาดระดับเฟรมของ F0 32.76% ในคำถามรูปประโยคบอกเล่า เทียบกับ 13.53% ในประโยคบอกเล่า (Bai และคณะ, Interspeech 2022)
- ผู้ฟังได้ยินคำถามรูปประโยคบอกเล่าที่ระบบฐานสังเคราะห์ว่าเป็นคำถามเพียง 21.83% (Bai และคณะ, Interspeech 2022)
- การวางการเน้นเสียงแบบ Pair-Correct สูงสุดเพียง 11.5% ในทุกระบบ TTS ที่ทดสอบ ขณะที่โมเดลที่ใช้เฉพาะข้อความทำได้ 76.1% (Turetzky และคณะ, CAST 2026)
- ผู้ฟังรับรู้ความโกรธในเสียงบันทึกจากมนุษย์ 37% แต่ในคลิปสังเคราะห์เพียง 7% (Abilbekov และคณะ, KazEmoTTS 2024)
- การรับรู้อารมณ์จากเอาต์พุตของ CosyVoice 2 ลดจาก 83.93% (เสียงพูดจริง) เหลือ 34.57% เมื่อโพรโซดีต้องมาจากข้อความ (Ge และคณะ, 2026)
- คะแนนของประโยคที่แยกกันอธิบายความแปรปรวนของคะแนนระดับย่อหน้าได้เพียงราว 12% (Clark และคณะ, SSW10 2019)
- TTS ข้อความยาวแบบปิดซอร์สได้ค่าเฉลี่ย 3.42 ในด้านความอุดมสมบูรณ์ของการแสดงออก เทียบกับ 4.35 ของเสียงพูดจริง (Pan และคณะ, SwanBench-Speech, ACL 2026 Findings)
- ผู้อ่านที่เป็นมนุษย์อ่านด้วยอัตรา 3.20 พยางค์ต่อวินาที เทียบกับ 4.96 เมื่อพูดอย่างอิสระ (Jacewicz และคณะ, JASA 2010)
1. การวัดโพรโซดี: ปัญหาของตัวชี้วัด
วงการนี้วัดโพรโซดีด้วยตัวเลขเดียวเป็นส่วนใหญ่ และตัวเลขนั้นแทบไม่สะท้อนสิ่งที่ผู้ฟังได้ยิน RMSE ของลอการิทึม F0 ซึ่งเป็นเมตริกข้อผิดพลาดด้านระดับเสียงมาตรฐาน สัมพันธ์กับคะแนนโพรโซดีจากมนุษย์ที่ r = 0.30 ซึ่งน้อยกว่าครึ่งหนึ่งของความสัมพันธ์ของเมตริกแบบโทเคนที่ใหม่กว่า (Yang และคณะ, ProsodyEval 2025) F0 (ความถี่มูลฐาน) คือหน่วยวัดทางอะคูสติกที่อยู่เบื้องหลังระดับเสียงที่รับรู้ และ RMSE (รากที่สองของค่าความคลาดเคลื่อนกำลังสองเฉลี่ย) เทียบเส้นโค้งระดับเสียงสังเคราะห์กับเสียงบันทึกจากมนุษย์หนึ่งชุดของประโยคเดียวกันทีละเฟรม
ปัญหานี้เป็นเชิงโครงสร้าง คือประโยคหนึ่งอ่านได้ดีด้วยท่วงทำนองที่แตกต่างกันมากมาย ดังนั้นระยะห่างจากต้นแบบเพียงชุดเดียวจึงลงโทษความหลากหลายที่ใช้ได้ แม้แต่โมเดลภาษาเสียงขนาดใหญ่ก็ยังไม่ใช่คำตอบ เพราะ Gemini 2.5 Pro ได้ความสัมพันธ์ r = 0.27 กับคะแนนโพรโซดีจากมนุษย์ในเกณฑ์วัดเดียวกันซึ่งมี 1,000 ตัวอย่าง ระบบ TTS 7 ระบบ และคะแนนจากมนุษย์ 2,000 รายการ
| ตัวชี้วัด | ค่า | แหล่งที่มา |
|---|---|---|
| งานประเมินโพรโซดีที่ทบทวน (เผยแพร่ปี 2020 ถึง 2024) | 100 | Galdino และคณะ, JBCS 2025 |
| งานที่วิเคราะห์ระดับเสียง (F0) | 95 จาก 100 | Galdino และคณะ, JBCS 2025 |
| งานจำแนกตามภาษา: อังกฤษ / จีนกลาง / ญี่ปุ่น | 48 / 27 / 15 | Galdino และคณะ, JBCS 2025 |
| ความสัมพันธ์กับคะแนนโพรโซดีจากมนุษย์: RMSE ของลอการิทึม F0 | r = 0.30 [0.19, 0.40] | Yang และคณะ, ProsodyEval 2025 |
| ความสัมพันธ์กับคะแนนโพรโซดีจากมนุษย์: DS-WED (เมตริกแบบโทเคน) | r = 0.77 [0.73, 0.81] | Yang และคณะ, ProsodyEval 2025 |
| Gemini 2.5 Pro ในฐานะผู้ตัดสินโพรโซดี ความสัมพันธ์กับคะแนนจากมนุษย์ | r = 0.27 | Yang และคณะ, ProsodyEval 2025 |
บริบท: การทบทวนอย่างเป็นระบบใน Journal of the Brazilian Computer Society ยังพบด้วยว่า LJ Speech ซึ่งเป็นคลังข้อมูลภาษาอังกฤษของผู้พูดคนเดียวที่อ่านสารคดี เป็นชุดข้อมูลที่ใช้มากที่สุด ดังนั้นหลักฐานที่เผยแพร่ส่วนใหญ่จึงสะท้อนรูปแบบการอ่านเพียงแบบเดียวในภาษาเดียว เกณฑ์วัดแยกต่างหากที่ครอบคลุมระบบ TTS 35 ระบบตั้งแต่ปี 2008 ถึง 2024 รายงานว่าโพรโซดีสำคัญมากขึ้นสำหรับระบบรุ่นหลัง และผู้เขียนเสนอว่าผู้ประเมินที่เป็นมนุษย์หันมาให้ความสำคัญกับโพรโซดีมากขึ้นเมื่อปัญหาเรื่องเสียงรบกวนและความชัดเจนลดลง (Minixhofer และคณะ, TTSDS 2024)
2. ข้อผิดพลาดด้านระดับเสียงและระยะเวลาเมื่อวัดเทียบกับการบันทึกเสียงมนุษย์
เมื่อการศึกษาแยกโวโคเดอร์ออกจากขั้นตอนที่ทำนายโพรโซดีจากข้อความ ข้อผิดพลาดด้านระดับเสียงส่วนใหญ่ปรากฏในขั้นตอนหลัง ในการศึกษาหนังสือเสียงภาษาญี่ปุ่น RMSE ของ F0 อยู่ที่ 14.03 สำหรับแถว HiFi-GAN ที่ใช้เฉพาะโวโคเดอร์ และ 27.93 สำหรับโมเดล TTS เต็มรูปแบบที่ดีที่สุด ซึ่งสูงกว่าราว 2 เท่า (27.93 / 14.03 = 1.99) (Xin และคณะ, TTS หนังสือเสียง 2022) โวโคเดอร์คือขั้นตอนสุดท้ายที่แปลงลักษณะทางอะคูสติกเป็นรูปคลื่นเสียง ดังนั้นคะแนนที่ใช้เฉพาะโวโคเดอร์จึงประมาณระดับข้อผิดพลาดขั้นต่ำของสายโซ่เสียงเอง
ตัวทำนองรุ่นใหม่ลดข้อผิดพลาดได้เพียงไม่กี่จุด โมเดลโพรโซดีปี 2025 ที่ฝึกด้วยเสียงภาษาอังกฤษราว 750 ชั่วโมงตรงกับระดับเสียงอ้างอิงใน 43.9% ของเฟรม เพิ่มจาก 40.2% ของระบบฐานที่แข็งแกร่งที่สุด ความหลากหลายของโพรโซดียังเปราะบางด้วย การปรับจูนตามความชอบ (DPO) ลดความหลากหลายของโพรโซดีที่วัดได้ของระบบหนึ่งลง 18.8%
| ตัวชี้วัด | ค่า | แหล่งที่มา |
|---|---|---|
| RMSE ของ F0: ใช้เฉพาะโวโคเดอร์ (HiFi-GAN) เทียบกับโมเดล TTS เต็มรูปแบบที่ดีที่สุด (หนังสือเสียงภาษาญี่ปุ่น) | 14.03 เทียบกับ 27.93 | Xin และคณะ, TTS หนังสือเสียง 2022 |
| ข้อผิดพลาดระดับเสียงขั้นหยาบ: ใช้เฉพาะโวโคเดอร์ (HiFi-GAN) เทียบกับโมเดล TTS ที่ดีที่สุด เทียบกับระบบฐาน | 2.2 เทียบกับ 12.57 เทียบกับ 14.16 | Xin และคณะ, TTS หนังสือเสียง 2022 |
| ความชอบแบบ AB: โมเดลที่รู้บริบทเทียบกับระบบฐาน (ผู้ฟัง 40 คน) | 61.5% เทียบกับ 38.5% | Xin และคณะ, TTS หนังสือเสียง 2022 |
| RMSE ของ F0: โมเดลข้อความยาวแบบลำดับชั้นเทียบกับ FastSpeech 2 ที่ใช้ BERT เป็นระบบฐาน (หนังสือเสียงภาษาจีนกลาง) | 36.61 เทียบกับ 51.12 | Guo และคณะ, HiGNN-TTS 2023 |
| MSE ของระยะเวลา: โมเดลข้อความยาวแบบลำดับชั้นเทียบกับระบบฐาน | 0.1083 เทียบกับ 0.1421 | Guo และคณะ, HiGNN-TTS 2023 |
| ความแม่นยำของระดับเสียงดิบ (สัดส่วนเฟรมที่ใกล้เคียงระดับเสียงของมนุษย์): ProMode เทียบกับ StyleTTS 2 ที่เป็นระบบฐาน | 43.9% เทียบกับ 40.2% | Eren และคณะ, ProMode 2025 |
| การเปลี่ยนแปลงของความหลากหลายโพรโซดีหลังปรับจูนด้วย DPO, CosyVoice 2 (LibriSpeech) | -18.8% | Yang และคณะ, ProsodyEval 2025 |
หมายเหตุค่าผิดปกติ: ค่า RMSE ของ F0 เปรียบเทียบกันได้เฉพาะภายในบทความเดียวกัน เพราะหน่วย การจัดแนว และชุดข้อมูลต่างกัน บทความ ProMode ไม่ระบุหน่วยของ RMSE และข้อความของ HiGNN-TTS อธิบายผล F0 ของตนเองด้วยถ้อยคำที่ขัดกับตาราง เราจึงรายงานค่าตามตาราง
3. คำถาม วากยสัมพันธ์ และคำพ้องรูป: การอ่านชนิดของประโยคให้ถูกต้อง
ทำนองเสียงของคำถามล้มเหลวในจุดที่ไวยากรณ์ไม่มีเบาะแสให้ ระบบ Tacotron 2 ภาษากวางตุ้งฐานทำผิดพลาดระดับเฟรมของ F0 ใน 32.76% ของเฟรมในคำถามรูปประโยคบอกเล่า เทียบกับ 13.53% ในประโยคบอกเล่า และผู้ฟังระบุคำถามรูปประโยคบอกเล่าของระบบนี้ว่าเป็นคำถามได้เพียง 21.83% (Bai และคณะ, Interspeech 2022) คำถามรูปประโยคบอกเล่าคือประโยคที่มีรูปแบบเหมือนประโยคบอกเล่าแต่ควรจบด้วยระดับเสียงที่สูงขึ้น ในคลังข้อมูล CanTTS มีราว 1,000 จาก 12,010 ถ้อยคำ โมเดลจึงแทบไม่เห็นรูปแบบนี้ ข้อผิดพลาดระดับเฟรมของ F0 นับเฟรมที่ระดับเสียง หรือการมีอยู่ของเสียงก้อง เบี่ยงเบนชัดเจนจากเสียงบันทึกของมนุษย์
วิธีแก้ในการศึกษานั้น คือตัวจำแนกข้อความแยกระหว่างคำถามกับประโยคบอกเล่า ยกอัตราการระบุขึ้นเป็น 98.41% ระบบรุ่นใหม่ยังไม่สม่ำเสมอ ในเกณฑ์วัด EmergentTTS-Eval ปี 2025 ซึ่งให้คะแนนโดยผู้ตัดสินที่เป็น AI เทียบกับระบบเชิงพาณิชย์ที่ใช้เป็นฐานโดย 50% หมายถึงเท่าเทียม โมเดลโอเพนซอร์ส Sesame1B, Orpheus-TTS และ Qwen 2.5 Omni ชนะ 31.78%, 39.64% และ 49.28% ของโจทย์คำถาม (Manku และคณะ, Boson AI, EmergentTTS-Eval 2025)
| ตัวชี้วัด | ค่า | แหล่งที่มา |
|---|---|---|
| คำถามรูปประโยคบอกเล่าที่ระบุได้ว่าเป็นคำถาม: Tacotron 2 ฐานเทียบกับโมเดลที่มีตัวจำแนกคำถาม | 21.83% เทียบกับ 98.41% | Bai และคณะ, Interspeech 2022 |
| ข้อผิดพลาดระดับเฟรมของ F0 ในคำถามรูปประโยคบอกเล่าเทียบกับในประโยคบอกเล่า, Tacotron 2 ฐาน | 32.76% เทียบกับ 13.53% | Bai และคณะ, Interspeech 2022 |
| ทำนองเสียงคำถามที่รับรู้ถูกต้อง: การสังเคราะห์ซ้ำด้วยโวโคเดอร์เทียบกับระบบฐาน TTS เชิงอารมณ์สองระบบ | 99.2% เทียบกับ 81.6% และ 85.9% | Tang และคณะ, QI-TTS 2023 |
| อัตราชนะหมวดคำถามเมื่อเทียบกับระบบฐาน: GPT-4o-audio (ดีที่สุดโดยรวม) เทียบกับ Sesame1B | 56.96% เทียบกับ 31.78% | Boson AI, EmergentTTS-Eval 2025 |
| อัตราชนะหมวดความซับซ้อนทางวากยสัมพันธ์เมื่อเทียบกับระบบฐาน: Orpheus-TTS เทียบกับ Sesame1B | 38.92% เทียบกับ 18.88% | Boson AI, EmergentTTS-Eval 2025 |
| อัตราชนะหมวดการออกเสียงซับซ้อนเมื่อเทียบกับระบบฐาน: Qwen 2.5 Omni | 3.30% | Boson AI, EmergentTTS-Eval 2025 |
| ความสอดคล้องระหว่างอันดับของผู้ตัดสินที่เป็น AI กับอันดับของมนุษย์ (Spearman) | 90.5% | Boson AI, EmergentTTS-Eval 2025 |
| การทดสอบคำพ้องรูปภาษาฝรั่งเศส (Blizzard 2023): ระดับการเดาเทียบกับระบบที่ดีที่สุด | 50% เทียบกับมากกว่า 80% | Perrotin และคณะ, Blizzard Challenge 2023 |
บริบท: คำพ้องรูป (คำที่สะกดเหมือนกันแต่ออกเสียงต่างกัน เช่นคำภาษาฝรั่งเศส ‘est’ ที่เป็นได้ทั้งกริยาและทิศตะวันออก) ได้รับการให้คะแนนโดยผู้ฟัง 218 คนในการทดสอบ ABX ใน Blizzard Challenge 2023 และผู้จัดงานเชื่อมผลที่ดีที่สุดกับระบบที่ใช้โมเดลภาษาขนาดใหญ่ในตัวเข้ารหัสข้อความ การศึกษา QI-TTS เผยแพร่เมื่อเดือนมีนาคม 2023 และเป็นข้อมูลล่าสุดที่มีสำหรับการวัดนี้
4. การเน้นเสียงและการเน้นเชิงเปรียบต่าง
การเน้นเสียงให้ตกที่คำถูกต้องคือความล้มเหลวที่ชัดเจนที่สุดในปัจจุบัน ในเกณฑ์วัด CAST ซึ่งมี 113 คู่เชิงเปรียบต่าง (226 รายการ) คะแนน Pair-Correct (เน้นเสียงคำที่ถูกต้องในทั้งสองเวอร์ชันของคู่) ใกล้ศูนย์สำหรับเกือบทุกระบบ และที่ดีที่สุดคือ 11.5% ซึ่งทำได้ก็ต่อเมื่อมีการทำเครื่องหมายการเน้นเสียงอย่างชัดเจนในอินพุตเท่านั้น (Turetzky และคณะ, CAST 2026) เกณฑ์วัดเดียวกันแสดงให้เห็นว่าโมเดลภาษาที่ใช้เฉพาะข้อความสามารถหาการเน้นเสียงที่ตั้งใจจากบริบทได้ 76.1% ของกรณี ดังนั้นข้อมูลมีอยู่แล้ว เพียงแต่ระบบ TTS ไม่แปลงมันเป็นเสียง
การให้บริบทก่อนหน้าแก่โมเดล TTS ไม่ได้ช่วยให้ดีขึ้นอย่างชัดเจนในระบบใดเลย การศึกษากับผู้ฟังรุ่นเก่ากว่าก็ชี้ไปทางเดียวกัน คือเครื่องหมายข้อผิดพลาดบนเสียงพูดสังเคราะห์กระจุกอยู่รอบขอบเขตของโพรโซดี และความแปรผันของโพรโซดีที่เพิ่มเข้ามามักถูกได้ยินเป็นความผิดพลาดเมื่อไม่เข้ากับบริบท
| ตัวชี้วัด | ค่า | แหล่งที่มา |
|---|---|---|
| เน้นเสียงคำเป้าหมาย (Hit) / ถูกต้องทั้งสองฝั่ง (Pair-Correct): Kokoro | 38.1% / 0.0% | Turetzky และคณะ, CAST 2026 |
| Hit / Pair-Correct: GPT-4o-mini-tts พร้อมการทำเครื่องหมายการเน้นเสียงอย่างชัดเจน | 51.8% / 11.5% | Turetzky และคณะ, CAST 2026 |
| Hit / Pair-Correct: Claude Haiku 4.5 ที่ใช้เฉพาะข้อความทำนายการเน้นเสียงจากบริบท | 88.1% / 76.1% | Turetzky และคณะ, CAST 2026 |
| ผู้ฟังระบุคำที่ถูกเน้นย้ำได้, EME-TTS: ค่าเฉลี่ยเทียบกับอารมณ์ประหลาดใจ | 78% เทียบกับ 64% | Li และคณะ, EME-TTS 2025 |
| ความสัมพันธ์ระหว่างคะแนนโพรโซดีกับอัตราข้อผิดพลาดที่ผู้ฟังทำเครื่องหมาย | R = -0.75 | Gutierrez และคณะ, SSW11 2021 |
| สัดส่วนครั้งที่คำซึ่งถูกทำเครื่องหมายข้อผิดพลาดมากที่สุดของ FastPitch อยู่ก่อนเครื่องหมายวรรคตอนทันที (ข้อความหนังสือเสียง) | 73% | Gutierrez และคณะ, SSW11 2021 |
บริบท: ความเห็นพ้องของผู้ฟังเกี่ยวกับตำแหน่งที่การเน้นเสียงตกในเสียงพูดสังเคราะห์เองก็อยู่ในระดับปานกลาง (ค่าแคปปาของ Fleiss = 0.36 ในผู้ฟังสามคนในเกณฑ์วัดเดียวกัน) ซึ่งเป็นเหตุผลหนึ่งที่การเน้นเสียงวัดได้ยาก ใน EME-TTS (ผู้ฟัง 11 คน) อารมณ์ประหลาดใจได้คะแนนต่ำที่สุด และผู้เขียนอธิบายว่าเกิดจากระดับเสียงที่มักสูงขึ้นตอนท้ายของคำพูดแสดงความประหลาดใจ ทำให้ผู้ฟังได้ยินคำสุดท้ายเหมือนถูกเน้น การศึกษาการถอดโพรโซดีอย่างรวดเร็ว เผยแพร่ในปี 2021 และเป็นข้อมูลล่าสุดที่มีสำหรับการทำเครื่องหมายข้อผิดพลาดโดยผู้ฟัง
5. โพรโซดีเชิงอารมณ์: สิ่งที่ผู้ฟังและตัวจำแนกรับรู้ได้
อารมณ์ส่วนใหญ่ถูกถ่ายทอดผ่านโพรโซดี และอารมณ์ในเสียงสังเคราะห์ถูกรับรู้น้อยกว่าอารมณ์ในเสียงบันทึกมาก ในการศึกษาภาษาคาซัคที่มีผู้ฟัง 64 คน อารมณ์ที่ตั้งใจถูกรับรู้ในเสียงบันทึกจากมนุษย์ 43% แต่ในคลิปสังเคราะห์เพียง 32% และความโกรธลดจาก 37% เหลือ 7% (Abilbekov และคณะ, KazEmoTTS 2024)
การวิเคราะห์ปี 2026 ตามรอยว่าอารมณ์สูญหายไปที่ใด ใน CosyVoice 2 การรับรู้อารมณ์ยังคงอยู่ที่ 82.43% หลังการสร้างใหม่ด้วยโวโคเดอร์ และ 84.07% เมื่อป้อนโทเคนเสียงพูดจริงให้โมเดล ใกล้เคียง 83.93% ของเสียงพูดจริง แต่ลดลงเหลือ 34.57% เมื่อโมเดลต้องสร้างเสียงพูดจากข้อความ (Ge และคณะ, On the Emotion Understanding of Synthesized Speech, 2026) การสูญเสียอยู่ที่ขั้นตอนจากข้อความสู่โพรโซดี ไม่ใช่คุณภาพเสียง สำหรับประสิทธิภาพของโมเดลรับรู้อารมณ์กับเสียงมนุษย์ ดูสถิติการรับรู้อารมณ์จากเสียงพูดของเรา
| ตัวชี้วัด | ค่า | แหล่งที่มา |
|---|---|---|
| ผู้ฟังรับรู้อารมณ์: เสียงบันทึกจากมนุษย์เทียบกับเสียงสังเคราะห์ (6 อารมณ์) | 43% เทียบกับ 32% | Abilbekov และคณะ, KazEmoTTS 2024 |
| ผู้ฟังรับรู้ความโกรธ: เสียงบันทึกจากมนุษย์เทียบกับเสียงสังเคราะห์ | 37% เทียบกับ 7% | Abilbekov และคณะ, KazEmoTTS 2024 |
| ความแม่นยำของตัวจำแนกอารมณ์ (emotion2vec): เสียงบันทึก TESS จากมนุษย์เทียบกับ TESS สังเคราะห์ | 99.64% เทียบกับ 15.31% | Ge และคณะ, 2026 |
| ความแม่นยำของตัวจำแนกอารมณ์: IEMOCAP จากมนุษย์เทียบกับ IEMOCAP สังเคราะห์ | 71.28% เทียบกับ 49.58% | Ge และคณะ, 2026 |
| CosyVoice 2 บน TESS: เสียงพูดจริงเทียบกับใช้เฉพาะโวโคเดอร์เทียบกับการสร้างจากข้อความ | 83.93% เทียบกับ 82.43% เทียบกับ 34.57% | Ge และคณะ, 2026 |
| ความแม่นยำของตัวจำแนกอารมณ์กับเอาต์พุตของ gpt-4o-tts (ประโยค CREMA-D / TESS) | 32.94% / 46.42% | Ge และคณะ, 2026 |
| ความแม่นยำในการจำแนกอารมณ์ซ้ำ: เสียงบันทึกจากมนุษย์ที่ผ่านโวโคเดอร์เทียบกับระบบที่ดีที่สุดและแย่ที่สุดจากระบบ TTS สามระบบ | 0.931 เทียบกับ 0.749 และ 0.623 | Tang และคณะ, ED-TTS 2024 |
| อัตราชนะหมวดอารมณ์เมื่อเทียบกับระบบฐาน: GPT-4o-audio เทียบกับ Sesame1B | 88.84% เทียบกับ 7.32% | Boson AI, EmergentTTS-Eval 2025 |
หมายเหตุค่าผิดปกติ: ตัวเลขของตัวจำแนกปี 2026 เป็นคะแนนจากเครื่อง ไม่ใช่การตัดสินของผู้ฟัง และตัวจำแนกที่ฝึกด้วยเสียงพูดสังเคราะห์ทำได้ 91.84% กับ TESS สังเคราะห์ แต่ 15.00% กับ TESS จากมนุษย์ ซึ่งบ่งชี้ว่าอารมณ์สังเคราะห์และอารมณ์ของมนุษย์ต่างกันในทางอะคูสติก ED-TTS ใช้ตัวจำแนกอารมณ์ของตนเอง ดังนั้นสเกลจึงเทียบกับ emotion2vec โดยตรงไม่ได้
6. การอ่านข้อความยาว: จุดที่การทดสอบระดับประโยคใช้ไม่ได้ผล
โพรโซดีที่ฟังดีทีละประโยคอาจเลื่อนไหล แบนราบ หรือวางการหยุดพักผิดตำแหน่งตลอดย่อหน้า ในการศึกษาการอ่านข่าว แม้คะแนนประโยคเดี่ยวที่ดีที่สุดของย่อหน้าก็อธิบายความแปรปรวนของคะแนนทั้งย่อหน้าได้เพียงราว 12% (MOS ของประโยคสูงสุดเทียบกับ MOS ของย่อหน้า, r = 0.345, p < 0.01) (Clark และคณะ, Evaluating Long-form Text-to-Speech, SSW10 2019) ผู้เขียนสรุปว่าคะแนนระดับประโยคเป็น “ตัวทำนองที่แย่ของ MOS ระดับย่อหน้า”
ภาพของปี 2026 แคบลงแต่ยังไม่ปิด ใน SwanBench-Speech ระบบปิดซอร์สที่ดีที่สุดห่างจากเสียงบันทึกจริงเพียง 0.09 ในคะแนนโพรโซดี (3.95 เทียบกับ 4.04) แต่ค่าเฉลี่ยของระบบปิดซอร์สตามหลังเสียงพูดจริง 0.93 คะแนนทั้งในด้านความอุดมสมบูรณ์ของการแสดงออก (การสื่ออารมณ์ การถ่ายทอดตัวละคร การเล่าเรื่อง) และลำดับชั้นของการแสดงออก (พลวัตของการแสดงออกระดับย่อหน้า) และโมเดลส่วนใหญ่แย่ลงเมื่อข้อความยาวเกิน 100 คำ (Pan และคณะ, SwanBench-Speech, ACL 2026 Findings) สำหรับผู้ผลิตที่ทำเนื้อหาฝึกอบรมและอธิบายที่มีเสียงบรรยาย สถิติการพากย์เสียงด้วย AIของเราครอบคลุมเรื่องการนำไปใช้ และเครื่องสร้างเสียง AIประเมินได้ง่ายที่สุดจากทั้งย่อหน้า ไม่ใช่บรรทัดเดียว
| ตัวชี้วัด | ค่า | แหล่งที่มา |
|---|---|---|
| ความสัมพันธ์ ระหว่างคะแนนประโยคเฉลี่ยกับคะแนนย่อหน้า (ข่าว) | r = 0.296 (p < 0.05) | Clark และคณะ, SSW10 2019 |
| คะแนนเฉลี่ย ประโยคสั้นเทียบกับตอนความยาว 40 วินาที โมเดลที่ดีที่สุด | 4.09 เทียบกับ 3.86 | Guo และคณะ, HiGNN-TTS 2023 |
| คะแนนเฉลี่ย ประโยคสั้นเทียบกับตอนความยาว 40 วินาที ระบบฐาน | 3.52 เทียบกับ 3.34 | Guo และคณะ, HiGNN-TTS 2023 |
| การทดสอบการฟังหนังสือเสียง: ผู้ฟัง / คะแนน / ความยาวของช่วง | 204 / 33,750 / ประมาณ 2 นาที | Zhang และคณะ, SSW 2023 |
| คุณภาพโดยรวมที่เพิ่มขึ้นจากการปรับปรุงสำหรับข้อความยาว (บทคัดย่อ) | +0.47 MOS | Zhang และคณะ, SSW 2023 |
| คะแนนเปรียบเทียบหลังตัดบริบทหลายประโยคออก: เสียงหญิง / เสียงชาย | -0.42 / -0.58 | Zhang และคณะ, SSW 2023 |
| ความอุดมสมบูรณ์ของการแสดงออก: เสียงพูดจริงเทียบกับค่าเฉลี่ยปิดซอร์สเทียบกับค่าเฉลี่ยโอเพนซอร์ส | 4.35 เทียบกับ 3.42 เทียบกับ 3.03 | Pan และคณะ, SwanBench-Speech 2026 |
| ลำดับชั้นของการแสดงออก (พลวัตระดับย่อหน้า): เสียงพูดจริงเทียบกับค่าเฉลี่ยปิดซอร์ส | 3.94 เทียบกับ 3.01 | Pan และคณะ, SwanBench-Speech 2026 |
บริบท: คะแนนของ SwanBench เป็นคะแนนอัตโนมัติ เมตริกโพรโซดีของมันสอดคล้องกับผู้ประเมินที่เป็นมนุษย์ 10 คนที่ SRCC = 0.82 บน 50 คู่ และผู้ตัดสินความอุดมสมบูรณ์และลำดับชั้น (Gemini 3 Pro) อยู่ที่ 0.71 และ 0.62 บทความการสังเคราะห์หนังสือเสียง ระบุว่าการปรับปรุงของตน “ลดช่องว่างขนาดใหญ่ระหว่างการสังเคราะห์ระบบฐานกับเสียงบันทึกตามธรรมชาติ” โดยไม่ได้ปิดช่องว่างนั้น การศึกษาของ Clark และคณะ เผยแพร่ในปี 2019 และเป็นข้อมูลล่าสุดที่มีสำหรับการเปรียบเทียบประโยคกับย่อหน้า
7. เกณฑ์อ้างอิงของมนุษย์: โพรโซดีจริงแปรผันได้มากเพียงใด
ตัวเลข “ข้อผิดพลาด” ทุกตัวสมมติว่ามีเป้าหมาย และโพรโซดีของมนุษย์เป็นเป้าหมายที่กว้าง ในผู้พูดภาษาอังกฤษแบบอเมริกัน 192 คน อัตราการเปล่งเสียงอยู่ที่ 3.20 พยางค์ต่อวินาทีเมื่ออ่านประโยค และ 4.96 ในการพูดโดยธรรมชาติ (Jacewicz และคณะ, JASA 2010) อัตราการเปล่งเสียงนับพยางค์ต่อวินาทีโดยตัดการหยุดพักออก จึงแยกจังหวะความเร็วออกจากความลังเล
ความแปรผันภายในตัวคนคนเดียวเป็นเรื่องที่ใหญ่กว่า ในข้อมูลเดียวกัน ความแปรผันจากวลีหนึ่งสู่อีกวลีหนึ่งภายในผู้พูดคนเดียวมากกว่าความแปรผันระหว่างผู้พูด การศึกษาคลังข้อมูลที่นำเสนอใน LabPhon 19 ซึ่งมีถ้อยคำเกือบ 120,000 รายการ พบว่าผู้พูดแต่ละคนแปรผันมากกว่าสำเนียง นี่คือเหตุผลที่เสียงบันทึกอ้างอิงชุดเดียวเป็นไม้บรรทัดที่อ่อน ดังที่หัวข้อ 1 แสดงไว้กับ RMSE ของ F0
| ตัวชี้วัด | ค่า | แหล่งที่มา |
|---|---|---|
| อัตราการเปล่งเสียง ประโยคที่อ่านเทียบกับการพูดโดยธรรมชาติ (พยางค์ต่อวินาที) | 3.20 เทียบกับ 4.96 | Jacewicz และคณะ, JASA 2010 |
| อัตราการพูดโดยธรรมชาติ ผู้พูดจากวิสคอนซินเทียบกับนอร์ทแคโรไลนา (พยางค์ต่อวินาที) | 5.21 เทียบกับ 4.80 | Jacewicz และคณะ, JASA 2010 |
| อัตราการอ่าน ผู้ใหญ่วัยหนุ่มสาวเทียบกับผู้ใหญ่สูงวัยที่สุด (พยางค์ต่อวินาที) | 3.58 เทียบกับ 3.0 | Jacewicz และคณะ, JASA 2010 |
| ความแปรปรวนของอัตราการพูด: ภายในผู้พูดคนเดียวเทียบกับระหว่างผู้พูด | 1.0 เทียบกับ 0.19 | Jacewicz และคณะ, JASA 2010 |
| ขนาดคลังข้อมูล: ถ้อยคำ / ผู้พูด / สำเนียง | 119,736 / 1,115 / 15 | Tanner และคณะ, LabPhon 19 |
| ความต่างโดยประมาณของอัตราการเปล่งเสียงระหว่างสำเนียงภาษาอังกฤษ | ประมาณ 40% (ประมาณ 2 พยางค์ต่อวินาที) | Tanner และคณะ, LabPhon 19 |
| ความน่าจะเป็นที่ความแปรผันของผู้พูดมากกว่าความแปรผันของสำเนียง | 0.98 | Tanner และคณะ, LabPhon 19 |
บริบท: บทความอัตราการเปล่งเสียงของ SPADE ใช้คลังข้อมูลเสียงพูดโดยธรรมชาติ 14 ชุดของภาษาอังกฤษแบบบริติชและอเมริกาเหนือ ข้อมูลของ Jacewicz มาจากปี 2010 และเป็นข้อมูลล่าสุดที่มีสำหรับจังหวะการอ่านเทียบกับการพูดโดยธรรมชาติในตัวอย่างที่ควบคุมชุดเดียว สำหรับลักษณะโพรโซดีอีกอย่างหนึ่งที่การตัดสินของผู้ฟังต่างจากค่าทางอะคูสติก ดูสถิติเสียงแหบกรอบของเรา
สรุป: ข้อผิดพลาดด้านโพรโซดีและทำนองเสียงใน TTS แบบนิวรัลในรูปตัวเลข
| ตัวชี้วัด | ค่า | แหล่งที่มา |
|---|---|---|
| งานวิจัยโพรโซดี (2020 ถึง 2024) ที่วิเคราะห์ระดับเสียง | 95 จาก 100 | Galdino และคณะ, JBCS 2025 |
| ความสัมพันธ์ของ RMSE ของลอการิทึม F0 กับคะแนนโพรโซดีจากมนุษย์ | r = 0.30 | Yang และคณะ, ProsodyEval 2025 |
| RMSE ของ F0: ใช้เฉพาะโวโคเดอร์เทียบกับ TTS เต็มรูปแบบที่ดีที่สุด | 14.03 เทียบกับ 27.93 | Xin และคณะ, 2022 |
| ความแม่นยำของระดับเสียงดิบของตัวทำนองโพรโซดีปี 2025 | 43.9% | Eren และคณะ, ProMode 2025 |
| ข้อผิดพลาดระดับเฟรมของ F0 คำถามรูปประโยคบอกเล่าเทียบกับประโยคบอกเล่า (ระบบฐาน) | 32.76% เทียบกับ 13.53% | Bai และคณะ, Interspeech 2022 |
| คำถามรูปประโยคบอกเล่าที่ได้ยินเป็นคำถาม: ระบบฐานเทียบกับโมเดลที่มีตัวจำแนก | 21.83% เทียบกับ 98.41% | Bai และคณะ, Interspeech 2022 |
| อัตราชนะหมวดคำถามเมื่อเทียบกับระบบฐาน: GPT-4o-audio เทียบกับ Sesame1B | 56.96% เทียบกับ 31.78% | Boson AI, EmergentTTS-Eval 2025 |
| การทดสอบคำพ้องรูป: ระดับการเดาเทียบกับระบบที่ดีที่สุด | 50% เทียบกับมากกว่า 80% | Perrotin และคณะ, Blizzard 2023 |
| การเน้นเชิงเปรียบต่างแบบ Pair-Correct: TTS ที่ดีที่สุดเทียบกับโมเดลภาษาที่ใช้เฉพาะข้อความ | 11.5% เทียบกับ 76.1% | Turetzky และคณะ, CAST 2026 |
| ผู้ฟังรับรู้อารมณ์: มนุษย์เทียบกับเสียงสังเคราะห์ | 43% เทียบกับ 32% | Abilbekov และคณะ, KazEmoTTS 2024 |
| ตัวจำแนกอารมณ์: TESS จากมนุษย์เทียบกับ TESS สังเคราะห์ | 99.64% เทียบกับ 15.31% | Ge และคณะ, 2026 |
| ความแม่นยำด้านอารมณ์ของ CosyVoice 2: เสียงพูดจริงเทียบกับการสร้างจากข้อความ | 83.93% เทียบกับ 34.57% | Ge และคณะ, 2026 |
| คะแนนประโยคเทียบกับคะแนนย่อหน้า ความแปรปรวนที่อธิบายได้ | ประมาณ 12% | Clark และคณะ, SSW10 2019 |
| ความอุดมสมบูรณ์ของการแสดงออก: เสียงพูดจริงเทียบกับค่าเฉลี่ยปิดซอร์ส | 4.35 เทียบกับ 3.42 | Pan และคณะ, SwanBench-Speech 2026 |
| ประโยคสั้นเทียบกับตอนความยาว 40 วินาที โมเดลที่ดีที่สุด | 4.09 เทียบกับ 3.86 | Guo และคณะ, HiGNN-TTS 2023 |
| อัตราการเปล่งเสียงที่อ่านเทียบกับพูดโดยธรรมชาติ (พยางค์ต่อวินาที) | 3.20 เทียบกับ 4.96 | Jacewicz และคณะ, JASA 2010 |
| ความต่างของอัตราการเปล่งเสียงระหว่างสำเนียงภาษาอังกฤษ | ประมาณ 40% | Tanner และคณะ, LabPhon 19 |
ระเบียบวิธีและแหล่งที่มา
ตัวเลขทุกตัวข้างต้นอ่านจากบทความ หน้าเอกสารการประชุม หรือฉบับเต็มที่รายงานตัวเลขนั้น หากบทความแสดงผลเฉพาะในแผนภูมิ เราใช้ข้อสรุปที่บทความระบุไว้และตัดค่าประมาณออก คะแนนที่เครื่องเป็นผู้ตัดสิน (ผู้ตัดสินที่เป็น AI ตัวจำแนกอารมณ์ เกณฑ์วัดอัตโนมัติ) ถูกระบุไว้เช่นนั้นในเนื้อหา และไม่ควรอ่านเป็นเปอร์เซ็นต์ของผู้ฟัง
- Galdino, Matos, Svartman และ Aluisio, “The evaluation of prosody in speech synthesis: a systematic review”, Journal of the Brazilian Computer Society, 9 กรกฎาคม 2025
- Yang และคณะ, “Measuring Prosody Diversity in Zero-Shot TTS” (ProsodyEval), arXiv 2509.19928, แก้ไขเมื่อ 1 เมษายน 2026
- Minixhofer, Klejch และ Bell, “TTSDS - Text-to-Speech Distribution Score”, arXiv 2407.12707, 2024
- Xin และคณะ, “Improving Speech Prosody of Audiobook Text-to-Speech Synthesis with Acoustic and Textual Contexts”, arXiv 2211.02336, 2022
- Guo และคณะ, “HiGNN-TTS: Hierarchical Prosody Modeling with Graph Neural Networks for Expressive Long-form TTS”, arXiv 2309.13907, 2023
- Eren และคณะ, “ProMode: A Speech Prosody Model Conditioned on Acoustic and Textual Inputs”, arXiv 2508.09389, 2025
- Bai, Ko และ Zhang, “A Study of Modeling Rising Intonation in Cantonese Neural Speech Synthesis”, Interspeech 2022
- Tang และคณะ, “QI-TTS: Questioning Intonation Control for Emotional Speech Synthesis”, arXiv 2303.07682, 2023
- Manku และคณะ (Boson AI), “EmergentTTS-Eval”, arXiv 2505.23009, 29 พฤษภาคม 2025
- Perrotin, Stephenson, Gerber และ Bailly, “The Blizzard Challenge 2023”, ISCA Archive
- Turetzky และคณะ, “Knowing What to Stress: A Discourse-Conditioned Text-to-Speech Benchmark” (CAST), arXiv 2604.10580, 12 เมษายน 2026
- Li และคณะ, EME-TTS, ว่าด้วยความเชื่อมโยงระหว่างการเน้นย้ำกับอารมณ์ในการสังเคราะห์เสียงพูด, arXiv 2507.12015, 2025
- Gutierrez, Oplustil-Gallegos และ Lai, “Location, Location”, ISCA SSW11, 2021
- Abilbekov และคณะ, “KazEmoTTS: A Dataset for Kazakh Emotional Text-to-Speech Synthesis”, arXiv 2404.01033, 2024
- Ge และคณะ, “On the Emotion Understanding of Synthesized Speech”, arXiv 2603.16483, 17 มีนาคม 2026
- Tang และคณะ, “ED-TTS: Multi-Scale Emotion Modeling using Cross-Domain Emotion Diarization”, arXiv 2401.08166, 2024
- Clark, Silen, Kenter และ Leith, “Evaluating Long-form Text-to-Speech: Comparing the Ratings of Sentences and Paragraphs”, SSW10, arXiv 1909.03965, 2019
- Zhang และคณะ, “Audiobook synthesis with long-form neural text-to-speech”, ISCA SSW12, 2023
- Pan และคณะ, “Comprehensive Benchmarking of Long-Form Speech Generation in Diverse Scenarios” (SwanBench-Speech), ACL 2026 Findings, arXiv 2605.28618
- Jacewicz, Fox และ Wei, “Between-speaker and within-speaker variation in speech tempo of American English”, Journal of the Acoustical Society of America, 2010
- Tanner และคณะ และ SPADE Data Consortium, “Exposing the anatomy of articulation rate across English dialects and speakers”, LabPhon 19
- ข้อสังเกตเกี่ยวกับข้อมูล: ค่า RMSE ของ F0 เปรียบเทียบข้ามบทความไม่ได้ (หน่วย การจัดแนว และชุดข้อมูลต่างกัน) และบทความ ProMode ไม่ระบุหน่วย Xin และคณะ ระบุแถว HiFi-GAN โดยไม่อธิบาย เราอ่านว่าเป็นเอาต์พุตที่ใช้เฉพาะโวโคเดอร์ เพราะความผิดเพี้ยนของสเปกตรัมต่ำกว่าแถว TTS มาก ซึ่งเป็นข้อสรุปของเราเอง Jacewicz และคณะ ให้ค่า 5.21 และ 4.80 พยางค์ต่อวินาทีในเนื้อหา แต่ 5.38 และ 4.97 ในตารางสำหรับสำเนียงเดียวกัน เรารายงานค่าตามเนื้อหา บทความหนังสือเสียงของ SSW 2023 ระบุว่าเพิ่มขึ้น 0.47 MOS ในบทคัดย่อ และ 0.46 ในเนื้อหา ค่าจากแผนภูมิรายระบบไม่สามารถจับคู่ได้อย่างน่าเชื่อถือ เราจึงละไว้ SwanBench-Speech ระบุว่าช่องว่างด้านลำดับชั้น “มากกว่าครึ่งคะแนน” ขณะที่ค่าเฉลี่ยในตารางของมันบ่งชี้ 0.93 เรารายงานตามตาราง ผลของ EmergentTTS-Eval และ SwanBench มาจากผู้ตัดสินที่เป็น AI ซึ่งตรวจสอบเทียบกับกลุ่มมนุษย์ขนาดเล็ก และรายงานทางเทคนิครุ่นหลังที่เขียนข้อความของ EmergentTTS ใหม่เปรียบเทียบกับบทความต้นฉบับไม่ได้ ตัวเลขของ QI-TTS (2023), Xin และคณะ (2022), Bai และคณะ (2022), Gutierrez และคณะ (2021), Clark และคณะ (2019) และ Jacewicz และคณะ (2010) มีอายุเกินสามปี และเป็นข้อมูลล่าสุดที่มีสำหรับการวัดเฉพาะเหล่านั้น แหล่งข้อมูลปี 2026 หลายแหล่งเป็นพรีพรินต์และอาจเปลี่ยนแปลงหลังผ่านการทบทวนโดยผู้ทรงคุณวุฒิ ผลของ Blizzard Challenge ครั้งถัดไปและเอกสารการประชุม Speech Prosody อาจเพิ่มข้อมูลใหม่กว่าเกี่ยวกับทำนองเสียงของคำถามและข้อความยาว
อัปเดตล่าสุด: 31 ตุลาคม 2026 เราอัปเดตสรุปนี้ทุกไตรมาส และคาดว่าการอัปเดตครั้งถัดไปจะเกิดเมื่อมีการเผยแพร่ผลของ Blizzard Challenge ครั้งถัดไปบน ISCA Archive