Khi một bộ đánh giá năm 2026 yêu cầu các hệ thống chuyển văn bản thành giọng nói (TTS) nơ-ron nhấn đúng từ trong hai phiên bản của cùng một câu, điểm Pair-Correct gần bằng không ở hầu hết các hệ thống, và kết quả tốt nhất chỉ là 11,5% ngay cả khi trọng âm được đánh dấu rõ ràng trong đầu vào (Turetzky và cs., bộ đánh giá CAST 2026). Cùng một quy luật xuất hiện xuyên suốt phần còn lại của nghiên cứu về âm điệu: trong một nghiên cứu về sách nói tiếng Nhật, lỗi cao độ tăng gấp khoảng hai lần từ tái tổng hợp bằng vocoder lên TTS đầy đủ, một bộ phân loại cảm xúc đạt 99,64% trên bản ghi âm của con người chỉ đạt 15,31% trên bản tổng hợp, và các mô hình mã nguồn đóng thua bản ghi âm thật 0,93 điểm về độ phong phú biểu cảm khi đọc văn bản dài. Điểm tự nhiên tổng thể nay đã sát với bản ghi âm của con người (xem thống kê MOS giọng nói tổng hợp của chúng tôi), nhưng giai điệu, nhịp và sự nhấn mạnh mới là nơi khoảng cách còn lại tồn tại. Chúng tôi đã tổng hợp dữ liệu từ Journal of the Brazilian Computer Society, Interspeech và ISCA Speech Synthesis Workshops, Blizzard Challenge, ACL 2026 Findings, Journal of the Acoustical Society of America, LabPhon, cùng hơn một chục bài báo trên arXiv.
Tóm tắt nhanh
- 95 trong 100 nghiên cứu đánh giá âm điệu từ năm 2020 đến 2024 phân tích cao độ (F0), và RMSE của F0 là chỉ số được dùng nhiều nhất (Galdino và cs., JBCS 2025).
- RMSE của log F0 chỉ tương quan với điểm âm điệu do con người chấm ở mức r = 0,30 (Yang và cs., ProsodyEval 2025).
- Lỗi cao độ (RMSE của F0) là 14,03 đối với dòng HiFi-GAN chỉ dùng vocoder, so với 27,93 của mô hình TTS đầy đủ tốt nhất (Xin và cs., TTS sách nói 2022).
- Một TTS tiếng Quảng Đông cơ sở mắc 32,76% lỗi khung F0 ở câu hỏi dạng khẳng định, so với 13,53% ở câu khẳng định (Bai và cs., Interspeech 2022).
- Người nghe chỉ nghe ra 21,83% câu hỏi dạng khẳng định do hệ thống cơ sở tổng hợp là câu hỏi (Bai và cs., Interspeech 2022).
- Việc đặt trọng âm đúng theo Pair-Correct chỉ đạt tối đa 11,5% trên mọi hệ thống TTS được thử nghiệm, trong khi một mô hình chỉ dùng văn bản đạt 76,1% (Turetzky và cs., CAST 2026).
- Người nghe nhận ra sự tức giận ở 37% bản ghi âm của con người nhưng chỉ 7% đoạn tổng hợp (Abilbekov và cs., KazEmoTTS 2024).
- Khả năng nhận diện cảm xúc trên đầu ra của CosyVoice 2 giảm từ 83,93% (giọng nói thật) xuống 34,57% khi âm điệu phải đến từ văn bản (Ge và cs., 2026).
- Điểm chấm các câu riêng lẻ chỉ giải thích khoảng 12% phương sai của điểm chấm đoạn văn (Clark và cs., SSW10 2019).
- TTS đọc văn bản dài mã nguồn đóng đạt trung bình 3,42 về độ phong phú biểu cảm, so với 4,35 của giọng nói thật (Pan và cs., SwanBench-Speech, ACL 2026 Findings).
- Người đọc chạy ở tốc độ 3,20 âm tiết mỗi giây khi đọc so với 4,96 khi nói tự do (Jacewicz và cs., JASA 2010).
1. Đo Âm Điệu: Vấn Đề Về Chỉ Số
Lĩnh vực này chủ yếu đo âm điệu bằng một con số duy nhất, và con số đó hầu như không phản ánh những gì người nghe cảm nhận. RMSE của log F0, chỉ số lỗi cao độ mặc định, tương quan với điểm âm điệu do con người chấm ở mức r = 0,30, chưa bằng một nửa mức tương quan của một chỉ số mới hơn dựa trên token (Yang và cs., ProsodyEval 2025). F0 (tần số cơ bản) là đại lượng âm học đứng sau cao độ được cảm nhận, còn RMSE (căn bậc hai của sai số bình phương trung bình) so sánh đường cong cao độ tổng hợp với một bản ghi âm của con người cho cùng một câu, từng khung một.
Vấn đề mang tính cấu trúc: một câu có thể được đọc tốt với nhiều giai điệu khác nhau, nên khoảng cách đến một bản tham chiếu duy nhất sẽ phạt cả những biến thể hợp lệ. Ngay cả các mô hình ngôn ngữ âm thanh lớn cũng chưa phải lời giải, vì Gemini 2.5 Pro chỉ đạt tương quan r = 0,27 với điểm âm điệu do con người chấm trong cùng bộ đánh giá gồm 1.000 mẫu, 7 hệ thống TTS và 2.000 lượt chấm của con người.
| Chỉ số | Giá trị | Nguồn |
|---|---|---|
| Số nghiên cứu đánh giá âm điệu được xem xét (công bố 2020 đến 2024) | 100 | Galdino và cs., JBCS 2025 |
| Số nghiên cứu phân tích cao độ (F0) | 95 trên 100 | Galdino và cs., JBCS 2025 |
| Số nghiên cứu theo ngôn ngữ: tiếng Anh / tiếng Trung phổ thông / tiếng Nhật | 48 / 27 / 15 | Galdino và cs., JBCS 2025 |
| Tương quan với điểm âm điệu do con người chấm: RMSE của log F0 | r = 0,30 [0,19; 0,40] | Yang và cs., ProsodyEval 2025 |
| Tương quan với điểm âm điệu do con người chấm: DS-WED (chỉ số dựa trên token) | r = 0,77 [0,73; 0,81] | Yang và cs., ProsodyEval 2025 |
| Gemini 2.5 Pro làm giám khảo âm điệu, tương quan với điểm do con người chấm | r = 0,27 | Yang và cs., ProsodyEval 2025 |
Bối cảnh: tổng quan hệ thống trên Journal of the Brazilian Computer Society cũng cho thấy LJ Speech, một kho ngữ liệu tiếng Anh của một người nói đọc văn bản phi hư cấu, là bộ dữ liệu được dùng nhiều nhất, nên một phần lớn bằng chứng đã công bố chỉ mô tả một phong cách đọc trong một ngôn ngữ. Một bộ đánh giá riêng trên 35 hệ thống TTS từ 2008 đến 2024 cho biết âm điệu ngày càng quan trọng hơn với các hệ thống về sau, và các tác giả cho rằng người đánh giá tập trung vào nó nhiều hơn khi các vấn đề về tạp âm và độ dễ hiểu mờ dần (Minixhofer và cs., TTSDS 2024).
2. Lỗi Cao Độ và Trường Độ Đo So Với Bản Ghi Âm Của Con Người
Khi một nghiên cứu tách vocoder khỏi giai đoạn dự đoán âm điệu từ văn bản, phần lớn lỗi cao độ xuất hiện ở giai đoạn thứ hai. Trong một nghiên cứu về sách nói tiếng Nhật, RMSE của F0 là 14,03 đối với dòng HiFi-GAN chỉ dùng vocoder và 27,93 đối với mô hình TTS đầy đủ tốt nhất, cao hơn khoảng 2 lần (27,93 / 14,03 = 1,99) (Xin và cs., TTS sách nói 2022). Vocoder là giai đoạn cuối chuyển các đặc trưng âm học thành dạng sóng, nên điểm chỉ dùng vocoder xấp xỉ mức sàn lỗi của chính chuỗi xử lý âm thanh.
Các bộ dự đoán mới hơn chỉ cắt giảm được vài điểm. Một mô hình âm điệu năm 2025 được huấn luyện trên khoảng 750 giờ âm thanh tiếng Anh khớp với cao độ tham chiếu ở 43,9% số khung, tăng từ 40,2% của hệ thống cơ sở mạnh nhất. Sự đa dạng âm điệu cũng mong manh: tinh chỉnh theo sở thích (DPO) đã làm giảm 18,8% độ đa dạng âm điệu đo được của một hệ thống.
| Chỉ số | Giá trị | Nguồn |
|---|---|---|
| RMSE của F0: chỉ dùng vocoder (HiFi-GAN) so với mô hình TTS đầy đủ tốt nhất (sách nói tiếng Nhật) | 14,03 so với 27,93 | Xin và cs., TTS sách nói 2022 |
| Lỗi cao độ thô: chỉ dùng vocoder (HiFi-GAN) so với mô hình TTS tốt nhất so với hệ thống cơ sở | 2,2 so với 12,57 so với 14,16 | Xin và cs., TTS sách nói 2022 |
| Ưa thích AB: mô hình nhận biết ngữ cảnh so với hệ thống cơ sở (40 người nghe) | 61,5% so với 38,5% | Xin và cs., TTS sách nói 2022 |
| RMSE của F0: mô hình phân cấp cho văn bản dài so với FastSpeech 2 với BERT làm cơ sở (sách nói tiếng Trung phổ thông) | 36,61 so với 51,12 | Guo và cs., HiGNN-TTS 2023 |
| MSE trường độ: mô hình phân cấp cho văn bản dài so với hệ thống cơ sở | 0,1083 so với 0,1421 | Guo và cs., HiGNN-TTS 2023 |
| Độ chính xác cao độ thô (tỷ lệ khung gần với cao độ của con người): ProMode so với StyleTTS 2 làm cơ sở | 43,9% so với 40,2% | Eren và cs., ProMode 2025 |
| Thay đổi độ đa dạng âm điệu sau khi tinh chỉnh DPO, CosyVoice 2 (LibriSpeech) | -18,8% | Yang và cs., ProsodyEval 2025 |
Lưu ý về giá trị ngoại lai: các giá trị RMSE của F0 chỉ so sánh được trong cùng một bài báo, vì đơn vị, cách căn chỉnh và bộ dữ liệu khác nhau. Bài báo ProMode không nêu đơn vị cho RMSE của mình, và phần văn bản của HiGNN-TTS mô tả kết quả F0 của chính nó bằng lời lẽ mâu thuẫn với bảng, vì vậy chúng tôi báo cáo các giá trị trong bảng.
3. Câu Hỏi, Cú Pháp và Từ Đồng Tự: Đọc Đúng Loại Câu
Ngữ điệu câu hỏi thất bại ở nơi ngữ pháp không đưa ra gợi ý nào. Một hệ thống Tacotron 2 tiếng Quảng Đông cơ sở mắc lỗi khung F0 ở 32,76% số khung trong câu hỏi dạng khẳng định, so với 13,53% trong câu khẳng định, và người nghe chỉ nhận ra 21,83% câu hỏi dạng khẳng định của nó là câu hỏi (Bai và cs., Interspeech 2022). Câu hỏi dạng khẳng định là câu có hình thức câu khẳng định nhưng phải kết thúc bằng cao độ lên giọng; trong kho ngữ liệu CanTTS, chúng chiếm khoảng 1.000 trên 12.010 phát ngôn, nên mô hình hiếm khi gặp mẫu này. Lỗi khung F0 đếm những khung mà cao độ, hoặc sự có mặt của âm hữu thanh, lệch rõ rệt so với bản ghi âm của con người.
Cách khắc phục trong nghiên cứu đó, một bộ phân loại văn bản riêng giữa câu hỏi và câu khẳng định, đã nâng tỷ lệ nhận diện lên 98,41%. Các hệ thống mới hơn vẫn không đồng đều: trong bộ đánh giá EmergentTTS-Eval 2025, do giám khảo AI chấm trước một hệ thống thương mại làm cơ sở mà 50% nghĩa là ngang bằng, các mô hình mã nguồn mở Sesame1B, Orpheus-TTS và Qwen 2.5 Omni thắng 31,78%, 39,64% và 49,28% số lời nhắc câu hỏi (Manku và cs., Boson AI, EmergentTTS-Eval 2025).
| Chỉ số | Giá trị | Nguồn |
|---|---|---|
| Câu hỏi dạng khẳng định được nhận ra là câu hỏi: Tacotron 2 cơ sở so với mô hình có bộ phân loại câu hỏi | 21,83% so với 98,41% | Bai và cs., Interspeech 2022 |
| Lỗi khung F0 ở câu hỏi dạng khẳng định so với ở câu khẳng định, Tacotron 2 cơ sở | 32,76% so với 13,53% | Bai và cs., Interspeech 2022 |
| Ngữ điệu câu hỏi được cảm nhận đúng: tái tổng hợp bằng vocoder so với hai TTS cảm xúc cơ sở | 99,2% so với 81,6% và 85,9% | Tang và cs., QI-TTS 2023 |
| Tỷ lệ thắng hệ thống cơ sở ở hạng mục Câu hỏi: GPT-4o-audio (tốt nhất tổng thể) so với Sesame1B | 56,96% so với 31,78% | Boson AI, EmergentTTS-Eval 2025 |
| Tỷ lệ thắng hệ thống cơ sở ở độ phức tạp cú pháp: Orpheus-TTS so với Sesame1B | 38,92% so với 18,88% | Boson AI, EmergentTTS-Eval 2025 |
| Tỷ lệ thắng hệ thống cơ sở ở phát âm phức tạp: Qwen 2.5 Omni | 3,30% | Boson AI, EmergentTTS-Eval 2025 |
| Mức đồng thuận giữa xếp hạng của giám khảo AI và xếp hạng của con người (Spearman) | 90,5% | Boson AI, EmergentTTS-Eval 2025 |
| Bài kiểm tra từ đồng tự tiếng Pháp (Blizzard 2023): mức ngẫu nhiên so với các hệ thống tốt nhất | 50% so với hơn 80% | Perrotin và cs., Blizzard Challenge 2023 |
Bối cảnh: các từ đồng tự (từ viết giống nhau nhưng phát âm khác nhau, chẳng hạn từ ‘est’ trong tiếng Pháp là động từ hay hướng đông) được 218 người nghe chấm trong một bài kiểm tra ABX tại Blizzard Challenge 2023, và ban tổ chức gắn các kết quả tốt nhất với những hệ thống dùng mô hình ngôn ngữ lớn trong bộ mã hóa văn bản. Nghiên cứu QI-TTS có từ tháng 3 năm 2023; đây là dữ liệu mới nhất hiện có cho phép đo này.
4. Nhấn Mạnh và Trọng Âm Đối Lập
Đặt trọng âm đúng từ là thất bại rõ rệt nhất hiện nay. Trong bộ đánh giá CAST gồm 113 cặp đối lập (226 mục), điểm Pair-Correct (từ đúng được nhấn ở cả hai phiên bản của một cặp) gần bằng không ở hầu hết các hệ thống, và cao nhất là 11,5%, chỉ đạt được khi trọng âm được đánh dấu rõ ràng trong đầu vào (Turetzky và cs., CAST 2026). Cùng bộ đánh giá đó cho thấy một mô hình ngôn ngữ chỉ dùng văn bản có thể suy ra trọng âm dự định từ ngữ cảnh trong 76,1% trường hợp, nên thông tin vốn có sẵn: các hệ thống TTS không biến nó thành âm thanh.
Cung cấp ngữ cảnh phía trước cho mô hình TTS không mang lại cải thiện rõ ràng ở hệ thống nào. Các nghiên cứu người nghe cũ hơn cũng chỉ về cùng hướng: dấu lỗi trên giọng nói tổng hợp tập trung quanh các ranh giới âm điệu, và sự biến đổi âm điệu thêm vào thường bị nghe là lỗi khi nó không phù hợp với ngữ cảnh.
| Chỉ số | Giá trị | Nguồn |
|---|---|---|
| Từ đích được nhấn (Hit) / cả hai phía đều đúng (Pair-Correct): Kokoro | 38,1% / 0,0% | Turetzky và cs., CAST 2026 |
| Hit / Pair-Correct: GPT-4o-mini-tts có đánh dấu trọng âm rõ ràng | 51,8% / 11,5% | Turetzky và cs., CAST 2026 |
| Hit / Pair-Correct: Claude Haiku 4.5 chỉ dùng văn bản, dự đoán trọng âm từ ngữ cảnh | 88,1% / 76,1% | Turetzky và cs., CAST 2026 |
| Từ được nhấn mạnh mà người nghe nhận ra, EME-TTS: trung bình so với cảm xúc ngạc nhiên | 78% so với 64% | Li và cs., EME-TTS 2025 |
| Tương quan giữa điểm âm điệu và tỷ lệ lỗi do người nghe đánh dấu | R = -0,75 | Gutierrez và cs., SSW11 2021 |
| Tỷ lệ lần từ bị đánh dấu lỗi nhiều nhất của FastPitch đứng ngay trước dấu câu (văn bản sách nói) | 73% | Gutierrez và cs., SSW11 2021 |
Bối cảnh: mức đồng thuận giữa người nghe về vị trí trọng âm trong giọng nói tổng hợp tự nó cũng khá khiêm tốn (kappa của Fleiss = 0,36 giữa ba người nghe trong cùng bộ đánh giá), và đó là một lý do khiến sự nhấn mạnh khó đo. Trong EME-TTS (11 người nghe), cảm xúc ngạc nhiên đạt điểm thấp nhất, và các tác giả quy điều này cho việc cao độ thường lên cao ở cuối lời nói ngạc nhiên, khiến người nghe nghe từ cuối như được nhấn. Nghiên cứu phiên âm nhanh âm điệu có từ năm 2021; đây là dữ liệu mới nhất hiện có về việc người nghe đánh dấu lỗi.
5. Âm Điệu Cảm Xúc: Điều Người Nghe và Bộ Phân Loại Nhận Ra
Cảm xúc phần lớn được truyền tải qua âm điệu, và cảm xúc tổng hợp được nhận ra ít hơn nhiều so với cảm xúc được ghi âm. Trong một nghiên cứu tiếng Kazakh với 64 người nghe, cảm xúc dự định được nhận ra ở 43% bản ghi âm của con người nhưng chỉ 32% đoạn tổng hợp, và sự tức giận giảm từ 37% xuống 7% (Abilbekov và cs., KazEmoTTS 2024).
Một phân tích năm 2026 đã lần theo nơi cảm xúc bị mất đi. Trên CosyVoice 2, khả năng nhận diện cảm xúc vẫn ở mức 82,43% sau khi vocoder tái tạo và 84,07% khi mô hình được cấp token giọng nói thật, sát với 83,93% của giọng nói thật, nhưng giảm xuống 34,57% khi mô hình phải tạo giọng nói từ văn bản (Ge và cs., On the Emotion Understanding of Synthesized Speech, 2026). Sự mất mát nằm ở bước từ văn bản sang âm điệu, không phải ở chất lượng âm thanh. Để biết các mô hình nhận diện hoạt động thế nào trên giọng người, xem thống kê nhận diện cảm xúc trong giọng nói của chúng tôi.
| Chỉ số | Giá trị | Nguồn |
|---|---|---|
| Người nghe nhận ra cảm xúc: bản ghi âm của con người so với bản tổng hợp (6 cảm xúc) | 43% so với 32% | Abilbekov và cs., KazEmoTTS 2024 |
| Người nghe nhận ra sự tức giận: bản ghi âm của con người so với bản tổng hợp | 37% so với 7% | Abilbekov và cs., KazEmoTTS 2024 |
| Độ chính xác của bộ phân loại cảm xúc (emotion2vec): bản ghi âm TESS của con người so với TESS tổng hợp | 99,64% so với 15,31% | Ge và cs., 2026 |
| Độ chính xác của bộ phân loại cảm xúc: IEMOCAP của con người so với IEMOCAP tổng hợp | 71,28% so với 49,58% | Ge và cs., 2026 |
| CosyVoice 2 trên TESS: giọng nói thật so với chỉ dùng vocoder so với tạo sinh từ văn bản | 83,93% so với 82,43% so với 34,57% | Ge và cs., 2026 |
| Độ chính xác của bộ phân loại cảm xúc trên đầu ra gpt-4o-tts (câu CREMA-D / TESS) | 32,94% / 46,42% | Ge và cs., 2026 |
| Độ chính xác phân loại lại cảm xúc: bản ghi âm của con người qua vocoder so với hệ thống tốt nhất và yếu nhất trong ba hệ thống TTS | 0,931 so với 0,749 và 0,623 | Tang và cs., ED-TTS 2024 |
| Tỷ lệ thắng hệ thống cơ sở ở hạng mục Cảm xúc: GPT-4o-audio so với Sesame1B | 88,84% so với 7,32% | Boson AI, EmergentTTS-Eval 2025 |
Lưu ý về giá trị ngoại lai: các con số của bộ phân loại năm 2026 là điểm do máy chấm, không phải đánh giá của người nghe, và một bộ phân loại huấn luyện trên giọng nói tổng hợp đạt 91,84% trên TESS tổng hợp nhưng 15,00% trên TESS của con người, điều này gợi ý rằng cảm xúc tổng hợp và cảm xúc của con người khác nhau về mặt âm học. ED-TTS dùng bộ phân loại cảm xúc riêng của mình, nên thang đo không so sánh trực tiếp được với emotion2vec.
6. Đọc Văn Bản Dài: Nơi Bài Kiểm Tra Theo Câu Không Còn Hiệu Quả
Âm điệu nghe ổn từng câu một vẫn có thể trôi lệch, phẳng đi hoặc đặt sai quãng ngắt trong cả một đoạn văn. Trong một nghiên cứu về đọc tin tức, ngay cả điểm chấm tốt nhất của một câu đơn trong đoạn cũng chỉ giải thích khoảng 12% phương sai của điểm chấm cả đoạn (MOS câu cao nhất so với MOS đoạn văn, r = 0,345, p < 0,01) (Clark và cs., Evaluating Long-form Text-to-Speech, SSW10 2019). Các tác giả kết luận rằng điểm chấm ở cấp độ câu là “những yếu tố dự báo kém cho MOS của đoạn văn”.
Bức tranh năm 2026 hẹp hơn nhưng chưa khép lại. Trên SwanBench-Speech, hệ thống mã nguồn đóng tốt nhất chỉ kém bản ghi âm thật 0,09 về điểm âm điệu (3,95 so với 4,04), nhưng mức trung bình của nhóm mã nguồn đóng kém giọng nói thật 0,93 điểm ở cả độ phong phú biểu cảm (sự đồng cảm cảm xúc, khắc họa nhân vật, kể chuyện) lẫn thứ bậc biểu cảm (động lực biểu cảm ở cấp độ đoạn văn), và hầu hết các mô hình suy giảm khi một đoạn vượt quá 100 từ (Pan và cs., SwanBench-Speech, ACL 2026 Findings). Với những người sản xuất nội dung đào tạo và giải thích có lời dẫn, thống kê lồng tiếng bằng AI của chúng tôi nói về mức độ áp dụng, và một trình tạo giọng nói AI dễ đánh giá nhất khi nghe cả một đoạn văn, thay vì chỉ một dòng.
| Chỉ số | Giá trị | Nguồn |
|---|---|---|
| Tương quan, điểm chấm câu trung bình so với điểm chấm đoạn văn (tin tức) | r = 0,296 (p < 0,05) | Clark và cs., SSW10 2019 |
| Điểm trung bình, câu ngắn so với đoạn 40 giây, mô hình tốt nhất | 4,09 so với 3,86 | Guo và cs., HiGNN-TTS 2023 |
| Điểm trung bình, câu ngắn so với đoạn 40 giây, hệ thống cơ sở | 3,52 so với 3,34 | Guo và cs., HiGNN-TTS 2023 |
| Bài nghe thử sách nói: người nghe / lượt chấm / độ dài đoạn | 204 / 33.750 / khoảng 2 phút | Zhang và cs., SSW 2023 |
| Mức tăng chất lượng tổng thể nhờ các cải tiến cho văn bản dài (tóm tắt) | +0,47 MOS | Zhang và cs., SSW 2023 |
| Điểm so sánh sau khi loại bỏ ngữ cảnh nhiều câu: giọng nữ / giọng nam | -0,42 / -0,58 | Zhang và cs., SSW 2023 |
| Độ phong phú biểu cảm: giọng nói thật so với trung bình mã nguồn đóng so với trung bình mã nguồn mở | 4,35 so với 3,42 so với 3,03 | Pan và cs., SwanBench-Speech 2026 |
| Thứ bậc biểu cảm (động lực cấp độ đoạn văn): giọng nói thật so với trung bình mã nguồn đóng | 3,94 so với 3,01 | Pan và cs., SwanBench-Speech 2026 |
Bối cảnh: điểm SwanBench là điểm tự động. Chỉ số âm điệu của nó khớp với 10 người đánh giá là con người ở mức SRCC = 0,82 trên 50 cặp, còn giám khảo về độ phong phú và thứ bậc (Gemini 3 Pro) đạt 0,71 và 0,62. Bài báo về tổng hợp sách nói nêu rằng các cải tiến của nó “thu hẹp khoảng cách rất lớn giữa tổng hợp cơ sở và bản ghi âm tự nhiên” mà không xóa bỏ hoàn toàn. Nghiên cứu của Clark và cs. có từ năm 2019; đây là dữ liệu mới nhất hiện có cho phép so sánh câu với đoạn văn.
7. Mức Chuẩn Của Con Người: Âm Điệu Thật Biến Thiên Đến Mức Nào
Mọi con số “lỗi” đều giả định một mục tiêu, và âm điệu của con người là một mục tiêu rộng. Ở 192 người nói tiếng Anh Mỹ, tốc độ phát âm là 3,20 âm tiết mỗi giây khi đọc câu và 4,96 khi nói tự nhiên (Jacewicz và cs., JASA 2010). Tốc độ phát âm đếm số âm tiết mỗi giây sau khi đã loại bỏ các quãng ngắt, nên nó tách riêng nhịp độ khỏi sự ngập ngừng.
Sự biến thiên bên trong một người mới là câu chuyện lớn hơn: trong cùng dữ liệu, sự biến thiên giữa các cụm từ ở cùng một người nói vượt quá sự biến thiên giữa những người nói khác nhau. Một nghiên cứu kho ngữ liệu trình bày tại LabPhon 19, với gần 120.000 phát ngôn, cho thấy từng người nói biến thiên nhiều hơn các phương ngữ. Đó là lý do một bản ghi âm tham chiếu duy nhất là thước đo yếu, như phần 1 đã chỉ ra với RMSE của F0.
| Chỉ số | Giá trị | Nguồn |
|---|---|---|
| Tốc độ phát âm, câu đọc so với lời nói tự nhiên (âm tiết mỗi giây) | 3,20 so với 4,96 | Jacewicz và cs., JASA 2010 |
| Tốc độ nói tự nhiên, người nói ở Wisconsin so với Bắc Carolina (âm tiết mỗi giây) | 5,21 so với 4,80 | Jacewicz và cs., JASA 2010 |
| Tốc độ đọc, người trưởng thành trẻ so với người trưởng thành lớn tuổi nhất (âm tiết mỗi giây) | 3,58 so với 3,0 | Jacewicz và cs., JASA 2010 |
| Phương sai tốc độ nói: trong cùng một người nói so với giữa những người nói | 1,0 so với 0,19 | Jacewicz và cs., JASA 2010 |
| Quy mô kho ngữ liệu: phát ngôn / người nói / phương ngữ | 119.736 / 1.115 / 15 | Tanner và cs., LabPhon 19 |
| Chênh lệch ước tính về tốc độ phát âm giữa các phương ngữ tiếng Anh | khoảng 40% (khoảng 2 âm tiết mỗi giây) | Tanner và cs., LabPhon 19 |
| Xác suất sự biến thiên giữa người nói vượt sự biến thiên giữa phương ngữ | 0,98 | Tanner và cs., LabPhon 19 |
Bối cảnh: bài báo SPADE về tốc độ phát âm dùng 14 kho ngữ liệu lời nói tự nhiên của tiếng Anh Anh và tiếng Anh Bắc Mỹ. Dữ liệu của Jacewicz có từ năm 2010; đây là dữ liệu mới nhất hiện có về nhịp độ đọc so với nói tự nhiên trong một mẫu đơn được kiểm soát. Với một đặc điểm âm điệu khác mà đánh giá của người nghe lệch khỏi âm học, xem thống kê giọng vocal fry của chúng tôi.
Tổng kết: Lỗi Âm Điệu và Ngữ Điệu trong TTS Nơ-ron qua Các Con Số
| Chỉ số | Giá trị | Nguồn |
|---|---|---|
| Các nghiên cứu âm điệu (2020 đến 2024) có phân tích cao độ | 95 trên 100 | Galdino và cs., JBCS 2025 |
| Tương quan của RMSE log F0 với điểm âm điệu do con người chấm | r = 0,30 | Yang và cs., ProsodyEval 2025 |
| RMSE của F0: chỉ dùng vocoder so với TTS đầy đủ tốt nhất | 14,03 so với 27,93 | Xin và cs., 2022 |
| Độ chính xác cao độ thô của một bộ dự đoán âm điệu năm 2025 | 43,9% | Eren và cs., ProMode 2025 |
| Lỗi khung F0, câu hỏi dạng khẳng định so với câu khẳng định (hệ thống cơ sở) | 32,76% so với 13,53% | Bai và cs., Interspeech 2022 |
| Câu hỏi dạng khẳng định được nghe là câu hỏi: hệ thống cơ sở so với mô hình có bộ phân loại | 21,83% so với 98,41% | Bai và cs., Interspeech 2022 |
| Tỷ lệ thắng hệ thống cơ sở ở hạng mục Câu hỏi: GPT-4o-audio so với Sesame1B | 56,96% so với 31,78% | Boson AI, EmergentTTS-Eval 2025 |
| Bài kiểm tra từ đồng tự: mức ngẫu nhiên so với các hệ thống tốt nhất | 50% so với hơn 80% | Perrotin và cs., Blizzard 2023 |
| Trọng âm đối lập Pair-Correct: TTS tốt nhất so với mô hình ngôn ngữ chỉ dùng văn bản | 11,5% so với 76,1% | Turetzky và cs., CAST 2026 |
| Người nghe nhận ra cảm xúc: con người so với tổng hợp | 43% so với 32% | Abilbekov và cs., KazEmoTTS 2024 |
| Bộ phân loại cảm xúc: TESS của con người so với TESS tổng hợp | 99,64% so với 15,31% | Ge và cs., 2026 |
| Độ chính xác cảm xúc của CosyVoice 2: giọng nói thật so với tạo từ văn bản | 83,93% so với 34,57% | Ge và cs., 2026 |
| Điểm chấm câu so với điểm chấm đoạn văn, phương sai được giải thích | khoảng 12% | Clark và cs., SSW10 2019 |
| Độ phong phú biểu cảm: giọng nói thật so với trung bình mã nguồn đóng | 4,35 so với 3,42 | Pan và cs., SwanBench-Speech 2026 |
| Câu ngắn so với đoạn 40 giây, mô hình tốt nhất | 4,09 so với 3,86 | Guo và cs., HiGNN-TTS 2023 |
| Tốc độ phát âm khi đọc so với nói tự nhiên (âm tiết mỗi giây) | 3,20 so với 4,96 | Jacewicz và cs., JASA 2010 |
| Chênh lệch tốc độ phát âm giữa các phương ngữ tiếng Anh | khoảng 40% | Tanner và cs., LabPhon 19 |
Phương pháp luận và Nguồn
Mọi con số ở trên đều được đọc trong bài báo, trang kỷ yếu hoặc toàn văn đã công bố nó. Khi một bài báo chỉ trình bày kết quả trong biểu đồ, chúng tôi dùng các kết luận mà bài nêu và bỏ các giá trị ước chừng. Các điểm do máy chấm (giám khảo AI, bộ phân loại cảm xúc, bộ đánh giá tự động) được gắn nhãn như vậy trong văn bản và không nên đọc như tỷ lệ phần trăm của người nghe.
- Galdino, Matos, Svartman và Aluisio, “The evaluation of prosody in speech synthesis: a systematic review”, Journal of the Brazilian Computer Society, ngày 9 tháng 7 năm 2025
- Yang và cs., “Measuring Prosody Diversity in Zero-Shot TTS” (ProsodyEval), arXiv 2509.19928, sửa đổi ngày 1 tháng 4 năm 2026
- Minixhofer, Klejch và Bell, “TTSDS - Text-to-Speech Distribution Score”, arXiv 2407.12707, 2024
- Xin và cs., “Improving Speech Prosody of Audiobook Text-to-Speech Synthesis with Acoustic and Textual Contexts”, arXiv 2211.02336, 2022
- Guo và cs., “HiGNN-TTS: Hierarchical Prosody Modeling with Graph Neural Networks for Expressive Long-form TTS”, arXiv 2309.13907, 2023
- Eren và cs., “ProMode: A Speech Prosody Model Conditioned on Acoustic and Textual Inputs”, arXiv 2508.09389, 2025
- Bai, Ko và Zhang, “A Study of Modeling Rising Intonation in Cantonese Neural Speech Synthesis”, Interspeech 2022
- Tang và cs., “QI-TTS: Questioning Intonation Control for Emotional Speech Synthesis”, arXiv 2303.07682, 2023
- Manku và cs. (Boson AI), “EmergentTTS-Eval”, arXiv 2505.23009, ngày 29 tháng 5 năm 2025
- Perrotin, Stephenson, Gerber và Bailly, “The Blizzard Challenge 2023”, ISCA Archive
- Turetzky và cs., “Knowing What to Stress: A Discourse-Conditioned Text-to-Speech Benchmark” (CAST), arXiv 2604.10580, ngày 12 tháng 4 năm 2026
- Li và cs., EME-TTS, về mối liên hệ giữa sự nhấn mạnh và cảm xúc trong tổng hợp giọng nói, arXiv 2507.12015, 2025
- Gutierrez, Oplustil-Gallegos và Lai, “Location, Location”, ISCA SSW11, 2021
- Abilbekov và cs., “KazEmoTTS: A Dataset for Kazakh Emotional Text-to-Speech Synthesis”, arXiv 2404.01033, 2024
- Ge và cs., “On the Emotion Understanding of Synthesized Speech”, arXiv 2603.16483, ngày 17 tháng 3 năm 2026
- Tang và cs., “ED-TTS: Multi-Scale Emotion Modeling using Cross-Domain Emotion Diarization”, arXiv 2401.08166, 2024
- Clark, Silen, Kenter và Leith, “Evaluating Long-form Text-to-Speech: Comparing the Ratings of Sentences and Paragraphs”, SSW10, arXiv 1909.03965, 2019
- Zhang và cs., “Audiobook synthesis with long-form neural text-to-speech”, ISCA SSW12, 2023
- Pan và cs., “Comprehensive Benchmarking of Long-Form Speech Generation in Diverse Scenarios” (SwanBench-Speech), ACL 2026 Findings, arXiv 2605.28618
- Jacewicz, Fox và Wei, “Between-speaker and within-speaker variation in speech tempo of American English”, Journal of the Acoustical Society of America, 2010
- Tanner và cs. cùng SPADE Data Consortium, “Exposing the anatomy of articulation rate across English dialects and speakers”, LabPhon 19
- Lưu ý về dữ liệu: các giá trị RMSE của F0 không so sánh được giữa các bài báo (đơn vị, cách căn chỉnh và bộ dữ liệu khác nhau), và bài báo ProMode không nêu đơn vị. Xin và cs. liệt kê một dòng HiFi-GAN mà không mô tả; chúng tôi hiểu đó là đầu ra chỉ dùng vocoder vì độ méo phổ của nó thấp hơn nhiều so với các dòng TTS, đây là suy luận của chúng tôi. Jacewicz và cs. nêu 5,21 và 4,80 âm tiết mỗi giây trong văn bản nhưng 5,38 và 4,97 trong bảng cho cùng các phương ngữ; chúng tôi báo cáo số liệu trong văn bản. Bài báo về sách nói của SSW 2023 nêu mức tăng 0,47 MOS trong phần tóm tắt và 0,46 trong phần nội dung; các giá trị biểu đồ theo từng hệ thống không thể ánh xạ một cách đáng tin cậy nên chúng tôi lược bỏ. SwanBench-Speech nói khoảng cách thứ bậc là “hơn nửa điểm” trong khi trung bình trong bảng của nó ngụ ý 0,93; chúng tôi báo cáo theo bảng. Kết quả của EmergentTTS-Eval và SwanBench đến từ các giám khảo AI được kiểm chứng với các hội đồng nhỏ gồm con người, và các báo cáo kỹ thuật về sau đã viết lại văn bản của EmergentTTS thì không so sánh được với bài báo gốc. Các số liệu của QI-TTS (2023), Xin và cs. (2022), Bai và cs. (2022), Gutierrez và cs. (2021), Clark và cs. (2019) và Jacewicz và cs. (2010) đã hơn ba năm tuổi và là dữ liệu mới nhất hiện có cho các phép đo cụ thể đó. Một số nguồn năm 2026 là bản thảo chưa bình duyệt và có thể thay đổi sau khi được bình duyệt. Kết quả Blizzard Challenge tiếp theo và kỷ yếu Speech Prosody có thể bổ sung dữ liệu mới hơn về ngữ điệu câu hỏi và văn bản dài.
Cập nhật lần cuối: ngày 31 tháng 10 năm 2026. Chúng tôi cập nhật bài tổng hợp này hàng quý, và lần làm mới tiếp theo dự kiến diễn ra khi kết quả Blizzard Challenge tiếp theo được công bố trên ISCA Archive.