Ketika sebuah benchmark 2026 meminta sistem text-to-speech (TTS) neural untuk menekankan kata yang tepat dalam dua versi kalimat yang sama, skor Pair-Correct mendekati nol untuk hampir semuanya, dan hasil terbaik hanya 11,5% bahkan dengan tekanan yang ditandai secara eksplisit pada masukan (Turetzky dkk., benchmark CAST 2026). Pola yang sama muncul di seluruh riset prosodi lainnya: dalam studi buku audio Jepang, kesalahan nada kira-kira berlipat dua dari resintesis vokoder ke TTS penuh, pengklasifikasi emosi yang mencetak 99,64% pada rekaman manusia hanya mencetak 15,31% pada rekaman sintesis, dan model sumber tertutup tertinggal 0,93 poin dari rekaman asli dalam kekayaan ekspresif pembacaan teks panjang. Skor kealamian keseluruhan kini mendekati rekaman manusia (lihat statistik MOS ucapan sintetis kami), tetapi melodi, pewaktuan, dan penekanan adalah tempat kesenjangan yang tersisa. Kami menghimpun data dari Journal of the Brazilian Computer Society, Interspeech dan ISCA Speech Synthesis Workshops, Blizzard Challenge, ACL 2026 Findings, Journal of the Acoustical Society of America, LabPhon, serta lebih dari selusin makalah arXiv.
TL;DR
- 95 dari 100 studi evaluasi prosodi tahun 2020 hingga 2024 menganalisis nada (F0), dan RMSE F0 adalah metrik yang paling banyak dipakai (Galdino dkk., JBCS 2025).
- RMSE log F0 berkorelasi dengan penilaian prosodi manusia hanya sebesar r = 0,30 (Yang dkk., ProsodyEval 2025).
- Kesalahan nada (RMSE F0) sebesar 14,03 untuk baris HiFi-GAN khusus vokoder, dibandingkan 27,93 untuk model TTS penuh terbaik (Xin dkk., TTS buku audio 2022).
- TTS Kanton dasar membuat 32,76% kesalahan frame F0 pada pertanyaan deklaratif, dibandingkan 13,53% pada pernyataan (Bai dkk., Interspeech 2022).
- Pendengar hanya mendengar 21,83% pertanyaan deklaratif hasil sintesis sistem dasar sebagai pertanyaan (Bai dkk., Interspeech 2022).
- Penempatan tekanan Pair-Correct mentok di 11,5% pada semua sistem TTS yang diuji, sementara model yang hanya memakai teks mencapai 76,1% (Turetzky dkk., CAST 2026).
- Pendengar mengenali kemarahan pada 37% rekaman manusia tetapi hanya 7% klip sintesis (Abilbekov dkk., KazEmoTTS 2024).
- Pengenalan emosi pada keluaran CosyVoice 2 turun dari 83,93% (ucapan asli) menjadi 34,57% ketika prosodi harus berasal dari teks (Ge dkk., 2026).
- Penilaian kalimat terpisah hanya menjelaskan sekitar 12% varians penilaian paragraf (Clark dkk., SSW10 2019).
- TTS teks panjang sumber tertutup rata-rata mencetak 3,42 dalam kekayaan ekspresif, dibandingkan 4,35 untuk ucapan asli (Pan dkk., SwanBench-Speech, ACL 2026 Findings).
- Pembaca manusia berjalan pada 3,20 suku kata per detik saat membaca, dibandingkan 4,96 saat berbicara bebas (Jacewicz dkk., JASA 2010).
1. Mengukur Prosodi: Masalah Metrik
Bidang ini mengukur prosodi terutama dengan satu angka, dan angka itu nyaris tidak mencerminkan apa yang didengar pendengar. RMSE log F0, metrik kesalahan nada bawaan, berkorelasi dengan penilaian prosodi manusia sebesar r = 0,30, kurang dari separuh korelasi metrik berbasis token yang lebih baru (Yang dkk., ProsodyEval 2025). F0 (frekuensi dasar) adalah ukuran akustik di balik nada yang dirasakan, dan RMSE (root mean square error, galat kuadrat rata-rata akar) membandingkan kurva nada sintetis frame demi frame dengan satu rekaman manusia dari kalimat yang sama.
Masalahnya bersifat struktural: sebuah kalimat dapat dibaca dengan baik menggunakan banyak melodi berbeda, sehingga jarak terhadap satu acuan menghukum variasi yang sebenarnya sah. Bahkan model bahasa audio besar belum menjadi solusi, karena Gemini 2.5 Pro mencetak korelasi r = 0,27 dengan penilaian prosodi manusia pada benchmark yang sama berisi 1.000 sampel, 7 sistem TTS, dan 2.000 penilaian manusia.
| Metrik | Nilai | Sumber |
|---|---|---|
| Studi evaluasi prosodi yang ditinjau (terbit 2020 hingga 2024) | 100 | Galdino dkk., JBCS 2025 |
| Studi yang menganalisis nada (F0) | 95 dari 100 | Galdino dkk., JBCS 2025 |
| Studi per bahasa: Inggris / Mandarin / Jepang | 48 / 27 / 15 | Galdino dkk., JBCS 2025 |
| Korelasi dengan penilaian prosodi manusia: RMSE log F0 | r = 0,30 [0,19; 0,40] | Yang dkk., ProsodyEval 2025 |
| Korelasi dengan penilaian prosodi manusia: DS-WED (metrik berbasis token) | r = 0,77 [0,73; 0,81] | Yang dkk., ProsodyEval 2025 |
| Gemini 2.5 Pro sebagai juri prosodi, korelasi dengan penilaian manusia | r = 0,27 | Yang dkk., ProsodyEval 2025 |
Konteks: tinjauan sistematis di Journal of the Brazilian Computer Society juga menemukan bahwa LJ Speech, korpus bahasa Inggris satu penutur berisi bacaan nonfiksi, adalah dataset yang paling banyak dipakai, sehingga sebagian besar bukti yang dipublikasikan menggambarkan satu gaya membaca dalam satu bahasa. Benchmark terpisah atas 35 sistem TTS dari 2008 hingga 2024 melaporkan bahwa prosodi makin penting bagi sistem yang lebih baru, dan penulisnya menduga evaluator manusia lebih memusatkan perhatian padanya seiring memudarnya masalah derau dan keterpahaman (Minixhofer dkk., TTSDS 2024).
2. Kesalahan Nada dan Durasi yang Terukur terhadap Rekaman Manusia
Ketika sebuah studi memisahkan vokoder dari tahap yang memprediksi prosodi dari teks, sebagian besar kesalahan nada muncul pada tahap kedua. Dalam studi buku audio Jepang, RMSE F0 sebesar 14,03 untuk baris HiFi-GAN khusus vokoder dan 27,93 untuk model TTS penuh terbaik, sekitar 2 kali lebih tinggi (27,93 / 14,03 = 1,99) (Xin dkk., TTS buku audio 2022). Vokoder adalah tahap akhir yang mengubah fitur akustik menjadi bentuk gelombang, sehingga skor khusus vokoder mendekati batas bawah kesalahan dari rantai audio itu sendiri.
Prediktor yang lebih baru hanya memangkas beberapa poin. Model prosodi 2025 yang dilatih pada sekitar 750 jam audio bahasa Inggris cocok dengan nada acuan pada 43,9% frame, naik dari 40,2% untuk sistem dasar terkuat. Keragaman prosodi juga rapuh: penyetelan halus preferensi (DPO) memangkas keragaman prosodi terukur satu sistem sebesar 18,8%.
| Metrik | Nilai | Sumber |
|---|---|---|
| RMSE F0: khusus vokoder (HiFi-GAN) versus model TTS penuh terbaik (buku audio Jepang) | 14,03 versus 27,93 | Xin dkk., TTS buku audio 2022 |
| Kesalahan nada kasar: khusus vokoder (HiFi-GAN) versus model TTS terbaik versus sistem dasar | 2,2 versus 12,57 versus 14,16 | Xin dkk., TTS buku audio 2022 |
| Preferensi AB: model sadar konteks versus sistem dasar (40 pendengar) | 61,5% versus 38,5% | Xin dkk., TTS buku audio 2022 |
| RMSE F0: model teks panjang hierarkis versus FastSpeech 2 dengan BERT sebagai sistem dasar (buku audio Mandarin) | 36,61 versus 51,12 | Guo dkk., HiGNN-TTS 2023 |
| MSE durasi: model teks panjang hierarkis versus sistem dasar | 0,1083 versus 0,1421 | Guo dkk., HiGNN-TTS 2023 |
| Akurasi nada mentah (porsi frame yang dekat dengan nada manusia): ProMode versus StyleTTS 2 sebagai sistem dasar | 43,9% versus 40,2% | Eren dkk., ProMode 2025 |
| Perubahan keragaman prosodi setelah penyetelan halus DPO, CosyVoice 2 (LibriSpeech) | -18,8% | Yang dkk., ProsodyEval 2025 |
Catatan outlier: nilai RMSE F0 hanya dapat dibandingkan dalam satu makalah, karena satuan, penyejajaran, dan dataset berbeda. Makalah ProMode tidak menyebutkan satuan untuk RMSE-nya, dan teks HiGNN-TTS menggambarkan hasil F0-nya sendiri dengan kata-kata yang bertentangan dengan tabelnya, sehingga kami melaporkan nilai tabel.
3. Pertanyaan, Sintaksis, dan Homograf: Membaca Jenis Kalimat dengan Benar
Intonasi pertanyaan gagal di tempat tata bahasa tidak memberi petunjuk. Sistem Tacotron 2 Kanton dasar membuat kesalahan frame F0 pada 32,76% frame dalam pertanyaan deklaratif, dibandingkan 13,53% dalam pernyataan, dan pendengar hanya mengenali 21,83% pertanyaan deklaratifnya sebagai pertanyaan (Bai dkk., Interspeech 2022). Pertanyaan deklaratif adalah kalimat berbentuk pernyataan yang seharusnya diakhiri dengan nada naik; dalam korpus CanTTS jumlahnya sekitar 1.000 dari 12.010 ujaran, sehingga model jarang melihat polanya. Kesalahan frame F0 menghitung frame yang nada atau keberadaan suara bernadanya menyimpang jelas dari rekaman manusia.
Perbaikan dalam studi itu, yaitu pengklasifikasi teks terpisah antara pertanyaan dan pernyataan, mengangkat pengenalan menjadi 98,41%. Sistem yang lebih baru masih tidak merata: pada benchmark EmergentTTS-Eval 2025, yang dinilai oleh juri AI terhadap sistem komersial sebagai pembanding dengan 50% berarti setara, model sumber terbuka Sesame1B, Orpheus-TTS, dan Qwen 2.5 Omni memenangkan 31,78%, 39,64%, dan 49,28% perintah pertanyaan (Manku dkk., Boson AI, EmergentTTS-Eval 2025).
| Metrik | Nilai | Sumber |
|---|---|---|
| Pertanyaan deklaratif yang dikenali sebagai pertanyaan: Tacotron 2 dasar versus model dengan pengklasifikasi pertanyaan | 21,83% versus 98,41% | Bai dkk., Interspeech 2022 |
| Kesalahan frame F0 pada pertanyaan deklaratif versus pada pernyataan, Tacotron 2 dasar | 32,76% versus 13,53% | Bai dkk., Interspeech 2022 |
| Intonasi pertanyaan dipersepsikan dengan benar: resintesis vokoder versus dua sistem TTS emosional dasar | 99,2% versus 81,6% dan 85,9% | Tang dkk., QI-TTS 2023 |
| Tingkat kemenangan kategori Pertanyaan terhadap sistem dasar: GPT-4o-audio (terbaik secara keseluruhan) versus Sesame1B | 56,96% versus 31,78% | Boson AI, EmergentTTS-Eval 2025 |
| Tingkat kemenangan kompleksitas sintaksis terhadap sistem dasar: Orpheus-TTS versus Sesame1B | 38,92% versus 18,88% | Boson AI, EmergentTTS-Eval 2025 |
| Tingkat kemenangan pelafalan kompleks terhadap sistem dasar: Qwen 2.5 Omni | 3,30% | Boson AI, EmergentTTS-Eval 2025 |
| Kesesuaian antara peringkat juri AI dan peringkat manusia (Spearman) | 90,5% | Boson AI, EmergentTTS-Eval 2025 |
| Uji homograf bahasa Prancis (Blizzard 2023): tingkat kebetulan versus sistem terbaik | 50% versus lebih dari 80% | Perrotin dkk., Blizzard Challenge 2023 |
Konteks: homograf (kata yang ditulis sama tetapi dilafalkan berbeda, seperti ‘est’ dalam bahasa Prancis sebagai kata kerja atau arah mata angin) dinilai oleh 218 pendengar dalam uji ABX pada Blizzard Challenge 2023, dan penyelenggara mengaitkan hasil terbaik dengan sistem yang memakai model bahasa besar pada pengode teks. Studi QI-TTS berasal dari Maret 2023; data terbaru yang tersedia untuk ukuran ini.
4. Penekanan dan Tekanan Kontrastif
Menempatkan tekanan pada kata yang tepat adalah kegagalan paling jelas saat ini. Pada benchmark CAST dengan 113 pasangan kontrastif (226 butir), skor Pair-Correct (kata yang tepat ditekankan di kedua versi dalam satu pasangan) mendekati nol untuk hampir semua sistem, dan yang terbaik hanya 11,5%, yang dicapai hanya ketika tekanan ditandai secara eksplisit pada masukan (Turetzky dkk., CAST 2026). Benchmark yang sama menunjukkan bahwa model bahasa yang hanya memakai teks dapat menentukan tekanan yang dimaksud dari konteks pada 76,1% kasus, jadi informasinya tersedia: sistem TTS tidak mengubahnya menjadi bunyi.
Memberikan konteks sebelumnya kepada model TTS tidak membawa perbaikan yang jelas pada sistem mana pun. Studi pendengar yang lebih lama menunjukkan arah yang sama: tanda kesalahan pada ucapan sintetis mengelompok di sekitar batas prosodik, dan variasi prosodik tambahan sering terdengar sebagai kesalahan ketika tidak sesuai dengan konteks.
| Metrik | Nilai | Sumber |
|---|---|---|
| Kata sasaran ditekankan (Hit) / kedua sisi benar (Pair-Correct): Kokoro | 38,1% / 0,0% | Turetzky dkk., CAST 2026 |
| Hit / Pair-Correct: GPT-4o-mini-tts dengan penandaan tekanan eksplisit | 51,8% / 11,5% | Turetzky dkk., CAST 2026 |
| Hit / Pair-Correct: Claude Haiku 4.5 yang hanya memakai teks dan memprediksi tekanan dari konteks | 88,1% / 76,1% | Turetzky dkk., CAST 2026 |
| Kata yang ditekankan dikenali pendengar, EME-TTS: rata-rata versus emosi terkejut | 78% versus 64% | Li dkk., EME-TTS 2025 |
| Korelasi antara penilaian prosodi dan tingkat kesalahan yang ditandai pendengar | R = -0,75 | Gutierrez dkk., SSW11 2021 |
| Porsi kemunculan kata dengan tanda kesalahan terbanyak pada FastPitch tepat sebelum tanda baca (teks buku audio) | 73% | Gutierrez dkk., SSW11 2021 |
Konteks: kesepakatan antarpendengar tentang di mana tekanan jatuh pada ucapan sintetis itu sendiri tergolong sedang (kappa Fleiss = 0,36 di antara tiga pendengar pada benchmark yang sama), dan ini salah satu alasan penekanan sulit diukur. Pada EME-TTS (11 pendengar), emosi terkejut mendapat skor terendah, dan penulisnya mengaitkan hal ini dengan naiknya nada yang sering terjadi di akhir ucapan terkejut, yang membuat pendengar menganggap kata terakhir sebagai kata bertekanan. Studi transkripsi prosodi cepat berasal dari 2021; data terbaru yang tersedia untuk penandaan kesalahan oleh pendengar.
5. Prosodi Emosional: Apa yang Dikenali Pendengar dan Pengklasifikasi
Emosi sebagian besar dibawa oleh prosodi, dan emosi sintetis jauh lebih jarang dikenali daripada emosi rekaman. Dalam studi bahasa Kazakh dengan 64 pendengar, emosi yang dimaksud dikenali pada 43% rekaman manusia tetapi 32% klip sintesis, dan kemarahan turun dari 37% menjadi 7% (Abilbekov dkk., KazEmoTTS 2024).
Analisis 2026 menelusuri di mana emosi hilang. Pada CosyVoice 2, pengenalan emosi tetap 82,43% setelah rekonstruksi vokoder dan 84,07% ketika model diberi token ucapan asli, mendekati 83,93% untuk ucapan asli, tetapi turun menjadi 34,57% ketika model harus menghasilkan ucapan dari teks (Ge dkk., On the Emotion Understanding of Synthesized Speech, 2026). Kehilangan itu terletak pada langkah dari teks ke prosodi, bukan pada kualitas audio. Untuk kinerja model pengenalan pada suara manusia, lihat statistik pengenalan emosi ucapan kami.
| Metrik | Nilai | Sumber |
|---|---|---|
| Pengenalan emosi oleh pendengar: rekaman manusia versus sintesis (6 emosi) | 43% versus 32% | Abilbekov dkk., KazEmoTTS 2024 |
| Pengenalan kemarahan oleh pendengar: rekaman manusia versus sintesis | 37% versus 7% | Abilbekov dkk., KazEmoTTS 2024 |
| Akurasi pengklasifikasi emosi (emotion2vec): rekaman manusia TESS versus TESS sintesis | 99,64% versus 15,31% | Ge dkk., 2026 |
| Akurasi pengklasifikasi emosi: IEMOCAP manusia versus IEMOCAP sintesis | 71,28% versus 49,58% | Ge dkk., 2026 |
| CosyVoice 2 pada TESS: ucapan asli versus khusus vokoder versus pembangkitan berbasis teks | 83,93% versus 82,43% versus 34,57% | Ge dkk., 2026 |
| Akurasi pengklasifikasi emosi pada keluaran gpt-4o-tts (kalimat CREMA-D / TESS) | 32,94% / 46,42% | Ge dkk., 2026 |
| Akurasi klasifikasi ulang emosi: rekaman manusia yang divokoder versus yang terbaik dan terlemah dari tiga sistem TTS | 0,931 versus 0,749 dan 0,623 | Tang dkk., ED-TTS 2024 |
| Tingkat kemenangan kategori Emosi terhadap sistem dasar: GPT-4o-audio versus Sesame1B | 88,84% versus 7,32% | Boson AI, EmergentTTS-Eval 2025 |
Catatan outlier: angka pengklasifikasi 2026 adalah skor mesin, bukan penilaian pendengar, dan pengklasifikasi yang dilatih pada ucapan sintesis mencapai 91,84% pada TESS sintesis tetapi 15,00% pada TESS manusia, yang mengisyaratkan bahwa emosi sintetis dan emosi manusia berbeda secara akustik. ED-TTS memakai pengklasifikasi emosinya sendiri, sehingga skalanya tidak dapat dibandingkan langsung dengan emotion2vec.
6. Pembacaan Teks Panjang: Saat Uji Kalimat Tidak Lagi Berguna
Prosodi yang terdengar baik satu kalimat demi satu kalimat dapat menyimpang, mendatar, atau salah menempatkan jeda sepanjang satu paragraf. Dalam studi pembacaan berita, bahkan penilaian satu kalimat terbaik dalam sebuah paragraf hanya menjelaskan sekitar 12% varians penilaian seluruh paragraf itu (MOS kalimat maksimum versus MOS paragraf, r = 0,345, p < 0,01) (Clark dkk., Evaluating Long-form Text-to-Speech, SSW10 2019). Para penulis menyimpulkan bahwa penilaian tingkat kalimat adalah “prediktor yang buruk bagi MOS paragraf”.
Gambaran 2026 lebih sempit tetapi belum tertutup. Pada SwanBench-Speech, sistem sumber tertutup terbaik hanya berjarak 0,09 dari rekaman asli pada skor prosodi (3,95 versus 4,04), tetapi rata-rata sumber tertutup tertinggal 0,93 poin dari ucapan asli baik pada kekayaan ekspresif (resonansi emosional, penokohan, penceritaan) maupun hierarki ekspresif (dinamika ekspresif tingkat paragraf), dan sebagian besar model menurun begitu sebuah bagian melewati 100 kata (Pan dkk., SwanBench-Speech, ACL 2026 Findings). Bagi produser yang menggarap konten pelatihan dan penjelasan bernarasi, statistik pengisi suara AI kami membahas adopsinya, dan generator suara AI paling mudah dinilai pada satu paragraf utuh, bukan satu baris.
| Metrik | Nilai | Sumber |
|---|---|---|
| Korelasi, penilaian rata-rata kalimat versus penilaian paragraf (berita) | r = 0,296 (p < 0,05) | Clark dkk., SSW10 2019 |
| Penilaian rata-rata, kalimat pendek versus bagian 40 detik, model terbaik | 4,09 versus 3,86 | Guo dkk., HiGNN-TTS 2023 |
| Penilaian rata-rata, kalimat pendek versus bagian 40 detik, sistem dasar | 3,52 versus 3,34 | Guo dkk., HiGNN-TTS 2023 |
| Uji dengar buku audio: pendengar / penilaian / panjang segmen | 204 / 33.750 / sekitar 2 menit | Zhang dkk., SSW 2023 |
| Peningkatan kualitas keseluruhan dari penyempurnaan teks panjang (abstrak) | +0,47 MOS | Zhang dkk., SSW 2023 |
| Skor komparatif setelah konteks multikalimat dihapus: suara perempuan / laki-laki | -0,42 / -0,58 | Zhang dkk., SSW 2023 |
| Kekayaan ekspresif: ucapan asli versus rata-rata sumber tertutup versus rata-rata sumber terbuka | 4,35 versus 3,42 versus 3,03 | Pan dkk., SwanBench-Speech 2026 |
| Hierarki ekspresif (dinamika tingkat paragraf): ucapan asli versus rata-rata sumber tertutup | 3,94 versus 3,01 | Pan dkk., SwanBench-Speech 2026 |
Konteks: skor SwanBench bersifat otomatis. Metrik prosodinya sejalan dengan 10 evaluator manusia pada SRCC = 0,82 untuk 50 pasangan, dan juri kekayaan serta hierarkinya (Gemini 3 Pro) pada 0,71 dan 0,62. Makalah sintesis buku audio menyatakan bahwa penyempurnaannya “mengurangi kesenjangan besar antara sintesis dasar dan rekaman alami” tanpa menutupnya. Studi Clark dkk. berasal dari 2019; data terbaru yang tersedia untuk perbandingan kalimat versus paragraf.
7. Garis Dasar Manusia: Seberapa Bervariasi Prosodi Asli
Setiap angka “kesalahan” mengandaikan sebuah target, dan prosodi manusia adalah target yang lebar. Pada 192 penutur bahasa Inggris Amerika, laju artikulasi sebesar 3,20 suku kata per detik saat membaca kalimat dan 4,96 dalam percakapan spontan (Jacewicz dkk., JASA 2010). Laju artikulasi menghitung suku kata per detik dengan jeda dikeluarkan, sehingga memisahkan tempo dari keraguan.
Variasi dalam satu orang adalah cerita yang lebih besar: pada data yang sama, variasi antarfrasa dalam satu penutur melebihi variasi antarpenutur. Studi korpus yang dipresentasikan di LabPhon 19, dengan hampir 120.000 ujaran, menemukan bahwa penutur individu lebih bervariasi daripada dialek. Inilah sebabnya satu rekaman acuan menjadi tolok ukur yang lemah, seperti ditunjukkan bagian 1 untuk RMSE F0.
| Metrik | Nilai | Sumber |
|---|---|---|
| Laju artikulasi, kalimat yang dibaca versus percakapan spontan (suku kata per detik) | 3,20 versus 4,96 | Jacewicz dkk., JASA 2010 |
| Laju spontan, penutur Wisconsin versus North Carolina (suku kata per detik) | 5,21 versus 4,80 | Jacewicz dkk., JASA 2010 |
| Laju membaca, dewasa muda versus dewasa tertua (suku kata per detik) | 3,58 versus 3,0 | Jacewicz dkk., JASA 2010 |
| Varians laju bicara: dalam satu penutur versus antarpenutur | 1,0 versus 0,19 | Jacewicz dkk., JASA 2010 |
| Ukuran korpus: ujaran / penutur / dialek | 119.736 / 1.115 / 15 | Tanner dkk., LabPhon 19 |
| Perkiraan selisih laju artikulasi antardialek bahasa Inggris | sekitar 40% (sekitar 2 suku kata per detik) | Tanner dkk., LabPhon 19 |
| Probabilitas bahwa variasi penutur melebihi variasi dialek | 0,98 | Tanner dkk., LabPhon 19 |
Konteks: makalah laju artikulasi SPADE memakai 14 korpus ucapan spontan bahasa Inggris Britania dan Amerika Utara. Data Jacewicz berasal dari 2010; data terbaru yang tersedia untuk tempo membaca versus spontan dalam satu sampel terkontrol. Untuk fitur prosodik lain yang penilaian pendengarnya berbeda dari akustik, lihat statistik vocal fry kami.
Ringkasan: Kesalahan Prosodi dan Intonasi pada TTS Neural dalam Angka
| Metrik | Nilai | Sumber |
|---|---|---|
| Studi prosodi (2020 hingga 2024) yang menganalisis nada | 95 dari 100 | Galdino dkk., JBCS 2025 |
| Korelasi RMSE log F0 dengan penilaian prosodi manusia | r = 0,30 | Yang dkk., ProsodyEval 2025 |
| RMSE F0: khusus vokoder versus TTS penuh terbaik | 14,03 versus 27,93 | Xin dkk., 2022 |
| Akurasi nada mentah prediktor prosodi 2025 | 43,9% | Eren dkk., ProMode 2025 |
| Kesalahan frame F0, pertanyaan deklaratif versus pernyataan (sistem dasar) | 32,76% versus 13,53% | Bai dkk., Interspeech 2022 |
| Pertanyaan deklaratif yang terdengar sebagai pertanyaan: sistem dasar versus model dengan pengklasifikasi | 21,83% versus 98,41% | Bai dkk., Interspeech 2022 |
| Tingkat kemenangan Pertanyaan terhadap sistem dasar: GPT-4o-audio versus Sesame1B | 56,96% versus 31,78% | Boson AI, EmergentTTS-Eval 2025 |
| Uji homograf: tingkat kebetulan versus sistem terbaik | 50% versus lebih dari 80% | Perrotin dkk., Blizzard 2023 |
| Tekanan kontrastif Pair-Correct: TTS terbaik versus model bahasa yang hanya memakai teks | 11,5% versus 76,1% | Turetzky dkk., CAST 2026 |
| Pengenalan emosi oleh pendengar: manusia versus sintesis | 43% versus 32% | Abilbekov dkk., KazEmoTTS 2024 |
| Pengklasifikasi emosi: TESS manusia versus TESS sintesis | 99,64% versus 15,31% | Ge dkk., 2026 |
| Akurasi emosi CosyVoice 2: ucapan asli versus berbasis teks | 83,93% versus 34,57% | Ge dkk., 2026 |
| Penilaian kalimat versus penilaian paragraf, varians yang dijelaskan | sekitar 12% | Clark dkk., SSW10 2019 |
| Kekayaan ekspresif: ucapan asli versus rata-rata sumber tertutup | 4,35 versus 3,42 | Pan dkk., SwanBench-Speech 2026 |
| Kalimat pendek versus bagian 40 detik, model terbaik | 4,09 versus 3,86 | Guo dkk., HiGNN-TTS 2023 |
| Laju artikulasi membaca versus spontan (suku kata per detik) | 3,20 versus 4,96 | Jacewicz dkk., JASA 2010 |
| Selisih laju artikulasi antardialek bahasa Inggris | sekitar 40% | Tanner dkk., LabPhon 19 |
Metodologi dan Sumber
Setiap angka di atas dibaca langsung dalam makalah, halaman prosiding, atau teks lengkap yang melaporkannya. Jika sebuah makalah hanya menampilkan hasil dalam grafik, kami memakai kesimpulan yang dinyatakannya dan membuang nilai perkiraan. Skor yang dinilai mesin (juri AI, pengklasifikasi emosi, benchmark otomatis) diberi label demikian dalam teks dan tidak boleh dibaca sebagai persentase pendengar.
- Galdino, Matos, Svartman dan Aluisio, “The evaluation of prosody in speech synthesis: a systematic review”, Journal of the Brazilian Computer Society, 9 Juli 2025
- Yang dkk., “Measuring Prosody Diversity in Zero-Shot TTS” (ProsodyEval), arXiv 2509.19928, direvisi 1 April 2026
- Minixhofer, Klejch dan Bell, “TTSDS - Text-to-Speech Distribution Score”, arXiv 2407.12707, 2024
- Xin dkk., “Improving Speech Prosody of Audiobook Text-to-Speech Synthesis with Acoustic and Textual Contexts”, arXiv 2211.02336, 2022
- Guo dkk., “HiGNN-TTS: Hierarchical Prosody Modeling with Graph Neural Networks for Expressive Long-form TTS”, arXiv 2309.13907, 2023
- Eren dkk., “ProMode: A Speech Prosody Model Conditioned on Acoustic and Textual Inputs”, arXiv 2508.09389, 2025
- Bai, Ko dan Zhang, “A Study of Modeling Rising Intonation in Cantonese Neural Speech Synthesis”, Interspeech 2022
- Tang dkk., “QI-TTS: Questioning Intonation Control for Emotional Speech Synthesis”, arXiv 2303.07682, 2023
- Manku dkk. (Boson AI), “EmergentTTS-Eval”, arXiv 2505.23009, 29 Mei 2025
- Perrotin, Stephenson, Gerber dan Bailly, “The Blizzard Challenge 2023”, ISCA Archive
- Turetzky dkk., “Knowing What to Stress: A Discourse-Conditioned Text-to-Speech Benchmark” (CAST), arXiv 2604.10580, 12 April 2026
- Li dkk., EME-TTS, tentang hubungan antara penekanan dan emosi dalam sintesis ucapan, arXiv 2507.12015, 2025
- Gutierrez, Oplustil-Gallegos dan Lai, “Location, Location”, ISCA SSW11, 2021
- Abilbekov dkk., “KazEmoTTS: A Dataset for Kazakh Emotional Text-to-Speech Synthesis”, arXiv 2404.01033, 2024
- Ge dkk., “On the Emotion Understanding of Synthesized Speech”, arXiv 2603.16483, 17 Maret 2026
- Tang dkk., “ED-TTS: Multi-Scale Emotion Modeling using Cross-Domain Emotion Diarization”, arXiv 2401.08166, 2024
- Clark, Silen, Kenter dan Leith, “Evaluating Long-form Text-to-Speech: Comparing the Ratings of Sentences and Paragraphs”, SSW10, arXiv 1909.03965, 2019
- Zhang dkk., “Audiobook synthesis with long-form neural text-to-speech”, ISCA SSW12, 2023
- Pan dkk., “Comprehensive Benchmarking of Long-Form Speech Generation in Diverse Scenarios” (SwanBench-Speech), ACL 2026 Findings, arXiv 2605.28618
- Jacewicz, Fox dan Wei, “Between-speaker and within-speaker variation in speech tempo of American English”, Journal of the Acoustical Society of America, 2010
- Tanner dkk. dan SPADE Data Consortium, “Exposing the anatomy of articulation rate across English dialects and speakers”, LabPhon 19
- Catatan data: nilai RMSE F0 tidak dapat dibandingkan antarmakalah (satuan, penyejajaran, dan dataset berbeda), dan makalah ProMode tidak menyebutkan satuan. Xin dkk. mencantumkan baris HiFi-GAN tanpa menjelaskannya; kami membacanya sebagai keluaran khusus vokoder karena distorsi spektralnya jauh di bawah baris TTS, yang merupakan inferensi kami. Jacewicz dkk. memberikan 5,21 dan 4,80 suku kata per detik dalam teks tetapi 5,38 dan 4,97 dalam tabel untuk dialek yang sama; kami melaporkan angka dalam teks. Makalah buku audio SSW 2023 menyebutkan peningkatan 0,47 MOS dalam abstraknya dan 0,46 dalam isi teksnya; nilai grafik per sistemnya tidak dapat dipetakan dengan andal, sehingga kami menghilangkannya. SwanBench-Speech menyebut selisih hierarki “lebih dari setengah poin” sementara rata-rata dalam tabelnya menyiratkan 0,93; kami melaporkan tabelnya. Hasil EmergentTTS-Eval dan SwanBench berasal dari juri AI yang divalidasi terhadap panel manusia kecil, dan laporan teknis berikutnya yang menulis ulang teks EmergentTTS tidak dapat dibandingkan dengan makalah aslinya. Angka QI-TTS (2023), Xin dkk. (2022), Bai dkk. (2022), Gutierrez dkk. (2021), Clark dkk. (2019), dan Jacewicz dkk. (2010) berusia lebih dari tiga tahun dan merupakan data terbaru yang tersedia untuk ukuran-ukuran spesifik tersebut. Beberapa sumber 2026 adalah pracetak dan dapat berubah setelah tinjauan sejawat. Hasil Blizzard Challenge berikutnya dan prosiding Speech Prosody dapat menambah data intonasi pertanyaan dan teks panjang yang lebih baru.
Terakhir diperbarui: 31 Oktober 2026. Kami memperbarui rangkuman ini setiap kuartal, dan pembaruan berikutnya diperkirakan terjadi ketika hasil Blizzard Challenge berikutnya dipublikasikan di ISCA Archive.