Tacotron 2 milik Google meraih skor opini rata-rata (MOS) 4,53 dibanding 4,58 untuk ucapan rekaman profesional pada Desember 2017 (Google, makalah Tacotron 2 2017), dan sejak itu kesenjangan antara ucapan sintetis dan ucapan manusia menutup pada hampir semua tolok ukur standar. Pada 2024, sistem tanpa pelatihan ulang seperti VALL-E 2 dan MaskGCT meraih skor sedikit di atas rekaman acuan yang menjadi pembandingnya (Microsoft, VALL-E 2 2024; MaskGCT 2024), dan dalam studi mendengarkan 2025, 58% klon suara dikira suara manusia sungguhan (Queen Mary University of London, PLOS ONE 2025). Pertanyaan yang lebih sulit pada 2026 bukan lagi apakah mesin bisa terdengar seperti manusia, melainkan apakah uji MOS masih bisa mengukur perbedaannya. Kami menghimpun data dari Google DeepMind, Microsoft Research, ByteDance, Blizzard Challenge, VoiceMOS Challenge, ITU-T, PLOS ONE, Artificial Analysis, dan Hugging Face; untuk gambaran pasar yang lebih luas, lihat rangkuman statistik teks-ke-suara kami.
TL;DR
- Tacotron 2 meraih MOS 4,53 dibanding 4,58 untuk rekaman profesional (Google, makalah Tacotron 2 2017).
- WaveNet memangkas kesenjangan dengan ucapan manusia lebih dari 50%, dengan skor 4,21 berbanding 4,55 untuk bahasa Inggris AS (DeepMind, WaveNet 2016).
- NaturalSpeech meraih -0,01 CMOS terhadap rekaman LJ Speech, tanpa perbedaan signifikan (Microsoft Research, NaturalSpeech 2022).
- VALL-E 2 meraih +0,033 CMOS dan SMOS 4,61 berbanding 4,13 untuk rekaman acuan pada LibriSpeech (Microsoft, VALL-E 2 2024).
- NaturalSpeech 3 dilatih dengan 200.000 jam data dan 1 miliar parameter (Microsoft, NaturalSpeech 3 2024).
- CosyVoice 3 menaikkan data pelatihan dari 10.000 jam menjadi 1 juta jam di 9 bahasa (Alibaba, CosyVoice 3 2025).
- Rekaman manusia meraih MOS antara 4,30 dan 4,58 di empat makalah penting (makalah Google, DeepMind, Kakao, Microsoft 2016-2021).
- Dua sistem Blizzard Challenge 2023 tidak berbeda secara statistik dari ucapan alami pada MOS, yang pertama bagi kompetisi tersebut (ringkasan Blizzard Challenge 2023, Computer Speech and Language 2024).
- 58% klon suara dan 41% suara AI generik dinilai sebagai manusia (Lavan dkk., PLOS ONE 2025).
- Pendengar mengidentifikasi deepfake ucapan dengan benar 73% dari waktu (Mai dkk., PLOS ONE 2023).
- VoiceMOS Challenge 2022 mencakup 187 sistem TTS dan konversi suara dari 22 tim (VoiceMOS Challenge 2022).
- Model teratas Speech Arena meraih 1321 Elo dengan interval plus minus 189 (Artificial Analysis, Oktober 2026).
1. Batas Atas Manusia Bukan Angka Tetap
Setiap klaim kesetaraan bergantung pada skor acuan untuk ucapan asli, dan acuan itu bergerak. Ucapan manusia hasil rekaman telah meraih MOS setinggi 4,58 dan serendah 4,30 dalam makalah TTS penting, rentang 0,28 poin yang lebih lebar daripada selisih antara banyak sistem pesaing di tabel yang sama. Dataset LJ Speech saja menghasilkan 4,46 dalam makalah VITS dan 4,30 dalam makalah FastSpeech 2, karena kelompok pendengar, instruksi, dan desain pengujian berbeda dari satu laboratorium ke laboratorium lain.
Pembacaan praktisnya: MOS 4,4 tidak berarti apa-apa jika berdiri sendiri. Angka itu baru bermakna di samping skor rekaman acuan dari uji mendengarkan yang sama, yang menjelaskan mengapa makalah modern makin sering melaporkan CMOS (MOS komparatif, skor berdampingan relatif terhadap acuan) alih-alih MOS mentah. Makalah VITS adalah ilustrasi yang baik: makalah itu melaporkan 4,46 untuk rekaman acuan dan 4,43 untuk sistemnya sendiri, selisih 0,03 yang berada di dalam interval kepercayaan.
| Metrik | Nilai | Sumber |
|---|---|---|
| MOS ucapan rekaman profesional, uji Tacotron 2 | 4,58 | Google, makalah Tacotron 2 2017 |
| MOS ucapan manusia, bahasa Inggris AS, uji WaveNet | 4,55 | DeepMind, WaveNet 2016 |
| MOS ucapan manusia, bahasa Mandarin, uji WaveNet | 4,21 | DeepMind, WaveNet 2016 |
| MOS rekaman acuan LJ Speech, uji VITS | 4,46 (± 0,06) | Kim dkk. (Kakao Enterprise), VITS 2021 |
| MOS rekaman acuan VCTK, uji VITS | 4,38 (± 0,07) | Kim dkk., VITS 2021 |
| MOS rekaman acuan LJ Speech, uji FastSpeech 2 | 4,30 (± 0,07) | Microsoft dan Universitas Zhejiang, FastSpeech 2 2020 |
| Rekaman acuan yang dilewatkan vocoder, uji FastSpeech 2 | 3,92 | FastSpeech 2 2020 |
Catatan konteks: baris vocoder itu penting. Sekadar mengubah rekaman asli menjadi spektrogram mel lalu kembali menyebabkan penurunan 0,38 poin MOS pada uji FastSpeech 2, yang menunjukkan seberapa besar kesenjangan historis berasal dari pembangkitan gelombang suara, bukan dari pemodelan teks. Sebagian besar makalah ini berusia lebih dari tiga tahun dan ditampilkan sebagai data terbaru yang tersedia untuk tolok ukurnya.
2. Dari WaveNet ke Kesetaraan: TTS Satu Pembicara, 2016 hingga 2022
Kisah satu pembicara memakan waktu sekitar enam tahun. WaveNet mengurangi kesenjangan antara sistem terbaik yang ada dan ucapan manusia lebih dari 50% pada 2016, dengan skor 4,21 untuk bahasa Inggris AS dibanding 3,86 untuk sintesis konkatenatif dan 3,67 untuk sintesis parametrik (pengumuman WaveNet dari DeepMind). Tacotron 2 kemudian menurunkan kesenjangan menjadi 0,05 poin, dan pada 2021 VITS menyamai rekaman acuan pada set multi-pembicara VCTK di 4,38.
Garis akhir datang bersama NaturalSpeech dari Microsoft, yang meraih -0,01 CMOS terhadap rekaman LJ Speech pada tingkat kalimat, dengan uji peringkat bertanda Wilcoxon yang tidak menunjukkan perbedaan signifikan. Pergeseran yang menarik adalah apa yang datang berikutnya: begitu kesetaraan tercapai pada ucapan baca yang bersih, bidang ini berhenti bersaing pada kealamian satu pembicara dan beralih ke kloning suara yang belum pernah ditemui dari beberapa detik audio.
| Metrik | Nilai | Sumber |
|---|---|---|
| MOS WaveNet berbanding manusia, bahasa Inggris AS | 4,21 berbanding 4,55 | DeepMind, WaveNet 2016 |
| MOS WaveNet berbanding manusia, bahasa Mandarin | 4,08 berbanding 4,21 | DeepMind, WaveNet 2016 |
| MOS konkatenatif berbanding parametrik, bahasa Inggris AS (sebelum WaveNet) | 3,86 berbanding 3,67 | DeepMind, WaveNet 2016 |
| MOS Tacotron 2 berbanding rekaman | 4,53 berbanding 4,58 | Google, makalah Tacotron 2 2017 |
| MOS VITS berbanding rekaman acuan, LJ Speech | 4,43 berbanding 4,46 | Kim dkk., VITS 2021 |
| MOS VITS berbanding rekaman acuan, VCTK multi-pembicara | 4,38 berbanding 4,38 | Kim dkk., VITS 2021 |
| Tacotron 2 + HiFi-GAN pada VCTK, uji yang sama | 3,14 | Kim dkk., VITS 2021 |
| CMOS NaturalSpeech berbanding rekaman LJ Speech | -0,01 (p >> 0,05) | Microsoft Research, NaturalSpeech 2022 |
Kecepatan meningkat seiring kualitas. VITS menyintesis dengan kecepatan 67,12 kali waktu nyata, dibanding 27,48 kali untuk pipeline Glow-TTS plus HiFi-GAN, dan FastSpeech 2 dilatih dalam 17,02 jam dibanding 53,12 jam untuk FastSpeech, percepatan 3,12x (makalah FastSpeech 2).
| Metrik | Nilai | Sumber |
|---|---|---|
| Faktor waktu nyata VITS | 67,12x | Kim dkk., VITS 2021 |
| Faktor waktu nyata Glow-TTS + HiFi-GAN | 27,48x | Kim dkk., VITS 2021 |
| MOS FastSpeech 2 berbanding MOS Tacotron 2 (20 penilai penutur asli) | 3,83 berbanding 3,70 | FastSpeech 2 2020 |
| Waktu pelatihan FastSpeech 2 berbanding FastSpeech | 17,02 jam berbanding 53,12 jam (3,12x lebih cepat) | FastSpeech 2 2020 |
3. Kloning Suara Tanpa Pelatihan Ulang Menyamai dan Melampaui Rekaman Acuan
TTS tanpa pelatihan ulang, yang mengklon pembicara yang belum pernah ditemui dari cuplikan singkat, memadatkan perjalanan yang sama menjadi sekitar dua tahun. VALL-E 2 milik Microsoft meraih +0,033 CMOS terhadap rekaman acuan pada LibriSpeech, dan skor kemiripan pembicaranya (4,61) mengalahkan rekaman asli (4,13) (makalah VALL-E 2, 20 penilai penutur asli bahasa Inggris Amerika). VALL-E yang asli, dirilis pada Januari 2023 dan dilatih dengan 60.000 jam bahasa Inggris, masih tertinggal 0,17 CMOS dari rekaman acuan pada LibriSpeech.
Skala adalah benang merahnya. NaturalSpeech 3 memakai 200.000 jam dan 1 miliar parameter, MaskGCT memakai 100.000 jam ucapan dunia nyata, dan CosyVoice 3 milik Alibaba memakai satu juta jam di 9 bahasa dan 18 dialek Tiongkok. Pertanyaan bagi para pembeli perangkat lunak kloning suara pada 2026 bukan lagi apakah sebuah klon bisa menyamai rekaman acuan dalam uji laboratorium, melainkan seberapa konsisten ia melakukannya pada cuplikan yang berisik, aksen, dan ucapan ekspresif. Statistik kloning suara kami membahas adopsi dan penyalahgunaan.
| Metrik | Nilai | Sumber |
|---|---|---|
| Data pelatihan VALL-E | 60.000 jam bahasa Inggris | Microsoft, VALL-E 2023 |
| CMOS VALL-E terhadap rekaman acuan, LibriSpeech (rekaman acuan +0,17) | -0,17 | Microsoft, VALL-E 2023 |
| CMOS VALL-E 2 terhadap rekaman acuan, LibriSpeech | +0,033 | Microsoft, VALL-E 2 2024 |
| SMOS VALL-E 2 terhadap rekaman acuan, LibriSpeech | 4,61 berbanding 4,13 | Microsoft, VALL-E 2 2024 |
| CMOS NaturalSpeech 3 (rekaman acuan di +0,08) | 0,00 | Microsoft, NaturalSpeech 3 2024 |
| SMOS NaturalSpeech 3 terhadap rekaman acuan | 4,01 berbanding 3,85 | Microsoft, NaturalSpeech 3 2024 |
| CMOS MaskGCT terhadap rekaman acuan, LibriSpeech | +0,10 | MaskGCT 2024 |
| CMOS Seed-TTS terhadap manusia, bahasa Inggris / Mandarin | -0,07 / -0,08 | ByteDance, Seed-TTS 2024 |
Metrik objektif menceritakan hal yang sama. CosyVoice 3 mencatat tingkat kesalahan kata (WER) 1,45% pada set uji bahasa Inggris Seed-TTS dibanding 2,14% untuk rekaman manusia (makalah CosyVoice 3), artinya pengenalan ucapan otomatis menyalin audio sintetis lebih akurat daripada ucapan asli. Itu tanda artikulasi yang sangat bersih, belum tentu kealamian yang lebih tinggi, karena pembicara sungguhan bergumam, ragu, dan bervariasi.
| Metrik | Nilai | Sumber |
|---|---|---|
| Data pelatihan dan ukuran NaturalSpeech 3 | 200.000 jam, 1 miliar parameter | Microsoft, NaturalSpeech 3 2024 |
| Data pelatihan MaskGCT | 100.000 jam (50 ribu bahasa Inggris, 50 ribu bahasa Mandarin) | MaskGCT 2024 |
| Data pelatihan CosyVoice 3 | 1 juta jam, 9 bahasa, 18 dialek Tiongkok | Alibaba, CosyVoice 3 2025 |
| WER CosyVoice 3 berbanding manusia, Seed-TTS test-en | 1,45% berbanding 2,14% | Alibaba, CosyVoice 3 2025 |
| WER Seed-TTS DiT berbanding manusia, bahasa Inggris | 1,733 berbanding 2,143 | ByteDance, Seed-TTS 2024 |
| CMOS F5-TTS terhadap rekaman acuan, Seed-TTS test-en / test-zh | +0,31 / +0,21 | F5-TTS 2024 |
| WER F5-TTS terhadap rekaman acuan, LibriSpeech-PC | 2,42 berbanding 2,23 | F5-TTS 2024 |
Catatan konteks: hasil VCTK milik VALL-E 2 sendiri menunjukkan betapa rapuhnya kesetaraan. Dengan cuplikan 3 detik, SMOS-nya menyamai rekaman acuan (4,47 berbanding 4,47), tetapi dengan cuplikan 10 detik, rekaman acuan meraih 4,74 dan VALL-E 2 antara 3,95 dan 4,26. CosyVoice 3 juga melaporkan bahwa dalam bahasa Mandarin semua modelnya masih tertinggal dari ucapan manusia, sementara dalam bahasa Inggris model 1,5 miliar parameter mencetak skor di atasnya.
4. Blizzard Challenge: Kesetaraan di Bawah Pengujian Independen
Pengujian yang dijalankan para penulis memiliki konflik kepentingan yang jelas, itulah mengapa Blizzard Challenge penting: penyelenggara menjalankan satu uji mendengarkan bersama untuk semua peserta. Edisi 2023, yang kedelapan belas, menarik 18 tim ke tugas Hub (51 jam audio bahasa Prancis) dan 14 tim ke tugas Spoke (2 jam), semuanya menggunakan pendekatan neural (The Blizzard Challenge 2023, ISCA). MuLanTTS milik Microsoft, berlabel sistem F, meraih MOS 4,3 berbanding 4,4 untuk rekaman alami pada tugas Hub dan 4,5 berbanding 4,5 pada tugas Spoke (makalah MuLanTTS).
Ringkasan lanjutan dari penyelenggara menarik kesimpulan yang lebih tajam: dua sistem dinilai tidak berbeda secara statistik dari ucapan alami pada MOS, yang pertama dalam sejarah kompetisi, namun dalam uji MUSHRA yang lebih halus setiap sistem dinilai berbeda secara signifikan dari ucapan alami (Refining the evaluation of speech synthesis, Computer Speech and Language 2024). Dengan kata lain, skala MOS 5 poin sudah jenuh sebelum suara-suara itu benar-benar identik. Ringkasan yang sama menemukan bahwa pendengar non-penutur asli dan non-ahli memberikan skor lebih tinggi daripada pendengar penutur asli dan ahli ucapan.
| Metrik | Nilai | Sumber |
|---|---|---|
| Tim Hub / Spoke Blizzard 2023 | 18 / 14 | Perrotin dkk., Blizzard Challenge 2023 |
| Data pelatihan Hub / Spoke (bahasa Prancis) | 51 jam / 2 jam | Perrotin dkk., Blizzard Challenge 2023 |
| MOS MuLanTTS berbanding rekaman alami, Hub | 4,3 berbanding 4,4 | Microsoft, MuLanTTS 2023 |
| MOS MuLanTTS berbanding rekaman alami, Spoke | 4,5 berbanding 4,5 | Microsoft, MuLanTTS 2023 |
| Sistem yang tidak berbeda secara statistik dari ucapan alami pada MOS | 2 (pertama kali di Blizzard) | Ringkasan Blizzard Challenge 2023, CSL 2024 |
| Sistem yang dinilai berbeda dari ucapan alami pada MUSHRA | Semua | Ringkasan Blizzard Challenge 2023, CSL 2024 |
| MOS / SMOS DelightfulTTS, tugas SH1 Blizzard 2021 | 4,17 / 4,35 | Microsoft, DelightfulTTS 2021 |
Edisi 2025 memindahkan masalah sulit ke bahasa dengan sumber daya terbatas. Para tim diminta membangun suara untuk bahasa Bildts, ragam bahasa Belanda dengan sekitar 6.000 penutur asli, dari dataset 7 jam, ditambah tugas tanpa pelatihan ulang dengan 10 detik ucapan acuan (The Blizzard Challenge 2025, Universitas Groningen). Tujuh tim mengikuti tugas utama dan lima tim mengikuti tugas tanpa pelatihan ulang.
| Metrik | Nilai | Sumber |
|---|---|---|
| Penutur asli bahasa target Blizzard 2025 | Sekitar 6.000 (Bildts) | Do dkk., Blizzard Challenge 2025 |
| Data pelatihan tugas utama | 7 jam, satu pembicara | Do dkk., Blizzard Challenge 2025 |
| Audio acuan tugas tanpa pelatihan ulang | 10 detik per pembicara | Do dkk., Blizzard Challenge 2025 |
| Tim tugas utama / tugas tanpa pelatihan ulang | 7 / 5 | Do dkk., Blizzard Challenge 2025 |
5. Mengapa Angka MOS Tidak Sejalan: Metode, Standar, dan Prediksi Otomatis
Metode MOS dibuat untuk saluran telepon, bukan suara neural. ITU-T P.800, yang disetujui pada Agustus 1996, masih mengatur pengujian kualitas transmisi subjektif; P.800.1 (Juli 2016) menstandarkan terminologi MOS; dan P.808 (Juni 2018, direvisi Juni 2021) mencakup uji kualitas ucapan berbasis crowdsourcing (ITU-T P.808). Tinjauan terhadap makalah Interspeech dan SSW 2021-2022 menemukan bahwa sebagian besar penulis tidak melaporkan label skala, kenaikan skala, atau instruksi kepada pendengar (Kirkland dkk., Stuck in the MOS pit, SSW 2023), dan bahwa rata-rata MOS kualitas lebih tinggi daripada MOS kealamian untuk ucapan alami yang sama.
Tim yang sama menjalankan uji mendengarkan terkendali dengan stimulus identik dan menemukan bahwa mengubah kenaikan skala atau instruksi penilaian saja menggeser MOS untuk beberapa sistem. Pilihan tolok ukur juga berbeda-beda: sebuah makalah posisi 2025 mencatat bahwa VALL-E mengevaluasi 1.234 ujaran LibriSpeech, NaturalSpeech 3 dan MaskGCT 40 ujaran, dan F5-TTS 1.127 ujaran, serta bahwa WER MaskGCT adalah 2,63% pada set 40 ujaran tetapi 4,22% pada set 1.234 ujaran (Towards Responsible Evaluation for Text-to-Speech, 2025).
| Metrik | Nilai | Sumber |
|---|---|---|
| Persetujuan ITU-T P.800 | Agustus 1996 (berlaku) | ITU-T |
| Terminologi MOS ITU-T P.800.1, versi terbaru | Juli 2016 | ITU-T |
| Pengujian crowdsourcing ITU-T P.808 | Juni 2018, direvisi Juni 2021 | ITU-T |
| Makalah yang melaporkan label skala, kenaikan skala, atau instruksi | Minoritas (Interspeech dan SSW 2021-2022) | Kirkland dkk., SSW 2023 |
| Ujaran LibriSpeech test-clean yang digunakan: VALL-E / NaturalSpeech 3 / F5-TTS | 1.234 / 40 / 1.127 | Yang dkk., 2025 |
| WER MaskGCT pada 40 berbanding 1.234 ujaran | 2,63% berbanding 4,22% | Yang dkk., 2025 |
| Kemiripan pembicara dengan berbanding tanpa cuplikan disertakan | 0,905 berbanding 0,754 | Yang dkk., 2025 |
| Panel MOS CosyVoice 3 | 200 kalimat, 10 penilai penutur asli, langkah 0,5 poin | Alibaba, CosyVoice 3 2025 |
Karena pengujian oleh manusia lambat dan tidak konsisten, bidang ini membangun prediktor MOS otomatis. VoiceMOS Challenge pertama pada 2022 menarik 22 tim untuk memprediksi penilaian manusia bagi 187 sistem TTS dan konversi suara yang mencakup lebih dari satu dekade penelitian (VoiceMOS Challenge 2022), dan model ucapan self-supervised yang disetel ulang terbukti paling efektif. Partisipasi sejak itu menyusut menjadi 10 tim pada 2023 dan 8 pada 2024, yang trek pertamanya berfokus pada sintesis berkualitas tinggi yang diperbesar, tempat para prediktor paling kesulitan.
| Metrik | Nilai | Sumber |
|---|---|---|
| Tim / sistem trek utama VoiceMOS 2022 | 22 / 187 | Huang dkk., VoiceMOS Challenge 2022 |
| Tim VoiceMOS 2023 | 10 dari 7 negara | VoiceMOS Challenge 2023 (ASRU 2023) |
| Tim VoiceMOS 2024 | 8 | Huang dkk., VoiceMOS Challenge 2024 |
| Set pelatihan / uji MOS-Bench | 8 / 17 | MOS-Bench 2024 (direvisi 2026) |
| UTMOS NaturalSpeech 3 berbanding rekaman acuan | 4,30 berbanding 4,14 | Microsoft, NaturalSpeech 3 2024 |
Catatan konteks: skor otomatis seperti UTMOS kini rutin menilai ucapan sintetis di atas rekaman asli, seperti yang ditunjukkan tabel NaturalSpeech 3, yang menjadi alasan untuk memperlakukannya sebagai alat penyaring, bukan sebagai bukti kealamian.
6. Apakah Pendengar Masih Bisa Membedakan? Studi Persepsi
Kesetaraan pada skala penilaian adalah satu hal; mengelabui pendengar yang ditanya secara langsung adalah hal lain. Dalam studi Queen Mary University of London 2025, 58% klon suara dan 41% suara AI generik dinilai sebagai manusia, sementara suara manusia asli dikenali sebagai manusia 62% hingga 81% dari waktu tergantung eksperimennya (Lavan dkk., PLOS ONE 2025). Klon dibuat dari sekitar 4 menit rekaman per pembicara dengan perangkat yang tersedia secara komersial. Para penulis memberi judul makalah itu ‘realistis tetapi belum (sampai sekarang) hiperrealistis’: klon tidak mengalahkan suara asli secara keseluruhan, tetapi cukup dekat sehingga penilaian satu pendengar mana pun tidak dapat diandalkan.
Kesan sosial adalah temuan yang kurang dibicarakan. Suara AI generik dinilai lebih dominan daripada suara manusia (58,1 berbanding 40,4 pada skala 0-100) dan sedikit lebih tepercaya (57,9 berbanding 53,8). Bagi siapa pun yang membuat narasi sintetis atau memakai generator suara AI, itu berarti pendengar merespons suara-suara ini sebagai manusia, yang menaikkan taruhan pengungkapan.
| Metrik | Nilai | Sumber |
|---|---|---|
| Klon suara yang dinilai sebagai manusia | 58% | Lavan dkk., PLOS ONE 2025 |
| Suara AI generik yang dinilai sebagai manusia | 41% | Lavan dkk., PLOS ONE 2025 |
| Suara manusia asli yang dinilai sebagai manusia | 62% hingga 81% (menurut eksperimen) | Lavan dkk., PLOS ONE 2025 |
| Durasi rekaman yang digunakan per klon suara | Sekitar 4 menit | Lavan dkk., PLOS ONE 2025 |
| Peserta per eksperimen / suara per eksperimen | 50 / 80 | Lavan dkk., PLOS ONE 2025 |
| Penilaian dominasi, suara AI generik berbanding suara manusia | 58,1 berbanding 40,4 | Lavan dkk., PLOS ONE 2025 |
| Penilaian keterpercayaan, suara AI generik berbanding suara manusia | 57,9 berbanding 53,8 | Lavan dkk., PLOS ONE 2025 |
Data deteksi yang lebih lama menunjuk ke arah yang sama. Studi 2023 terhadap 529 peserta menemukan bahwa pendengar mengidentifikasi deepfake ucapan dengan benar hanya 73% dari waktu, dengan penutur bahasa Inggris dan Mandarin menunjukkan kinerja yang kurang lebih sama, dan menunjukkan lima contoh deepfake sebelumnya hanya menaikkan akurasi sebesar 3,84% (Mai dkk., PLOS ONE 2023). Statistik akurasi deteksi deepfake audio kami melacak perbandingannya dengan detektor mesin.
| Metrik | Nilai | Sumber |
|---|---|---|
| Peserta | 529 | Mai dkk., PLOS ONE 2023 |
| Deepfake yang diidentifikasi dengan benar, klip tunggal | 73% | Mai dkk., PLOS ONE 2023 |
| Klip asli yang diidentifikasi dengan benar, klip tunggal | 67,78% | Mai dkk., PLOS ONE 2023 |
| Deepfake yang dikenali saat dipasangkan dengan klip asli | 85,59% | Mai dkk., PLOS ONE 2023 |
| Peningkatan akurasi dari 5 contoh pelatihan | 3,84% | Mai dkk., PLOS ONE 2023 |
7. Arena Preferensi dan Pasar di Balik Skor
Dengan MOS laboratorium yang jenuh, peringkat bergeser ke preferensi berpasangan secara buta. Hugging Face meluncurkan TTS Arena pada 27 Februari 2024 dengan enam model, meminta pengguna memilih yang lebih alami dari dua sampel anonim dan memeringkat hasil dengan sistem gaya Elo (Hugging Face, peluncuran TTS Arena). Pada papan peringkat Artificial Analysis Speech Arena yang dibaca pada 3 Oktober 2026, Eleven v4 milik ElevenLabs memimpin di 1321 Elo, tetapi dengan interval plus minus 189 yang tumpang tindih dengan setiap model 10 besar lainnya (papan peringkat TTS Artificial Analysis). Jika dibaca secara jujur, lapisan teratas adalah seri statistik antara setidaknya enam penyedia.
Jawaban Hugging Face sendiri atas lambatnya pengumpulan suara, Open TTS Leaderboard yang diluncurkan pada 30 September 2026, mengganti suara manusia dengan metrik objektif (WER, kemiripan pembicara, kecepatan) dan menyatakan bahwa mengevaluasi satu model turun dari beberapa minggu menjadi beberapa jam, di Hub yang kini menampung lebih dari 8.000 model TTS (Hugging Face, Open TTS Leaderboard).
| Metrik | Nilai | Sumber |
|---|---|---|
| Model TTS Arena saat peluncuran (Februari 2024) | 6 | Hugging Face, Februari 2024 |
| Model Speech Arena peringkat 1: Eleven v4 (ElevenLabs) | 1321 Elo (± 189), 1.930 sampel | Artificial Analysis, Oktober 2026 |
| Peringkat 2: Qwen-Audio-3.1-TTS-Plus (Alibaba) | 1292 Elo (± 189) | Artificial Analysis, Oktober 2026 |
| Peringkat 3 / 4: Sonic 3.6 (Cartesia) / Gemini 3.8 Flash TTS (Google) | 1278 / 1275 Elo | Artificial Analysis, Oktober 2026 |
| Peringkat 10: Breeze TTS 2 (BreezeBlue) | 1216 Elo | Artificial Analysis, Oktober 2026 |
| Model TTS yang dihosting di Hugging Face Hub | Lebih dari 8.000 | Hugging Face, September 2026 |
Taruhan komersial menjelaskan perlombaan ini. Suara neural dan AI sudah memegang 67,18% pangsa pendapatan pasar teks-ke-suara, yang diperkirakan Mordor Intelligence sebesar USD 4,36 miliar pada 2026 dan naik menjadi USD 7,92 miliar pada 2031 (Mordor Intelligence, Text to Speech Market). Research and Markets menempatkan basis 2023 pada USD 3,8 miliar dengan perkiraan USD 9,3 miliar pada 2030 (siaran pers GlobeNewswire, Desember 2024).
| Metrik | Nilai | Sumber |
|---|---|---|
| Ukuran pasar TTS, 2025 / 2026 | USD 3,87 miliar / USD 4,36 miliar | Mordor Intelligence, 2026 |
| Perkiraan pasar TTS, 2031 | USD 7,92 miliar (CAGR 12,66%) | Mordor Intelligence, 2026 |
| Pangsa pendapatan suara neural / AI | 67,18% (CAGR 15,08%) | Mordor Intelligence, 2026 |
| Pangsa Amerika Utara, 2025 | 36,78% | Mordor Intelligence, 2026 |
| Pasar TTS, 2023 hingga 2030 | USD 3,8 miliar hingga USD 9,3 miliar (CAGR 13,4%) | Research and Markets, Desember 2024 |
| Perkiraan pasar TTS Tiongkok, 2030 | USD 2,3 miliar (CAGR 17,5%) | Research and Markets, Desember 2024 |
Ringkasan: MOS Ucapan Sintetis dalam Angka
| Metrik | Nilai | Sumber |
|---|---|---|
| MOS Tacotron 2 berbanding rekaman profesional | 4,53 berbanding 4,58 | Google, 2017 |
| Pengurangan kesenjangan WaveNet dengan ucapan manusia | Lebih dari 50% | DeepMind, 2016 |
| Rentang MOS ucapan manusia di makalah penting | 4,30 hingga 4,58 | Google, DeepMind, Kakao, Microsoft, 2016-2021 |
| MOS VITS berbanding rekaman acuan, VCTK | 4,38 berbanding 4,38 | Kakao Enterprise, 2021 |
| CMOS NaturalSpeech berbanding rekaman | -0,01 (tidak signifikan) | Microsoft Research, 2022 |
| CMOS VALL-E 2 terhadap rekaman acuan, LibriSpeech | +0,033 | Microsoft, 2024 |
| SMOS VALL-E 2 terhadap rekaman acuan | 4,61 berbanding 4,13 | Microsoft, 2024 |
| CMOS MaskGCT terhadap rekaman acuan | +0,10 | MaskGCT, 2024 |
| CMOS Seed-TTS terhadap manusia, bahasa Inggris | -0,07 | ByteDance, 2024 |
| WER CosyVoice 3 berbanding manusia, bahasa Inggris | 1,45% berbanding 2,14% | Alibaba, 2025 |
| Data pelatihan CosyVoice 3 | 1 juta jam | Alibaba, 2025 |
| Sistem Blizzard 2023 yang setara ucapan alami pada MOS | 2 (pertama kali) | Ringkasan Blizzard Challenge 2023, 2024 |
| MuLanTTS berbanding rekaman alami, Blizzard 2023 Hub | 4,3 berbanding 4,4 | Microsoft, 2023 |
| Makalah dengan pelaporan metode MOS lengkap | Minoritas | Kirkland dkk., SSW 2023 |
| Sistem / tim VoiceMOS 2022 | 187 / 22 | VoiceMOS Challenge 2022 |
| Klon suara yang dinilai sebagai manusia | 58% | Lavan dkk., PLOS ONE 2025 |
| Deepfake yang diidentifikasi dengan benar oleh pendengar | 73% | Mai dkk., PLOS ONE 2023 |
| Elo tertinggi Speech Arena | 1321 (± 189) | Artificial Analysis, Oktober 2026 |
| Pangsa suara neural / AI dalam pendapatan TTS | 67,18% | Mordor Intelligence, 2026 |
| Pasar TTS, 2026 | USD 4,36 miliar | Mordor Intelligence, 2026 |
Metodologi dan Sumber
Setiap angka MOS, CMOS, dan SMOS di atas berasal dari makalah atau laporan kompetisi yang menjalankan uji mendengarkan, dibaca dari abstrak arXiv atau tabel teks lengkap. Jika sebuah makalah hanya menampilkan hasil dalam grafik (misalnya batang MOS CosyVoice 3), kami memakai kesimpulan teks dan membuang nilai perkiraannya. Klaim kesetaraan yang dilaporkan sendiri oleh pengembang model diberi label nama pengembangnya agar pembaca dapat menimbangnya terhadap pengujian independen seperti Blizzard Challenge.
- DeepMind: pengumuman WaveNet (September 2016) dan makalah WaveNet
- Google: makalah Tacotron 2 (Desember 2017)
- Microsoft dan Universitas Zhejiang: FastSpeech 2 (2020)
- Kakao Enterprise: VITS (Juni 2021)
- Microsoft Research: NaturalSpeech (Mei 2022), NaturalSpeech 3 (Maret 2024), VALL-E (Januari 2023), VALL-E 2 (Juni 2024), MuLanTTS (September 2023), DelightfulTTS (Oktober 2021)
- ByteDance: Seed-TTS (Juni 2024)
- MaskGCT (September 2024) dan F5-TTS (Oktober 2024)
- Alibaba: CosyVoice 3 (Mei 2025)
- Blizzard Challenge: The Blizzard Challenge 2023 (ISCA), Refining the evaluation of speech synthesis, Computer Speech and Language (2024), The Blizzard Challenge 2025
- ITU-T: P.800, P.800.1, P.808
- Kirkland dkk.: Stuck in the MOS pit, SSW 2023
- Yang dkk.: Towards Responsible Evaluation for Text-to-Speech (Oktober 2025)
- VoiceMOS Challenge: 2022, 2023, 2024; MOS-Bench
- Lavan dkk.: Voice clones sound realistic but not (yet) hyperrealistic, PLOS ONE (September 2025)
- Mai dkk.: Warning: Humans cannot reliably detect speech deepfakes, PLOS ONE (Agustus 2023)
- Hugging Face: peluncuran TTS Arena (Februari 2024), Open TTS Leaderboard (September 2026)
- Artificial Analysis: papan peringkat teks-ke-suara (dibaca 3 Oktober 2026)
- Mordor Intelligence: Text to Speech Market; Research and Markets melalui GlobeNewswire (Desember 2024)
- Catatan data: nilai MOS, CMOS, dan SMOS tidak dapat dibandingkan antarmakalah karena kelompok pendengar, skala, dan instruksinya berbeda; skala CMOS juga berbeda (F5-TTS memakai -3 hingga +3). Sebagian besar klaim kesetaraan di bagian 2 dan 3 berasal dari pengujian pengembang sendiri dengan panel kecil (misalnya 12 penilai untuk CMOS VALL-E dan 20 untuk VALL-E 2), dan hasil WaveNet, Tacotron 2, FastSpeech 2, dan VITS berusia lebih dari tiga tahun, ditampilkan sebagai data terbaru yang tersedia untuk tolok ukur tersebut. Temuan Blizzard 2023 tentang kesetaraan statistik dan MUSHRA berasal dari abstrak ringkasan yang diterbitkan penyelenggara. Skor Elo Artificial Analysis berubah setiap hari seiring masuknya suara dan interval kepercayaannya tumpang tindih di seluruh 10 besar. Perkiraan ukuran pasar saling bertentangan: Mordor Intelligence menempatkan 2025 pada USD 3,87 miliar dengan CAGR 12,66% hingga 2031, sedangkan Research and Markets memproyeksikan USD 9,3 miliar pada 2030 dengan CAGR 13,4% dari basis 2023 sebesar USD 3,8 miliar; perbedaan itu mencerminkan definisi cakupan yang berbeda. Hasil lengkap uji mendengarkan Blizzard 2025 dan VoiceMOS Challenge berikutnya adalah data baru utama yang dinantikan.
Terakhir diperbarui: 3 Oktober 2026. Kami memperbarui rangkuman ini setiap kuartal, dan pembaruan berikutnya diperkirakan terjadi ketika hasil VoiceMOS Challenge berikutnya dan analisis lengkap uji mendengarkan Blizzard Challenge 2025 dipublikasikan.