Tiga detik ucapan dari orang asing adalah kondisi uji standar untuk riset kloning suara zero-shot, rancangan yang melandasi VALL-E sekaligus Voicebox. Pada uji itu, Voicebox menaikkan kemiripan penutur dari 0,580 milik VALL-E menjadi 0,681 pada LibriSpeech, dan NaturalSpeech 3 kemudian melaporkan 0,67 dibandingkan 0,68 untuk rekaman asli pada pengujiannya sendiri atas dataset yang sama. Pendengar bukan benteng yang andal: dalam studi Scientific Reports 2025, orang menilai klon AI sebagai penutur asli dalam sekitar 80% percobaan. Untuk gambaran komersial dan pasar, lihat statistik kloning suara kami yang lebih luas; rangkuman ini hanya berfokus pada satu pertanyaan: berapa banyak audio referensi yang dibutuhkan kloning dan apa yang didapat dari setiap detik tambahan. Kami menghimpun data dari Microsoft Research, Meta, ByteDance, Barcelona Supercomputing Center, Komisi Perdagangan Federal AS, Consumer Reports, McAfee, Starling Bank, serta makalah yang ditelaah sejawat dan makalah arXiv dari ICML, NeurIPS, ICLR, dan Scientific Reports.
TL;DR
- Voicebox diuji dengan 3,0 detik audio prompt dan menyamai kemiripan penutur VALL-E dengan sekitar dua pertiga audio masukan (Meta, makalah Voicebox, NeurIPS 2023).
- Pada VCTK, kemiripan VALL-E 2 naik dari 0,447 pada 3 detik menjadi 0,558 pada 10 detik, sementara tingkat kesalahan kata naik dari 0,9% menjadi 3,3% (Microsoft Research, makalah VALL-E 2 2024).
- Memangkas rata-rata prompt dari 7,7 menjadi 5,5 detik menurunkan kemiripan F5-TTS dari 0,35 menjadi 0,24 pada ucapan dunia nyata (Barcelona Supercomputing Center, kiriman WildSpoof 2026).
- XTTS-v2 mencapai kloning berfidelitas tinggi dengan 6 hingga 10 detik audio referensi, dengan hasil yang menurun setelah 20 detik (Zhu, tesis University of Groningen 2025).
- Model zero-shot dengan prompt 300 detik meraih kemiripan 0,932, dibandingkan 0,934 untuk garis dasar hasil penyetelan halus pada 300 detik (Jiang dkk., Mega-TTS 2, ICLR 2024).
- Penyetelan halus pada 20 detik ucapan bahasa Portugis menaikkan penilaian kemiripan oleh manusia dari 2,77 menjadi 4,43 (Casanova dkk., YourTTS, ICML 2022).
- Pendengar menilai suara AI sebagai orang yang sama dengan penutur asli dalam sekitar 80% percobaan (Barrington, Cooper, dan Farid, Scientific Reports 2025).
- Peneliti McAfee melaporkan perkiraan kecocokan suara 85% dari tiga hingga empat detik audio, pengukuran dari vendor (McAfee, Beware the Artificial Impostor 2023).
- 28% orang dewasa di Inggris mengaku menjadi sasaran penipuan kloning suara AI dalam setahun terakhir (survei Starling Bank dan Mortar Research 2024).
- Empat dari enam produk kloning suara tidak mengambil langkah dasar untuk menghentikan kloning tanpa izin (Consumer Reports, penilaian kloning suara 2025).
1. Uji 3 Detik: Berapa Banyak Audio yang Diberikan kepada Sistem Zero-Shot
“Zero-shot” berarti sistem tidak pernah dilatih pada penutur target: sistem mendengar klip referensi pendek, yang disebut “prompt”, saat proses pembangkitan dan langsung menirunya. VALL-E dan Voicebox sama-sama dievaluasi dengan prompt hanya 3 detik, dan pilihan itu lebih menunjukkan ambisi daripada batasan. Makalah-makalah ini tidak mempertanyakan apakah suara bisa ditiru dari beberapa detik saja. Mereka bersaing dalam seberapa baik tiruannya.
Persyaratan produk lebih panjang. OpenAI menjelaskan Voice Engine bekerja dari “satu sampel audio 15 detik” (tulisan OpenAI tentang suara sintetis 2024), dan dokumentasi ElevenLabs merekomendasikan satu hingga dua menit. Itu adalah pengaturan produk, bukan ambang batas hasil pengukuran.
| Metrik | Nilai | Sumber |
|---|---|---|
| Panjang prompt dan data pelatihan VALL-E pada penutur LibriSpeech yang belum pernah dilihat | 3 detik; 60K jam ucapan bahasa Inggris, lebih dari 7.000 penutur | Microsoft Research, makalah VALL-E 2023 |
| Audio prompt yang dipakai untuk uji zero-shot bahasa Inggris Voicebox | 3,0 detik | Meta, makalah Voicebox (NeurIPS 2023) |
| Panjang klip referensi yang dipakai untuk mengevaluasi XTTS | Satu segmen berdurasi 3 hingga 8 detik | Casanova dkk., makalah XTTS (INTERSPEECH 2024) |
| Rentang panjang ujaran referensi pada set uji Seed-TTS | 3 hingga 20 detik | ByteDance, makalah Seed-TTS 2024 |
| Sampel audio yang menjadi dasar kerja OpenAI Voice Engine | Satu sampel berdurasi 15 detik | OpenAI, tulisan tentang suara sintetis 2024 |
| Audio minimum dan yang direkomendasikan untuk kloning instan ElevenLabs | Total minimal 10 detik, 1 hingga 2 menit direkomendasikan (panduan vendor itu sendiri) | ElevenLabs, dokumentasi Instant Voice Cloning 2026 |
Jika Anda membandingkan perangkat lunak kloning suara untuk desktop, bagian 2 dan 3 menunjukkan apa yang diubah oleh detik-detik tersebut.
2. Bagaimana Kemiripan Penutur Berskala dari 3 hingga 10 Detik
Kemiripan penutur (SIM, atau SECS) adalah kemiripan kosinus antara dua “sidik jari” penutur yang dihitung oleh jaringan pengenalan penutur, dengan nilai lebih tinggi berarti lebih dekat. Dua rekaman asli dari orang yang sama mendapat skor jauh di bawah 1,0, sehingga angka ucapan asli di bawah ini menjadi titik acuan untuk membaca hasilnya. Beralih dari prompt 3 detik ke prompt 10 detik mengangkat kemiripan VALL-E 2 pada dataset VCTK dari 0,447 menjadi 0,558, kenaikan sebesar 0,111 (0,558 dikurangi 0,447), yang merupakan kurva terbitan paling jelas untuk pertanyaan ini (makalah VALL-E 2 2024).
Kurva ini melengkung di titik yang berbeda pada sistem yang berbeda. Tim Voicebox dari Meta melaporkan bahwa kemiripan “tumbuh cepat dan mendatar dengan prompt audio yang lebih panjang” (makalah Voicebox), dan tesis 2025 tentang XTTS-v2 menempatkan titik jenuhnya sekitar 10 hingga 20 detik (Zhu, University of Groningen). Dari ketiga makalah ini, sepuluh detik pertama yang paling banyak berperan, meskipun VALL-E 2 masih membaik pada detik kesepuluh.
| Metrik | Nilai | Sumber |
|---|---|---|
| Kemiripan VALL-E pada VCTK (108 penutur) dengan prompt 3, 5, dan 10 detik | 0,382; 0,423; 0,484 (rekaman asli: 0,546; 0,591; 0,620) | Microsoft Research, makalah VALL-E 2023 |
| Kemiripan VALL-E 2 (ukuran grup 1) pada VCTK dengan prompt 3, 5, dan 10 detik | Sampel tunggal: 0,447; 0,487; 0,558; terbaik dari lima sampel: 0,508; 0,552; 0,620 (rekaman asli: 0,623; 0,679; 0,709) | Microsoft Research, makalah VALL-E 2 2024 |
| Porsi audio masukan yang dibutuhkan Voicebox untuk menyamai kemiripan penutur VALL-E | Sekitar dua pertiga | Meta, makalah Voicebox (NeurIPS 2023) |
| Kemiripan F5-TTS dengan prompt panjang (rata-rata 7,7 dtk) dan pendek (rata-rata 5,5 dtk) pada ucapan dunia nyata | 0,35 dan 0,24 | Barcelona Supercomputing Center, kiriman WildSpoof TTS 2026 |
| Kemiripan StyleTTS2 dengan prompt panjang (rata-rata 7,7 dtk) dan pendek (rata-rata 5,5 dtk) | 0,19 dan 0,14 | Barcelona Supercomputing Center, kiriman WildSpoof TTS 2026 |
| Panjang referensi saat XTTS-v2 mencapai kloning berfidelitas tinggi (diuji 1, 3, 6, 10, 20, dan 40 detik) | 6 hingga 10 detik, dengan hasil menurun setelah 20 detik | Zhu, tesis magister University of Groningen 2025 |
Catatan pencilan: kiriman Barcelona Supercomputing Center adalah satu-satunya hasil 2026 di sini dan memakai dataset TTS In the Wild. Prompt yang rata-rata lebih pendek 2,2 detik (7,7 dikurangi 5,5) membuat F5-TTS kehilangan 0,11 kemiripan (0,35 dikurangi 0,24). Itu setara dengan besarnya penurunan VALL-E 2 pada selisih 7 detik di VCTK, petunjuk bahwa prompt pendek mungkin lebih merugikan pada audio sehari-hari, meskipun kedua uji tersebut tidak dapat dibandingkan secara langsung.
3. Kejelasan Ucapan Tidak Selalu Membaik dengan Prompt yang Lebih Panjang
Tingkat kesalahan kata (WER) mengukur kejelasan ucapan: pengenal ucapan menuliskan transkrip audio hasil kloning dan porsi kata yang salah dihitung, sehingga nilai lebih rendah lebih baik. WER VALL-E 2 pada VCTK naik dari 0,9% dengan prompt 3 detik menjadi 3,3% dengan prompt 10 detik, arah yang berlawanan dengan kenaikan kemiripannya. Penilai manusia sepakat: pada uji yang sama, penilaian kemiripan turun seiring prompt yang makin panjang, sementara penilaian untuk rekaman asli naik.
Tidak ada jaminan bahwa audio prompt yang lebih banyak membantu. Mega-TTS 2, yang dirancang untuk prompt multikalimat, terus membaik hingga 300 detik, sementara VALL-E yang diukur dalam makalah yang sama gagal pada 20 detik (makalah Mega-TTS 2). Prompt yang sangat pendek membawa risiko kejelasan ucapannya sendiri: StyleTTS2 adalah sistem yang memburuk ketika promptnya dipangkas.
| Metrik | Nilai | Sumber |
|---|---|---|
| VALL-E 2 (ukuran grup 1) pada VCTK dengan prompt 3, 5, dan 10 detik: tingkat kesalahan kata dan penilaian kemiripan oleh manusia (SMOS, makin tinggi makin baik) | WER 0,9%; 1,9%; 3,3%; SMOS 4,42±0,15; 4,28±0,16; 3,95±0,10 (rekaman asli 4,47±0,13; 4,53±0,14; 4,74±0,17) | Microsoft Research, makalah VALL-E 2 2024 |
| VALL-E pada LibriSpeech dengan prompt 3, 10, dan 20 detik, seperti diukur oleh penulis Mega-TTS 2 | WER 5,83%; 5,54%; 8,77%; kemiripan 0,885; 0,893; 0,805 | Jiang dkk., Mega-TTS 2 (ICLR 2024) |
| Tingkat kesalahan kata Mega-TTS 2 dengan prompt 3, 10, 60, dan 300 detik | 2,46%; 2,28%; 2,24%; 2,23% | Jiang dkk., Mega-TTS 2 (ICLR 2024) |
| Tingkat kesalahan kata StyleTTS2 dengan prompt panjang (7,7 dtk) dan pendek (5,5 dtk) | 0,21 dan 0,49 (F5-TTS tidak berubah di 0,07) | Barcelona Supercomputing Center, kiriman WildSpoof TTS 2026 |
| Tren Voicebox saat bahasa prompt dan bahasa target berbeda, seiring prompt makin panjang | Kemiripan membaik; WER naik pada sebagian besar arah bahasa | Meta, makalah Voicebox (NeurIPS 2023) |
Konteks: tren VALL-E 2 tidak sepenuhnya mulus. Pengaturan ukuran grup 2 mencatat WER 1,5%, 0,9%, dan 2,3% pada ketiga panjang yang sama. Penulis Voicebox mengaitkan kenaikan WER lintas bahasa dengan fakta bahwa bahasa Inggris menyusun lebih dari 90% data pelatihan.
4. Seberapa Dekat Klon Berprompt Pendek dengan Penutur Asli
Pada ucapan tolok ukur, sistem terbitan terbaik kini berada tepat di samping rekaman asli. NaturalSpeech 3 meraih kemiripan penutur 0,67 dibandingkan 0,68 untuk rekaman acuan, dan penilaian kemiripan oleh manusianya (4,01) lebih tinggi daripada rekaman asli yang bernilai 3,85 pada uji LibriSpeech yang sama (Microsoft Research, makalah NaturalSpeech 3 2024). Itu jauh dari 0,337 yang diraih YourTTS pada baris pertama di bawah.
Skor ucapan asli menjadi tanda bahwa ini adalah kondisi laboratorium: nilainya berkisar dari 0,68 hingga 0,8952 antar makalah, sehingga setiap sistem harus dibaca terhadap rekaman acuannya sendiri, seperti pada tabel. Makalah F5-TTS berada dalam selisih 0,03 dari ucapan asli pada ujinya sendiri (0,69 dikurangi 0,66).
| Metrik | Nilai | Sumber |
|---|---|---|
| LibriSpeech, prompt 3 detik: YourTTS, VALL-E, dan Voicebox | Kemiripan 0,337; 0,580; 0,681 (ucapan asli 0,754); WER 7,7%; 5,9%; 1,9% (ucapan asli 2,2%) | Meta, makalah Voicebox (NeurIPS 2023) |
| NaturalSpeech 3 dan rekaman asli pada LibriSpeech: kemiripan dan WER | 0,67 dan 1,81%; rekaman asli 0,68 dan 1,94% | Microsoft Research, makalah NaturalSpeech 3 2024 |
| Kemiripan bahasa Inggris Seed-TTS dan rekaman manusia, serta penilaian komparatif (CMOS) terhadap manusia | 0,762 dan 0,730; CMOS -0,07 | ByteDance, makalah Seed-TTS 2024 |
| F5-TTS dan ucapan asli pada 1.127 sampel LibriSpeech-PC berdurasi 4 hingga 10 detik: kemiripan dan WER | 0,66 dan 2,42%; ucapan asli 0,69 dan 2,23% | Chen dkk., makalah F5-TTS 2024 |
| Kemiripan bahasa Inggris MiniMax-Speech: embedding penutur saja dan prompt dengan teks berpasangan | 0,692 dan 0,738 (rekaman acuan 0,730) | Zhang dkk., makalah MiniMax-Speech 2025 |
| Kemiripan bahasa Inggris XTTS dan ucapan asli | 0,6423 dan 0,8952 | Casanova dkk., makalah XTTS (INTERSPEECH 2024) |
Catatan pencilan: Seed-TTS dan pengaturan MiniMax-Speech dengan teks berpasangan mendapat skor di atas rekaman aslinya sendiri. Penulis Seed-TTS menjelaskan bahwa rekaman acuan dan klip referensi dari satu penutur masih bisa berbeda dalam gaya bicara dan lingkungan latar belakang, sehingga model yang mengikuti referensi dengan ketat bisa mengungguli rekaman asli kedua. Itu bukan bukti adanya klon yang lebih baik daripada manusia.
5. Kloning Zero-Shot Dibandingkan Penyetelan Halus: Selisih yang Diukur dalam Detik dan Menit
Penyetelan halus (fine-tuning) berarti memperbarui bobot model pada audio penutur target, jalur yang lebih lama dan lebih lambat menuju suara kustom. Dengan 300 detik suara target, prompt zero-shot mencapai kemiripan 0,932 dibandingkan 0,934 untuk garis dasar hasil penyetelan halus, dengan kesalahan kata yang lebih sedikit (2,23% berbanding 3,11%) (Jiang dkk., Mega-TTS 2, ICLR 2024). Catatannya penting: kedua sistem adalah milik penulis sendiri, dan garis dasarnya adalah FastSpeech 2 yang disetel halus selama 2.000 langkah, bukan sistem hasil penyetelan halus terkuat yang tersedia.
Penyetelan halus masih sepadan dengan biayanya ketika suatu suara jauh dari data pelatihan. YourTTS dilatih pada satu penutur bahasa Portugis, dan penyetelan halus pada 20 hingga 31 detik mengangkat penilaian kemiripan pendengar untuk suara bahasa Portugis baru, meskipun penilaian kualitas keseluruhan sedikit turun (makalah YourTTS). XTTS memperoleh tambahan kemiripan 0,1314 (0,7166 dikurangi 0,5852) dari sekitar 10 menit per penutur pada kloning lintas bahasa.
| Metrik | Nilai | Sumber |
|---|---|---|
| Kemiripan garis dasar hasil penyetelan halus dengan 10, 60, dan 300 detik audio target | 0,895; 0,923; 0,934 | Jiang dkk., Mega-TTS 2 (ICLR 2024) |
| Kemiripan Mega-TTS 2 zero-shot dengan prompt 3, 10, 60, dan 300 detik | 0,898; 0,905; 0,926; 0,932 | Jiang dkk., Mega-TTS 2 (ICLR 2024) |
| YourTTS, penutur perempuan bahasa Portugis dengan 20 detik ucapan, zero-shot dan hasil penyetelan halus | Kemiripan 0,743 dan 0,930; Sim-MOS 2,77±0,15 dan 4,43±0,06; MOS 3,59±0,13 dan 3,48±0,13 | Casanova dkk., YourTTS (ICML 2022) |
| YourTTS, penutur laki-laki bahasa Inggris dengan 61 detik ucapan, zero-shot dan hasil penyetelan halus | Kemiripan 0,851 dan 0,880 (ucapan asli 0,875) | Casanova dkk., YourTTS (ICML 2022) |
| Kemiripan lintas bahasa XTTS sebelum dan sesudah penyetelan halus dengan sekitar 10 menit per penutur | 0,5852 dan 0,7166 | Casanova dkk., makalah XTTS (INTERSPEECH 2024) |
| Seed-TTS dengan prompt 20 detik dan hasil penyetelan halus pada 1 hingga 10 jam per penutur: kemiripan dan WER | 0,779 dan 3,15; hasil penyetelan halus 0,789 dan 2,83 (CMOS +0,37 untuk hasil penyetelan halus) | ByteDance, makalah Seed-TTS 2024 |
| Audio yang direkomendasikan untuk ElevenLabs Professional Voice Cloning (tingkat hasil penyetelan halusnya) | 30 hingga 180 menit (panduan vendor itu sendiri) | ElevenLabs, dokumentasi kloning suara 2026 |
Data terbaru yang tersedia untuk uji penyetelan halus YourTTS: Casanova dkk., ICML 2022. Uji ini hanya mencakup 4 penutur, jadi anggaplah sebagai ilustrasi efek bahasa dan bukan estimasi populasi.
6. Sisi Keamanan: Prompt Pendek dan Penipuan
Angka-angka riset punya padanan langsung bagi konsumen: video publik adalah bahan prompt. Pendengar menilai suara AI sebagai identitas yang sama dengan padanan aslinya dalam sekitar 80% percobaan dan hanya mengenali suara AI dalam sekitar 60% percobaan, di antara 604 peserta dalam studi yang klip aslinya rata-rata berdurasi 5,37 detik (Barrington, Cooper, dan Farid, Scientific Reports 2025). Klon tersebut berasal dari layanan kloning instan komersial yang diberi dua prompt rekaman pertama dari masing-masing 220 penutur.
Frasa “tiga detik” dalam peringatan penipuan bersandar pada pernyataan perusahaan. Angka McAfee adalah tolok ukurnya sendiri dan, untuk sumber itu, merupakan data terbaru yang tersedia (McAfee, 2023). Starling Bank mengulang klaim itu pada 2024 bersama surveinya (Starling Bank, kampanye Safe Phrases 2024). Tulisan kami tentang penipuan keluarga dengan kloning suara membahas penipuannya sendiri.
| Metrik | Nilai | Sumber |
|---|---|---|
| Persentase percobaan saat pendengar menilai suara AI sebagai orang yang sama dengan penutur asli | Sekitar 80% | Barrington, Cooper, dan Farid, Scientific Reports 2025 |
| Persentase percobaan saat pendengar dengan benar mengenali suatu suara sebagai buatan AI | Sekitar 60% | Barrington, Cooper, dan Farid, Scientific Reports 2025 |
| Audio yang dibutuhkan peneliti McAfee untuk kecocokan suara yang diperkirakan 85% dengan alat gratis | Tiga hingga empat detik (sekitar 95% dengan upaya lebih besar; tolok ukur vendor itu sendiri) | McAfee, Beware the Artificial Impostor 2023 |
| Orang dewasa yang membagikan suaranya secara daring minimal seminggu sekali | 53% (7.054 orang dewasa, 7 negara) | McAfee, Beware the Artificial Impostor 2023 |
| Orang dewasa yang tidak yakin bisa membedakan suara asli dari suara hasil kloning | 70% | McAfee, Beware the Artificial Impostor 2023 |
| Orang dewasa di Inggris yang mengaku menjadi sasaran penipuan kloning suara AI dalam setahun terakhir | 28% (3.010 orang dewasa) | Survei Starling Bank dan Mortar Research 2024 |
| Orang dewasa di Inggris yang akan mengirim uang yang diminta meskipun panggilan terasa aneh | 8% | Survei Starling Bank dan Mortar Research 2024 |
| Produk kloning suara yang dinilai dan tidak mengambil langkah dasar untuk menghentikan kloning tanpa izin | 4 dari 6 | Consumer Reports, penilaian kloning suara 2025 |
Konteks: angka 28% Starling mengukur apa yang orang katakan terjadi pada mereka, bukan insiden yang terkonfirmasi. Angka 85% dan 95% McAfee adalah estimasi perusahaan itu sendiri, dan kami tidak menemukan replikasi independen. Penilaian Consumer Reports mencakup Descript, ElevenLabs, Lovo, PlayHT, Resemble AI, dan Speechify.
7. Pengamanan, Deteksi, dan Keputusan Perilisan
Keputusan perilisan membelah bidang ini. Microsoft menyatakan “tidak ada rencana untuk memasukkan VALL-E 2 ke dalam produk atau memperluas akses ke publik” (halaman proyek VALL-E 2), dan OpenAI memilih untuk “mempratinjau tetapi tidak merilis secara luas” Voice Engine sambil mendesak bank menghentikan autentikasi berbasis suara secara bertahap. Sementara itu, penulis F5-TTS menyerukan adanya watermark dan model deteksi untuk risiko penyalahgunaan yang mereka sebutkan. FTC menganggap masalah ini cukup terbuka sehingga mendanai sebuah kompetisi (FTC, pemenang Voice Cloning Challenge 2024).
Hasil deteksi sangat bergantung pada pembandingnya. Pengklasifikasi Meta memisahkan keluaran Voicebox dari audio asli dengan sempurna, tetapi hanya meraih 0,704 terhadap ucapan asli yang dilewatkan melalui vokoder (perangkat lunak yang membangun ulang audio dari spektrumnya) pada tingkat penyamaran terendah. Untuk telaah lebih dalam tentang kinerja detektor, lihat statistik akurasi deteksi deepfake audio kami.
| Metrik | Nilai | Sumber |
|---|---|---|
| Total hadiah yang dibagi tiga pemenang FTC Voice Cloning Challenge | US$35.000 (diumumkan 8 April 2024) | Komisi Perdagangan Federal AS (FTC), Voice Cloning Challenge 2024 |
| Ukuran potongan audio yang diperiksa detektor klon real-time Pindrop yang diakui FTC | Potongan dua detik | Komisi Perdagangan Federal AS (FTC), Voice Cloning Challenge 2024 |
| Akurasi pengklasifikasi deteksi Voicebox terhadap audio asli, dan terhadap audio asli yang divokoder dengan penyamaran audio 30%, 50%, dan 90% | 1,000 terhadap audio asli; 0,704; 0,809; 0,907 terhadap audio yang divokoder | Meta, makalah Voicebox (NeurIPS 2023) |
| Kapan OpenAI pertama kali mengembangkan Voice Engine dan kapan mempublikasikan pratinjau terbatasnya | Akhir 2022 dan 29 Maret 2024 | OpenAI, tulisan tentang suara sintetis 2024 |
| Tim dalam tantangan ASVspoof 5, dan serangan tersulit pada kondisi terbuka Track 1 | 53 tim; YourTTS zero-shot yang sudah dilatih (minDCF 0,33) | Wang dkk., makalah evaluasi ASVspoof 5 2026 |
Konteks: minDCF adalah skor biaya deteksi, dengan nilai lebih tinggi berarti detektor semakin kesulitan. Model YourTTS yang sudah dilatih berada di puncak daftar kesulitan kondisi terbuka ASVspoof 5, yang mengisyaratkan bahwa serangan zero-shot tidak membutuhkan sistem mutakhir untuk menimbulkan masalah, meskipun makalah itu tidak merinci hasil ini menurut panjang prompt.
Ringkasan: Durasi Audio Referensi Kloning Suara Zero-Shot dalam Angka
| Metrik | Nilai | Sumber |
|---|---|---|
| Sampel audio yang menjadi dasar kerja OpenAI Voice Engine | 15 detik | OpenAI, tulisan tentang suara sintetis 2024 |
| VALL-E 2 pada VCTK, prompt 3 dan 10 detik (ukuran grup 1): kemiripan dan WER | 0,447 dan 0,558; 0,9% dan 3,3% | Microsoft Research, makalah VALL-E 2 2024 |
| Porsi audio masukan yang dibutuhkan Voicebox untuk menyamai kemiripan VALL-E | Sekitar dua pertiga | Meta, makalah Voicebox (NeurIPS 2023) |
| Kemiripan F5-TTS, prompt panjang (7,7 dtk) dan pendek (5,5 dtk) pada ucapan dunia nyata | 0,35 dan 0,24 | Barcelona Supercomputing Center, kiriman WildSpoof TTS 2026 |
| Tingkat kesalahan kata StyleTTS2, prompt panjang (7,7 dtk) dan pendek (5,5 dtk) | 0,21 dan 0,49 | Barcelona Supercomputing Center, kiriman WildSpoof TTS 2026 |
| Panjang referensi untuk kloning XTTS-v2 berfidelitas tinggi | 6 hingga 10 detik | Zhu, tesis University of Groningen 2025 |
| Kemiripan NaturalSpeech 3 dan rekaman asli | 0,67 dan 0,68 | Microsoft Research, makalah NaturalSpeech 3 2024 |
| Tingkat kesalahan kata F5-TTS dan ucapan asli | 2,42% dan 2,23% | Chen dkk., makalah F5-TTS 2024 |
| Kemiripan Mega-TTS 2 zero-shot dan garis dasar hasil penyetelan halus dengan 300 detik audio | 0,932 dan 0,934 | Jiang dkk., Mega-TTS 2 (ICLR 2024) |
| Penilaian kemiripan pendengar untuk YourTTS, zero-shot dan hasil penyetelan halus pada 20 detik | 2,77 dan 4,43 | Casanova dkk., YourTTS (ICML 2022) |
| Kemiripan lintas bahasa XTTS setelah sekitar 10 menit penyetelan halus | 0,5852 menjadi 0,7166 | Casanova dkk., makalah XTTS (INTERSPEECH 2024) |
| Pendengar yang menilai klon AI sebagai penutur asli | Sekitar 80% | Barrington, Cooper, dan Farid, Scientific Reports 2025 |
| Audio untuk kecocokan yang diperkirakan 85% (tolok ukur vendor) | Tiga hingga empat detik | McAfee, Beware the Artificial Impostor 2023 |
| Orang dewasa di Inggris yang mengaku menjadi sasaran penipuan kloning suara | 28% | Survei Starling Bank dan Mortar Research 2024 |
| Produk kloning suara yang tidak mengambil langkah dasar terhadap kloning tanpa izin | 4 dari 6 | Consumer Reports, penilaian kloning suara 2025 |
| Total hadiah untuk pemenang FTC Voice Cloning Challenge | US$35.000 | Komisi Perdagangan Federal AS (FTC), Voice Cloning Challenge 2024 |
Metodologi dan Sumber
- Neural Codec Language Models are Zero-Shot Text to Speech Synthesizers (VALL-E) (Microsoft Research, 2023): rancangan prompt 3 detik dan hasil VCTK menurut panjang prompt.
- VALL-E 2: Neural Codec Language Models are Human Parity Zero-Shot Text to Speech Synthesizers (Microsoft Research, 2024): kemiripan, WER, dan SMOS pada VCTK di 3, 5, dan 10 detik.
- Halaman proyek VALL-E 2 (Microsoft Research): pernyataan perilisan.
- NaturalSpeech 3: Zero-Shot Speech Synthesis with Factorized Codec and Diffusion Models (Microsoft Research dan rekan penulis universitas, 2024): perbandingan LibriSpeech.
- Voicebox: Text-Guided Multilingual Universal Speech Generation at Scale (Meta, NeurIPS 2023): analisis panjang prompt, tolok ukur bahasa Inggris, pengklasifikasi deteksi.
- YourTTS: Towards Zero-Shot Multi-Speaker TTS and Zero-Shot Voice Conversion for everyone (Casanova dkk., ICML 2022): adaptasi penutur zero-shot dan hasil penyetelan halus.
- XTTS: a Massively Multilingual Zero-Shot Text-to-Speech Model (Casanova dkk., INTERSPEECH 2024): panjang referensi, kemiripan bahasa Inggris, peningkatan dari penyetelan halus.
- Mega-TTS 2: Boosting Prompting Mechanisms for Zero-Shot Speech Synthesis (Jiang dkk., ByteDance dan Zhejiang University, ICLR 2024): prompt 3 hingga 300 detik dibandingkan garis dasar hasil penyetelan halus.
- Seed-TTS: A Family of High-Quality Versatile Speech Generation Models (ByteDance, 2024): zero-shot dibandingkan penyetelan halus penutur.
- F5-TTS: A Fairytaler that Fakes Fluent and Faithful Speech with Flow Matching (Chen dkk., 2024): tolok ukur LibriSpeech-PC.
- MiniMax-Speech: Intrinsic Zero-Shot Text-to-Speech with a Learnable Speaker Encoder (Zhang dkk., 2025): kloning dengan embedding penutur dibandingkan teks berpasangan.
- Zero-Shot TTS With Enhanced Audio Prompts: BSC submission for the 2026 WildSpoof challenge TTS track (Barcelona Supercomputing Center, 5 Februari 2026): prompt panjang dibandingkan pendek.
- Zero-Shot Voice Cloning with Minimal Data: Impact of Reference Duration on Long-Form Speech Synthesis (Zhu, University of Groningen, 2025): uji referensi 1 hingga 40 detik.
- People are poorly equipped to detect AI-powered voice clones (Barrington, Cooper, dan Farid, Scientific Reports, 2025).
- ASVspoof 5: Evaluation of Spoofing, Deepfake, and Adversarial Attack Detection Using Crowdsourced Speech (Wang dkk., 7 Januari 2026).
- FTC Announces Winners of Voice Cloning Challenge (Komisi Perdagangan Federal AS, 8 April 2024).
- Do These 6 AI Voice Cloning Companies Do Enough to Prevent Misuse? (Consumer Reports, 10 Maret 2025).
- Beware the Artificial Impostor (McAfee, Mei 2023; riset vendor).
- Kampanye Safe Phrases Starling Bank (Starling Bank dan Mortar Research, 18 September 2024).
- Tulisan OpenAI tentang tantangan dan peluang suara sintetis (OpenAI, 29 Maret 2024).
- Dokumentasi ElevenLabs Instant Voice Cloning (panduan vendor, dibaca pada Oktober 2026).
- Catatan data: skor kemiripan tidak dapat dibandingkan antar makalah, karena masing-masing memakai model pengenalan penutur, set uji, dan penilaiannya sendiri (ucapan asli pada LibriSpeech bernilai 0,754, 0,68, atau 0,69 tergantung makalahnya), sehingga bandingkan hanya dalam satu baris. Makalah Mega-TTS 2 melaporkan nilai kemiripan yang jauh lebih tinggi daripada yang lain, dengan VALL-E di 0,885 di sana dibandingkan 0,580 pada makalah aslinya, sehingga angkanya hanya boleh dibaca terhadap satu sama lain. Kedua sisi perbandingan penyetelan halus Mega-TTS 2 dibangun oleh penulisnya sendiri. Teks Voicebox menyebut kemiripan tumbuh lalu mendatar dengan prompt yang lebih panjang, sedangkan keterangan gambarnya menyebut tetap sama hingga 10 detik. MiniMax-Speech menyebut prompt dengan teks berpasangan sebagai ‘one-shot’ dan menggolongkan Seed-TTS ke dalamnya, padahal Seed-TTS menyebut dirinya zero-shot. Model WildSpoof disetel halus pada dataset TITW sebelum pengujian, sehingga hasilnya bukan garis dasar zero-shot murni. Skor pendengar 10 detik VALL-E 2 memiliki interval lebar (hingga ±0,49). Makalah Scientific Reports tidak menyebutkan berapa lama dua prompt di balik setiap klon, sehingga angka 80% tidak boleh dibaca sebagai angka untuk panjang prompt tertentu. Abstrak tesis Zhu tidak memberikan nilai kemiripan, hanya panjang dan arah efeknya. VALL-E, Voicebox, YourTTS, dan McAfee berusia lebih dari tiga tahun dan ditandai sebagai data terbaru yang tersedia: kami tidak menemukan makalah 2025 atau 2026 yang mengulang kurva lengkap 3, 5, dan 10 detik pada tolok ukur bersama. Survei Starling Bank dan McAfee berdasarkan laporan mandiri.
Terakhir diperbarui: 31 Oktober 2026. Kami memperbarui rangkuman ini setiap kuartal, dan pembaruan berikutnya diperkirakan saat prosiding ICASSP 2027 dipublikasikan.