Pada Voice Conversion Challenge 2020, delapan sistem dalam bahasa yang sama secara statistik tidak dapat dibedakan dari penutur target asli dalam uji kemiripan, dengan lebih dari 90% sampel hasil konversinya dinilai sebagai orang yang sama (Zhao dkk., tinjauan VCC 2020). Empat tahun sebelumnya, sistem terbaik VCC 2016 rata-rata hanya meraih 3,0 pada skala kealamian 5 poin, dan sistem teratas meyakinkan pendengar sekitar 70% dari waktu. Kealamian belum menutup kesenjangan sebersih itu: tidak ada sistem VCC 2020 yang mencapai kealamian setara manusia, dan pada Singing Voice Conversion Challenge 2025 sistem teratas meraih sekitar 3,7 dibandingkan sekitar 3,9 untuk rekaman asli. Rangkuman ini membahas bagaimana konversi suara diukur, bukan bagaimana ia dijual; untuk data adopsi dan pasar, lihat statistik kloning suara kami, dan untuk skor dengar text-to-speech, lihat statistik MOS kealamian ucapan sintetis kami. Kami mengumpulkan data dari Voice Conversion Challenge 2016, 2018, dan 2020, Singing Voice Conversion Challenge 2023 dan 2025, makalah yang telah ditinjau sejawat dari Interspeech, ICLR, AAAI, dan IEEE JSTSP, serta studi terbaru tentang metrik kemiripan penutur dan bias uji dengar.
TL;DR
- 8 sistem VCC 2020 dalam bahasa yang sama tidak berbeda signifikan dari penutur target dalam kemiripan (Zhao dkk., tinjauan VCC 2020, 2020).
- Sistem zero-shot 2025 meraih 3,96 MOS kealamian dibandingkan 4,33 untuk rekaman asli acuan (Yao dkk., StableVC, AAAI 2025).
- Kemiripan penutur sistem ruang codec 2026 turun dari 0,63 dalam bahasa Inggris menjadi 0,49 pada konversi Mandarin ke Inggris (Zheng dkk., X-VC 2026).
- Kemiripan sistem berbasis fitur self-supervised turun dari 59% menjadi 28% saat beralih dari konversi penutur mana pun ke satu penutur target menjadi konversi penutur mana pun ke penutur target mana pun (Huang dkk., IEEE JSTSP 2022).
- 20 dari 31 sistem VCC 2020 mengecoh sistem verifikasi penutur lebih dari 90% dari waktu (Das dkk., penilaian objektif VCC 2020, 2020).
- Kemiripan embedding penutur berkorelasi 0,768 dengan penilaian manusia pada ucapan asli, tetapi hanya 0,512 pada ucapan hasil konversi VCC 2018 (Ahn dkk., VoxSim, Interspeech 2024).
- Sekitar separuh ucapan VCC 2018 memiliki simpangan baku di atas 1 poin pada empat penilaian pendengarnya (Lo dkk., MOSNet 2019).
- MOS sebuah sistem bisa turun hingga sekitar satu poin penuh ketika dinilai hanya bersama sistem yang lebih kuat (Cooper dan Yamagishi, Interspeech 2023).
- Sistem nyanyian teratas SVCC 2023 menyamai kealamian rekaman asli acuan (sekitar 3,9) tetapi mencapai kemiripan 65% dibandingkan 80% (Violeta dkk., analisis SVCC 2025, 2025).
- Nyanyian berdesah adalah gaya yang paling sulit dikonversi pada SVCC 2025, dengan akurasi gaya 37,3% (Violeta dkk., analisis SVCC 2025, 2025).
1. Satu Dekade Hasil Kompetisi: Dari 70% hingga Kemiripan Setara Target
Konversi suara (VC) mengubah siapa yang terdengar dalam sebuah rekaman sambil mempertahankan apa yang diucapkan. Tolok ukur bersama di bidang ini adalah Voice Conversion Challenge (VCC), tempat setiap tim mengonversi kalimat yang sama di antara penutur yang sama dan satu uji dengar besar menilai semuanya. Kealamian dinilai pada skala skor opini rata-rata (MOS) 5 poin; kemiripan dinilai dengan menanyakan kepada pendengar apakah klip hasil konversi dan klip asli berasal dari penutur yang sama.
Lintasannya curam. Sistem terbaik VCC 2016 rata-rata meraih 3,0 dalam kealamian, sedangkan pada VCC 2020 delapan sistem secara statistik setara dengan penutur target asli dalam kemiripan (Zhao dkk., tinjauan VCC 2020). Urutan kemajuannya yang menarik: pendengar berhenti membedakan klip hasil konversi dari target dalam bahasa Inggris yang bersih dan satu bahasa sebelum ada sistem yang mencapai kealamian setara manusia.
| Metrik | Nilai | Sumber |
|---|---|---|
| Kelompok riset yang mengirimkan sistem ke VCC 2016 | 17 | Toda dkk., The Voice Conversion Challenge 2016, Interspeech 2016 |
| Pendengar dalam uji VCC 2016, dilaksanakan di lingkungan terkontrol | 200 | Toda dkk., The Voice Conversion Challenge 2016, Interspeech 2016 |
| Sistem teratas VCC 2016, porsi sampel yang dinilai sebagai penutur yang sama dengan target | sekitar 70% | Wester dkk., Analysis of the VCC 2016 Evaluation Results, Interspeech 2016 |
| Sistem terbaik VCC 2016, rata-rata kealamian pada skala 5 poin | 3,0 | Zhao dkk., tinjauan VCC 2020, 2020 |
| Sistem terbaik VCC 2018 (N10): kealamian / porsi yang dinilai sama dengan target | sekitar 4,1 / sekitar 80% | Lorenzo-Trueba dkk., makalah VCC 2018 |
| Sistem VCC 2020 dalam bahasa yang sama yang tidak berbeda signifikan dari penutur target dalam kemiripan | 8 | Zhao dkk., tinjauan VCC 2020, 2020 |
Catatan konteks: pemenang VCC 2018 mengandalkan pengekstrak konten yang dilatih pada ratusan jam ucapan eksternal ditambah vocoder WaveNet yang bergantung pada penutur (Lorenzo-Trueba dkk., VCC 2018). Hanya 3 tim VCC 2018 yang menggunakan opsi data eksternal. Data terbaru yang tersedia untuk kompetisi ucapan: VCC 2020, karena edisi keempat pada 2023 beralih ke nyanyian dan berganti nama (lihat bagian 6).
2. Kesenjangan Kealamian: Seberapa Jauh Sistem Terbaik dari Ucapan Asli
Vonis “penutur yang sama” tidak berarti klip itu terdengar seperti manusia. Setiap kompetisi menyertakan rekaman alami dalam uji sebagai jangkar, dan jangkar itu memperlihatkan kesenjangan yang bertahan. Perbandingan 2022 mencatat USTC-2020, sistem teratas tugas dalam bahasa yang sama pada VCC 2020, di angka 4,41 MOS kealamian dibandingkan 4,57 untuk rekaman target asli, selisih 0,16 poin (4,57 dikurangi 4,41) (Huang dkk., IEEE JSTSP 2022). Sistem itu juga mencapai 82% pada uji kemiripan.
Kesenjangan lebih lebar untuk sistem zero-shot, yang mengonversi ke suara yang tidak pernah terlihat saat pelatihan dari klip referensi singkat. Makalah AAAI 2025 mengukur 3,96 MOS untuk sistemnya dibandingkan 4,33 untuk rekaman asli acuan pada penutur VCTK, selisih 0,37 poin, padahal prediktor MOS otomatis hanya menempatkan keduanya berjarak 0,12 (Yao dkk., StableVC, AAAI 2025). Dalam uji ini prediktor otomatis adalah penilai yang lebih murah hati, salah satu alasan untuk membaca skor semacam itu bersama uji dengar.
| Metrik | Nilai | Sumber |
|---|---|---|
| Rekaman alami di VCC 2016: kealamian / porsi yang dinilai penutur yang sama | 4,5 / 90% | Violeta dkk., analisis SVCC 2025, 2025 |
| Sistem VCC 2016 yang dinilai jauh kurang alami secara signifikan dibandingkan penutur sumber dan target asli | semua sistem | Wester dkk., Analysis of the VCC 2016 Evaluation Results, Interspeech 2016 |
| Sistem terbaik VCC 2018 dibandingkan ucapan target asli (peringkat bertanda Wilcoxon, Bonferroni, α = 0,01) | berbeda signifikan baik dalam kealamian maupun kemiripan | Lorenzo-Trueba dkk., makalah VCC 2018 |
| Sistem teratas VCC 2020 (USTC-2020) dibandingkan rekaman target, MOS kealamian dalam bahasa yang sama | 4,41 dibandingkan 4,57 | Huang dkk., IEEE JSTSP 2022 |
| Sistem berbasis fitur self-supervised terbaik dibandingkan sistem dasar mel-spektrogram biasa, MOS kealamian | 3,59 dibandingkan 2,61 | Huang dkk., IEEE JSTSP 2022 |
| Sistem zero-shot dibandingkan rekaman asli acuan, MOS kealamian menurut pendengar (penutur VCTK) | 3,96 ±0,04 dibandingkan 4,33 ±0,04 | Yao dkk., StableVC, AAAI 2025 |
| Perbandingan yang sama menggunakan UTMOS, prediktor kealamian otomatis | 4,12 dibandingkan 4,24 | Yao dkk., StableVC, AAAI 2025 |
| Yang terbaik dari enam sistem dasar zero-shot yang dipublikasikan, MOS kealamian menurut pendengar | 3,67 ±0,07 | Yao dkk., StableVC, AAAI 2025 |
Catatan pencilan: pada VCC 2020, pendengar berbahasa Jepang menilai kealamian dalam bahasa yang sama dari sistem terdepan T10 sebanding dengan penutur target, sedangkan pendengar berbahasa Inggris tidak (Zhao dkk., tinjauan VCC 2020). Vonis kesetaraan karena itu dapat bergantung pada siapa yang mendengarkan, sehingga kelompok pendengar harus disertakan dalam setiap hasil yang dilaporkan.
3. Intelegibilitas dan Metrik Spektral: Apa yang Bisa dan Tidak Bisa Dikatakan WER dan MCD
Metrik objektif murah dan dapat diulang, sehingga makalah bersandar padanya. Dua keluarga yang sering muncul: intelegibilitas, diukur sebagai tingkat kesalahan kata (WER) atau tingkat kesalahan karakter (CER) dari pengenal ucapan otomatis yang mentranskripsikan audio hasil konversi, dan jarak spektral, biasanya distorsi mel-cepstral (MCD), yang mengukur seberapa jauh spektrum hasil konversi dari spektrum target. Untuk keduanya, makin rendah makin baik.
Data VCC menunjukkan WER mengikuti kealamian cukup baik dan kemiripan dengan buruk. Pada VCC 2018, WER berkorelasi -0,7127 dengan kealamian pada tugas non-paralel tetapi hanya -0,2272 dengan kemiripan penutur (Lorenzo-Trueba dkk., VCC 2018). MCD tampak lebih lemah lagi sebagai proksi kealamian: pada Singing Voice Conversion Challenge 2023, MCD tidak berkorelasi signifikan dengan penilaian kealamian dalam domain dari kedua kelompok pendengar (Huang dkk., SVCC 2023). Pengenal ucapan juga memiliki mode kegagalannya sendiri, yang dibahas dalam statistik halusinasi pengenalan ucapan kami, sehingga WER rendah menunjukkan kata-katanya bertahan, bukan bahwa suaranya terdengar benar.
| Metrik | Nilai | Sumber |
|---|---|---|
| Tingkat kesalahan kata ASR pada ucapan sumber alami, VCC 2018 | 6,40% | Lorenzo-Trueba dkk., makalah VCC 2018 |
| WER terendah / tertinggi di antara sistem Hub hasil konversi VCC 2018 | 8,60% / 35,60% | Lorenzo-Trueba dkk., makalah VCC 2018 |
| Korelasi WER dengan MOS kealamian / dengan kemiripan, tugas Hub data paralel dan tugas Spoke non-paralel VCC 2018 | Hub -0,6587 / -0,3218; Spoke -0,7127 / -0,2272 | Lorenzo-Trueba dkk., makalah VCC 2018 |
| Tim VCC 2020 dalam bahasa yang sama dengan WER di bawah 5% / di atas 50% | 7 / 7 | Das dkk., penilaian objektif VCC 2020, 2020 |
| MCD, sistem dasar mel-spektrogram biasa dibandingkan sistem teratas VCC 2020 (data VCC 2020) | 8,47 dibandingkan 6,98 | Huang dkk., IEEE JSTSP 2022 |
| Korelasi Spearman MCD dengan MOS kealamian dalam domain, SVCC 2023 (pendengar Jepang / Inggris) | -0,28 / -0,24 (tidak signifikan) | Huang dkk., makalah SVCC 2023 |
| Korelasi Spearman CER berbasis Whisper dengan MOS kealamian dalam domain, SVCC 2023 (pendengar Jepang) | -0,80 (p < 0,01) | Huang dkk., makalah SVCC 2023 |
Catatan konteks: sebaran pada VCC 2020 lebar. Peserta terburuk dalam bahasa yang sama mencatat WER 96,17%, artinya hampir tidak ada yang bertahan dari konversi bagi pengenal, sementara tujuh tim tetap di bawah 5% (Das dkk., penilaian objektif VCC 2020).
4. Kemiripan Embedding Penutur: Berguna, Populer, dan Rapuh
Skor kemiripan otomatis yang standar adalah kemiripan kosinus embedding penutur (sering disebut SECS atau SIM): kedua klip dilewatkan melalui jaringan verifikasi penutur dan sudut antara vektor yang dihasilkan dibandingkan. Pada data kompetisi, skor ini cocok dengan pendengar pada tingkat sistem. Pada VCC 2020, tingkat kesalahan verifikasi penutur berkorelasi 0,89 dan 0,90 dengan kemiripan menurut pendengar pada dua tugas (Das dkk., penilaian objektif VCC 2020), dan 20 dari 31 sistem dalam bahasa yang sama diterima sebagai target oleh verifier lebih dari 90% dari waktu. Tingkat “penerimaan palsu” di sini adalah porsi klip hasil konversi yang secara keliru diterima verifier sebagai penutur target asli, sehingga makin tinggi berarti konversi makin meyakinkan.
Kesesuaian per ucapan adalah cerita lain. Embedding ECAPA-TDNN yang telah dilatih sebelumnya mencapai korelasi linear 0,768 dengan penilaian manusia pada pasangan suara asli tetapi turun menjadi 0,512 pada ucapan hasil konversi VCC 2018 (Ahn dkk., VoxSim, Interspeech 2024). Studi 2025 dari Ubisoft La Forge dan Universitas Stellenbosch menemukan bahwa model verifikasi memisahkan klip pendek dan panjang dari penutur yang sama jauh di atas peluang acak, dan bahwa derau serta ekualisasi menggeser skor, sehingga angka SIM sebagian mengukur kondisi rekaman (Carbonneau dkk. 2025). Siapa pun yang membandingkan perangkat lunak kloning suara berdasarkan angka SIM yang dipublikasikan harus memeriksa bahwa model embedding, set uji, dan panjang klip yang sama digunakan.
| Metrik | Nilai | Sumber |
|---|---|---|
| Sistem VCC 2020 dalam bahasa yang sama yang diterima sebagai target oleh verifier penutur lebih dari 90% dari waktu | 20 dari 31 | Das dkk., penilaian objektif VCC 2020, 2020 |
| Sistem lintas bahasa VCC 2020 di atas tingkat penerimaan palsu 90% yang sama | 10 | Das dkk., penilaian objektif VCC 2020, 2020 |
| Korelasi Pearson tingkat kesalahan verifier dengan kemiripan menurut pendengar, VCC 2020 Tugas 1 / Tugas 2 | 0,89 / 0,90 | Das dkk., penilaian objektif VCC 2020, 2020 |
| Korelasi Pearson jarak kosinus embedding dengan kemiripan menurut pendengar, VCC 2020 Tugas 1 / Tugas 2 | 0,85 / 0,82 | Das dkk., penilaian objektif VCC 2020, 2020 |
| Pengenal penutur ECAPA-TDNN yang telah dilatih sebelumnya dibandingkan kemiripan menurut manusia, pasangan ucapan asli (korelasi linear) | 0,768 | Ahn dkk., VoxSim, Interspeech 2024 |
| Model terlatih yang sama pada ucapan hasil konversi VCC 2018 (korelasi linear) | 0,512 | Ahn dkk., VoxSim, Interspeech 2024 |
| Kemiripan embedding dibandingkan penilaian kemiripan suara oleh manusia dalam studi sintesis zero-shot (tingkat ucapan) | 0,55 | Li dkk., DMOSpeech 2025 |
| Tingkat kesalahan setara verifier saat klip pendek seorang penutur dibandingkan dengan klip panjangnya (ECAPA-TDNN; 0,50 berarti tidak dapat dibedakan) | 0,34 ±0,04 | Carbonneau dkk. 2025 |
Catatan pencilan: menambahkan derau pada rasio sinyal terhadap derau 20 dB mendorong tingkat kesalahan setara ECAPA-TDNN yang sama untuk klip bersih versus berderau dari seorang penutur menjadi 0,34, dan pada 0 dB menjadi 0,05 (Carbonneau dkk. 2025). Secara sederhana, verifier mulai menganggap salinan suara yang berderau sebagai orang yang berbeda.
5. Dalam Domain vs Lintas Bahasa dan Penutur Mana Pun ke Penutur Mana Pun: Tempat Skor Runtuh
Angka tolok ukur biasanya dilaporkan untuk kondisi yang paling bersahabat: bahasa yang sama, audio studio, dan penutur target yang telah dilatih oleh model (konversi penutur mana pun ke satu penutur target). Ubah salah satunya dan skor turun. Sistem terdepan VCC 2020, T10, kehilangan 0,75 poin MOS dalam kealamian saat beralih dari konversi dalam bahasa yang sama ke lintas bahasa, dan pada tugas itu kurang dari 80% sampel dinilai sebagai penutur target (Zhao dkk., tinjauan VCC 2020). Pendengar juga memberi skor kemiripan lebih rendah ketika klip referensi berada dalam bahasa kedua penutur, bukan bahasa Inggris.
Penurunan paling tajam datang dari penutur target yang belum pernah dilihat (konversi penutur mana pun ke penutur target mana pun). Dalam perbandingan IEEE JSTSP, sistem berbasis fitur self-supervised mempertahankan kealamian hampir tidak berubah tetapi kemiripannya terpangkas separuh (Huang dkk., IEEE JSTSP 2022). Sistem zero-shot terbaru masih menunjukkan kesenjangan: pada ucapan beraksen dan emosional, para penulis ICLR 2025 mengukur kemiripan penutur 0,762 untuk rekaman asli acuan dibandingkan 0,517 untuk keluaran hasil konversi terbaik (Zhang dkk., Vevo, ICLR 2025).
| Metrik | Nilai | Sumber |
|---|---|---|
| USTC-2020, porsi yang dinilai sama dengan target, bahasa yang sama dibandingkan lintas bahasa | 82% dibandingkan 43% | Huang dkk., IEEE JSTSP 2022 |
| Sistem berbasis fitur self-supervised, penutur target yang dikenal (penutur mana pun ke satu penutur target) dibandingkan penutur target yang belum pernah dilihat (penutur mana pun ke penutur target mana pun): kemiripan / MOS kealamian | 59% dibandingkan 28% / 3,59 dibandingkan 3,58 | Huang dkk., IEEE JSTSP 2022 |
| Sistem Hub VCC 2018 selain pemenang, MOS kealamian untuk pasangan gender sama dibandingkan lintas gender | 3,08 dibandingkan 2,78 | Lorenzo-Trueba dkk., makalah VCC 2018 |
| Kemiripan penutur sistem zero-shot ruang codec, bahasa yang sama (Inggris / Mandarin) dibandingkan lintas bahasa (Inggris ke Mandarin / Mandarin ke Inggris) | 0,63 / 0,73 dibandingkan 0,52 / 0,49 | Zheng dkk., X-VC 2026 |
| Kemiripan penutur pada ucapan beraksen dan emosional, rekaman asli dibandingkan keluaran hasil konversi terbaik | 0,762 dibandingkan 0,517 | Zhang dkk., Vevo, ICLR 2025 |
Catatan konteks: makalah codec 2026 mengevaluasi pasangan lintas bahasa pada subset yang berbeda (1.000 ucapan pertama per bahasa), sehingga angka bahasa yang sama dan lintas bahasanya bersifat indikatif, bukan perbandingan terkontrol (Zheng dkk., X-VC 2026). Versi streaming-nya berjalan dengan latensi model 240 ms.
6. Konversi Suara Nyanyian: Kesetaraan Kealamian, Kesenjangan Identitas
Nyanyian menekan konversi suara dengan cara yang tidak dilakukan ucapan: rentang nada lebih lebar, nada yang ditahan, dan teknik seperti vibrato. Singing Voice Conversion Challenge (SVCC) mengambil alih format kompetisi pada 2023. Sistem teratas SVCC 2023 menyamai kealamian rekaman asli acuan di sekitar 3,9, tetapi hanya mencapai kemiripan 65% dibandingkan 80% untuk penyanyi asli (Violeta dkk., analisis SVCC 2025). Itu kebalikan dari cerita ucapan, tempat identitas lebih dulu tersamai.
SVCC 2025 menambahkan konversi gaya menyanyi, dan tidak ada sistem yang mencapai kealamian setara manusia. Gaya adalah bagian yang sulit: nyanyian berdesah, glissando (meluncur di antara nada), dan vibrato adalah teknik yang paling kurang akurat direproduksi. Para penulis juga mempertanyakan apakah uji kemiripan standar memadai untuk menilai gaya. Identitas penyanyi pun sulit dinilai: bahkan sampel rekaman asli acuan hanya mencapai sekitar 70% pada uji itu.
| Metrik | Nilai | Sumber |
|---|---|---|
| Pengiriman SVCC 2023 ditambah sistem dasar | 24 + 2 | Huang dkk., makalah SVCC 2023 |
| Pendengar SVCC 2023, Inggris / Jepang | 40 / 319 | Huang dkk., makalah SVCC 2023 |
| Tim SVCC 2023 dengan kealamian di atas 3,0, tugas dalam domain dibandingkan lintas domain | 14 dibandingkan 8 | Huang dkk., makalah SVCC 2023 |
| Sistem teratas SVCC 2023 dibandingkan rekaman asli acuan: kealamian / kemiripan | sekitar 3,9 / 65% dibandingkan sekitar 3,9 / 80% | Violeta dkk., analisis SVCC 2025, 2025 |
| Sistem teratas SVCC 2025 dibandingkan rekaman asli acuan: kealamian / kemiripan gaya | sekitar 3,7 / 70% dibandingkan sekitar 3,9 / 90% | Violeta dkk., analisis SVCC 2025, 2025 |
| Akurasi gaya SVCC 2025 untuk nyanyian berdesah / glissando / vibrato | 37,3% / 42,6% / 43,9% | Violeta dkk., analisis SVCC 2025, 2025 |
| Korelasi Spearman maksimum antara metrik objektif mana pun dan skor subjektif, SVCC 2025 | sekitar 0,8 | Violeta dkk., analisis SVCC 2025, 2025 |
Catatan konteks: pada SVCC 2023, selisih kemiripan antara target dan sistem teratas sekitar 0,4 poin pada skala 4 poin di kedua tugas (Huang dkk., SVCC 2023), dan jarak embedding penutur adalah metrik objektif yang paling berkorelasi dengan kemiripan (-0,83 Spearman untuk pendengar Jepang, tugas dalam domain).
7. Keandalan Evaluasi: Jumlah Pendengar, Varians, dan Bias
Setiap angka di atas bertumpu pada penilaian manusia, dan penilaian itu berderau. Untuk sekitar separuh ucapan VCC 2018, simpangan baku dari empat penilaian pendengarnya lebih dari 1 poin pada skala 5 poin (Lo dkk., MOSNet). Perata-rataan memperbaiki sebagian besar masalah itu pada tingkat sistem, itulah sebabnya prediktor otomatis tampak kuat di sana (korelasi 0,957) dan lemah per ucapan (0,642).
Rancangan uji juga menggeser skor. Cooper dan Yamagishi menunjukkan bahwa menilai hanya sistem terkuat secara bersamaan dapat menurunkan MOS sebuah sistem hingga sekitar satu poin penuh, karena pendengar menyebarkan skornya di seluruh skala apa pun rentang kualitasnya (Cooper dan Yamagishi, Interspeech 2023). Survei terhadap 80 makalah sintesis ucapan Interspeech 2022 menemukan bahwa 51 di antaranya tidak memberikan instruksi kepada pendengar (Chiang dkk. 2023), dan dalam studi yang sama pekerja crowdsourcing Inggris menilai satu sistem 2,64 sementara pekerja AS menilainya 3,73.
| Metrik | Nilai | Sumber |
|---|---|---|
| Pendengar unik VCC 2018 / ucapan yang dievaluasi | 267 / 113.168 | Lorenzo-Trueba dkk., makalah VCC 2018 |
| Ucapan VCC 2018 yang keempat penilaiannya memiliki simpangan baku di atas 1 | sekitar separuh | Lo dkk., MOSNet 2019 |
| Prediktor MOS otomatis dibandingkan MOS manusia pada VCC 2018, tingkat ucapan dibandingkan tingkat sistem (korelasi linear) | 0,642 dibandingkan 0,957 | Lo dkk., MOSNet 2019 |
| Biaya dua uji dengar VCC 2020 (pendengar berbahasa Inggris dan Jepang) | 738.128 yen (sekitar 6.900 USD) | Zhao dkk., tinjauan VCC 2020, 2020 |
| Kesesuaian antara skor pendengar Jepang dan Inggris, VCC 2020 | korelasi 0,965 hingga 0,984 | Zhao dkk., tinjauan VCC 2020, 2020 |
| Penurunan MOS terbesar untuk satu sistem ketika dinilai hanya bersama 6% sistem teratas | 1,28 poin | Cooper dan Yamagishi, Interspeech 2023 |
| Makalah sintesis ucapan Interspeech 2022 (dari 80) yang tidak memberi instruksi kepada pendengar | 51 | Chiang dkk., Interspeech 2023 |
| Respons crowdsourcing yang dinyatakan tidak valid dalam uji dengar dengan 501 pekerja | sekitar 30% | Li dkk., DMOSpeech 2025 |
Catatan konteks: makalah individual menjalankan uji yang jauh lebih kecil daripada kompetisi. Makalah Interspeech 2023 tentang konversi tetangga terdekat mengumpulkan 2.144 penilaian kealamian dari 61 pendengar dan 1.636 penilaian kemiripan dari 208 pendengar (Baas dkk., Interspeech 2023). Interval yang dilaporkannya sekitar ±0,1 poin, sehingga selisih yang lebih kecil dari itu antara dua sistem yang berdekatan tidak banyak berarti.
Ringkasan: Tolok Ukur Kemiripan Penutur dan Kealamian Konversi Suara dalam Angka
| Metrik | Nilai | Sumber |
|---|---|---|
| Sistem terbaik VCC 2016, kealamian / kemiripan tertinggi | 3,0 / sekitar 70% | Zhao dkk., tinjauan VCC 2020, 2020; Wester dkk., Interspeech 2016 |
| Sistem terbaik VCC 2018, kealamian / kemiripan | sekitar 4,1 / sekitar 80% | Lorenzo-Trueba dkk., makalah VCC 2018 |
| Rekaman alami di VCC 2016: kealamian / kemiripan | 4,5 / 90% | Violeta dkk., analisis SVCC 2025, 2025 |
| USTC-2020 dibandingkan rekaman target, MOS kealamian | 4,41 dibandingkan 4,57 | Huang dkk., IEEE JSTSP 2022 |
| Sistem zero-shot dibandingkan rekaman asli acuan, MOS kealamian menurut pendengar | 3,96 dibandingkan 4,33 | Yao dkk., StableVC, AAAI 2025 |
| Korelasi MCD dengan kealamian dalam domain, SVCC 2023 | -0,28 / -0,24 (tidak signifikan) | Huang dkk., makalah SVCC 2023 |
| Sistem VCC 2020 dalam bahasa yang sama yang mengecoh verifier penutur lebih dari 90% dari waktu | 20 dari 31 | Das dkk., penilaian objektif VCC 2020, 2020 |
| Kemiripan embedding dibandingkan penilaian manusia, ucapan asli dibandingkan ucapan hasil konversi | 0,768 dibandingkan 0,512 | Ahn dkk., VoxSim, Interspeech 2024 |
| Tingkat kesalahan verifier, klip pendek dibandingkan klip panjang penutur yang sama (0,50 = tidak dapat dibedakan) | 0,34 | Carbonneau dkk. 2025 |
| Kemiripan, konversi penutur mana pun ke satu penutur target dibandingkan ke penutur target mana pun | 59% dibandingkan 28% | Huang dkk., IEEE JSTSP 2022 |
| Kemiripan, bahasa yang sama dibandingkan konversi Mandarin ke Inggris (sistem 2026) | 0,63 dibandingkan 0,49 | Zheng dkk., X-VC 2026 |
| Kemiripan penutur, rekaman asli dibandingkan keluaran hasil konversi terbaik pada ucapan beraksen dan emosional | 0,762 dibandingkan 0,517 | Zhang dkk., Vevo, ICLR 2025 |
| Kemiripan sistem teratas SVCC 2023 dibandingkan rekaman asli acuan | 65% dibandingkan 80% | Violeta dkk., analisis SVCC 2025, 2025 |
| Ucapan VCC 2018 dengan simpangan baku penilaian di atas 1 | sekitar separuh | Lo dkk., MOSNet 2019 |
| Penurunan MOS terbesar akibat bias penyamaan rentang | 1,28 poin | Cooper dan Yamagishi, Interspeech 2023 |
Metodologi dan Sumber
- Toda dkk.: The Voice Conversion Challenge 2016, Interspeech 2016 (ISCA Archive)
- Wester, Wu, dan Yamagishi: Analysis of the Voice Conversion Challenge 2016 Evaluation Results, Interspeech 2016
- Lorenzo-Trueba dkk.: The Voice Conversion Challenge 2018: Promoting Development of Parallel and Nonparallel Methods (2018)
- Zhao dkk.: Voice Conversion Challenge 2020: Intra-lingual semi-parallel and cross-lingual voice conversion (2020)
- Das dkk.: Predictions of Subjective Ratings and Spoofing Assessments of Voice Conversion Challenge 2020 Submissions (2020)
- Huang, Yang, Hayashi, dan Toda: A Comparative Study of Self-supervised Speech Representation Based Voice Conversion, IEEE JSTSP 2022
- Huang dkk.: The Singing Voice Conversion Challenge 2023
- Violeta dkk.: An Extensive Analysis of the Singing Voice Conversion Challenge 2025 Evaluation Results (2025, direvisi 2026)
- Lo dkk.: MOSNet: Deep Learning-based Objective Assessment for Voice Conversion (2019)
- Ahn dkk. (KAIST dan Samsung Research): VoxSim: A perceptual voice similarity dataset, Interspeech 2024
- Carbonneau dkk. (Ubisoft La Forge dan Universitas Stellenbosch): Analyzing and Improving Speaker Similarity Assessment for Speech Synthesis (2025)
- Li, Kumar, dan Jin (Universitas Columbia dan Adobe Research): DMOSpeech (2025)
- Cooper dan Yamagishi (NII): Investigating Range-Equalizing Bias in Mean Opinion Score Ratings of Synthesized Speech, Interspeech 2023
- Chiang, Huang, dan Lee (Universitas Nasional Taiwan): Why We Should Report the Details in Subjective Evaluation of TTS More Rigorously (2023)
- Yao dkk. (Universitas Politeknik Barat Laut dan Ximalaya): StableVC, AAAI 2025
- Zhang dkk. (CUHK-Shenzhen dan Meta AI): Vevo: Controllable Zero-Shot Voice Imitation, ICLR 2025
- Zheng dkk.: X-VC: Zero-shot Streaming Voice Conversion in Codec Space (April 2026)
- Baas, van Niekerk, dan Kamper (Universitas Stellenbosch): Voice Conversion With Just Nearest Neighbors, Interspeech 2023
- Catatan data: analisis SVCC 2025 menceritakan ulang hasil lintas bahasa VCC 2020 sebagai kealamian sekitar 4,0 dan kemiripan sekitar 90%, sementara makalah penyelenggara VCC 2020 sendiri menyatakan kurang dari 80% sampel lintas bahasa dinilai sama dengan target; kami menggunakan angka penyelenggara. Beberapa makalah tidak konsisten secara internal dengan selisih kecil (teks MOSNet 0,624 vs tabel 0,642 untuk korelasi tingkat ucapan, dan kami menggunakan tabel; teks VoxSim 0,733 vs tabel 0,752 untuk satu model terlatih; DMOSpeech -0,15 vs -0,16 untuk korelasi WER), dan jumlah sistem dalam makalah SVCC 2025 berbeda antarversi (26 pada versi awal, 33 pada versi saat ini). Makalah JSTSP mencantumkan USTC-2020 dalam tabel yang sama dengan sistemnya sendiri tanpa menyebutkan apakah skor itu berasal dari uji dengarnya sendiri. Makalah SVCC 2025 tidak mendefinisikan skor “akurasi gaya” per gaya maupun menyebutkan sistem mana yang dirata-ratakan, sehingga bacalah sebagai peringkat tingkat kesulitan, bukan nilai absolut. Skor kemiripan penutur dari makalah yang berbeda menggunakan model embedding, set uji, dan kelompok pendengar yang berbeda, sehingga tidak dapat dibandingkan antarbaris, dan angka lintas bahasa 2026 menggunakan subset uji yang berbeda dari angka bahasa yang sama. Data terbaru yang tersedia untuk kompetisi khusus ucapan adalah VCC 2020; bukti VC ucapan yang lebih baru berasal dari makalah individual, bukan dari uji dengar bersama.
Terakhir diperbarui: 31 Oktober 2026. Kami memperbarui rangkuman ini setiap kuartal, dan pembaruan berikutnya diperkirakan terjadi ketika hasil uji dengar Voice Conversion Challenge atau Singing Voice Conversion Challenge berikutnya dipublikasikan.