Voice Conversion Challenge 2020’de, aynı dilde çalışan sekiz sistem benzerlik testlerinde gerçek hedef konuşmacıdan istatistiksel olarak ayırt edilemiyordu; dönüştürülmüş örneklerinin %90’ından fazlası aynı kişi olarak değerlendirildi (Zhao vd., VCC 2020 genel bakış). Dört yıl önce VCC 2016’nın en iyi sistemi 5 puanlık doğallık ölçeğinde ortalama yalnızca 3,0 almış, en iyi sistemler dinleyicileri zamanın yaklaşık %70’inde ikna edebilmişti. Doğallıktaki açık bu kadar temiz kapanmadı: hiçbir VCC 2020 sistemi insan düzeyinde doğallığa ulaşmadı ve Singing Voice Conversion Challenge 2025’te en iyi sistemler gerçek kayıtlar için yaklaşık 3,9’a karşılık yaklaşık 3,7 aldı. Bu derleme, ses dönüştürmenin nasıl satıldığına değil nasıl ölçüldüğüne bakıyor; benimsenme ve pazar verileri için ses klonlama istatistiklerimize, metinden konuşmaya dinleme puanları için sentetik konuşma doğallığı MOS istatistiklerimize bakabilirsiniz. 2016, 2018 ve 2020 Voice Conversion Challenge’larından, 2023 ve 2025 Singing Voice Conversion Challenge’larından, Interspeech, ICLR, AAAI ve IEEE JSTSP’deki hakemli makalelerden ve konuşmacı benzerliği metrikleri ile dinleme testi yanlılığı üzerine yakın tarihli çalışmalardan veri derledik.
TL;DR
- 8 VCC 2020 aynı dil sistemi benzerlikte hedef konuşmacıdan anlamlı biçimde farklı değildi (Zhao vd., VCC 2020 genel bakış 2020).
- 2025 tarihli bir zero-shot sistem 3,96 doğallık MOS’u aldı; gerçek referans 4,33 idi (Yao vd., StableVC, AAAI 2025).
- 2026 tarihli bir kodek uzayı sisteminin konuşmacı benzerliği İngilizce’de 0,63’ten Çince’den İngilizce’ye dönüştürmede 0,49’a düştü (Zheng vd., X-VC 2026).
- Öz denetimli öznitelik tabanlı bir sistemin benzerliği, herhangi bir konuşmacıdan tek hedefe dönüştürmeden herhangi bir hedefe dönüştürmeye geçerken %59’dan %28’e düştü (Huang vd., IEEE JSTSP 2022).
- 31 VCC 2020 sisteminden 20’si bir konuşmacı doğrulama sistemini zamanın %90’ından fazlasında kandırdı (Das vd., VCC 2020 nesnel değerlendirme 2020).
- Konuşmacı gömmesi benzerliği gerçek konuşmada insan puanlarıyla 0,768 korelasyon gösterdi, ancak VCC 2018 dönüştürülmüş konuşmasında yalnızca 0,512 (Ahn vd., VoxSim, Interspeech 2024).
- VCC 2018 ifadelerinin yaklaşık yarısında dört dinleyici puanının standart sapması 1 puanın üzerindeydi (Lo vd., MOSNet 2019).
- Bir sistemin MOS’u, yalnızca daha güçlü sistemlerle birlikte puanlandığında yaklaşık bir tam puana kadar düşebilir (Cooper ve Yamagishi, Interspeech 2023).
- SVCC 2023’ün en iyi şarkı sistemi gerçek referansın doğallığına (yaklaşık 3,9) denk geldi, ancak %80’e karşılık %65 benzerliğe ulaştı (Violeta vd., SVCC 2025 analizi 2025).
- Nefesli şarkı, SVCC 2025’te %37,3 stil doğruluğuyla dönüştürülmesi en zor stildi (Violeta vd., SVCC 2025 analizi 2025).
1. Yarışma Sonuçlarında On Yıl: %70’ten Hedef Düzeyinde Benzerliğe
Ses dönüştürme (VC), bir kaydın kime benzediğini değiştirirken söylenen şeyi korur. Alanın ortak ölçütü Voice Conversion Challenge’dır (VCC): her ekip aynı cümleleri aynı konuşmacılar arasında dönüştürür ve büyük bir dinleme testi hepsini puanlar. Doğallık 5 puanlık ortalama görüş puanı (MOS) ölçeğinde değerlendirilir; benzerlik ise dinleyicilere dönüştürülmüş bir klibin ve gerçek bir klibin aynı konuşmacıdan gelip gelmediği sorularak belirlenir.
Gidişat diktir. VCC 2016’nın en iyi sistemi doğallıkta ortalama 3,0 alırken, VCC 2020’ye gelindiğinde sekiz sistem benzerlikte gerçek hedef konuşmacıyla istatistiksel olarak eşitti (Zhao vd., VCC 2020 genel bakış). İlginç olan, ilerlemenin sırası: dinleyiciler, hiçbir sistem insan düzeyinde doğallığa ulaşmadan önce, temiz ve aynı dildeki İngilizce’de dönüştürülmüş klipleri hedeften ayırmayı bıraktı.
| Metrik | Değer | Kaynak |
|---|---|---|
| VCC 2016’ya başvuran araştırma grupları | 17 | Toda vd., The Voice Conversion Challenge 2016, Interspeech 2016 |
| Kontrollü ortamda yürütülen VCC 2016 testindeki dinleyiciler | 200 | Toda vd., The Voice Conversion Challenge 2016, Interspeech 2016 |
| VCC 2016 en iyi sistemleri, hedefle aynı konuşmacı sayılan örneklerin payı | yaklaşık %70 | Wester vd., Analysis of the VCC 2016 Evaluation Results, Interspeech 2016 |
| VCC 2016 en iyi sistemi, 5 puanlık ölçekte ortalama doğallık | 3,0 | Zhao vd., VCC 2020 genel bakış 2020 |
| VCC 2018 en iyi sistemi (N10): doğallık / hedefle aynı sayılan pay | yaklaşık 4,1 / yaklaşık %80 | Lorenzo-Trueba vd., VCC 2018 makalesi |
| Benzerlikte hedef konuşmacıdan anlamlı biçimde farklı olmayan VCC 2020 aynı dil sistemleri | 8 | Zhao vd., VCC 2020 genel bakış 2020 |
Bağlam notu: VCC 2018 kazananı, yüzlerce saatlik harici konuşmayla eğitilmiş bir içerik çıkarıcıya ve konuşmacıya bağlı bir WaveNet vokoderine dayanıyordu (Lorenzo-Trueba vd., VCC 2018). VCC 2018 ekiplerinden yalnızca 3’ü harici veri seçeneğini kullandı. Konuşma yarışmaları için mevcut en güncel veri VCC 2020’dir; çünkü 2023’teki dördüncü edisyon şarkıya kaydı ve yeniden adlandırıldı (bkz. bölüm 6).
2. Doğallık Açığı: En İyi Sistemler Gerçek Konuşmadan Ne Kadar Uzakta
“Aynı konuşmacı” kararı, klibin insan gibi duyulduğu anlamına gelmez. Her yarışma teste çapa olarak doğal kayıtları dahil etti ve bu çapalar kalıcı bir açık gösteriyor. 2022 tarihli bir karşılaştırma, VCC 2020 aynı dil görevinin en iyi sistemi olan USTC-2020’yi 4,41 doğallık MOS’u ile listeliyor; gerçek hedef kayıtlar 4,57 aldı, yani açık 0,16 puan (4,57 eksi 4,41) (Huang vd., IEEE JSTSP 2022). Bu sistem benzerlik testinde de %82’ye ulaştı.
Açık, eğitimde hiç görülmemiş bir sesi kısa bir referans klipten dönüştüren zero-shot sistemlerde daha geniş. 2025 tarihli bir AAAI makalesi, VCTK konuşmacıları üzerinde sistemi için 3,96 MOS ölçtü; gerçek referans 4,33 idi, yani 0,37 puanlık bir açık; oysa otomatik bir MOS tahmincisi ikisini yalnızca 0,12 farkla yan yana koymuştu (Yao vd., StableVC, AAAI 2025). Bu testte otomatik tahminci daha yumuşak hakemdi; bu tür puanları bir dinleme testiyle birlikte okumak için bir neden.
| Metrik | Değer | Kaynak |
|---|---|---|
| VCC 2016’daki doğal kayıtlar: doğallık / aynı konuşmacı sayılan pay | 4,5 / %90 | Violeta vd., SVCC 2025 analizi 2025 |
| Gerçek kaynak ve hedef konuşmacılardan anlamlı biçimde daha az doğal puanlanan VCC 2016 sistemleri | tüm sistemler | Wester vd., Analysis of the VCC 2016 Evaluation Results, Interspeech 2016 |
| VCC 2018 en iyi sistemi ve gerçek hedef konuşma (Wilcoxon işaretli sıra testi, Bonferroni, α = 0,01) | hem doğallıkta hem benzerlikte anlamlı biçimde farklı | Lorenzo-Trueba vd., VCC 2018 makalesi |
| VCC 2020’nin en iyi sistemi (USTC-2020) ve hedef kayıtlar, aynı dilde doğallık MOS’u | 4,41 ve 4,57 | Huang vd., IEEE JSTSP 2022 |
| En iyi öz denetimli öznitelik tabanlı sistem ve sade mel-spektrogram tabanlı temel sistem, doğallık MOS’u | 3,59 ve 2,61 | Huang vd., IEEE JSTSP 2022 |
| Zero-shot sistem ve gerçek referans, dinleyici doğallık MOS’u (VCTK konuşmacıları) | 3,96 ±0,04 ve 4,33 ±0,04 | Yao vd., StableVC, AAAI 2025 |
| Aynı karşılaştırma, otomatik doğallık tahmincisi UTMOS ile | 4,12 ve 4,24 | Yao vd., StableVC, AAAI 2025 |
| Yayımlanmış altı zero-shot temel sistemin en iyisi, dinleyici doğallık MOS’u | 3,67 ±0,07 | Yao vd., StableVC, AAAI 2025 |
Aykırı değer notu: VCC 2020’de Japon dinleyiciler lider sistem T10’un aynı dildeki doğallığını hedef konuşmacıyla eşdeğer buldu, İngilizce dinleyiciler ise bulmadı (Zhao vd., VCC 2020 genel bakış). Bu nedenle eşitlik kararı kimin dinlediğine bağlı olabilir; dinleyici havuzu, bildirilen her sonucun parçası olmalıdır.
3. Anlaşılırlık ve Spektral Metrikler: WER ve MCD Ne Söyler, Ne Söyleyemez
Nesnel metrikler ucuz ve tekrarlanabilir olduğu için makaleler onlara yaslanır. İki aile öne çıkar: dönüştürülmüş sesi yazıya döken otomatik konuşma tanıyıcının sözcük hata oranı (WER) veya karakter hata oranı (CER) olarak ölçülen anlaşılırlık ve dönüştürülmüş spektrumun hedefinkinden ne kadar uzak olduğunu ölçen, genellikle mel-kepstral bozulma (MCD) olarak verilen spektral mesafe. Her ikisinde de düşük olan daha iyidir.
VCC verileri, WER’in doğallığı makul biçimde, benzerliği ise zayıf izlediğini gösteriyor. VCC 2018’de WER, paralel olmayan görevde doğallıkla -0,7127, konuşmacı benzerliğiyle ise yalnızca -0,2272 korelasyon gösterdi (Lorenzo-Trueba vd., VCC 2018). MCD, doğallık için vekil olarak daha da zayıf görünüyor: Singing Voice Conversion Challenge 2023’te her iki dinleyici grubunun alan içi doğallık puanlarıyla anlamlı biçimde ilişkili değildi (Huang vd., SVCC 2023). Tanıyıcıların da kendi hata biçimleri var; bunları konuşma tanıma halüsinasyon istatistiklerimizde ele aldık, dolayısıyla düşük bir WER sözcüklerin korunduğunu söyler, sesin doğru duyulduğunu değil.
| Metrik | Değer | Kaynak |
|---|---|---|
| Doğal kaynak konuşmada ASR sözcük hata oranı, VCC 2018 | %6,40 | Lorenzo-Trueba vd., VCC 2018 makalesi |
| Dönüştürülmüş VCC 2018 Hub sistemleri arasında en düşük / en yüksek WER | %8,60 / %35,60 | Lorenzo-Trueba vd., VCC 2018 makalesi |
| WER’in doğallık MOS’u ile / benzerlikle korelasyonu, VCC 2018 paralel veri Hub görevi ve paralel olmayan Spoke görevi | Hub -0,6587 / -0,3218; Spoke -0,7127 / -0,2272 | Lorenzo-Trueba vd., VCC 2018 makalesi |
| WER’i %5’in altında / %50’nin üzerinde olan VCC 2020 aynı dil ekipleri | 7 / 7 | Das vd., VCC 2020 nesnel değerlendirme 2020 |
| MCD, sade mel-spektrogram tabanlı temel sistem ve VCC 2020’nin en iyi sistemi (VCC 2020 verisi) | 8,47 ve 6,98 | Huang vd., IEEE JSTSP 2022 |
| MCD’nin alan içi doğallık MOS’u ile Spearman korelasyonu, SVCC 2023 (Japon / İngilizce dinleyiciler) | -0,28 / -0,24 (anlamlı değil) | Huang vd., SVCC 2023 makalesi |
| Whisper tabanlı CER’in alan içi doğallık MOS’u ile Spearman korelasyonu, SVCC 2023 (Japon dinleyiciler) | -0,80 (p < 0,01) | Huang vd., SVCC 2023 makalesi |
Bağlam notu: VCC 2020’deki dağılım geniştir. Aynı dildeki en kötü katılım %96,17 WER kaydetti, yani tanıyıcı için dönüşümden neredeyse hiçbir şey sağ çıkmadı; yedi ekip ise %5’in altında kaldı (Das vd., VCC 2020 nesnel değerlendirme).
4. Konuşmacı Gömmesi Benzerliği: Yararlı, Popüler ve Kırılgan
Standart bir otomatik benzerlik puanı, konuşmacı gömmesi kosinüs benzerliğidir (genellikle SECS veya SIM olarak anılır): iki klip de bir konuşmacı doğrulama ağından geçirilir ve ortaya çıkan vektörler arasındaki açı karşılaştırılır. Yarışma verilerinde sistem düzeyinde dinleyicilerle iyi uyuşur. VCC 2020’de konuşmacı doğrulama hata oranı, iki görevde dinleyici benzerliğiyle 0,89 ve 0,90 korelasyon gösterdi (Das vd., VCC 2020 nesnel değerlendirme) ve 31 aynı dil sisteminden 20’si doğrulayıcı tarafından zamanın %90’ından fazlasında hedef olarak kabul edildi. Buradaki “yanlış kabul” oranı, doğrulayıcının gerçek hedef konuşmacı olarak yanlışlıkla kabul ettiği dönüştürülmüş klip payıdır; yani yüksek olması daha ikna edici bir dönüştürme anlamına gelir.
İfade başına uyum ise başka bir hikaye. Önceden eğitilmiş bir ECAPA-TDNN gömmesi, gerçek ses çiftlerinde insan puanlarıyla 0,768 doğrusal korelasyona ulaştı, ancak VCC 2018 dönüştürülmüş konuşmasında 0,512’ye düştü (Ahn vd., VoxSim, Interspeech 2024). Ubisoft La Forge ve Stellenbosch Üniversitesi’nden 2025 tarihli bir çalışma, doğrulama modellerinin aynı konuşmacının kısa ve uzun kliplerini rastgeleliğin çok üzerinde ayırdığını, ayrıca gürültü ve ekolayzır işleminin puanları kaydırdığını buldu; yani bir SIM değeri kısmen kayıt koşullarını ölçüyor (Carbonneau vd. 2025). Ses klonlama yazılımlarını yayımlanmış SIM rakamlarına göre karşılaştıran herkes, aynı gömme modelinin, test kümesinin ve klip uzunluklarının kullanıldığını kontrol etmelidir.
| Metrik | Değer | Kaynak |
|---|---|---|
| Bir konuşmacı doğrulayıcı tarafından zamanın %90’ından fazlasında hedef olarak kabul edilen VCC 2020 aynı dil sistemleri | 31’den 20’si | Das vd., VCC 2020 nesnel değerlendirme 2020 |
| Aynı %90 yanlış kabul düzeyinin üzerindeki VCC 2020 diller arası sistemler | 10 | Das vd., VCC 2020 nesnel değerlendirme 2020 |
| Doğrulayıcı hata oranının dinleyici benzerliğiyle Pearson korelasyonu, VCC 2020 Görev 1 / Görev 2 | 0,89 / 0,90 | Das vd., VCC 2020 nesnel değerlendirme 2020 |
| Gömme kosinüs mesafesinin dinleyici benzerliğiyle Pearson korelasyonu, VCC 2020 Görev 1 / Görev 2 | 0,85 / 0,82 | Das vd., VCC 2020 nesnel değerlendirme 2020 |
| Önceden eğitilmiş ECAPA-TDNN konuşmacı tanıyıcı ve insan benzerliği, gerçek konuşma çiftleri (doğrusal korelasyon) | 0,768 | Ahn vd., VoxSim, Interspeech 2024 |
| Aynı önceden eğitilmiş model, VCC 2018 dönüştürülmüş konuşması (doğrusal korelasyon) | 0,512 | Ahn vd., VoxSim, Interspeech 2024 |
| Bir zero-shot sentez çalışmasında gömme benzerliği ve insan ses benzerliği puanları (ifade düzeyi) | 0,55 | Li vd., DMOSpeech 2025 |
| Bir konuşmacının kendi kısa klipleri uzun kliplerle karşılaştırıldığında doğrulayıcı eşit hata oranı (ECAPA-TDNN; 0,50 ayırt edilemez demektir) | 0,34 ±0,04 | Carbonneau vd. 2025 |
Aykırı değer notu: 20 dB sinyal gürültü oranında gürültü eklemek, bir konuşmacının temiz ve gürültülü klipleri için aynı ECAPA-TDNN eşit hata oranını 0,34’e, 0 dB’de ise 0,05’e çıkardı (Carbonneau vd. 2025). Sade bir dille, doğrulayıcı bir sesin gürültülü kopyasını farklı bir kişi olarak görmeye başlıyor.
5. Alan İçi, Diller Arası ve Herhangi Bir Hedefe Dönüştürme: Puanların Çöktüğü Yer
Karşılaştırma sayıları genellikle en elverişli koşul için bildirilir: aynı dil, stüdyo sesi ve modelin eğitimde gördüğü bir hedef konuşmacı (herhangi bir konuşmacıdan tek hedefe dönüştürme). Bunlardan birini değiştirin, puanlar düşer. Lider VCC 2020 sistemi T10, aynı dilden diller arası dönüştürmeye geçerken doğallıkta 0,75 MOS puanı kaybetti ve bu görevde örneklerin %80’inden azı hedef konuşmacı olarak değerlendirildi (Zhao vd., VCC 2020 genel bakış). Dinleyiciler, referans klip İngilizce yerine konuşmacının ikinci dilindeyse de daha düşük benzerlik puanı verdi.
En dik düşüş görülmemiş hedef konuşmacılardan geliyor (herhangi bir konuşmacıdan herhangi bir hedefe dönüştürme). IEEE JSTSP karşılaştırmasında öz denetimli öznitelik tabanlı bir sistem doğallığını neredeyse hiç değiştirmedi, ancak benzerliği yarıya indi (Huang vd., IEEE JSTSP 2022). Yakın tarihli zero-shot sistemlerde de açık sürüyor: aksanlı ve duygusal konuşmada ICLR 2025 yazarları gerçek kayıtlar için 0,762 konuşmacı benzerliği, en iyi dönüştürülmüş çıktı için ise 0,517 ölçtü (Zhang vd., Vevo, ICLR 2025).
| Metrik | Değer | Kaynak |
|---|---|---|
| USTC-2020 için hedefle aynı sayılan pay, aynı dil ve diller arası | %82 ve %43 | Huang vd., IEEE JSTSP 2022 |
| Öz denetimli öznitelik tabanlı sistem, bilinen hedef konuşmacı (herhangi bir konuşmacıdan tek hedefe) ve görülmemiş hedef konuşmacı (herhangi bir konuşmacıdan herhangi bir hedefe): benzerlik / doğallık MOS’u | %59 ve %28 / 3,59 ve 3,58 | Huang vd., IEEE JSTSP 2022 |
| Kazanan dışındaki VCC 2018 Hub sistemleri, aynı cinsiyetten ve farklı cinsiyetten çiftlerde doğallık MOS’u | 3,08 ve 2,78 | Lorenzo-Trueba vd., VCC 2018 makalesi |
| Kodek uzayı zero-shot sisteminin konuşmacı benzerliği, aynı dil (İngilizce / Çince) ve diller arası (İngilizce’den Çince’ye / Çince’den İngilizce’ye) | 0,63 / 0,73 ve 0,52 / 0,49 | Zheng vd., X-VC 2026 |
| Aksanlı ve duygusal konuşmada konuşmacı benzerliği, gerçek kayıtlar ve en iyi dönüştürülmüş çıktı | 0,762 ve 0,517 | Zhang vd., Vevo, ICLR 2025 |
Bağlam notu: 2026 tarihli kodek uzayı makalesi diller arası çiftleri farklı bir alt kümede (dil başına ilk 1.000 ifade) değerlendirdi; dolayısıyla aynı dil ve diller arası sayıları kontrollü bir karşılaştırma değil, gösterge niteliğindedir (Zheng vd., X-VC 2026). Akışlı sürümü 240 ms model gecikmesiyle çalıştı.
6. Şarkı Sesi Dönüştürme: Doğallıkta Eşitlik, Kimlikte Açık
Şarkı, ses dönüştürmeyi konuşmanın yapmadığı biçimlerde zorlar: daha geniş perde aralığı, uzatılmış notalar ve vibrato gibi teknikler. Singing Voice Conversion Challenge (SVCC), 2023’te yarışma formatını devraldı. SVCC 2023’ün en iyi sistemi gerçek referansın doğallığına yaklaşık 3,9 ile denk geldi, ancak gerçek şarkıcı için %80 olan benzerlikte yalnızca %65’e ulaştı (Violeta vd., SVCC 2025 analizi). Bu, kimliğin önce yakalandığı konuşma hikayesinin tersi.
SVCC 2025 şarkı stili dönüştürmeyi ekledi ve hiçbir sistem insan düzeyinde doğallığa ulaşmadı. Zor olan stildi: nefesli, glissando (notalar arasında kayma) ve vibrato en az doğrulukla yeniden üretilen tekniklerdi. Yazarlar ayrıca standart benzerlik testinin stili değerlendirmek için yeterli olup olmadığını sorguladı. Şarkıcı kimliğini puanlamak da zor: gerçek referans örnekler bile bu testte yalnızca yaklaşık %70’e ulaştı.
| Metrik | Değer | Kaynak |
|---|---|---|
| SVCC 2023 başvuruları artı temel sistemler | 24 + 2 | Huang vd., SVCC 2023 makalesi |
| SVCC 2023 dinleyicileri, İngilizce / Japonca | 40 / 319 | Huang vd., SVCC 2023 makalesi |
| Doğallıkta 3,0’ın üzerinde puan alan SVCC 2023 ekipleri, alan içi ve alanlar arası görev | 14 ve 8 | Huang vd., SVCC 2023 makalesi |
| SVCC 2023 en iyi sistemi ve gerçek referans: doğallık / benzerlik | yaklaşık 3,9 / %65 ve yaklaşık 3,9 / %80 | Violeta vd., SVCC 2025 analizi 2025 |
| SVCC 2025 en iyi sistemleri ve gerçek referans: doğallık / stil benzerliği | yaklaşık 3,7 / %70 ve yaklaşık 3,9 / %90 | Violeta vd., SVCC 2025 analizi 2025 |
| SVCC 2025 stil doğruluğu, nefesli / glissando / vibrato şarkı | %37,3 / %42,6 / %43,9 | Violeta vd., SVCC 2025 analizi 2025 |
| Herhangi bir nesnel metrik ile öznel puanlar arasındaki en yüksek Spearman korelasyonu, SVCC 2025 | yaklaşık 0,8 | Violeta vd., SVCC 2025 analizi 2025 |
Bağlam notu: SVCC 2023’te hedef ile en iyi sistem arasındaki benzerlik açığı, her iki görevde de 4 puanlık ölçekte yaklaşık 0,4 puandı (Huang vd., SVCC 2023) ve konuşmacı gömmesi mesafesi benzerlikle en çok ilişkili nesnel metrikti (Japon dinleyiciler için Spearman -0,83, alan içi görev).
7. Değerlendirme Güvenilirliği: Dinleyici Sayıları, Varyans ve Yanlılık
Yukarıdaki her sayı insan puanlarına dayanıyor ve bu puanlar gürültülü. VCC 2018 ifadelerinin yaklaşık yarısında, dört dinleyici puanının standart sapması 5 puanlık ölçekte 1 puandan büyüktü (Lo vd., MOSNet). Ortalama almak bunun büyük kısmını sistem düzeyinde düzeltir; otomatik tahmincilerin orada güçlü (0,957 korelasyon), ifade başına ise zayıf (0,642) görünmesinin nedeni budur.
Test tasarımı da puanları oynatır. Cooper ve Yamagishi, yalnızca en güçlü sistemlerin birlikte puanlanmasının, dinleyiciler kalite aralığı ne olursa olsun puanlarını ölçeğin tamamına yaydığı için bir sistemin MOS’unu yaklaşık bir tam puana kadar düşürebildiğini gösterdi (Cooper ve Yamagishi, Interspeech 2023). 80 Interspeech 2022 konuşma sentezi makalesini inceleyen bir araştırma, 51’inin dinleyicilere hiçbir yönerge vermediğini buldu (Chiang vd. 2023); aynı çalışmada Birleşik Krallık kitle kaynaklı çalışanları bir sisteme 2,64 verirken ABD’li çalışanlar 3,73 verdi.
| Metrik | Değer | Kaynak |
|---|---|---|
| VCC 2018 tekil dinleyiciler / değerlendirilen ifadeler | 267 / 113.168 | Lorenzo-Trueba vd., VCC 2018 makalesi |
| Dört puanının standart sapması 1’in üzerinde olan VCC 2018 ifadeleri | yaklaşık yarısı | Lo vd., MOSNet 2019 |
| VCC 2018’de otomatik MOS tahmincisi ve insan MOS’u, ifade düzeyi ve sistem düzeyi (doğrusal korelasyon) | 0,642 ve 0,957 | Lo vd., MOSNet 2019 |
| İki VCC 2020 dinleme testinin maliyeti (İngilizce ve Japonca dinleyiciler) | 738.128 yen (yaklaşık 6.900 USD) | Zhao vd., VCC 2020 genel bakış 2020 |
| Japon ve İngilizce dinleyici puanları arasındaki uyum, VCC 2020 | 0,965 ile 0,984 arası korelasyonlar | Zhao vd., VCC 2020 genel bakış 2020 |
| Yalnızca sistemlerin en iyi %6’sıyla birlikte puanlandığında tek bir sistem için en büyük MOS düşüşü | 1,28 puan | Cooper ve Yamagishi, Interspeech 2023 |
| Dinleyicilere hiçbir yönerge vermeyen Interspeech 2022 konuşma sentezi makaleleri (80 içinden) | 51 | Chiang vd., Interspeech 2023 |
| 501 çalışanlı bir dinleme testinde geçersiz sayılan kitle yanıtları | yaklaşık %30 | Li vd., DMOSpeech 2025 |
Bağlam notu: tekil makaleler yarışmalardan çok daha küçük testler yürütür. En yakın komşu dönüştürmesi üzerine 2023 tarihli bir Interspeech makalesi, 61 dinleyiciden 2.144 doğallık puanı ve 208 dinleyiciden 1.636 benzerlik puanı topladı (Baas vd., Interspeech 2023). Bildirilen aralıkları yaklaşık ±0,1 puandı, dolayısıyla iki yakın sistem arasındaki bundan küçük bir fark pek bir şey söylemez.
Özet: Rakamlarla Ses Dönüştürmede Konuşmacı Benzerliği ve Doğallık Karşılaştırması
| Metrik | Değer | Kaynak |
|---|---|---|
| VCC 2016 en iyi sistemi doğallık / en yüksek benzerlik | 3,0 / yaklaşık %70 | Zhao vd., VCC 2020 genel bakış 2020; Wester vd., Interspeech 2016 |
| VCC 2018 en iyi sistemi doğallık / benzerlik | yaklaşık 4,1 / yaklaşık %80 | Lorenzo-Trueba vd., VCC 2018 makalesi |
| VCC 2016’daki doğal kayıtlar: doğallık / benzerlik | 4,5 / %90 | Violeta vd., SVCC 2025 analizi 2025 |
| USTC-2020 ve hedef kayıtlar, doğallık MOS’u | 4,41 ve 4,57 | Huang vd., IEEE JSTSP 2022 |
| Zero-shot sistem ve gerçek referans, dinleyici doğallık MOS’u | 3,96 ve 4,33 | Yao vd., StableVC, AAAI 2025 |
| MCD’nin alan içi doğallıkla korelasyonu, SVCC 2023 | -0,28 / -0,24 (anlamlı değil) | Huang vd., SVCC 2023 makalesi |
| Bir konuşmacı doğrulayıcıyı zamanın %90’ından fazlasında kandıran VCC 2020 aynı dil sistemleri | 31’den 20’si | Das vd., VCC 2020 nesnel değerlendirme 2020 |
| Gömme benzerliği ve insan puanları, gerçek konuşma ve dönüştürülmüş konuşma | 0,768 ve 0,512 | Ahn vd., VoxSim, Interspeech 2024 |
| Doğrulayıcı hata oranı, aynı konuşmacının kısa ve uzun klipleri (0,50 = ayırt edilemez) | 0,34 | Carbonneau vd. 2025 |
| Benzerlik, herhangi bir konuşmacıdan tek hedefe ve herhangi bir hedefe dönüştürme | %59 ve %28 | Huang vd., IEEE JSTSP 2022 |
| Benzerlik, aynı dilde ve Çince’den İngilizce’ye dönüştürme (2026 sistemi) | 0,63 ve 0,49 | Zheng vd., X-VC 2026 |
| Konuşmacı benzerliği, aksanlı ve duygusal konuşmada gerçek kayıtlar ve en iyi dönüştürülmüş çıktı | 0,762 ve 0,517 | Zhang vd., Vevo, ICLR 2025 |
| SVCC 2023 en iyi sistemi ve gerçek referans benzerliği | %65 ve %80 | Violeta vd., SVCC 2025 analizi 2025 |
| Puan standart sapması 1’in üzerinde olan VCC 2018 ifadeleri | yaklaşık yarısı | Lo vd., MOSNet 2019 |
| Aralık eşitleme yanlılığından kaynaklanan en büyük MOS düşüşü | 1,28 puan | Cooper ve Yamagishi, Interspeech 2023 |
Metodoloji ve Kaynaklar
- Toda vd.: The Voice Conversion Challenge 2016, Interspeech 2016 (ISCA Archive)
- Wester, Wu ve Yamagishi: Analysis of the Voice Conversion Challenge 2016 Evaluation Results, Interspeech 2016
- Lorenzo-Trueba vd.: The Voice Conversion Challenge 2018: Promoting Development of Parallel and Nonparallel Methods (2018)
- Zhao vd.: Voice Conversion Challenge 2020: Intra-lingual semi-parallel and cross-lingual voice conversion (2020)
- Das vd.: Predictions of Subjective Ratings and Spoofing Assessments of Voice Conversion Challenge 2020 Submissions (2020)
- Huang, Yang, Hayashi ve Toda: A Comparative Study of Self-supervised Speech Representation Based Voice Conversion, IEEE JSTSP 2022
- Huang vd.: The Singing Voice Conversion Challenge 2023
- Violeta vd.: An Extensive Analysis of the Singing Voice Conversion Challenge 2025 Evaluation Results (2025, 2026’da gözden geçirildi)
- Lo vd.: MOSNet: Deep Learning-based Objective Assessment for Voice Conversion (2019)
- Ahn vd. (KAIST ve Samsung Research): VoxSim: A perceptual voice similarity dataset, Interspeech 2024
- Carbonneau vd. (Ubisoft La Forge ve Stellenbosch Üniversitesi): Analyzing and Improving Speaker Similarity Assessment for Speech Synthesis (2025)
- Li, Kumar ve Jin (Columbia Üniversitesi ve Adobe Research): DMOSpeech (2025)
- Cooper ve Yamagishi (NII): Investigating Range-Equalizing Bias in Mean Opinion Score Ratings of Synthesized Speech, Interspeech 2023
- Chiang, Huang ve Lee (Ulusal Tayvan Üniversitesi): Why We Should Report the Details in Subjective Evaluation of TTS More Rigorously (2023)
- Yao vd. (Northwestern Polytechnical University ve Ximalaya): StableVC, AAAI 2025
- Zhang vd. (CUHK-Shenzhen ve Meta AI): Vevo: Controllable Zero-Shot Voice Imitation, ICLR 2025
- Zheng vd.: X-VC: Zero-shot Streaming Voice Conversion in Codec Space (Nisan 2026)
- Baas, van Niekerk ve Kamper (Stellenbosch Üniversitesi): Voice Conversion With Just Nearest Neighbors, Interspeech 2023
- Veri notu: SVCC 2025 analizi VCC 2020 diller arası sonuçlarını yaklaşık 4,0 doğallık ve yaklaşık %90 benzerlik olarak aktarıyor; VCC 2020 organizatörlerinin kendi makalesi ise diller arası örneklerin %80’inden azının hedefle aynı sayıldığını söylüyor; biz organizatörlerin rakamını kullanıyoruz. Birkaç makale kendi içinde küçük farklarla çelişiyor (MOSNet metninde 0,624, tablosunda 0,642 ifade düzeyi korelasyon; tabloyu kullanıyoruz; VoxSim metninde 0,733, tablosunda 0,752, önceden eğitilmiş bir model için; DMOSpeech’te WER korelasyonu için -0,15 ve -0,16) ve SVCC 2025 makalesinin sistem sayısı sürümler arasında farklı (önceki sürümde 26, güncel sürümde 33). JSTSP makalesi, USTC-2020’yi kendi sistemleriyle aynı tabloda listeliyor ancak bu puanların kendi dinleme testinden gelip gelmediğini belirtmiyor. SVCC 2025 makalesi stil başına “stil doğruluğu” puanlarını tanımlamıyor ve hangi sistemlerin ortalamasını aldığını söylemiyor; bu nedenle onları mutlak değerler olarak değil, zorluk sıralaması olarak okuyun. Farklı makalelerdeki konuşmacı benzerliği puanları farklı gömme modelleri, test kümeleri ve dinleyici havuzları kullanır; bu yüzden satırlar arasında karşılaştırılamaz ve 2026 diller arası rakamları aynı dil rakamlarından farklı bir test alt kümesi kullanır. Yalnızca konuşmaya yönelik yarışmalar için mevcut en güncel veri VCC 2020’dir; daha yeni konuşma VC kanıtları ortak bir dinleme testinden değil, tekil makalelerden gelir.
Son güncelleme: 31 Ekim 2026. Bu derlemeyi üç ayda bir güncelliyoruz ve bir sonraki yenilemenin, bir sonraki Voice Conversion Challenge veya Singing Voice Conversion Challenge dinleme testi sonuçları yayımlandığında yapılması bekleniyor.