Tanımadığınız birinden üç saniyelik konuşma, zero-shot ses klonlama araştırmalarında standart bir test koşuludur; hem VALL-E hem de Voicebox bu düzene dayanır. Bu testte Voicebox, LibriSpeech üzerinde konuşmacı benzerliğini VALL-E’nin 0,580 değerinden 0,681’e çıkardı; NaturalSpeech 3 ise aynı veri setinin kendi çalıştırmasında gerçek kayıtların 0,68’lik değerine karşılık 0,67 bildirdi. Dinleyiciler pek de güvenilir bir engel değil: 2025 tarihli bir Scientific Reports çalışmasında insanlar yapay zeka klonlarını yaklaşık %80 oranında gerçek konuşmacı olarak değerlendirdi. Ticari ve pazar tablosu için daha kapsamlı ses klonlama istatistikleri yazımıza bakın; bu derleme tek bir soruya odaklanıyor: klonlama ne kadar referans sese ihtiyaç duyuyor ve her ek saniye ne kazandırıyor. Microsoft Research, Meta, ByteDance, Barcelona Supercomputing Center, ABD Federal Ticaret Komisyonu, Consumer Reports, McAfee, Starling Bank ile ICML, NeurIPS, ICLR ve Scientific Reports’ta yayımlanan hakemli makalelerden ve arXiv makalelerinden veri derledik.
TL;DR
- Voicebox 3,0 saniyelik prompt sesiyle test edildi ve girdi sesinin yaklaşık üçte ikisiyle VALL-E’nin konuşmacı benzerliğine ulaştı (Meta, Voicebox makalesi, NeurIPS 2023).
- VCTK üzerinde VALL-E 2 benzerliği 3 saniyede 0,447’den 10 saniyede 0,558’e yükselirken, kelime hata oranı %0,9’dan %3,3’e çıktı (Microsoft Research, VALL-E 2 makalesi 2024).
- Ortalama prompt süresini 7,7 saniyeden 5,5 saniyeye indirmek, doğal ortam konuşmalarında F5-TTS benzerliğini 0,35’ten 0,24’e düşürdü (Barcelona Supercomputing Center, WildSpoof başvurusu 2026).
- XTTS-v2, 6 ila 10 saniyelik referans sesle yüksek doğrulukta klonlamaya ulaştı; 20 saniyenin ötesinde kazanç azalıyor (Zhu, Groningen Üniversitesi tezi 2025).
- 300 saniyelik prompt’lu bir zero-shot model 0,932 benzerlik aldı; 300 saniyede ince ayar yapılmış bir temel model 0,934 aldı (Jiang vd., Mega-TTS 2, ICLR 2024).
- 20 saniyelik Portekizce konuşma üzerinde yapılan ince ayar, insan benzerlik puanlarını 2,77’den 4,43’e yükseltti (Casanova vd., YourTTS, ICML 2022).
- Dinleyiciler yapay zeka seslerini yaklaşık %80 oranında gerçek konuşmacıyla aynı kişi olarak değerlendirdi (Barrington, Cooper ve Farid, Scientific Reports 2025).
- McAfee araştırmacıları üç ila dört saniyelik sesten tahmini %85 ses eşleşmesi bildirdi; bu bir satıcı ölçümüdür (McAfee, Beware the Artificial Impostor 2023).
- Birleşik Krallık’taki yetişkinlerin %28’i geçen yıl yapay zeka ses klonlama dolandırıcılığının hedefi olduğunu söylüyor (Starling Bank ve Mortar Research anketi 2024).
- Altı ses klonlama ürününden dördü, izinsiz klonlamayı durdurmak için temel adımları atmadı (Consumer Reports, ses klonlama değerlendirmesi 2025).
1. 3 Saniyelik Test: Zero-Shot Sistemlere Ne Kadar Ses Veriliyor
“Zero-shot”, sistemin hedef konuşmacı üzerinde hiç eğitilmediği anlamına gelir: sistem, üretim sırasında “prompt” adı verilen kısa bir referans klip dinler ve onu anında taklit eder. VALL-E ve Voicebox’ın her ikisi de yalnızca 3 saniyelik bir prompt ile değerlendirildi ve bu tercih sınırlardan çok hırs hakkında bilgi veriyor. Bu makaleler bir sesin birkaç saniyeden kopyalanıp kopyalanamayacağını sormuyor. Ne kadar iyi kopyalandığı üzerinde yarışıyorlar.
Ürün gereksinimleri daha uzun. OpenAI, Voice Engine’in “tek bir 15 saniyelik ses örneğinden” çalıştığını açıkladı (OpenAI sentetik sesler yazısı 2024) ve ElevenLabs dokümantasyonu bir ila iki dakika öneriyor. Bunlar ölçülmüş eşikler değil, ürün ayarlarıdır.
| Metrik | Değer | Kaynak |
|---|---|---|
| Görülmemiş LibriSpeech konuşmacılarında VALL-E için prompt uzunluğu ve eğitim verisi | 3 saniye; 7.000’den fazla konuşmacıdan 60K saatlik İngilizce konuşma | Microsoft Research, VALL-E makalesi 2023 |
| Voicebox İngilizce zero-shot testlerinde kullanılan prompt sesi | 3,0 saniye | Meta, Voicebox makalesi (NeurIPS 2023) |
| XTTS’i değerlendirmek için kullanılan referans klip uzunluğu | 3 ila 8 saniye arasında tek bir bölüm | Casanova vd., XTTS makalesi (INTERSPEECH 2024) |
| Seed-TTS test setindeki referans konuşma uzunluğu aralığı | 3 ila 20 saniye | ByteDance, Seed-TTS makalesi 2024 |
| OpenAI Voice Engine’in çalıştığı ses örneği | Tek bir 15 saniyelik örnek | OpenAI, sentetik sesler yazısı 2024 |
| ElevenLabs anlık klonlama için asgari ve önerilen ses | Toplamda en az 10 saniye, 1 ila 2 dakika önerilir (satıcının kendi yönergesi) | ElevenLabs, Instant Voice Cloning dokümantasyonu 2026 |
Masaüstü ses klonlama yazılımlarını karşılaştırıyorsanız, 2. ve 3. bölümler bu saniyelerin neyi değiştirdiğini gösteriyor.
2. Konuşmacı Benzerliği 3’ten 10 Saniyeye Nasıl Ölçeklenir
Konuşmacı benzerliği (SIM veya SECS), bir konuşmacı tanıma ağının hesapladığı iki konuşmacı “parmak izi” arasındaki kosinüs benzerliğidir; değer yükseldikçe sesler birbirine yaklaşır. Aynı kişinin iki gerçek kaydı bile 1,0’ın hayli altında puan alır, bu yüzden aşağıdaki gerçek konuşma değerleri okunacak referans noktasıdır. 3 saniyelik prompt’tan 10 saniyelik prompt’a geçmek, VALL-E 2’nin VCTK veri setindeki benzerliğini 0,447’den 0,558’e çıkardı; bu 0,111’lik bir artıştır (0,558 eksi 0,447) ve bu soru için yayımlanmış en net eğridir (VALL-E 2 makalesi 2024).
Eğri farklı sistemlerde farklı noktalarda bükülür. Meta’nın Voicebox ekibi benzerliğin “daha uzun ses prompt’larıyla hızla artıp sonra düzleştiğini” bildirdi (Voicebox makalesi); XTTS-v2 üzerine 2025 tarihli bir tez ise platoyu yaklaşık 10 ila 20 saniyeye yerleştirdi (Zhu, Groningen Üniversitesi). Bu üç makalede işin çoğunu ilk on saniye yapıyor, ancak VALL-E 2 ondan sonra da iyileşmeye devam ediyordu.
| Metrik | Değer | Kaynak |
|---|---|---|
| VCTK’de (108 konuşmacı) 3, 5 ve 10 saniyelik prompt’larla VALL-E benzerliği | 0,382; 0,423; 0,484 (gerçek kayıtlar: 0,546; 0,591; 0,620) | Microsoft Research, VALL-E makalesi 2023 |
| VCTK’de 3, 5 ve 10 saniyelik prompt’larla VALL-E 2 (grup boyutu 1) benzerliği | Tek örnek: 0,447; 0,487; 0,558; beş örneğin en iyisi: 0,508; 0,552; 0,620 (gerçek kayıtlar: 0,623; 0,679; 0,709) | Microsoft Research, VALL-E 2 makalesi 2024 |
| Voicebox’ın VALL-E konuşmacı benzerliğine eşit olması için gereken girdi sesi oranı | Yaklaşık üçte iki | Meta, Voicebox makalesi (NeurIPS 2023) |
| Doğal ortam konuşmalarında uzun (ortalama 7,7 sn) ve kısa (ortalama 5,5 sn) prompt’larla F5-TTS benzerliği | 0,35 ve 0,24 | Barcelona Supercomputing Center, WildSpoof TTS başvurusu 2026 |
| Uzun (ortalama 7,7 sn) ve kısa (ortalama 5,5 sn) prompt’larla StyleTTS2 benzerliği | 0,19 ve 0,14 | Barcelona Supercomputing Center, WildSpoof TTS başvurusu 2026 |
| XTTS-v2’nin yüksek doğrulukta klonlamaya ulaştığı referans uzunluğu (1, 3, 6, 10, 20 ve 40 saniye denendi) | 6 ila 10 saniye; 20 saniyenin ötesinde kazanç azalıyor | Zhu, Groningen Üniversitesi yüksek lisans tezi 2025 |
Aykırı değer notu: Barcelona Supercomputing Center başvurusu buradaki tek 2026 sonucudur ve TTS In the Wild veri setini kullanır. Ortalama olarak 2,2 saniye daha kısa bir prompt (7,7 eksi 5,5), F5-TTS’e 0,11 benzerlik kaybettirdi (0,35 eksi 0,24). Bu, VALL-E 2’nin VCTK’de 7 saniyelik bir fark boyunca gösterdiği kayıpla aynı büyüklüktedir; kısa prompt’ların gündelik seste daha çok zarar verebileceğine dair bir ipucu, ancak iki test doğrudan karşılaştırılabilir değil.
3. Daha Uzun Prompt’lar Anlaşılabilirliği Her Zaman İyileştirmez
Kelime hata oranı (WER) anlaşılabilirliği ölçer: bir konuşma tanıyıcı klonlanmış sesi yazıya döker ve yanlış kelimelerin payı sayılır, dolayısıyla düşük değer daha iyidir. VALL-E 2’nin VCTK’deki WER’i, 3 saniyelik prompt’ta %0,9 iken 10 saniyelik prompt’ta %3,3’e çıktı; bu, benzerlik kazancının tersi yöndedir. İnsan değerlendiriciler de aynı sonuca vardı: aynı testte prompt’lar uzadıkça benzerlik puanları düştü, gerçek kayıtların puanları ise yükseldi.
Daha fazla prompt sesinin yardımcı olacağının hiçbir garantisi yok. Çok cümleli prompt’lar için tasarlanan Mega-TTS 2, 300 saniyeye kadar iyileşmeye devam etti; aynı makalede ölçülen VALL-E ise 20 saniyede bozuldu (Mega-TTS 2 makalesi). Çok kısa prompt’ların da kendine ait bir anlaşılabilirlik riski var: prompt’u kısaltıldığında kötüleşen sistem StyleTTS2 oldu.
| Metrik | Değer | Kaynak |
|---|---|---|
| VCTK’de 3, 5 ve 10 saniyelik prompt’larla VALL-E 2 (grup boyutu 1): kelime hata oranı ve insan benzerlik puanı (SMOS, yüksek daha iyidir) | WER %0,9; %1,9; %3,3; SMOS 4,42±0,15; 4,28±0,16; 3,95±0,10 (gerçek kayıtlar 4,47±0,13; 4,53±0,14; 4,74±0,17) | Microsoft Research, VALL-E 2 makalesi 2024 |
| Mega-TTS 2 yazarlarının ölçtüğü şekilde LibriSpeech’te 3, 10 ve 20 saniyelik prompt’larla VALL-E | WER %5,83; %5,54; %8,77; benzerlik 0,885; 0,893; 0,805 | Jiang vd., Mega-TTS 2 (ICLR 2024) |
| 3, 10, 60 ve 300 saniyelik prompt’larla Mega-TTS 2 kelime hata oranı | %2,46; %2,28; %2,24; %2,23 | Jiang vd., Mega-TTS 2 (ICLR 2024) |
| Uzun (7,7 sn) ve kısa (5,5 sn) prompt’larla StyleTTS2 kelime hata oranı | 0,21 ve 0,49 (F5-TTS değişmeden 0,07) | Barcelona Supercomputing Center, WildSpoof TTS başvurusu 2026 |
| Prompt ve hedef dil farklı olduğunda, prompt’lar uzadıkça Voicebox eğilimi | Benzerlik iyileşir; çoğu dil yönünde WER artar | Meta, Voicebox makalesi (NeurIPS 2023) |
Bağlam: VALL-E 2 eğilimi tam olarak düzgün değil. Grup boyutu 2 ayarı aynı üç uzunlukta %1,5, %0,9 ve %2,3 WER kaydetti. Voicebox yazarları diller arası WER artışını, eğitim verisinin %90’ından fazlasının İngilizce olmasına bağlıyor.
4. Kısa Prompt’lu Klonlar Gerçek Konuşmacıya Ne Kadar Yaklaşıyor
Kıyaslama konuşmasında, yayımlanmış en iyi sistemler artık gerçek kayıtların yanında duruyor. NaturalSpeech 3, gerçek referans kayıtların 0,68’lik değerine karşılık 0,67 konuşmacı benzerliği elde etti ve insan benzerlik puanı (4,01), aynı LibriSpeech testinde gerçek kayıtların 3,85’inden yüksekti (Microsoft Research, NaturalSpeech 3 makalesi 2024). Bu, aşağıdaki ilk satırda YourTTS’in aldığı 0,337’den çok uzak.
Gerçek konuşma puanları bunların laboratuvar koşulları olduğunun göstergesidir: makaleler arasında 0,68 ile 0,8952 arasında değişirler, bu yüzden her sistem tabloda olduğu gibi kendi gerçek referans değerine göre okunmalıdır. F5-TTS makalesi kendi testinde gerçek konuşmanın 0,03 yakınına ulaşıyor (0,69 eksi 0,66).
| Metrik | Değer | Kaynak |
|---|---|---|
| LibriSpeech, 3 saniyelik prompt: YourTTS, VALL-E ve Voicebox karşılaştırması | Benzerlik 0,337; 0,580; 0,681 (gerçek konuşma 0,754); WER %7,7; %5,9; %1,9 (gerçek konuşma %2,2) | Meta, Voicebox makalesi (NeurIPS 2023) |
| LibriSpeech’te NaturalSpeech 3 ile gerçek kayıtlar: benzerlik ve WER | 0,67 ve %1,81; gerçek kayıtlar 0,68 ve %1,94 | Microsoft Research, NaturalSpeech 3 makalesi 2024 |
| Seed-TTS İngilizce benzerliği ile insan kayıtları ve insanlara kıyasla karşılaştırmalı puan (CMOS) | 0,762 ve 0,730; CMOS -0,07 | ByteDance, Seed-TTS makalesi 2024 |
| 4 ila 10 saniyelik 1.127 LibriSpeech-PC örneğinde F5-TTS ile gerçek konuşma: benzerlik ve WER | 0,66 ve %2,42; gerçek konuşma 0,69 ve %2,23 | Chen vd., F5-TTS makalesi 2024 |
| MiniMax-Speech İngilizce benzerliği: yalnızca konuşmacı gömmesi ile eşleştirilmiş metinli prompt | 0,692 ve 0,738 (gerçek kayıt 0,730) | Zhang vd., MiniMax-Speech makalesi 2025 |
| XTTS İngilizce benzerliği ile gerçek konuşma | 0,6423 ve 0,8952 | Casanova vd., XTTS makalesi (INTERSPEECH 2024) |
Aykırı değer notu: Seed-TTS ve eşleştirilmiş metinli MiniMax-Speech ayarı, kendi gerçek kayıtlarının üzerinde puan alıyor. Seed-TTS yazarları, aynı konuşmacıya ait gerçek kayıt ile referans kliplerin konuşma tarzı ve arka plan ortamı bakımından yine de farklılaşabileceğini, bu yüzden referansı yakından izleyen bir modelin ikinci bir gerçek kayıttan daha yüksek puan alabileceğini açıklıyor. Bu, insandan daha iyi bir klonun kanıtı değildir.
5. Zero-Shot ve İnce Ayarlı Klonlama: Saniye ve Dakikalarla Ölçülen Fark
İnce ayar, bir modelin ağırlıklarını hedef konuşmacının sesi üzerinde güncellemek demektir; özel bir sese giden daha eski ve daha yavaş yoldur. Hedef sesin 300 saniyesiyle, bir zero-shot prompt 0,932 benzerliğe ulaştı; ince ayarlı temel model için bu 0,934 idi ve zero-shot modelde daha az kelime hatası vardı (%2,23 ve %3,11) (Jiang vd., Mega-TTS 2, ICLR 2024). Bu uyarı önemli: iki sistem de yazarların kendi sistemleri ve temel model, mevcut en güçlü ince ayarlı sistem değil, 2.000 adım boyunca ince ayar yapılmış bir FastSpeech 2 yapısı.
İnce ayar, bir ses eğitim verisinden uzak olduğunda hâlâ maliyetini karşılıyor. YourTTS tek bir Portekizce konuşmacı üzerinde eğitildi ve 20 ila 31 saniyelik ince ayar, yeni Portekizce sesler için dinleyicilerin benzerlik puanlarını yükseltti, ancak genel kalite puanları biraz düştü (YourTTS makalesi). XTTS, diller arası klonlamada konuşmacı başına yaklaşık 10 dakikalık sesten 0,1314 benzerlik kazandı (0,7166 eksi 0,5852).
| Metrik | Değer | Kaynak |
|---|---|---|
| 10, 60 ve 300 saniyelik hedef sesle ince ayarlı temel modelin benzerliği | 0,895; 0,923; 0,934 | Jiang vd., Mega-TTS 2 (ICLR 2024) |
| 3, 10, 60 ve 300 saniyelik prompt’larla zero-shot Mega-TTS 2 benzerliği | 0,898; 0,905; 0,926; 0,932 | Jiang vd., Mega-TTS 2 (ICLR 2024) |
| YourTTS, 20 saniyelik konuşmaya sahip Portekizce kadın konuşmacı, zero-shot ve ince ayarlı | Benzerlik 0,743 ve 0,930; Sim-MOS 2,77±0,15 ve 4,43±0,06; MOS 3,59±0,13 ve 3,48±0,13 | Casanova vd., YourTTS (ICML 2022) |
| YourTTS, 61 saniyelik konuşmaya sahip İngilizce erkek konuşmacı, zero-shot ve ince ayarlı | Benzerlik 0,851 ve 0,880 (gerçek konuşma 0,875) | Casanova vd., YourTTS (ICML 2022) |
| Konuşmacı başına yaklaşık 10 dakikalık ince ayar öncesi ve sonrası XTTS diller arası benzerliği | 0,5852 ve 0,7166 | Casanova vd., XTTS makalesi (INTERSPEECH 2024) |
| 20 saniyelik prompt’lu Seed-TTS ile konuşmacı başına 1 ila 10 saat ince ayarlı model: benzerlik ve WER | 0,779 ve 3,15; ince ayarlı 0,789 ve 2,83 (ince ayarlı için CMOS +0,37) | ByteDance, Seed-TTS makalesi 2024 |
| ElevenLabs Professional Voice Cloning (ince ayarlı katmanı) için önerilen ses | 30 ila 180 dakika (satıcının kendi yönergesi) | ElevenLabs, ses klonlama dokümantasyonu 2026 |
YourTTS ince ayar testi için mevcut en güncel veri: Casanova vd., ICML 2022. Yalnızca 4 konuşmacıyı kapsıyor, bu yüzden bunu bir nüfus tahmini olarak değil, dil etkisinin bir örneği olarak değerlendirin.
6. Güvenlik Boyutu: Kısa Prompt’lar ve Dolandırıcılık
Araştırma sayılarının tüketici açısından doğrudan bir karşılığı var: herkese açık videolar prompt malzemesidir. Dinleyiciler bir yapay zeka sesini gerçek karşılığıyla aynı kimlik olarak yaklaşık %80 oranında değerlendirdi ve yapay zeka seslerini yalnızca yaklaşık %60 oranında doğru tespit etti; çalışmaya 604 katılımcı katıldı ve gerçek kliplerin ortalama uzunluğu 5,37 saniyeydi (Barrington, Cooper ve Farid, Scientific Reports 2025). Klonlar, 220 konuşmacının her birinin ilk iki kayıtlı prompt’u ile beslenen ticari bir anlık klonlama hizmetinden geldi.
Dolandırıcılık uyarılarındaki “üç saniye” ifadesi şirket açıklamalarına dayanıyor. McAfee’nin rakamı kendi kıyaslaması ve bu kaynak için mevcut en güncel veri (McAfee, 2023). Starling Bank iddiayı 2024’te anketiyle birlikte yineledi (Starling Bank, Safe Phrases kampanyası 2024). Ses klonlama ile aile dolandırıcılığı yazımız dolandırıcılıkların kendisini ele alıyor.
| Metrik | Değer | Kaynak |
|---|---|---|
| Dinleyicilerin bir yapay zeka sesini gerçek konuşmacıyla aynı kişi olarak yargıladığı denemelerin oranı | Yaklaşık %80 | Barrington, Cooper ve Farid, Scientific Reports 2025 |
| Dinleyicilerin bir sesi yapay zeka üretimi olarak doğru tanıdığı denemelerin oranı | Yaklaşık %60 | Barrington, Cooper ve Farid, Scientific Reports 2025 |
| McAfee araştırmacılarının ücretsiz bir araçla tahmini %85 ses eşleşmesi için ihtiyaç duyduğu ses | Üç ila dört saniye (daha fazla çabayla yaklaşık %95; satıcının kendi kıyaslaması) | McAfee, Beware the Artificial Impostor 2023 |
| Sesini haftada en az bir kez çevrimiçi paylaşan yetişkinler | %53 (7 ülkeden 7.054 yetişkin) | McAfee, Beware the Artificial Impostor 2023 |
| Gerçek bir sesi klonlanmış bir sesten ayırt edebileceğinden emin olmayan yetişkinler | %70 | McAfee, Beware the Artificial Impostor 2023 |
| Geçen yıl yapay zeka ses klonlama dolandırıcılığının hedefi olduğunu söyleyen Birleşik Krallık’taki yetişkinler | %28 (3.010 yetişkin) | Starling Bank ve Mortar Research anketi 2024 |
| Arama garip görünse bile istenen parayı gönderecek Birleşik Krallık’taki yetişkinler | %8 | Starling Bank ve Mortar Research anketi 2024 |
| İzinsiz klonlamayı durdurmak için temel adımları atmayan değerlendirilen ses klonlama ürünleri | 6 üründen 4’ü | Consumer Reports, ses klonlama değerlendirmesi 2025 |
Bağlam: Starling’in %28’i insanların başlarına geldiğini söylediği şeyi ölçüyor, doğrulanmış olayları değil. McAfee’nin %85 ve %95 değerleri şirketin kendi tahminleri ve bağımsız bir tekrar bulamadık. Consumer Reports değerlendirmesi Descript, ElevenLabs, Lovo, PlayHT, Resemble AI ve Speechify’ı kapsıyordu.
7. Güvenceler, Tespit ve Yayın Kararları
Yayın kararları sektörü ikiye bölüyor. Microsoft, “VALL-E 2’yi bir ürüne dahil etme veya erişimi kamuya açma planı olmadığını” söylüyor (VALL-E 2 proje sayfası); OpenAI ise bankaları ses tabanlı kimlik doğrulamayı aşamalı olarak bırakmaya çağırırken Voice Engine’i “önizlemeye açıp geniş çapta yayımlamamayı” seçti. Bu arada F5-TTS yazarları, saydıkları kötüye kullanım riskleri için filigran ve tespit modelleri çağrısı yapıyor. FTC sorunu bir yarışma finanse edecek kadar açık bir sorun olarak değerlendirdi (FTC, Voice Cloning Challenge kazananları 2024).
Tespit sonuçları, sahte sesin neyle karşılaştırıldığına büyük ölçüde bağlı. Meta’nın sınıflandırıcısı Voicebox çıktısını orijinal sesten mükemmel biçimde ayırdı, ancak en düşük maskeleme düzeyinde bir vokoderden (sesi spektrumundan yeniden kuran yazılım) geçirilmiş gerçek konuşmaya karşı 0,704 puan aldı. Tespit edicilerin performansına daha derin bir bakış için ses deepfake tespit doğruluğu istatistikleri yazımıza bakın.
| Metrik | Değer | Kaynak |
|---|---|---|
| FTC Voice Cloning Challenge’ın üç kazananı arasında paylaşılan ödül parası | 35.000 $ (8 Nisan 2024’te duyuruldu) | ABD Federal Ticaret Komisyonu, Voice Cloning Challenge 2024 |
| FTC tarafından tanınan Pindrop gerçek zamanlı klon tespit aracının kontrol ettiği ses parçası boyutu | İki saniyelik parçalar | ABD Federal Ticaret Komisyonu, Voice Cloning Challenge 2024 |
| Voicebox tespit sınıflandırıcısının orijinal sese karşı doğruluğu ve sesin %30, %50 ve %90’ı maskelendiğinde vokoderden geçirilmiş gerçek sese karşı doğruluğu | Orijinale karşı 1,000; vokoderden geçirilmişe karşı 0,704; 0,809; 0,907 | Meta, Voicebox makalesi (NeurIPS 2023) |
| OpenAI’ın Voice Engine’i ilk geliştirdiği zaman ile sınırlı önizlemeyi yayımladığı zaman | 2022 sonu ve 29 Mart 2024 | OpenAI, sentetik sesler yazısı 2024 |
| ASVspoof 5 yarışmasındaki takımlar ve Track 1 açık koşulundaki en zor saldırı | 53 takım; önceden eğitilmiş zero-shot YourTTS (minDCF 0,33) | Wang vd., ASVspoof 5 değerlendirme makalesi 2026 |
Bağlam: minDCF, değerin yüksek olmasının tespit edicilerin daha çok zorlandığı anlamına geldiği bir tespit maliyeti puanıdır. Önceden eğitilmiş bir YourTTS modelinin ASVspoof 5 açık koşul zorluk listesinin başında yer alması, zero-shot saldırıların sorun çıkarmak için öncü bir sisteme ihtiyaç duymadığını düşündürüyor; ancak makale bu sonucu prompt uzunluğuna göre ayırmıyor.
Özet: Rakamlarla Zero-Shot Ses Klonlama Referans Ses Uzunluğu
| Metrik | Değer | Kaynak |
|---|---|---|
| OpenAI Voice Engine’in çalıştığı ses örneği | 15 saniye | OpenAI, sentetik sesler yazısı 2024 |
| VCTK’de VALL-E 2, 3 ve 10 saniyelik prompt (grup boyutu 1): benzerlik ve WER | 0,447 ve 0,558; %0,9 ve %3,3 | Microsoft Research, VALL-E 2 makalesi 2024 |
| Voicebox’ın VALL-E benzerliğine eşit olması için gereken girdi sesi oranı | Yaklaşık üçte iki | Meta, Voicebox makalesi (NeurIPS 2023) |
| Doğal ortam konuşmalarında F5-TTS benzerliği, uzun (7,7 sn) ve kısa (5,5 sn) prompt | 0,35 ve 0,24 | Barcelona Supercomputing Center, WildSpoof TTS başvurusu 2026 |
| StyleTTS2 kelime hata oranı, uzun (7,7 sn) ve kısa (5,5 sn) prompt | 0,21 ve 0,49 | Barcelona Supercomputing Center, WildSpoof TTS başvurusu 2026 |
| Yüksek doğrulukta XTTS-v2 klonlaması için referans uzunluğu | 6 ila 10 saniye | Zhu, Groningen Üniversitesi tezi 2025 |
| NaturalSpeech 3 benzerliği ve gerçek kayıtlar | 0,67 ve 0,68 | Microsoft Research, NaturalSpeech 3 makalesi 2024 |
| F5-TTS kelime hata oranı ve gerçek konuşma | %2,42 ve %2,23 | Chen vd., F5-TTS makalesi 2024 |
| 300 saniyelik sesle zero-shot Mega-TTS 2 ve ince ayarlı temel model benzerliği | 0,932 ve 0,934 | Jiang vd., Mega-TTS 2 (ICLR 2024) |
| YourTTS dinleyici benzerlik puanı, 20 saniyede zero-shot ve ince ayarlı | 2,77 ve 4,43 | Casanova vd., YourTTS (ICML 2022) |
| Yaklaşık 10 dakikalık ince ayardan sonra XTTS diller arası benzerliği | 0,5852 değerinden 0,7166 değerine | Casanova vd., XTTS makalesi (INTERSPEECH 2024) |
| Bir yapay zeka klonunu gerçek konuşmacı sanan dinleyiciler | Yaklaşık %80 | Barrington, Cooper ve Farid, Scientific Reports 2025 |
| Tahmini %85 eşleşme için gereken ses (satıcı kıyaslaması) | Üç ila dört saniye | McAfee, Beware the Artificial Impostor 2023 |
| Ses klonlama dolandırıcılığının hedefi olduğunu söyleyen Birleşik Krallık’taki yetişkinler | %28 | Starling Bank ve Mortar Research anketi 2024 |
| İzinsiz klonlamaya karşı temel adımları atmayan ses klonlama ürünleri | 6 üründen 4’ü | Consumer Reports, ses klonlama değerlendirmesi 2025 |
| FTC Voice Cloning Challenge kazananlarının ödül parası | 35.000 $ | ABD Federal Ticaret Komisyonu, Voice Cloning Challenge 2024 |
Metodoloji ve Kaynaklar
- Neural Codec Language Models are Zero-Shot Text to Speech Synthesizers (VALL-E) (Microsoft Research, 2023): 3 saniyelik prompt düzeni ve prompt uzunluğuna göre VCTK sonuçları.
- VALL-E 2: Neural Codec Language Models are Human Parity Zero-Shot Text to Speech Synthesizers (Microsoft Research, 2024): 3, 5 ve 10 saniyede VCTK benzerliği, WER ve SMOS.
- VALL-E 2 proje sayfası (Microsoft Research): yayın açıklaması.
- NaturalSpeech 3: Zero-Shot Speech Synthesis with Factorized Codec and Diffusion Models (Microsoft Research ve üniversite ortak yazarları, 2024): LibriSpeech karşılaştırması.
- Voicebox: Text-Guided Multilingual Universal Speech Generation at Scale (Meta, NeurIPS 2023): prompt uzunluğu analizi, İngilizce kıyaslama, tespit sınıflandırıcısı.
- YourTTS: Towards Zero-Shot Multi-Speaker TTS and Zero-Shot Voice Conversion for everyone (Casanova vd., ICML 2022): zero-shot ve ince ayarlı konuşmacı uyarlaması.
- XTTS: a Massively Multilingual Zero-Shot Text-to-Speech Model (Casanova vd., INTERSPEECH 2024): referans uzunluğu, İngilizce benzerlik, ince ayar kazancı.
- Mega-TTS 2: Boosting Prompting Mechanisms for Zero-Shot Speech Synthesis (Jiang vd., ByteDance ve Zhejiang Üniversitesi, ICLR 2024): 3 ila 300 saniyelik prompt’lar ve ince ayarlı temel model.
- Seed-TTS: A Family of High-Quality Versatile Speech Generation Models (ByteDance, 2024): zero-shot ve konuşmacıya özel ince ayar.
- F5-TTS: A Fairytaler that Fakes Fluent and Faithful Speech with Flow Matching (Chen vd., 2024): LibriSpeech-PC kıyaslaması.
- MiniMax-Speech: Intrinsic Zero-Shot Text-to-Speech with a Learnable Speaker Encoder (Zhang vd., 2025): konuşmacı gömmesi ve eşleştirilmiş metinle klonlama.
- Zero-Shot TTS With Enhanced Audio Prompts: BSC submission for the 2026 WildSpoof challenge TTS track (Barcelona Supercomputing Center, 5 Şubat 2026): uzun ve kısa prompt’lar.
- Zero-Shot Voice Cloning with Minimal Data: Impact of Reference Duration on Long-Form Speech Synthesis (Zhu, Groningen Üniversitesi, 2025): 1 ila 40 saniyelik referans testi.
- People are poorly equipped to detect AI-powered voice clones (Barrington, Cooper ve Farid, Scientific Reports, 2025).
- ASVspoof 5: Evaluation of Spoofing, Deepfake, and Adversarial Attack Detection Using Crowdsourced Speech (Wang vd., 7 Ocak 2026).
- FTC Announces Winners of Voice Cloning Challenge (ABD Federal Ticaret Komisyonu, 8 Nisan 2024).
- Do These 6 AI Voice Cloning Companies Do Enough to Prevent Misuse? (Consumer Reports, 10 Mart 2025).
- Beware the Artificial Impostor (McAfee, Mayıs 2023; satıcı araştırması).
- Starling Bank Safe Phrases kampanyası (Starling Bank ve Mortar Research, 18 Eylül 2024).
- Sentetik seslerin zorlukları ve fırsatları üzerine OpenAI yazısı (OpenAI, 29 Mart 2024).
- ElevenLabs Instant Voice Cloning dokümantasyonu (satıcı yönergesi, Ekim 2026’da okundu).
- Veri notu: benzerlik puanları makaleler arasında karşılaştırılamaz, çünkü her biri kendi konuşmacı tanıma modelini, test setini ve puanlamasını kullanır (LibriSpeech’te gerçek konuşma makaleye göre 0,754, 0,68 veya 0,69 puan alır), bu yüzden yalnızca aynı satır içinde karşılaştırın. Mega-TTS 2 makalesi diğerlerinden çok daha yüksek benzerlik değerleri bildiriyor; orada VALL-E 0,885 iken özgün makalede 0,580 olduğundan, onun sayıları yalnızca birbiriyle kıyaslanarak okunmalı. Mega-TTS 2 ince ayar karşılaştırmasının her iki tarafı da yazarları tarafından kuruldu. Voicebox metni, benzerliğin daha uzun prompt’larla arttığını ve sonra düzleştiğini söylerken, şekil açıklaması 10 saniyeye kadar aynı kaldığını söylüyor. MiniMax-Speech, eşleştirilmiş metinli prompt’u ‘one-shot’ olarak adlandırıyor ve Seed-TTS’i de öyle sınıflandırıyor, oysa Seed-TTS kendisini zero-shot olarak tanımlıyor. WildSpoof modelleri testten önce TITW veri setinde ince ayardan geçirildi, bu yüzden bu sonuçlar saf zero-shot temel değerler değil. VALL-E 2’nin 10 saniyelik dinleyici puanları geniş aralıklar taşıyor (±0,49’a kadar). Scientific Reports makalesi, her klonun arkasındaki iki prompt’un ne kadar uzun olduğunu belirtmiyor, bu yüzden %80 değeri herhangi bir prompt uzunluğu için bir rakam olarak okunmamalı. Zhu’nun tez özeti benzerlik değerleri vermiyor, yalnızca uzunlukları ve etkinin yönünü veriyor. VALL-E, Voicebox, YourTTS ve McAfee üç yıldan eski ve mevcut en güncel veri olarak işaretlendi: ortak bir kıyaslamada tam 3, 5 ve 10 saniyelik eğriyi tekrarlayan 2025 veya 2026 tarihli bir makale bulamadık. Starling Bank ve McAfee anketleri katılımcıların kendi beyanına dayanıyor.
Son güncelleme: 31 Ekim 2026. Bu derlemeyi üç ayda bir güncelliyoruz ve bir sonraki yenilemenin ICASSP 2027 bildirileri yayımlandığında yapılması bekleniyor.