Google’ın Tacotron 2 sistemi, Aralık 2017’de profesyonelce kaydedilmiş konuşmanın 4,58 puanına karşı 4,53 ortalama görüş puanı (MOS) aldı (Google, Tacotron 2 makalesi 2017) ve o günden bu yana sentetik ile insan konuşması arasındaki fark, neredeyse tüm standart kıyaslamalarda kapandı. 2024’e gelindiğinde VALL-E 2 ve MaskGCT gibi sıfır örnekli sistemler, karşılaştırıldıkları referans kayıtların biraz üzerinde puan alıyordu (Microsoft, VALL-E 2 2024; MaskGCT 2024) ve 2025 tarihli bir dinleme çalışmasında ses klonlarının %58’i gerçek insan sesi sanıldı (Queen Mary University of London, PLOS ONE 2025). 2026’daki asıl soru artık makinelerin insan gibi konuşup konuşamayacağı değil, MOS testinin aradaki farkı hâlâ ölçüp ölçemediği. Google DeepMind, Microsoft Research, ByteDance, Blizzard Challenge, VoiceMOS Challenge, ITU-T, PLOS ONE, Artificial Analysis ve Hugging Face verilerini bir araya getirdik; daha geniş pazar tablosu için metinden sese istatistikleri derlememize bakabilirsiniz.
TL;DR
- Tacotron 2, profesyonel kayıtların 4,58 MOS puanına karşı 4,53 aldı (Google, Tacotron 2 makalesi 2017).
- WaveNet, insan konuşmasına olan farkı %50’den fazla azalttı; ABD İngilizcesinde 4,55’e karşı 4,21 aldı (DeepMind, WaveNet 2016).
- NaturalSpeech, LJ Speech kayıtlarına karşı -0,01 CMOS aldı ve anlamlı bir fark çıkmadı (Microsoft Research, NaturalSpeech 2022).
- VALL-E 2, LibriSpeech üzerinde +0,033 CMOS aldı ve referans kayıtların 4,13 olan SMOS puanına karşı 4,61 SMOS elde etti (Microsoft, VALL-E 2 2024).
- NaturalSpeech 3, 200.000 saatlik veriyle ve 1 milyar parametreyle eğitildi (Microsoft, NaturalSpeech 3 2024).
- CosyVoice 3, eğitim verisini 9 dilde 10.000 saatten 1 milyon saate çıkardı (Alibaba, CosyVoice 3 2025).
- İnsan kayıtları, dört dönüm noktası makalede 4,30 ile 4,58 MOS arasında puan aldı (Google, DeepMind, Kakao, Microsoft makaleleri 2016-2021).
- İki Blizzard Challenge 2023 sistemi MOS bakımından doğal konuşmadan istatistiksel olarak farksızdı; bu, yarışma için bir ilk (Blizzard Challenge 2023 özeti, Computer Speech and Language 2024).
- Ses klonlarının %58’i ve genel yapay zeka seslerinin %41’i insan olarak değerlendirildi (Lavan ve ark., PLOS ONE 2025).
- Dinleyiciler konuşma deepfake’lerini %73 oranında doğru tespit etti (Mai ve ark., PLOS ONE 2023).
- VoiceMOS Challenge 2022, 22 ekipten 187 TTS ve ses dönüştürme sistemini kapsadı (VoiceMOS Challenge 2022).
- Speech Arena’nın birinci modeli, artı eksi 189 aralıkla 1321 Elo puanı aldı (Artificial Analysis, Ekim 2026).
1. İnsan Tavanı Sabit Bir Sayı Değil
Her eşdeğerlik iddiası, gerçek konuşma için bir referans puana dayanır ve bu referans oynar. Kayıtlı insan konuşması, dönüm noktası TTS makalelerinde en yüksek 4,58, en düşük 4,30 MOS puanı aldı; bu 0,28 puanlık aralık, aynı tablolardaki birçok rakip sistemi ayıran farktan daha geniş. Yalnızca LJ Speech veri seti, VITS makalesinde 4,46, FastSpeech 2 makalesinde ise 4,30 puan üretti; çünkü dinleyici havuzları, yönergeler ve test tasarımı laboratuvardan laboratuvara değişiyor.
Pratikteki okuma şu: 4,4’lük bir MOS tek başına hiçbir anlam taşımaz. Ancak aynı dinleme testindeki referans kayıt puanının yanında anlam kazanır; modern makalelerin ham MOS yerine giderek daha çok CMOS (karşılaştırmalı MOS, bir referansa göre yan yana verilen puan) bildirmesinin nedeni de bu. VITS makalesi iyi bir örnek: referans kayıtlar için 4,46, kendi sistemi için 4,43 bildiriyor; güven aralıklarının içinde kalan 0,03’lük bir fark.
| Metrik | Değer | Kaynak |
|---|---|---|
| Profesyonelce kaydedilmiş konuşma MOS’u, Tacotron 2 testi | 4,58 | Google, Tacotron 2 makalesi 2017 |
| İnsan konuşması MOS’u, ABD İngilizcesi, WaveNet testi | 4,55 | DeepMind, WaveNet 2016 |
| İnsan konuşması MOS’u, Mandarin, WaveNet testi | 4,21 | DeepMind, WaveNet 2016 |
| LJ Speech referans kayıt MOS’u, VITS testi | 4,46 (± 0,06) | Kim ve ark. (Kakao Enterprise), VITS 2021 |
| VCTK referans kayıt MOS’u, VITS testi | 4,38 (± 0,07) | Kim ve ark., VITS 2021 |
| LJ Speech referans kayıt MOS’u, FastSpeech 2 testi | 4,30 (± 0,07) | Microsoft ve Zhejiang Üniversitesi, FastSpeech 2 2020 |
| Vokoderden geçirilmiş referans kayıt, FastSpeech 2 testi | 3,92 | FastSpeech 2 2020 |
Bağlam notu: vokoder satırı önemli. Gerçek kayıtları mel spektrogramlarına çevirip geri dönüştürmek bile FastSpeech 2 testinde 0,38 MOS puanına mal oldu; bu, tarihsel farkın ne kadarının metin modellemesinden değil, dalga biçimi üretiminden kaynaklandığını gösteriyor. Bu makalelerin çoğu üç yıldan eski ve kıyaslamaları için erişilebilen en güncel veri olarak gösteriliyor.
2. WaveNet’ten Eşdeğerliğe: Tek Konuşmacılı TTS, 2016-2022
Tek konuşmacılı hikâye yaklaşık altı yıl sürdü. WaveNet, 2016’da mevcut en iyi sistemler ile insan konuşması arasındaki farkı %50’den fazla azalttı; ABD İngilizcesinde birleştirmeli sentez için 3,86, parametrik sentez için 3,67 karşısında 4,21 aldı (DeepMind WaveNet duyurusu). Ardından Tacotron 2 farkı 0,05 puana indirdi ve 2021’de VITS, çok konuşmacılı VCTK setinde referans kayıtlara 4,38 ile eşitlendi.
Bitiş çizgisi, Microsoft’un NaturalSpeech çalışmasıyla geldi: cümle düzeyinde LJ Speech kayıtlarına karşı -0,01 CMOS aldı ve Wilcoxon işaretli sıra testi anlamlı bir fark göstermedi. Asıl ilginç kayma bundan sonra yaşandı: temiz okunmuş konuşmada eşdeğerliğe ulaşılınca alan, tek konuşmacılı doğallık üzerinde yarışmayı bıraktı ve görülmemiş sesleri birkaç saniyelik ses kaydından klonlamaya yöneldi.
| Metrik | Değer | Kaynak |
|---|---|---|
| WaveNet MOS’u ve insan, ABD İngilizcesi | 4,21 ve 4,55 | DeepMind, WaveNet 2016 |
| WaveNet MOS’u ve insan, Mandarin | 4,08 ve 4,21 | DeepMind, WaveNet 2016 |
| Birleştirmeli ve parametrik MOS, ABD İngilizcesi (WaveNet öncesi) | 3,86 ve 3,67 | DeepMind, WaveNet 2016 |
| Tacotron 2 MOS’u ve kayıtlar | 4,53 ve 4,58 | Google, Tacotron 2 makalesi 2017 |
| VITS MOS’u ve referans kayıt, LJ Speech | 4,43 ve 4,46 | Kim ve ark., VITS 2021 |
| VITS MOS’u ve referans kayıt, VCTK çok konuşmacılı | 4,38 ve 4,38 | Kim ve ark., VITS 2021 |
| VCTK üzerinde Tacotron 2 + HiFi-GAN, aynı test | 3,14 | Kim ve ark., VITS 2021 |
| NaturalSpeech CMOS’u ve LJ Speech kayıtları | -0,01 (p >> 0,05) | Microsoft Research, NaturalSpeech 2022 |
Hız da kaliteyle birlikte arttı. VITS, gerçek zamanın 67,12 katı hızla sentez yaparken Glow-TTS artı HiFi-GAN hattı 27,48 katta kaldı; FastSpeech 2 ise FastSpeech’in 53,12 saatine karşı 17,02 saatte eğitildi, yani 3,12 kat hızlanma (FastSpeech 2 makalesi).
| Metrik | Değer | Kaynak |
|---|---|---|
| VITS gerçek zamanlı çarpanı | 67,12x | Kim ve ark., VITS 2021 |
| Glow-TTS + HiFi-GAN gerçek zamanlı çarpanı | 27,48x | Kim ve ark., VITS 2021 |
| FastSpeech 2 MOS’u ve Tacotron 2 MOS’u (20 anadili konuşan değerlendirici) | 3,83 ve 3,70 | FastSpeech 2 2020 |
| FastSpeech 2 eğitim süresi ve FastSpeech | 17,02 saat ve 53,12 saat (3,12 kat daha hızlı) | FastSpeech 2 2020 |
3. Sıfır Örnekli Ses Klonlama Referans Kayıtlara Ulaşıyor ve Onları Geçiyor
Görülmemiş bir konuşmacıyı kısa bir örnekten klonlayan sıfır örnekli TTS, aynı yolculuğu yaklaşık iki yıla sığdırdı. Microsoft’un VALL-E 2 sistemi LibriSpeech üzerinde referans kayıtlara göre +0,033 CMOS aldı ve konuşmacı benzerliği puanı (4,61) gerçek kayıtları (4,13) geçti (VALL-E 2 makalesi, 20 anadili Amerikan İngilizcesi olan değerlendirici). Ocak 2023’te yayımlanan ve 60.000 saatlik İngilizce veriyle eğitilen orijinal VALL-E ise LibriSpeech’te referans kayıtların hâlâ 0,17 CMOS gerisindeydi.
Ortak nokta ölçek. NaturalSpeech 3, 200.000 saat ve 1 milyar parametre; MaskGCT, gerçek ortam konuşmasından 100.000 saat; Alibaba’nın CosyVoice 3 sistemi ise 9 dil ve 18 Çin lehçesinde bir milyon saat kullandı. 2026’da ses klonlama yazılımı alacaklar için soru artık bir klonun laboratuvar testinde referans kayda eşit olup olamayacağı değil; gürültülü örneklerde, aksanlarda ve ifadeli konuşmada bunu ne kadar tutarlı yapabildiği. Ses klonlama istatistiklerimiz benimsenmeyi ve kötüye kullanımı ele alıyor.
| Metrik | Değer | Kaynak |
|---|---|---|
| VALL-E eğitim verisi | 60.000 saat İngilizce | Microsoft, VALL-E 2023 |
| VALL-E CMOS’u ve referans kayıt, LibriSpeech (referans kayıt +0,17) | -0,17 | Microsoft, VALL-E 2023 |
| VALL-E 2 CMOS’u ve referans kayıt, LibriSpeech | +0,033 | Microsoft, VALL-E 2 2024 |
| VALL-E 2 SMOS’u ve referans kayıt, LibriSpeech | 4,61 ve 4,13 | Microsoft, VALL-E 2 2024 |
| NaturalSpeech 3 CMOS’u (referans kayıt +0,08) | 0,00 | Microsoft, NaturalSpeech 3 2024 |
| NaturalSpeech 3 SMOS’u ve referans kayıt | 4,01 ve 3,85 | Microsoft, NaturalSpeech 3 2024 |
| MaskGCT CMOS’u ve referans kayıt, LibriSpeech | +0,10 | MaskGCT 2024 |
| Seed-TTS CMOS’u ve insan, İngilizce / Mandarin | -0,07 / -0,08 | ByteDance, Seed-TTS 2024 |
Nesnel ölçütler de aynı hikâyeyi anlatıyor. CosyVoice 3, Seed-TTS İngilizce test setinde insan kayıtlarının %2,14’üne karşı %1,45 kelime hata oranı (WER) elde etti (CosyVoice 3 makalesi); yani otomatik konuşma tanıma, sentetik sesi gerçek konuşmadan daha doğru yazıya döküyor. Bu, çok temiz bir artikülasyonun işareti; daha yüksek doğallığın değil, çünkü gerçek konuşmacılar mırıldanır, duraksar ve değişkenlik gösterir.
| Metrik | Değer | Kaynak |
|---|---|---|
| NaturalSpeech 3 eğitim verisi ve boyutu | 200.000 saat, 1 milyar parametre | Microsoft, NaturalSpeech 3 2024 |
| MaskGCT eğitim verisi | 100.000 saat (50 bin İngilizce, 50 bin Çince) | MaskGCT 2024 |
| CosyVoice 3 eğitim verisi | 1 milyon saat, 9 dil, 18 Çin lehçesi | Alibaba, CosyVoice 3 2025 |
| CosyVoice 3 WER’i ve insan, Seed-TTS test-en | %1,45 ve %2,14 | Alibaba, CosyVoice 3 2025 |
| Seed-TTS DiT WER’i ve insan, İngilizce | 1,733 ve 2,143 | ByteDance, Seed-TTS 2024 |
| F5-TTS CMOS’u ve referans kayıt, Seed-TTS test-en / test-zh | +0,31 / +0,21 | F5-TTS 2024 |
| F5-TTS WER’i ve referans kayıt, LibriSpeech-PC | 2,42 ve 2,23 | F5-TTS 2024 |
Bağlam notu: VALL-E 2’nin kendi VCTK sonuçları, eşdeğerliğin ne kadar kırılgan olduğunu gösteriyor. 3 saniyelik örneklerle SMOS’u referans kayıtlarla eşleşti (4,47 ve 4,47); ancak 10 saniyelik örneklerde referans kayıtlar 4,74 aldı, VALL-E 2 ise 3,95 ile 4,26 arasında kaldı. CosyVoice 3 ayrıca Çincede tüm modellerinin hâlâ insan konuşmasının gerisinde kaldığını, İngilizcede ise 1,5 milyar parametreli modelin onun üzerinde puan aldığını bildiriyor.
4. Blizzard Challenge: Bağımsız Testte Eşdeğerlik
Yazarların kendi yürüttüğü testlerde açık bir çıkar çatışması var; Blizzard Challenge’ın önemi de burada: organizatörler tüm katılımcılar için tek bir ortak dinleme testi yürütüyor. On sekizinci yarışma olan 2023 edisyonu, Hub görevine 18 ekibi (51 saatlik Fransızca ses) ve Spoke görevine 14 ekibi (2 saat) çekti; hepsi sinir ağı yaklaşımları kullandı (The Blizzard Challenge 2023, ISCA). Microsoft’un F sistemi olarak etiketlenen MuLanTTS modeli, Hub görevinde doğal kayıtların 4,4 puanına karşı 4,3, Spoke görevinde 4,5’e karşı 4,5 aldı (MuLanTTS makalesi).
Organizatörlerin sonraki özeti daha keskin bir sonuca vardı: iki sistem MOS bakımından doğal konuşmadan istatistiksel olarak farksız bulundu, bu yarışma tarihinde bir ilkti; ancak daha ince bir MUSHRA testinde her sistem doğal konuşmadan anlamlı biçimde farklı bulundu (Refining the evaluation of speech synthesis, Computer Speech and Language 2024). Başka bir deyişle, 5 puanlık MOS ölçeği, sesler gerçekten özdeşleşmeden önce doygunluğa ulaştı. Aynı özet, anadili olmayan dinleyicilerin ve uzman olmayanların, anadili konuşan dinleyicilere ve konuşma uzmanlarına göre daha yüksek puan verdiğini de buldu.
| Metrik | Değer | Kaynak |
|---|---|---|
| Blizzard 2023 Hub / Spoke ekipleri | 18 / 14 | Perrotin ve ark., Blizzard Challenge 2023 |
| Hub / Spoke eğitim verisi (Fransızca) | 51 saat / 2 saat | Perrotin ve ark., Blizzard Challenge 2023 |
| MuLanTTS MOS’u ve doğal kayıt, Hub | 4,3 ve 4,4 | Microsoft, MuLanTTS 2023 |
| MuLanTTS MOS’u ve doğal kayıt, Spoke | 4,5 ve 4,5 | Microsoft, MuLanTTS 2023 |
| MOS bakımından doğal konuşmadan istatistiksel olarak farksız sistemler | 2 (Blizzard’da ilk kez) | Blizzard Challenge 2023 özeti, CSL 2024 |
| MUSHRA’da doğal konuşmadan farklı bulunan sistemler | Tümü | Blizzard Challenge 2023 özeti, CSL 2024 |
| DelightfulTTS MOS / SMOS, Blizzard 2021 görev SH1 | 4,17 / 4,35 | Microsoft, DelightfulTTS 2021 |
2025 edisyonu zor problemi düşük kaynaklı dillere taşıdı. Takımlardan, yaklaşık 6.000 anadili konuşanı olan bir Felemenkçe dil çeşidi olan Bildts için 7 saatlik bir veri setinden sesler üretmeleri ve ayrıca 10 saniyelik referans konuşmayla sıfır örnekli bir görevi yerine getirmeleri istendi (The Blizzard Challenge 2025, University of Groningen). Ana göreve yedi, sıfır örnekli göreve beş ekip katıldı.
| Metrik | Değer | Kaynak |
|---|---|---|
| Blizzard 2025 hedef dilinin anadili konuşan sayısı | Yaklaşık 6.000 (Bildts) | Do ve ark., Blizzard Challenge 2025 |
| Ana görev eğitim verisi | 7 saat, tek konuşmacı | Do ve ark., Blizzard Challenge 2025 |
| Sıfır örnekli görev referans sesi | Konuşmacı başına 10 saniye | Do ve ark., Blizzard Challenge 2025 |
| Ana görev / sıfır örnekli görev ekipleri | 7 / 5 | Do ve ark., Blizzard Challenge 2025 |
5. MOS Rakamları Neden Çelişiyor: Yöntemler, Standartlar ve Otomatik Tahmin
MOS yöntemi sinir ağı sesleri için değil, telefon hatları için geliştirildi. Ağustos 1996’da onaylanan ITU-T P.800 hâlâ öznel iletim kalitesi testlerini yönetiyor; P.800.1 (Temmuz 2016) MOS terminolojisini standartlaştırıyor; P.808 (Haziran 2018, Haziran 2021’de revize edildi) ise kitle kaynaklı konuşma kalitesi testlerini kapsıyor (ITU-T P.808). 2021-2022 Interspeech ve SSW makalelerinin bir incelemesi, yazarların çoğunun ölçek etiketlerini, adım aralıklarını veya dinleyicilere verilen yönergeleri bildirmediğini ortaya koydu (Kirkland ve ark., Stuck in the MOS pit, SSW 2023); ayrıca aynı doğal konuşma için kalite MOS ortalamalarının doğallık MOS ortalamalarından yüksek çıktığını buldu.
Aynı ekip, özdeş uyaranlarla kontrollü dinleme testleri yürüttü ve yalnızca ölçek adımını ya da puanlama yönergesini değiştirmenin bazı sistemlerin MOS değerini kaydırdığını saptadı. Kıyaslama tercihleri de ayrışıyor: 2025 tarihli bir görüş makalesi, VALL-E’nin 1.234 LibriSpeech cümlesi üzerinde, NaturalSpeech 3 ve MaskGCT’nin 40, F5-TTS’nin ise 1.127 cümle üzerinde değerlendirme yaptığını ve MaskGCT’nin WER’inin 40 cümlelik sette %2,63, 1.234 cümlelik sette ise %4,22 olduğunu not etti (Towards Responsible Evaluation for Text-to-Speech, 2025).
| Metrik | Değer | Kaynak |
|---|---|---|
| ITU-T P.800 onayı | Ağustos 1996 (yürürlükte) | ITU-T |
| ITU-T P.800.1 MOS terminolojisi, son sürüm | Temmuz 2016 | ITU-T |
| ITU-T P.808 kitle kaynaklı test | Haziran 2018, Haziran 2021’de revize edildi | ITU-T |
| Ölçek etiketlerini, adım aralıklarını veya yönergeleri bildiren makaleler | Azınlık (2021-2022 Interspeech ve SSW) | Kirkland ve ark., SSW 2023 |
| Kullanılan LibriSpeech test-clean cümleleri: VALL-E / NaturalSpeech 3 / F5-TTS | 1.234 / 40 / 1.127 | Yang ve ark., 2025 |
| MaskGCT WER’i, 40 ve 1.234 cümle | %2,63 ve %4,22 | Yang ve ark., 2025 |
| Örnek dahil ve hariç konuşmacı benzerliği | 0,905 ve 0,754 | Yang ve ark., 2025 |
| CosyVoice 3 MOS paneli | 200 cümle, 10 anadili konuşan değerlendirici, 0,5 puanlık adımlar | Alibaba, CosyVoice 3 2025 |
İnsan testleri yavaş ve tutarsız olduğu için alan, otomatik MOS tahmincileri geliştirdi. 2022’deki ilk VoiceMOS Challenge, on yılı aşkın araştırmayı kapsayan 187 TTS ve ses dönüştürme sisteminin insan puanlarını tahmin etmek üzere 22 ekibi çekti (VoiceMOS Challenge 2022) ve ince ayarlanmış kendi kendine öğrenen konuşma modelleri en etkili sonuçları verdi. Katılım sonrasında 2023’te 10 ekibe, 2024’te 8 ekibe geriledi; 2024’ün ilk pisti, tahmincilerin en çok zorlandığı yakın plan, yüksek kaliteli sentezlere odaklandı.
| Metrik | Değer | Kaynak |
|---|---|---|
| VoiceMOS 2022 ana pist ekipleri / sistemleri | 22 / 187 | Huang ve ark., VoiceMOS Challenge 2022 |
| VoiceMOS 2023 ekipleri | 7 ülkeden 10 | VoiceMOS Challenge 2023 (ASRU 2023) |
| VoiceMOS 2024 ekipleri | 8 | Huang ve ark., VoiceMOS Challenge 2024 |
| MOS-Bench eğitim / test setleri | 8 / 17 | MOS-Bench 2024 (2026’da revize edildi) |
| NaturalSpeech 3 UTMOS’u ve referans kayıt | 4,30 ve 4,14 | Microsoft, NaturalSpeech 3 2024 |
Bağlam notu: UTMOS gibi otomatik puanlar, NaturalSpeech 3 tablosunun gösterdiği gibi, artık sentetik konuşmayı rutin olarak gerçek kayıtların üzerinde puanlıyor; bu da onları doğallığın kanıtı olarak değil, eleme araçları olarak ele almak için bir neden.
6. Dinleyiciler Hâlâ Ayırt Edebiliyor mu? Algı Çalışmaları
Bir puanlama ölçeğinde eşdeğerlik başka, doğrudan soru sorulan bir dinleyiciyi kandırmak başka. Queen Mary University of London’ın 2025 tarihli bir çalışmasında, ses klonlarının %58’i ve genel yapay zeka seslerinin %41’i insan olarak değerlendirildi; gerçek insan sesleri ise deneye göre %62 ile %81 oranında insan olarak tanındı (Lavan ve ark., PLOS ONE 2025). Klonlar, piyasada bulunan araçlarla konuşmacı başına yaklaşık 4 dakikalık kayıttan üretildi. Yazarlar makaleyi ‘gerçekçi ama (henüz) aşırı gerçekçi değil’ diye adlandırdı: klonlar genel olarak gerçek sesleri geçmedi, ancak tek bir dinleyicinin yargısını güvenilmez kılacak kadar yaklaştı.
Daha az konuşulan bulgu ise toplumsal izlenimler. Genel yapay zeka sesleri, insan seslerinden daha baskın (0-100 ölçeğinde 58,1 ve 40,4) ve biraz daha güvenilir (57,9 ve 53,8) değerlendirildi. Sentetik anlatım üreten ya da bir yapay zeka ses üreticisi kullanan herkes için bu, dinleyicilerin bu seslere insanlara verdikleri tepkiyi verdiği anlamına geliyor; bu da açıklama yapmanın önemini artırıyor.
| Metrik | Değer | Kaynak |
|---|---|---|
| İnsan olarak değerlendirilen ses klonları | %58 | Lavan ve ark., PLOS ONE 2025 |
| İnsan olarak değerlendirilen genel yapay zeka sesleri | %41 | Lavan ve ark., PLOS ONE 2025 |
| İnsan olarak değerlendirilen gerçek insan sesleri | %62 ile %81 (deneye göre) | Lavan ve ark., PLOS ONE 2025 |
| Ses klonu başına kullanılan kayıt süresi | Yaklaşık 4 dakika | Lavan ve ark., PLOS ONE 2025 |
| Deney başına katılımcı / deney başına ses | 50 / 80 | Lavan ve ark., PLOS ONE 2025 |
| Baskınlık puanı, genel yapay zeka ve insan sesleri | 58,1 ve 40,4 | Lavan ve ark., PLOS ONE 2025 |
| Güvenilirlik puanı, genel yapay zeka ve insan sesleri | 57,9 ve 53,8 | Lavan ve ark., PLOS ONE 2025 |
Daha eski tespit verileri de aynı yönde. 529 katılımcıyla yapılan 2023 tarihli bir çalışma, dinleyicilerin konuşma deepfake’lerini yalnızca %73 oranında doğru tespit ettiğini buldu; İngilizce ve Mandarin konuşanlar yaklaşık aynı performansı gösterdi ve onlara önceden beş deepfake örneği göstermek doğruluğu yalnızca %3,84 artırdı (Mai ve ark., PLOS ONE 2023). Ses deepfake tespit doğruluğu istatistiklerimiz, makine dedektörlerinin nasıl bir performans gösterdiğini takip ediyor.
| Metrik | Değer | Kaynak |
|---|---|---|
| Katılımcılar | 529 | Mai ve ark., PLOS ONE 2023 |
| Doğru tespit edilen deepfake’ler, tekil klipler | %73 | Mai ve ark., PLOS ONE 2023 |
| Doğru tespit edilen gerçek klipler, tekil klipler | %67,78 | Mai ve ark., PLOS ONE 2023 |
| Gerçek klipla eşleştirildiğinde fark edilen deepfake’ler | %85,59 | Mai ve ark., PLOS ONE 2023 |
| 5 eğitim örneğinden doğruluk kazancı | %3,84 | Mai ve ark., PLOS ONE 2023 |
7. Tercih Arenaları ve Puanların Ardındaki Pazar
Laboratuvar MOS’u doygunluğa ulaşırken sıralamalar, kör ikili tercihe kaydı. Hugging Face, TTS Arena’yı 27 Şubat 2024’te altı modelle başlattı; kullanıcılardan iki anonim örnekten daha doğal olanı seçmesini istiyor ve sonuçları Elo tarzı bir sistemle sıralıyor (Hugging Face, TTS Arena lansmanı). 3 Ekim 2026’da okunan Artificial Analysis Speech Arena sıralamasında ElevenLabs’in Eleven v4 modeli 1321 Elo ile birinciydi, ancak artı eksi 189’luk aralığı ilk 10’daki diğer tüm modellerle örtüşüyor (Artificial Analysis TTS sıralaması). Dürüstçe okunduğunda, üst kademe en az altı sağlayıcı arasında istatistiksel bir beraberlik.
Hugging Face’in yavaş oy toplamaya kendi yanıtı olan ve 30 Eylül 2026’da başlatılan Open TTS Leaderboard, insan oylarının yerine nesnel ölçütleri (WER, konuşmacı benzerliği, hız) koyuyor ve bir modeli değerlendirmenin birkaç haftadan birkaç saate düştüğünü söylüyor; üstelik Hub artık 8.000’den fazla TTS modeline ev sahipliği yapıyor (Hugging Face, Open TTS Leaderboard).
| Metrik | Değer | Kaynak |
|---|---|---|
| Lansmanda TTS Arena modelleri (Şubat 2024) | 6 | Hugging Face, Şubat 2024 |
| Speech Arena 1 numara: Eleven v4 (ElevenLabs) | 1321 Elo (± 189), 1.930 örnek | Artificial Analysis, Ekim 2026 |
| 2 numara: Qwen-Audio-3.1-TTS-Plus (Alibaba) | 1292 Elo (± 189) | Artificial Analysis, Ekim 2026 |
| 3 / 4 numara: Sonic 3.6 (Cartesia) / Gemini 3.8 Flash TTS (Google) | 1278 / 1275 Elo | Artificial Analysis, Ekim 2026 |
| 10 numara: Breeze TTS 2 (BreezeBlue) | 1216 Elo | Artificial Analysis, Ekim 2026 |
| Hugging Face Hub’da barındırılan TTS modelleri | 8.000’den fazla | Hugging Face, Eylül 2026 |
Ticari çıkarlar bu yarışı açıklıyor. Sinir ağı ve yapay zeka sesleri, Mordor Intelligence’ın 2026’da 4,36 milyar USD, 2031’de ise 7,92 milyar USD olarak büyüklüğünü tahmin ettiği metinden sese pazarı gelirinin zaten %67,18’ini oluşturuyor (Mordor Intelligence, Text to Speech Market). Research and Markets ise 2023 tabanını 3,8 milyar USD, 2030 tahminini 9,3 milyar USD olarak veriyor (GlobeNewswire açıklaması, Aralık 2024).
| Metrik | Değer | Kaynak |
|---|---|---|
| TTS pazar büyüklüğü, 2025 / 2026 | 3,87 milyar USD / 4,36 milyar USD | Mordor Intelligence, 2026 |
| TTS pazar tahmini, 2031 | 7,92 milyar USD (%12,66 CAGR) | Mordor Intelligence, 2026 |
| Sinir ağı / yapay zeka ses gelir payı | %67,18 (%15,08 CAGR) | Mordor Intelligence, 2026 |
| Kuzey Amerika payı, 2025 | %36,78 | Mordor Intelligence, 2026 |
| TTS pazarı, 2023’ten 2030’a | 3,8 milyar USD’den 9,3 milyar USD’ye (%13,4 CAGR) | Research and Markets, Aralık 2024 |
| Çin TTS pazar tahmini, 2030 | 2,3 milyar USD (%17,5 CAGR) | Research and Markets, Aralık 2024 |
Özet: Sentetik Konuşma MOS’u Rakamlarla
| Metrik | Değer | Kaynak |
|---|---|---|
| Tacotron 2 MOS’u ve profesyonel kayıtlar | 4,53 ve 4,58 | Google, 2017 |
| WaveNet’in insan konuşmasına olan farkı kapatması | %50’den fazla | DeepMind, 2016 |
| Dönüm noktası makalelerde insan konuşması MOS aralığı | 4,30 ile 4,58 arası | Google, DeepMind, Kakao, Microsoft, 2016-2021 |
| VITS MOS’u ve referans kayıt, VCTK | 4,38 ve 4,38 | Kakao Enterprise, 2021 |
| NaturalSpeech CMOS’u ve kayıtlar | -0,01 (anlamlı değil) | Microsoft Research, 2022 |
| VALL-E 2 CMOS’u ve referans kayıt, LibriSpeech | +0,033 | Microsoft, 2024 |
| VALL-E 2 SMOS’u ve referans kayıt | 4,61 ve 4,13 | Microsoft, 2024 |
| MaskGCT CMOS’u ve referans kayıt | +0,10 | MaskGCT, 2024 |
| Seed-TTS CMOS’u ve insan, İngilizce | -0,07 | ByteDance, 2024 |
| CosyVoice 3 WER’i ve insan, İngilizce | %1,45 ve %2,14 | Alibaba, 2025 |
| CosyVoice 3 eğitim verisi | 1 milyon saat | Alibaba, 2025 |
| MOS bakımından doğal konuşmaya eşit Blizzard 2023 sistemleri | 2 (ilk kez) | Blizzard Challenge 2023 özeti, 2024 |
| MuLanTTS ve doğal kayıt, Blizzard 2023 Hub | 4,3 ve 4,4 | Microsoft, 2023 |
| MOS yöntemini tam bildiren makaleler | Azınlık | Kirkland ve ark., SSW 2023 |
| VoiceMOS 2022 sistemleri / ekipleri | 187 / 22 | VoiceMOS Challenge 2022 |
| İnsan olarak değerlendirilen ses klonları | %58 | Lavan ve ark., PLOS ONE 2025 |
| Dinleyicilerin doğru tespit ettiği deepfake’ler | %73 | Mai ve ark., PLOS ONE 2023 |
| Speech Arena en yüksek Elo | 1321 (± 189) | Artificial Analysis, Ekim 2026 |
| TTS gelirinde sinir ağı / yapay zeka ses payı | %67,18 | Mordor Intelligence, 2026 |
| TTS pazarı, 2026 | 4,36 milyar USD | Mordor Intelligence, 2026 |
Metodoloji ve Kaynaklar
Yukarıdaki her MOS, CMOS ve SMOS rakamı, dinleme testini yürüten makaleden veya yarışma raporundan geliyor ve arXiv özetlerinden ya da tam metin tablolarından okundu. Bir makalenin sonuçları yalnızca grafikle sunduğu yerlerde (örneğin CosyVoice 3’ün MOS çubukları), metindeki sonucu kullandık ve yaklaşık değerleri bıraktık. Model geliştiricilerin kendi bildirdiği eşdeğerlik iddiaları, okuyucuların bunları Blizzard Challenge gibi bağımsız testlerle tartabilmesi için geliştiricinin adıyla etiketlendi.
- DeepMind: WaveNet duyurusu (Eylül 2016) ve WaveNet makalesi
- Google: Tacotron 2 makalesi (Aralık 2017)
- Microsoft ve Zhejiang Üniversitesi: FastSpeech 2 (2020)
- Kakao Enterprise: VITS (Haziran 2021)
- Microsoft Research: NaturalSpeech (Mayıs 2022), NaturalSpeech 3 (Mart 2024), VALL-E (Ocak 2023), VALL-E 2 (Haziran 2024), MuLanTTS (Eylül 2023), DelightfulTTS (Ekim 2021)
- ByteDance: Seed-TTS (Haziran 2024)
- MaskGCT (Eylül 2024) ve F5-TTS (Ekim 2024)
- Alibaba: CosyVoice 3 (Mayıs 2025)
- Blizzard Challenge: The Blizzard Challenge 2023 (ISCA), Refining the evaluation of speech synthesis, Computer Speech and Language (2024), The Blizzard Challenge 2025
- ITU-T: P.800, P.800.1, P.808
- Kirkland ve ark.: Stuck in the MOS pit, SSW 2023
- Yang ve ark.: Towards Responsible Evaluation for Text-to-Speech (Ekim 2025)
- VoiceMOS Challenge: 2022, 2023, 2024; MOS-Bench
- Lavan ve ark.: Voice clones sound realistic but not (yet) hyperrealistic, PLOS ONE (Eylül 2025)
- Mai ve ark.: Warning: Humans cannot reliably detect speech deepfakes, PLOS ONE (Ağustos 2023)
- Hugging Face: TTS Arena lansmanı (Şubat 2024), Open TTS Leaderboard (Eylül 2026)
- Artificial Analysis: Metinden sese sıralaması (3 Ekim 2026’da okundu)
- Mordor Intelligence: Text to Speech Market; Research and Markets, GlobeNewswire üzerinden (Aralık 2024)
- Veri notu: MOS, CMOS ve SMOS değerleri, dinleyici havuzları, ölçekler ve yönergeler farklı olduğu için makaleler arasında karşılaştırılamaz; CMOS ölçekleri de değişiyor (F5-TTS -3 ile +3 arasını kullanır). 2. ve 3. bölümlerdeki eşdeğerlik iddialarının çoğu, geliştiricilerin küçük panellerle yürüttüğü kendi testlerinden geliyor (örneğin VALL-E CMOS için 12, VALL-E 2 için 20 değerlendirici); WaveNet, Tacotron 2, FastSpeech 2 ve VITS sonuçları ise üç yıldan eski ve ilgili kıyaslamalar için erişilebilen en güncel veri olarak gösteriliyor. İstatistiksel eşdeğerlik ve MUSHRA ile ilgili Blizzard 2023 bulguları, organizatörlerin yayımladığı özet makalesinden geliyor. Artificial Analysis Elo puanları oylar geldikçe her gün değişiyor ve güven aralıkları ilk 10 boyunca örtüşüyor. Pazar büyüklüğü tahminleri çelişiyor: Mordor Intelligence 2025’i 3,87 milyar USD ve 2031’e kadar %12,66 CAGR olarak, Research and Markets ise 2023’teki 3,8 milyar USD tabandan %13,4 CAGR ile 2030’a kadar 9,3 milyar USD olarak öngörüyor; aradaki fark farklı kapsam tanımlarını yansıtıyor. Blizzard 2025 dinleme testinin tam sonuçları ve bir sonraki VoiceMOS Challenge, beklenen başlıca yeni verilerdir.
Son güncelleme: 3 Ekim 2026. Bu derlemeyi üç ayda bir güncelliyoruz; bir sonraki yenilemenin, bir sonraki VoiceMOS Challenge sonuçları ile Blizzard Challenge 2025 dinleme testinin tam analizi yayımlandığında yapılması bekleniyor.