ASVspoof’ta en iyi eşit hata oranı (EER), 2019’daki %0,22’den 2021 deepfake görevinde %15,64’e, ardından ASVspoof 5’in kapalı koşulunda %8,61’e çıktı (Todisco ve ark., Interspeech 2019; Yamagishi ve ark., ASVspoof 2021 Workshop; Wang ve ark., ASVspoof Workshop 2024). EER, kabul edilen sahte konuşmaların oranının reddedilen gerçek konuşmaların oranına eşit olduğu noktadır; yani düşük olan daha iyidir ve yükselen bu çizgi, zayıflayan dedektörleri değil zorlaşan bir sınavı kaydeder. Burada sahtecilik (spoofing), bir ses sistemine sahte veya yeniden oynatılmış konuşma verip onu gerçek bir kişi gibi geçirmek demektir ve tehdit ölçülebilir: yalnızca tekrar oynatma (replay) saldırıları, temel bir konuşmacı doğrulama sistemini %1,76 EER’den %31,46 EER’ye çıkardı (Kinnunen ve ark., Interspeech 2017). Verileri ISCA Interspeech ve Odyssey arşivlerinden, IEEE/ACM TASLP, IEEE T-BIOM, IEEE JSTSP ve Computer Speech and Language dergilerinden ve organizatörlerin kendi değerlendirme raporlarından derledik. Aynı sorunun ticari tarafı için ses biyometrisi istatistikleri yazımıza bakın.
TL;DR
- 63 araştırma ekibi ASVspoof 2019’a katıldı; bu, serinin katılım zirvesi (Todisco ve ark., Interspeech 2019).
- ASVspoof 5, önceki sürümlerdeki yaklaşık 100 konuşmacıya karşılık 32 saldırı algoritması ve yaklaşık 2.000 konuşmacı kullandı (Wang ve ark., Computer Speech and Language 2025).
- En iyi ASVspoof 2015 sistemi ortalama %1,211 EER aldı, ancak tek başına en zor saldırı olan S10’da %8,49 aldı (Wu ve ark., IEEE JSTSP 2017).
- Tekrar oynatma saldırıları 2017’de temel bir konuşmacı doğrulama sistemini %1,76 EER’den %31,46 EER’ye çıkardı (Kinnunen ve ark., Interspeech 2017).
- ASVspoof 2021 fiziksel erişimi zor kaldı: en iyi sistem %24,25 EER ve 0,6824 min t-DCF’ye ulaştı (Yamagishi ve ark., ASVspoof 2021 Workshop).
- ASVspoof 5 kapalı koşulunda zirve %8,61 EER oldu; en iyi temel sistemde bu oran %29,12’ydi (Wang ve ark., ASVspoof Workshop 2024).
- ASVspoof 2021 deepfake görevinde 33 sistemden 23’ü ilerleme verisinde %10’un altında EER aldı, değerlendirme verisinde ise hepsi %15’i aştı (Liu ve ark., IEEE/ACM TASLP 2023).
- 2019’un kazanan mantıksal erişim topluluk (ensemble) sistemi, en iyi tekil sisteme göre t-DCF’yi %56 azalttı; fiziksel erişimde kazanç yalnızca yaklaşık %2 oldu (Nautsch ve ark., IEEE T-BIOM 2021).
- Sahtecilik farkındalıklı ilk konuşmacı doğrulama yarışması, geleneksel bir sistemi %23,83 EER’den %0,13 EER’ye indirdi (Jung ve ark., Interspeech 2022).
- Yarışma sonrası çalışmalar ASVspoof 2021 mantıksal erişimde %0,82 EER’ye, deepfake görevinde ise %2,85’e ulaştı (Tak ve ark., Odyssey 2022).
1. Yarışma Sürümleri ve Katılım
ASVspoof dokuz yılda beş kez düzenlendi ve her sürüm farklı bir zayıf noktayı seçti. 2015 sürümü metinden konuşmaya ve ses dönüştürmeyi test etti, 2017 tekrar oynatmayı test etti, 2019 ise alanı mantıksal erişim (sahte konuşmanın doğrudan sistemin ses yoluna enjekte edilmesi) ve fiziksel erişim (sahte konuşmanın hoparlörden mikrofona çalınması) olarak ikiye böldü. 2021’de ayrı bir deepfake görevi geldi, ASVspoof 5 ise bağımsız tespit ile sahteciliğe dayanıklı konuşmacı doğrulama olarak ikiye ayrıldı.
Katılım 2019’da 63 araştırma ekibiyle zirve yaptı (Todisco ve ark., Interspeech 2019) ve sonraki iki sürümde 50’nin üzerinde kaldı. Bu istikrar önemli: sahte değerlendirme denemeleri 2015’teki 184.000’den 2024’te 542.086’ya yükseldi (bölüm 2’ye bakın), buna rağmen alan ilgisini korudu. Şeffaflık ise daha zayıf bir nokta: 2021’de geçerli puanı olan 54 ekibin 34’ü sistem açıklaması sundu ve 20 ekip (54 eksi 34) dosyasız kaldı (Liu ve ark., IEEE/ACM TASLP 2023).
| Metrik | Değer | Kaynak |
|---|---|---|
| ASVspoof 2015: veritabanını talep eden ekipler | 16 ülkeden 28 ekip | Wu ve ark., Interspeech 2015 |
| ASVspoof 2015: birincil gönderimlerini ileten ekipler | 16 | Wu ve ark., Interspeech 2015 |
| ASVspoof 2017: tekrar oynatma dedektörü gönderen ekipler | 49 | Kinnunen ve ark., Interspeech 2017 |
| ASVspoof 2019: toplam araştırma ekibi | 63 (mantıksal erişimde 48, fiziksel erişimde 50) | Todisco ve ark., Interspeech 2019 |
| ASVspoof 2021: geçerli değerlendirme puanı olan ekipler | 72 kayıtlı katılımcıdan 54’ü | Liu ve ark., IEEE/ACM TASLP 2023 |
| ASVspoof 2021: sistem açıklaması sunan ekipler | 34 | Liu ve ark., IEEE/ACM TASLP 2023 |
| ASVspoof 5 (2024): sonuç makalesindeki katılımcı ekipler | 53 | Wang ve ark., IEEE TASLP 2026 |
| SASV 2022, sahtecilik tespitini ve konuşmacı kontrollerini birleştiren yan yarışma: kayıtlar ile gönderimler | 53 ile 23 | Jung ve ark., Interspeech 2022 |
Ekip sayıları makaleye göre değişiyor. 2019 sonuç makalesi 62 ekip diyor, 2024 çalıştay makalesi ise 54 katılımcı diyor; bu fark Veri notu bölümünde ele alınıyor.
2. 100 Konuşmacıdan 2.000’e: Her Sürümün Arkasındaki Veri
ASVspoof’taki en önemli değişiklik bir model değil, veridir. Önceki veritabanlarının her biri yaklaşık 100 konuşmacı içeriyordu ve gerçek konuşmayı stüdyo kalitesinde kayıtlar sağlıyordu. ASVspoof 5, farklı odalarda ve farklı cihazlarda kaydedilen, yaklaşık 2.000 konuşmacıdan kitle kaynaklı konuşmaya geçti (Wang ve ark., Computer Speech and Language 2025).
Bu tek karar, bölüm 3’teki daha yüksek hata oranlarını açıklamaya yardımcı oluyor. Bir dedektör artık yalnızca tek bir kayıt düzeninin nasıl ses verdiğini öğrenerek başarılı olamaz. Saldırı tarafı da değişti: ASVspoof 5 ilk kez düşmanca (adversarial) saldırılar ekledi, yani özellikle bir dedektörü kandırmak için değiştirilmiş sahteleri; ayrıca sıkıştırmasızdan nöral kodeklere kadar 12 kodek koşulunu test etti (Wang ve ark., ASVspoof Workshop 2024).
| Metrik | Değer | Kaynak |
|---|---|---|
| ASVspoof 2015 değerlendirme kümesi: gerçek ile sahte denemeler | 9.404 ile 184.000 | Wu ve ark., Interspeech 2015 |
| ASVspoof 2017 değerlendirme kümesi: benzersiz tekrar oynatma yapılandırmaları | 110 | Kinnunen ve ark., Interspeech 2017 |
| ASVspoof 2019 mantıksal erişim alt kümesi: toplam konuşma parçası | 121.461 | Wang ve ark., Computer Speech and Language 2020 |
| ASVspoof 2019 fiziksel erişim: simüle edilmiş değerlendirme koşulları | 243 (27 oda ve mesafe çarpı 9 tekrar oynatma türü) | Wang ve ark., Computer Speech and Language 2020 |
| ASVspoof 2021 fiziksel erişim değerlendirmesi: gerçek ile sahte denemeler | 94.068 ile 627.264 | Liu ve ark., IEEE/ACM TASLP 2023 |
| ASVspoof 2021 deepfake değerlendirmesi: gerçek ile sahte denemeler | 14.869 ile 519.059, 100’den fazla saldırı algoritmasından | Liu ve ark., IEEE/ACM TASLP 2023 |
| ASVspoof 5 Track 1 değerlendirmesi: gerçek ile sahte denemeler | 138.688 ile 542.086 | Wang ve ark., IEEE TASLP 2026 |
| ASVspoof 5 değerlendirme saldırıları: toplam ve düşmanca | 32’lik bir havuzdan 16 saldırı, bunların 7’si düşmanca | Wang ve ark., Computer Speech and Language 2025 |
3. Sürümlere Göre Başlıca EER Sonuçları
Bu satırları tek bir eğilim çizgisi olarak okumak klasik hatadır. 2019’un %0,22’lik kazananı ile 2024’ün %8,61’lik kazananı farklı sınavlara girdi ve organizatörler her birini bilerek zorlaştırdı. Yararlı karşılaştırma her satırın içindedir: en iyi ekip ile geçmesi gereken temel sistem arasında.
Bu ölçüte göre alan ilerlemeye devam ediyor. ASVspoof 5’te kapalı koşuldaki 27 ekip en iyi temel sistemi geçti (Wang ve ark., IEEE TASLP 2026) ve en iyi sistemin EER’i bu temel sistemin üçte birinden azdı. İstisna, 2021’deki fiziksel erişimdir; dergi analizi bunu üç görevin en zorlusu olarak niteliyor ve en iyi sistem %24,25’te takılı kaldı (Yamagishi ve ark., ASVspoof 2021 Workshop).
| Metrik | Değer | Kaynak |
|---|---|---|
| ASVspoof 2015 en iyi sistem: bilinen saldırılar, bilinmeyen saldırılar, ortalama | %0,408, %2,013, %1,211 EER | Wu ve ark., Interspeech 2015 |
| ASVspoof 2017 en iyi tekrar oynatma dedektörü ile temel sistem | %6,73 ile %24,77 EER | Kinnunen ve ark., Interspeech 2017 |
| ASVspoof 2019 en iyi ile en iyi temel sistem, mantıksal erişim ve fiziksel erişim | %0,22 ile %8,09 EER; %0,39 ile %11,04 EER | Todisco ve ark., Interspeech 2019 |
| ASVspoof 2021 mantıksal erişim en iyi ile en iyi temel sistem | %1,32 ile %9,26 EER | Yamagishi ve ark., ASVspoof 2021 Workshop |
| ASVspoof 2021 fiziksel erişim en iyi | %24,25 EER | Yamagishi ve ark., ASVspoof 2021 Workshop |
| ASVspoof 2021 deepfake görevi en iyi ile en iyi temel sistem | %15,64 ile %22,38 EER | Yamagishi ve ark., ASVspoof 2021 Workshop |
| ASVspoof 5 Track 1 kapalı koşulda en iyi, açık koşulda en iyi, en iyi temel sistem | %8,61, %2,59, %29,12 EER | Wang ve ark., ASVspoof Workshop 2024 |
Kapalı koşul dış veriyi yasaklar, açık koşul ise harici veriye ve önceden eğitilmiş modellere izin verir; aynı yılda iki çok farklı kazananın bulunmasının nedeni budur.
4. Sahteciliğin Konuşmacı Doğrulamaya Etkisi ve En Zor Saldırılar
Bir dedektör olmadan konuşmacı doğrulama neredeyse hiç direnç göstermez. 2015’teki S10 saldırısı altında, %0,42 EER’li bir sistem %45,79’a çöktü (Wu ve ark., Interspeech 2015). Sonraki sürümler aynı örüntüyü her ölçekte tekrarlıyor; ASVspoof 5’te 16 değerlendirme saldırısından 14’ü konuşmacı doğrulama EER’ini %20’nin üzerine itti (Wang ve ark., Computer Speech and Language 2025).
Daha şaşırtıcı bulgu, en zor saldırganın kim olduğudur. ASVspoof 5’in kapalı koşulunda bu, MaryTTS üzerine kurulu A19 idi; MaryTTS, kayıtlı konuşma parçalarını birleştiren eski bir birleştirmeli sentezleyicidir ve veritabanı makalesi hem eski hem de çağdaş üretken teknolojinin hâlâ ciddi bir tehdit oluşturduğu sonucuna varıyor. Makineler ve insanlar da farklı biçimlerde yanılıyor: 2019’da A17 saldırısı temel dedektörü kandırdı ancak insan dinleyiciler tarafından kolayca fark edildi; A10 ise gerçek konuşmadan algısal olarak ayırt edilemez diye tanımlandı (Wang ve ark., Computer Speech and Language 2020). Bu farkın dinleyici tarafını sentetik konuşma MOS istatistikleri yazımızda ele alıyoruz.
| Metrik | Değer | Kaynak |
|---|---|---|
| Konuşmacı doğrulama EER’i, sıradan sahtekârlar ile S10 saldırısı (2015) | %0,42 ile %45,79 | Wu ve ark., Interspeech 2015 |
| Konuşmacı doğrulama EER’i, sıradan sahtekârlar ile tekrar oynatma (2017) | %1,76 ile %31,46 | Kinnunen ve ark., Interspeech 2017 |
| Konuşmacı doğrulama EER’i, sıradan sahtekârlar ile 2019’un en kötü mantıksal erişim saldırısı | %2,48 ile %64,52 (A16 saldırısı) | Wang ve ark., Computer Speech and Language 2020 |
| Geleneksel ECAPA-TDNN konuşmacı doğrulama EER’i, sahtecilik yok ile sahte denemeler eklenmiş | %1,63 ile %23,83 | Jung ve ark., Interspeech 2022 |
| ASVspoof 5 konuşmacı doğrulama EER’i, A26 saldırısı ile aynı saldırıya Malacopula düşmanca adımı eklenmiş hali (A27) | %15,77 ile %34,68 | Wang ve ark., Computer Speech and Language 2025 |
| En zor saldırı S10’da en iyi ASVspoof 2015 dedektörü EER’i | %8,49 | Wu ve ark., IEEE JSTSP 2017 |
| A19’da ASVspoof 5 temel dedektör EER’i, RawNet2 ile AASIST | %49,80 ile %63,75 | Wang ve ark., Computer Speech and Language 2025 |
S10, 2015 yarışmasından sonra da inatçı kaldı: 2015 sürümünün dergi incelemesi, bu saldırı için sonuçların izleyen çalışmaların çoğunda zayıf kaldığını, tek istisnanın %1,065 olduğunu buldu.
5. EER’in Ötesi: t-DCF, a-DCF ve Kalibrasyon Sorunu
EER, sonradan seçilmiş tek bir eşikte yalnızca bir dedektörü tanımlar. 2019’dan beri ASVspoof görevlerinin çoğu bunun yerine maliyetlere göre sıralanıyor. Ardışık tespit maliyet işlevi (t-DCF), birlikte çalışan dedektörü ve konuşmacı kontrolünü ASV tabanı olan bir ölçekte fiyatlar: bu taban, mükemmel bir dedektörle bile geriye kalan maliyettir, çünkü konuşmacı kontrolü yine hata yapar. 2019’da en iyi mantıksal erişim sistemi 0,0627’lik tabana karşılık 0,0692’ye indi; bu, bir dedektörün ulaşabileceği en iyi düzeye yakındır (Nautsch ve ark., IEEE T-BIOM 2021).
ASVspoof 5, bir sonraki sorunu, yani kalibrasyonu ortaya çıkarıyor; kalibrasyon, bir sistemin puanlarının sabit ve gerçek bir eşikte kullanılıp kullanılamayacağını sorar. minDCF, sonradan seçilen en iyi eşikteki maliyettir; actDCF ise kullanıma alınmış bir sistemin gerçekte kullanacağı eşikteki maliyettir. minDCF’de kapalı koşul kazananı actDCF’de 0,9956 aldı, üçüncü olan ekip ise ikisi arasında neredeyse hiçbir şey kaybetmedi. Kapalı koşuldaki 31 gönderimin 11’inin ve açık koşuldaki 34 gönderimin 14’ünün tam olarak 1,0000 actDCF ile listelendiğini saydık (Wang ve ark., ASVspoof Workshop 2024). Organizatörler 1,0 actDCF değerlerini olasılığa benzer puanlarla ilişkilendiriyor; dolayısıyla düşük bir minDCF ile yüksek bir actDCF aynı sistemde yan yana bulunabilir ve gelecek sürümlerde kalibrasyona duyarlı metrikleri olası birincil metrikler olarak öneriyorlar (Wang ve ark., IEEE TASLP 2026).
| Metrik | Değer | Kaynak |
|---|---|---|
| ASVspoof 2019: ASV tabanı ile en iyi min t-DCF, mantıksal erişim ve fiziksel erişim | 0,0627 ile 0,0692; 0,1354 ile 0,1437 | Nautsch ve ark., IEEE T-BIOM 2021 |
| ASVspoof 2021 fiziksel erişim: ASV tabanı ile en iyi min t-DCF | 0,12 ile 0,6824 | Liu ve ark., IEEE/ACM TASLP 2023; Yamagishi ve ark., ASVspoof 2021 Workshop |
| ASVspoof 5 Track 1 kapalı koşul: minDCF ile actDCF, birinci ve üçüncü | 0,2436 ile 0,9956; 0,2975 ile 0,2976 | Wang ve ark., ASVspoof Workshop 2024 |
| ASVspoof 5 Track 2: kapalı koşulda en iyi, açık koşulda en iyi ve kapalı koşulda en iyi temel sistem, min a-DCF | 0,2814, 0,0756, 0,5741 | Wang ve ark., ASVspoof Workshop 2024 |
a-DCF (mimariden bağımsız tespit maliyet işlevi) Track 2’nin birincil metriğidir ve Track 2, dedektörü konuşmacı kontrolüyle birleştirir. t-DCF değerleri makaleler arasında karşılaştırılamaz: Veri notuna bakın.
6. Kim Kazanıyor: Nöral Modeller, Topluluklar ve Önceden Eğitilmiş Ön Uçlar
Seri, yöntemler hakkında net bir hikâye anlatıyor. 2019’a gelindiğinde sinir ağları tablonun üst sıralarını ele geçirmişti ve topluluk (ensemble) sistemleri, yani birden çok alt sistemin birleştirilmesi, kazanmanın varsayılan yolu olmuştu. 2019’un kazanan mantıksal erişim topluluğu, t-DCF’de en iyi tekil sistemden %56 daha iyiydi; fiziksel erişimde kazanç yalnızca yaklaşık %2’ydi (Nautsch ve ark., IEEE T-BIOM 2021). Fiziksel erişimde topluluklara kazanacak pek bir şey kalmamıştı, çünkü en iyi tekil sistem zaten bölüm 5’te anlatılan ASV tabanına yakındı.
2024’e gelindiğinde belirleyici etken, önceden eğitilmiş ön uçtu (front-end). ASVspoof 5’in tüm üst sıradaki gönderimleri wav2vec 2.0 veya WavLM kullandı (Wang ve ark., IEEE TASLP 2026); bunlar, önce büyük miktarda sıradan konuşma üzerinde eğitilen, kendi kendine denetimli modellerdir. Kapalıdan açığa geçişteki kazancın, yani %8,61’den %2,59’a düşüşün büyük kısmı bu modellerle ve açık koşulun izin verdiği ek veriyle geldi. Aynı model ailelerinin genel konuşma görevlerindeki ölçümlerini SUPERB liderlik tablosu istatistikleri yazımızda ele alıyoruz. Teknik, 2021 sürümünden kısa süre sonra kanıtlandı: tek bir wav2vec 2.0 sistemi aynı veride tüm yarışma sonuçlarını geride bıraktı (Tak ve ark., Odyssey 2022).
| Metrik | Değer | Kaynak |
|---|---|---|
| ASVspoof 2019: sinir ağı kullanan en iyi sistemler ve sınıflandırıcı topluluğu kullanan sistemler | Mantıksal erişimde ilk 7 ve 9; fiziksel erişimde ilk 6 ve 10 | Todisco ve ark., Interspeech 2019 |
| ASVspoof 2019: min t-DCF, en iyi tekil sistem ile en iyi topluluk, mantıksal erişim ve fiziksel erişim | 0,1562 ile 0,0692; 0,1470 ile 0,1437 | Nautsch ve ark., IEEE T-BIOM 2021 |
| ASVspoof 5 Track 1: birleştirilen alt sistemler, kapalı ile açık koşul | 3 ila 4 ile 2 ila 6 | Wang ve ark., IEEE TASLP 2026 |
| ASVspoof 5 Track 1: listelenen beş en iyi açık sistem arasında önceden eğitilmiş ön uçlar | 3’ünde wav2vec2-large, 2’sinde WavLM-Base | Wang ve ark., IEEE TASLP 2026 |
| ASVspoof 2021 mantıksal erişimde yarışma sonrası wav2vec 2.0 sistemi, EER ve min t-DCF | %0,82 ve 0,2066 | Tak ve ark., Odyssey 2022 |
| ASVspoof 2021 deepfake görevinde yarışma sonrası wav2vec 2.0 sistemi, EER | %2,85 | Tak ve ark., Odyssey 2022 |
7. Liderlik Tablosundan Sonra Genelleme Açığı
Sahtecilik karşıtı çalışmalardaki çözülmemiş sorun, kıyaslama dışında ne olduğudur. En net işaret yarışmanın kendi içinden geldi: ASVspoof 2021 deepfake görevinde 33 sistemden 23’ü ilerleme verisinde %10’un altında EER aldı ve hepsi değerlendirme kümesinde %15’i aştı (Liu ve ark., IEEE/ACM TASLP 2023). En iyi ilerleme puanı %1’in altındaydı; yani ekiplerin karşısında eğitim yaptığı liderlik tablosu geri bildirimi yanıltıcıydı.
Aynı sonuç yarışmanın dışında da geçerli. ASVspoof 5’in açık koşuldaki ilk 5 sisteminden dördü başka veri kümelerinde yeniden test edildi ve bir istisna dışında EER’leri %10’un üzerine çıktı (Wang ve ark., IEEE TASLP 2026). İnternetten toplanan seste, ASVspoof 2019 üzerinde eğitilen modeller çok daha kötü sonuç verdi ve daha fazla ASVspoof verisi yardımcı olmadı (Müller ve ark., Interspeech 2022). Konuşma iyileştirmede de benzer bir sorun var; bunu PESQ ve STOI kıyaslama istatistikleri yazımızda belgeledik. 2025 tarihli bir ön baskı daha da ileri gidiyor ve yüksek riskli kararları yalnızca tespitin taşımaması gerektiğini, tespitin katmanlı savunmalarda tek bir sinyal olarak önerilmesi gerektiğini savunuyor (Berisha ve ark., arXiv 2025).
| Metrik | Değer | Kaynak |
|---|---|---|
| ASVspoof 5 açık koşul sistemleri T36, T27, T23, T43: bir ASVspoof 5 Track 1 alt kümesinde EER ile ASVspoof 2019 mantıksal erişimde EER | %3,37, %3,30, %4,23, %4,33 ile %16,27, %17,33, %16,73, %26,63 | Wang ve ark., IEEE TASLP 2026 |
| ASVspoof 2019 fiziksel erişim kazananı: simüle edilmiş tekrar oynatmada EER ile gizli gerçek tekrar oynatmada EER | %0,39 ile %19,68 | Nautsch ve ark., IEEE T-BIOM 2021 |
| ASVspoof 2019’daki en iyi model ile gerçek dünya (in-the-wild) sesindeki en iyi model, EER | Yaklaşık %1,2 ile yaklaşık %33,9 | Müller ve ark., Interspeech 2022 |
| ASVspoof 2019’un tamamıyla yeniden eğitilen RawNet2: gerçek dünya sesinde EER | %33,1 ± 0,2 | Müller ve ark., Interspeech 2022 |
| Yeniden uygulanan 12 modelin gerçek dünya sesinde EER bozulması | Yaklaşık %200 ila %1000 | Müller ve ark., Interspeech 2022 |
| WildSpoof Challenge ekibi T03, alan içi sahtecilik tespitinde kendi bildirdiği EER | %0,16 | Farhadipour ve ark., arXiv 2026 |
T03 rakamı tek bir ekibin kendi bildirimidir ve yazarları, ASVspoof 5 dahil diğer veri kümelerindeki sonuçlarının, alanlar arası genellemenin zor kaldığını gösterdiğini söylüyor. Alan içi sayılar düşmeye devam ederken açık kapanmıyor. Değerlendirme planında ASVspoof 5’i de düzenlemiş yazarların yer aldığı WildSpoof, bir metinden konuşmaya görevini sahteciliğe dayanıklı bir konuşmacı doğrulama görevi ile eşleştiriyor (Farhadipour ve ark., arXiv 2026).
Özet: Rakamlarla Ses Sahteciliği Karşıtı ASVspoof Eşit Hata Oranı
| Metrik | Değer | Kaynak |
|---|---|---|
| Birincil gönderimi olan ASVspoof 2015 ekipleri | 16 | Wu ve ark., Interspeech 2015 |
| ASVspoof 2017 ekipleri | 49 | Kinnunen ve ark., Interspeech 2017 |
| ASVspoof 5 konuşmacıları ile önceki sürümler | Yaklaşık 2.000 ile yaklaşık 100 | Wang ve ark., Computer Speech and Language 2025 |
| Konuşmacı doğrulama EER’i, sıradan sahtekârlar ile S10 saldırısı (2015) | %0,42 ile %45,79 | Wu ve ark., Interspeech 2015 |
| Konuşmacı doğrulama EER’i, sıradan sahtekârlar ile 2019’un en kötü mantıksal erişim saldırısı | %2,48 ile %64,52 | Wang ve ark., Computer Speech and Language 2020 |
| ASVspoof 2015 en iyi ortalama EER | %1,211 | Wu ve ark., IEEE JSTSP 2017 |
| En zor saldırı S10’da en iyi ASVspoof 2015 dedektörü EER’i | %8,49 | Wu ve ark., IEEE JSTSP 2017 |
| ASVspoof 2017 en iyi EER | %6,73 | Kinnunen ve ark., Interspeech 2017 |
| ASVspoof 2019 mantıksal erişim en iyi EER | %0,22 | Todisco ve ark., Interspeech 2019 |
| ASVspoof 2021 deepfake görevi en iyi EER | %15,64 | Yamagishi ve ark., ASVspoof 2021 Workshop |
| ASVspoof 5 Track 1 kapalı koşul en iyi EER | %8,61 | Wang ve ark., ASVspoof Workshop 2024 |
| SASV 2022 sahte denemeler dahil en iyi EER | %0,13 | Jung ve ark., Interspeech 2022 |
| ASVspoof 2021 mantıksal erişimde yarışma sonrası en iyi EER | %0,82 | Tak ve ark., Odyssey 2022 |
| ASVspoof 2021 deepfake görevinde yarışma sonrası en iyi EER | %2,85 | Tak ve ark., Odyssey 2022 |
| ASVspoof 2019 fiziksel erişim kazananı, gizli gerçek tekrar oynatmada | %19,68 EER | Nautsch ve ark., IEEE T-BIOM 2021 |
| Gerçek dünya (in-the-wild) sesindeki en iyi model | Yaklaşık %33,9 EER | Müller ve ark., Interspeech 2022 |
Metodoloji ve Kaynaklar
Üçüncü taraf özetler yerine yarışma makalelerini doğrudan okuduk. Bir satırda aksi belirtilmedikçe EER rakamları değerlendirme kümelerindeki yüzdelerdir. Buradaki verilerin çoğu doğası gereği üç yıldan eskidir, çünkü yarışma kabaca iki ila üç yılda bir düzenlenir. Mevcut en güncel veri: 2024 sürümüne ilişkin 2026 tarihli dergi raporu.
- ASVspoof resmî sitesi: sürüm listesi, takvimler ve organizatörler.
- Wu ve ark., ASVspoof 2015, Interspeech 2015: ilk sürüm, ekipler, denemeler ve sonuçlar.
- Wu ve ark., IEEE Journal of Selected Topics in Signal Processing 2017: S10 ayrıntısı ve değerlendirme sonrası inceleme.
- Kinnunen ve ark., ASVspoof 2017, Interspeech 2017: tekrar oynatma tespiti sonuçları.
- Todisco ve ark., ASVspoof 2019, Interspeech 2019: genel bakış ve liderlik tablosu.
- Wang ve ark., ASVspoof 2019 veritabanı, Computer Speech and Language 2020: veri boyutları, saldırılar ve insan değerlendirmesi.
- Nautsch ve ark., IEEE Transactions on Biometrics, Behavior, and Identity Science 2021: gözden geçirilmiş t-DCF, topluluklar, gizli gerçek tekrar oynatma.
- Yamagishi ve ark., ASVspoof 2021 Workshop: 2021’in başlıca sonuçları.
- Liu ve ark., IEEE/ACM Transactions on Audio, Speech, and Language Processing 2023: 2021’in tam analizi.
- Wang ve ark., ASVspoof Workshop 2024: ASVspoof 5 sonuç tabloları.
- Wang ve ark., ASVspoof 5 veritabanı, Computer Speech and Language 2025: veri, saldırılar ve temel sistem etkileri.
- Wang ve ark., IEEE Transactions on Audio, Speech and Language Processing 2026: yarışma sonrası ASVspoof 5 analizi.
- Jung ve ark., SASV 2022, Interspeech 2022: sahtecilik farkındalıklı konuşmacı doğrulama.
- Tak ve ark., Odyssey 2022: yarışma sonrası wav2vec 2.0 sonuçları.
- Müller ve ark., Interspeech 2022: gerçek dünya (in-the-wild) genelleme testi.
- Berisha ve ark., arXiv 2025: ön baskı, okuduğumuz kayıtta hakem değerlendirmesinden geçmemiş.
- Farhadipour ve ark., arXiv 2026 ve WildSpoof değerlendirme planı 2025: ekip sistem makalesi ve yarışma kuralları.
- Veri notu: (1) Sürümler arası EER bir eğilim değildir, çünkü veri, saldırılar ve kodekler her seferinde değişti. (2) t-DCF ölçekleri farklıdır: 2019 genel bakışı mantıksal erişim kazananı için 0,0069, fiziksel erişim kazananı için 0,0096 yazdı; sonraki T-BIOM makalesi ise formülü gözden geçirip 0,0692 ve 0,1437 yazdı, sıralamaları esasen koruyarak; biz gözden geçirilmiş değerleri kullanıyoruz. (3) Ekip sayıları çelişiyor: 2019 için 63 ile 62, ASVspoof 5 için 53 ile 54. (4) 2021 çalıştay makalesinin metni 42 mantıksal erişim ve 30 deepfake gönderimi veriyor, ancak tabloları 41 ve 33 listeliyor; yalnızca dergi makalesinde kullanılan 33’ü aktarıyoruz. Deepfake kazananı çalıştay makalesinde %15,64, dergi makalesinde %15,63. (5) 2017 makalesi ortalama birincil EER’i hem %26,01 hem %25,91 olarak veriyor, bu yüzden kullanmıyoruz. (6) ASVspoof 5 Track 2 açık koşulunda en iyi a-DCF, 2024 tablosunda 0,0756 iken 2026 makalesinde 0,07 olarak basılmış. (7) Bölüm 5’teki actDCF sayıları, kapalı koşuldaki iki temel sistem hariç, 2024 tablolarını kendi saymamızdır. (8) ASVspoof 5 tablo değerleri 2024 makalesinden okundu ve orada birçok ekip herkese açık bir kimlik olmadan yer alıyor. (9) Tak ve ark. rakamları yazarların kendi yarışma sonrası sonuçlarıdır ve biz bunları yeniden üretmedik. (10) 31 Ekim 2026 itibarıyla WildSpoof nihai sonuçlarına dair resmî bir organizatör özeti ve resmî sitede bir ASVspoof 6 duyurusu bulamadık.
Son güncelleme: 31 Ekim 2026. Bu derlemeyi üç ayda bir güncelliyoruz ve bir sonraki yenilemenin, ASVspoof organizatörleri bir sonraki sürümün değerlendirme planını yayımladığında yapılması bekleniyor.