Tingkat kesalahan setara (EER) terbaik di ASVspoof naik dari 0,22% pada 2019 menjadi 15,64% pada tugas deepfake 2021, lalu menjadi 8,61% pada kondisi tertutup ASVspoof 5 (Todisco dkk., Interspeech 2019; Yamagishi dkk., ASVspoof 2021 Workshop; Wang dkk., ASVspoof Workshop 2024). EER adalah titik ketika porsi ucapan palsu yang diterima sama dengan porsi ucapan asli yang ditolak, jadi semakin rendah semakin baik, dan garis yang naik itu mencatat ujian yang makin sulit, bukan pendeteksi yang makin lemah. Pemalsuan (spoofing) di sini berarti memberi sistem suara ucapan palsu atau ucapan yang diputar ulang agar dianggap sebagai orang sungguhan, dan ancamannya terukur: serangan pemutaran ulang (replay) saja mendorong sistem verifikasi pembicara acuan dari 1,76% menjadi 31,46% EER (Kinnunen dkk., Interspeech 2017). Kami mengumpulkan data dari arsip ISCA Interspeech dan Odyssey, IEEE/ACM TASLP, IEEE T-BIOM, IEEE JSTSP, Computer Speech and Language, serta laporan evaluasi dari penyelenggara sendiri. Untuk sisi komersial dari masalah yang sama, lihat statistik biometrik suara kami.
TL;DR
- 63 tim peneliti ikut serta dalam ASVspoof 2019, puncak partisipasi seri ini (Todisco dkk., Interspeech 2019).
- ASVspoof 5 menggunakan 32 algoritma serangan dan sekitar 2.000 pembicara, dibandingkan sekitar 100 pembicara pada edisi sebelumnya (Wang dkk., Computer Speech and Language 2025).
- Sistem terbaik ASVspoof 2015 rata-rata mencetak 1,211% EER, tetapi 8,49% pada satu serangan tersulit, S10 (Wu dkk., IEEE JSTSP 2017).
- Serangan pemutaran ulang mendorong sistem verifikasi pembicara acuan dari 1,76% menjadi 31,46% EER pada 2017 (Kinnunen dkk., Interspeech 2017).
- Akses fisik ASVspoof 2021 tetap sulit: sistem terbaik mencapai 24,25% EER dan 0,6824 min t-DCF (Yamagishi dkk., ASVspoof 2021 Workshop).
- Kondisi tertutup ASVspoof 5 dipuncaki pada 8,61% EER, dibandingkan 29,12% untuk acuan terbaik (Wang dkk., ASVspoof Workshop 2024).
- Pada deepfake ASVspoof 2021, 23 dari 33 sistem mencetak EER di bawah 10% pada data kemajuan, dan semuanya melampaui 15% pada data evaluasi (Liu dkk., IEEE/ACM TASLP 2023).
- Ansambel akses logis pemenang 2019 memangkas t-DCF sebesar 56% dibandingkan sistem tunggal terbaik, sedangkan akses fisik hanya meraih sekitar 2% (Nautsch dkk., IEEE T-BIOM 2021).
- Tantangan verifikasi pembicara sadar-pemalsuan pertama menurunkan sistem konvensional dari 23,83% menjadi 0,13% EER (Jung dkk., Interspeech 2022).
- Riset pascatantangan kemudian mencapai 0,82% EER pada akses logis ASVspoof 2021 dan 2,85% pada deepfake (Tak dkk., Odyssey 2022).
1. Edisi Tantangan dan Partisipasi
ASVspoof telah berlangsung lima kali dalam sembilan tahun, dan setiap edisi memilih titik lemah yang berbeda. Edisi 2015 menguji sintesis ucapan dari teks dan konversi suara, 2017 menguji pemutaran ulang, dan 2019 membagi bidang ini menjadi akses logis (ucapan palsu disuntikkan langsung ke jalur audio sistem) dan akses fisik (ucapan palsu diputar lewat pengeras suara ke mikrofon). Pada 2021 menyusul tugas deepfake tersendiri, dan ASVspoof 5 terbagi menjadi deteksi mandiri dan verifikasi pembicara yang tangguh terhadap pemalsuan.
Partisipasi memuncak pada 63 tim peneliti pada 2019 (Todisco dkk., Interspeech 2019) dan bertahan di atas 50 pada dua edisi berikutnya. Stabilitas itu penting: percobaan evaluasi palsu naik dari 184.000 pada 2015 menjadi 542.086 pada 2024 (lihat bagian 2), namun bidang ini tetap hadir. Keterbukaan adalah titik yang lebih lemah, karena 34 dari 54 tim dengan skor 2021 yang sah menyerahkan deskripsi sistem, sehingga 20 tim (54 dikurangi 34) tidak memiliki dokumen tersebut (Liu dkk., IEEE/ACM TASLP 2023).
| Metrik | Nilai | Sumber |
|---|---|---|
| ASVspoof 2015: tim yang meminta basis data | 28 tim dari 16 negara | Wu dkk., Interspeech 2015 |
| ASVspoof 2015: tim yang mengirim submisi utama | 16 | Wu dkk., Interspeech 2015 |
| ASVspoof 2017: tim yang mengirim pendeteksi pemutaran ulang | 49 | Kinnunen dkk., Interspeech 2017 |
| ASVspoof 2019: total tim peneliti | 63 (48 pada akses logis, 50 pada akses fisik) | Todisco dkk., Interspeech 2019 |
| ASVspoof 2021: tim dengan skor evaluasi yang sah | 54 dari 72 peserta terdaftar | Liu dkk., IEEE/ACM TASLP 2023 |
| ASVspoof 2021: tim yang menyerahkan deskripsi sistem | 34 | Liu dkk., IEEE/ACM TASLP 2023 |
| ASVspoof 5 (2024): tim peserta dalam makalah hasil | 53 | Wang dkk., IEEE TASLP 2026 |
| SASV 2022, tantangan sampingan yang menggabungkan deteksi pemalsuan dan pemeriksaan pembicara: pendaftaran berbanding submisi | 53 berbanding 23 | Jung dkk., Interspeech 2022 |
Jumlah tim bergantung pada makalahnya. Makalah hasil 2019 menyebut 62 tim dan makalah lokakarya 2024 menyebut 54 peserta, selisih yang dibahas di Catatan data.
2. Dari 100 Pembicara ke 2.000: Data di Balik Tiap Edisi
Perubahan terpenting di ASVspoof bukan sebuah model, melainkan datanya. Basis data sebelumnya masing-masing memuat sekitar 100 pembicara, dan rekaman berkualitas studio menyediakan ucapan asli. ASVspoof 5 beralih ke ucapan hasil urun daya dari sekitar 2.000 pembicara, direkam di berbagai ruangan dengan berbagai perangkat (Wang dkk., Computer Speech and Language 2025).
Keputusan tunggal itu ikut menjelaskan tingginya tingkat kesalahan di bagian 3. Pendeteksi tidak lagi bisa berhasil hanya dengan mempelajari bunyi satu pengaturan rekaman. Sisi serangan pun berubah: ASVspoof 5 untuk pertama kalinya menambahkan serangan adversarial, yaitu ucapan palsu yang diubah khusus untuk menipu pendeteksi, dan menguji 12 kondisi kodek, dari tanpa kompresi hingga kodek neural (Wang dkk., ASVspoof Workshop 2024).
| Metrik | Nilai | Sumber |
|---|---|---|
| Set evaluasi ASVspoof 2015: percobaan asli berbanding palsu | 9.404 berbanding 184.000 | Wu dkk., Interspeech 2015 |
| Set evaluasi ASVspoof 2017: konfigurasi pemutaran ulang unik | 110 | Kinnunen dkk., Interspeech 2017 |
| Subset akses logis ASVspoof 2019: total ujaran | 121.461 | Wang dkk., Computer Speech and Language 2020 |
| Akses fisik ASVspoof 2019: kondisi evaluasi simulasi | 243 (27 ruangan dan jarak dikali 9 jenis pemutaran ulang) | Wang dkk., Computer Speech and Language 2020 |
| Evaluasi akses fisik ASVspoof 2021: percobaan asli berbanding palsu | 94.068 berbanding 627.264 | Liu dkk., IEEE/ACM TASLP 2023 |
| Evaluasi deepfake ASVspoof 2021: percobaan asli berbanding palsu | 14.869 berbanding 519.059, dari lebih dari 100 algoritma serangan | Liu dkk., IEEE/ACM TASLP 2023 |
| Evaluasi ASVspoof 5 Track 1: percobaan asli berbanding palsu | 138.688 berbanding 542.086 | Wang dkk., IEEE TASLP 2026 |
| Serangan evaluasi ASVspoof 5: total dan adversarial | 16 serangan, 7 di antaranya adversarial, dari kumpulan 32 | Wang dkk., Computer Speech and Language 2025 |
3. Hasil EER Utama per Edisi
Membaca baris-baris ini sebagai satu garis tren adalah kesalahan klasik. Pemenang 0,22% pada 2019 dan pemenang 8,61% pada 2024 mengerjakan ujian yang berbeda, dan penyelenggara sengaja membuat masing-masing lebih sulit. Perbandingan yang berguna ada di dalam tiap baris, antara tim terbaik dan sistem acuan yang harus dikalahkannya.
Dengan ukuran itu, bidang ini terus maju. Pada ASVspoof 5, 27 tim kondisi tertutup mengalahkan acuan terbaik (Wang dkk., IEEE TASLP 2026), dan EER sistem teratas kurang dari sepertiga EER acuan tersebut. Pengecualiannya adalah akses fisik pada 2021, yang oleh analisis jurnal disebut sebagai yang paling menantang dari tiga tugas, dengan sistem terbaik tertahan di 24,25% (Yamagishi dkk., ASVspoof 2021 Workshop).
| Metrik | Nilai | Sumber |
|---|---|---|
| ASVspoof 2015 sistem terbaik: serangan dikenal, serangan tak dikenal, rata-rata | 0,408%, 2,013%, 1,211% EER | Wu dkk., Interspeech 2015 |
| ASVspoof 2017 pendeteksi pemutaran ulang terbaik berbanding acuan | 6,73% berbanding 24,77% EER | Kinnunen dkk., Interspeech 2017 |
| ASVspoof 2019 terbaik berbanding acuan terbaik, akses logis dan akses fisik | 0,22% berbanding 8,09% EER; 0,39% berbanding 11,04% EER | Todisco dkk., Interspeech 2019 |
| ASVspoof 2021 akses logis terbaik berbanding acuan terbaik | 1,32% berbanding 9,26% EER | Yamagishi dkk., ASVspoof 2021 Workshop |
| ASVspoof 2021 akses fisik terbaik | 24,25% EER | Yamagishi dkk., ASVspoof 2021 Workshop |
| ASVspoof 2021 tugas deepfake terbaik berbanding acuan terbaik | 15,64% berbanding 22,38% EER | Yamagishi dkk., ASVspoof 2021 Workshop |
| ASVspoof 5 Track 1 terbaik kondisi tertutup, terbaik kondisi terbuka, acuan terbaik | 8,61%, 2,59%, 29,12% EER | Wang dkk., ASVspoof Workshop 2024 |
Kondisi tertutup melarang data luar, sedangkan kondisi terbuka mengizinkan data eksternal dan model pralatih, itulah sebabnya tahun yang sama menghasilkan dua pemenang yang sangat berbeda.
4. Dampak Pemalsuan pada Verifikasi Pembicara, dan Serangan Tersulit
Tanpa pendeteksi, verifikasi pembicara nyaris tidak bisa bertahan. Di bawah serangan S10 pada 2015, sistem dengan 0,42% EER runtuh menjadi 45,79% (Wu dkk., Interspeech 2015). Edisi-edisi berikutnya mengulang pola itu pada setiap skala, termasuk ASVspoof 5, tempat 14 dari 16 serangan evaluasi mendorong EER verifikasi pembicara melewati 20% (Wang dkk., Computer Speech and Language 2025).
Temuan yang lebih mengejutkan adalah siapa penyerang tersulit. Pada kondisi tertutup ASVspoof 5, itu adalah A19, yang dibangun di atas MaryTTS, sintesiser konkatenatif lama yang menyambung potongan ucapan rekaman, dan makalah basis data menyimpulkan bahwa teknologi generatif lama maupun kontemporer masih menjadi ancaman serius. Mesin dan manusia juga gagal dengan cara berbeda: pada 2019 serangan A17 menipu pendeteksi acuan tetapi mudah dikenali pendengar manusia, sedangkan A10 digambarkan tidak dapat dibedakan secara persepsi dari ucapan asli (Wang dkk., Computer Speech and Language 2020). Statistik MOS ucapan sintetis kami membahas sisi pendengar dari kesenjangan itu.
| Metrik | Nilai | Sumber |
|---|---|---|
| EER verifikasi pembicara, penyamar biasa berbanding serangan S10 (2015) | 0,42% berbanding 45,79% | Wu dkk., Interspeech 2015 |
| EER verifikasi pembicara, penyamar biasa berbanding pemutaran ulang (2017) | 1,76% berbanding 31,46% | Kinnunen dkk., Interspeech 2017 |
| EER verifikasi pembicara, penyamar biasa berbanding serangan akses logis terburuk 2019 | 2,48% berbanding 64,52% (serangan A16) | Wang dkk., Computer Speech and Language 2020 |
| EER verifikasi pembicara ECAPA-TDNN konvensional, tanpa pemalsuan berbanding dengan percobaan palsu ditambahkan | 1,63% berbanding 23,83% | Jung dkk., Interspeech 2022 |
| EER verifikasi pembicara ASVspoof 5, serangan A26 berbanding serangan yang sama dengan langkah adversarial Malacopula ditambahkan (A27) | 15,77% berbanding 34,68% | Wang dkk., Computer Speech and Language 2025 |
| EER pendeteksi ASVspoof 2015 terbaik pada serangan tersulit, S10 | 8,49% | Wu dkk., IEEE JSTSP 2017 |
| EER pendeteksi acuan ASVspoof 5 pada A19, RawNet2 berbanding AASIST | 49,80% berbanding 63,75% | Wang dkk., Computer Speech and Language 2025 |
S10 tetap membandel setelah tantangan 2015: tinjauan jurnal edisi 2015 menemukan hasil untuk serangan ini tetap buruk di sebagian besar studi lanjutan, dengan satu pengecualian di 1,065%.
5. Melampaui EER: t-DCF, a-DCF, dan Masalah Kalibrasi
EER menggambarkan pendeteksi saja, pada satu ambang yang dipilih setelah kejadian. Sejak 2019 sebagian besar tugas ASVspoof diperingkat berdasarkan biaya. Fungsi biaya deteksi tandem (t-DCF) menghitung biaya pendeteksi dan pemeriksaan pembicara yang bekerja bersama, pada skala dengan batas bawah ASV: biaya yang tetap ada meskipun pendeteksinya sempurna, karena pemeriksaan pembicara masih membuat kesalahan. Pada 2019 sistem akses logis terbaik mendarat di 0,0692 terhadap batas bawah 0,0627, nyaris sebaik yang bisa dicapai pendeteksi (Nautsch dkk., IEEE T-BIOM 2021).
ASVspoof 5 memperlihatkan masalah berikutnya, kalibrasi, yang menanyakan apakah skor sebuah sistem dapat dipakai pada ambang nyata yang tetap. minDCF adalah biaya pada ambang terbaik yang dipilih setelah kejadian, dan actDCF adalah biaya pada ambang yang benar-benar akan dipakai sistem yang diterapkan. Pemenang kondisi tertutup pada minDCF mencetak 0,9956 pada actDCF, sementara tim peringkat ketiga hampir tidak kehilangan apa pun di antara keduanya. Kami menghitung 11 dari 31 submisi kondisi tertutup dan 14 dari 34 submisi kondisi terbuka tercantum dengan actDCF tepat 1,0000 (Wang dkk., ASVspoof Workshop 2024). Penyelenggara mengaitkan nilai actDCF 1,0 dengan skor yang menyerupai probabilitas, sehingga minDCF rendah dan actDCF tinggi dapat berdampingan dalam satu sistem, dan mereka mengusulkan metrik yang peka kalibrasi sebagai kemungkinan metrik utama pada edisi mendatang (Wang dkk., IEEE TASLP 2026).
| Metrik | Nilai | Sumber |
|---|---|---|
| ASVspoof 2019: batas bawah ASV berbanding min t-DCF terbaik, akses logis dan akses fisik | 0,0627 berbanding 0,0692; 0,1354 berbanding 0,1437 | Nautsch dkk., IEEE T-BIOM 2021 |
| Akses fisik ASVspoof 2021: batas bawah ASV berbanding min t-DCF terbaik | 0,12 berbanding 0,6824 | Liu dkk., IEEE/ACM TASLP 2023; Yamagishi dkk., ASVspoof 2021 Workshop |
| ASVspoof 5 Track 1 kondisi tertutup: minDCF berbanding actDCF, juara pertama dan ketiga | 0,2436 berbanding 0,9956; 0,2975 berbanding 0,2976 | Wang dkk., ASVspoof Workshop 2024 |
| ASVspoof 5 Track 2: terbaik kondisi tertutup, terbaik kondisi terbuka, dan acuan kondisi tertutup terbaik, min a-DCF | 0,2814, 0,0756, 0,5741 | Wang dkk., ASVspoof Workshop 2024 |
a-DCF (fungsi biaya deteksi yang agnostik terhadap arsitektur) adalah metrik utama Track 2, dan Track 2 menggabungkan pendeteksi dengan pemeriksaan pembicara. Nilai t-DCF tidak dapat dibandingkan antar-makalah: lihat Catatan data.
6. Apa yang Menang: Model Neural, Ansambel, dan Front-End Pralatih
Seri ini menceritakan kisah yang jelas tentang metode. Pada 2019 jaringan saraf telah menguasai papan atas, dan ansambel, yaitu gabungan beberapa subsistem, menjadi cara bawaan untuk menang. Ansambel akses logis pemenang 2019 lebih baik 56% daripada sistem tunggal terbaik pada t-DCF, sedangkan akses fisik hanya meraih sekitar 2% (Nautsch dkk., IEEE T-BIOM 2021). Ansambel hanya punya sedikit ruang untuk meraih keuntungan di akses fisik, karena sistem tunggal terbaik di sana sudah mendekati batas bawah ASV yang dijelaskan di bagian 5.
Pada 2024 faktor penentunya adalah front-end pralatih. Semua submisi teratas ASVspoof 5 memakai wav2vec 2.0 atau WavLM (Wang dkk., IEEE TASLP 2026), model swa-awasi yang dilatih lebih dulu pada ucapan biasa dalam jumlah besar. Sebagian besar peningkatan dari kondisi tertutup ke terbuka, dari 8,61% menjadi 2,59%, datang bersama model-model itu dan data tambahan yang diizinkan kondisi terbuka. Keluarga model yang sama diukur pada tugas ucapan umum dalam statistik papan peringkat SUPERB kami. Tekniknya terbukti tak lama setelah edisi 2021, ketika satu sistem wav2vec 2.0 mengalahkan semua hasil tantangan pada data yang sama (Tak dkk., Odyssey 2022).
| Metrik | Nilai | Sumber |
|---|---|---|
| ASVspoof 2019: sistem teratas yang memakai jaringan saraf, dan sistem yang memakai ansambel pengklasifikasi | 7 dan 9 teratas pada akses logis; 6 dan 10 teratas pada akses fisik | Todisco dkk., Interspeech 2019 |
| ASVspoof 2019: min t-DCF, sistem tunggal terbaik berbanding ansambel terbaik, akses logis dan akses fisik | 0,1562 berbanding 0,0692; 0,1470 berbanding 0,1437 | Nautsch dkk., IEEE T-BIOM 2021 |
| ASVspoof 5 Track 1: subsistem yang digabung, kondisi tertutup berbanding terbuka | 3 hingga 4 berbanding 2 hingga 6 | Wang dkk., IEEE TASLP 2026 |
| ASVspoof 5 Track 1: front-end pralatih di antara lima sistem terbuka teratas yang tercantum | wav2vec2-large pada 3, WavLM-Base pada 2 | Wang dkk., IEEE TASLP 2026 |
| Sistem wav2vec 2.0 pascatantangan pada akses logis ASVspoof 2021, EER dan min t-DCF | 0,82% dan 0,2066 | Tak dkk., Odyssey 2022 |
| Sistem wav2vec 2.0 pascatantangan pada tugas deepfake ASVspoof 2021, EER | 2,85% | Tak dkk., Odyssey 2022 |
7. Kesenjangan Generalisasi Setelah Papan Peringkat
Masalah yang belum terselesaikan dalam anti-pemalsuan adalah apa yang terjadi di luar tolok ukur. Tanda paling jelas muncul di dalam tantangan itu sendiri: pada deepfake ASVspoof 2021, 23 dari 33 sistem mencetak EER di bawah 10% pada data kemajuan, dan setiap satunya melampaui 15% pada set evaluasi (Liu dkk., IEEE/ACM TASLP 2023). Skor kemajuan terbaik berada di bawah 1%, sehingga umpan balik papan peringkat yang menjadi acuan latihan tim menyesatkan.
Hasil yang sama berlaku di luar tantangan. Empat dari lima sistem terbuka teratas ASVspoof 5 diuji ulang pada set data lain, dan dengan satu pengecualian, EER-nya naik di atas 10% (Wang dkk., IEEE TASLP 2026). Pada audio yang dikumpulkan dari internet, model yang dilatih pada ASVspoof 2019 bekerja jauh lebih buruk, dan tambahan data ASVspoof tidak membantu (Müller dkk., Interspeech 2022). Peningkatan ucapan memiliki masalah serupa, yang didokumentasikan dalam statistik tolok ukur PESQ dan STOI kami. Sebuah pracetak 2025 melangkah lebih jauh dan berpendapat bahwa deteksi saja tidak boleh menanggung keputusan berisiko tinggi, dan merekomendasikannya sebagai satu sinyal dalam pertahanan berlapis (Berisha dkk., arXiv 2025).
| Metrik | Nilai | Sumber |
|---|---|---|
| Sistem kondisi terbuka ASVspoof 5 T36, T27, T23, T43: EER pada subset ASVspoof 5 Track 1 berbanding pada akses logis ASVspoof 2019 | 3,37%, 3,30%, 4,23%, 4,33% berbanding 16,27%, 17,33%, 16,73%, 26,63% | Wang dkk., IEEE TASLP 2026 |
| Pemenang akses fisik ASVspoof 2019: EER pada pemutaran ulang simulasi berbanding pemutaran ulang nyata tersembunyi | 0,39% berbanding 19,68% | Nautsch dkk., IEEE T-BIOM 2021 |
| Model terbaik pada ASVspoof 2019 berbanding model terbaik pada audio dunia nyata (in-the-wild), EER | Sekitar 1,2% berbanding sekitar 33,9% | Müller dkk., Interspeech 2022 |
| RawNet2 dilatih ulang pada seluruh ASVspoof 2019: EER pada audio dunia nyata (in-the-wild) | 33,1% ± 0,2 | Müller dkk., Interspeech 2022 |
| Penurunan EER dari 12 model hasil implementasi ulang pada audio dunia nyata (in-the-wild) | Sekitar 200% hingga 1000% | Müller dkk., Interspeech 2022 |
| Tim T03 WildSpoof Challenge, EER yang dilaporkannya sendiri pada deteksi pemalsuan dalam domain | 0,16% | Farhadipour dkk., arXiv 2026 |
Angka T03 adalah laporan satu tim, dan penulisnya mengatakan hasil mereka pada set data lain, termasuk ASVspoof 5, menunjukkan generalisasi lintas domain tetap sulit. Angka dalam domain terus turun sementara kesenjangannya tetap terbuka. WildSpoof, yang rencana evaluasinya mencantumkan penulis yang juga menyelenggarakan ASVspoof 5, memasangkan jalur sintesis ucapan dari teks dengan jalur verifikasi pembicara yang tangguh terhadap pemalsuan (Farhadipour dkk., arXiv 2026).
Ringkasan: Tingkat Kesalahan Setara ASVspoof Anti-Pemalsuan Suara dalam Angka
| Metrik | Nilai | Sumber |
|---|---|---|
| Tim ASVspoof 2015 dengan submisi utama | 16 | Wu dkk., Interspeech 2015 |
| Tim ASVspoof 2017 | 49 | Kinnunen dkk., Interspeech 2017 |
| Pembicara ASVspoof 5 berbanding edisi sebelumnya | Sekitar 2.000 berbanding sekitar 100 | Wang dkk., Computer Speech and Language 2025 |
| EER verifikasi pembicara, penyamar biasa berbanding serangan S10 (2015) | 0,42% berbanding 45,79% | Wu dkk., Interspeech 2015 |
| EER verifikasi pembicara, penyamar biasa berbanding serangan akses logis terburuk 2019 | 2,48% berbanding 64,52% | Wang dkk., Computer Speech and Language 2020 |
| EER rata-rata terbaik ASVspoof 2015 | 1,211% | Wu dkk., IEEE JSTSP 2017 |
| EER pendeteksi ASVspoof 2015 terbaik pada serangan tersulit, S10 | 8,49% | Wu dkk., IEEE JSTSP 2017 |
| EER terbaik ASVspoof 2017 | 6,73% | Kinnunen dkk., Interspeech 2017 |
| EER terbaik akses logis ASVspoof 2019 | 0,22% | Todisco dkk., Interspeech 2019 |
| EER terbaik tugas deepfake ASVspoof 2021 | 15,64% | Yamagishi dkk., ASVspoof 2021 Workshop |
| EER terbaik kondisi tertutup ASVspoof 5 Track 1 | 8,61% | Wang dkk., ASVspoof Workshop 2024 |
| EER terbaik SASV 2022 dengan percobaan palsu disertakan | 0,13% | Jung dkk., Interspeech 2022 |
| EER pascatantangan terbaik pada akses logis ASVspoof 2021 | 0,82% | Tak dkk., Odyssey 2022 |
| EER pascatantangan terbaik pada tugas deepfake ASVspoof 2021 | 2,85% | Tak dkk., Odyssey 2022 |
| Pemenang akses fisik ASVspoof 2019 pada pemutaran ulang nyata tersembunyi | 19,68% EER | Nautsch dkk., IEEE T-BIOM 2021 |
| Model terbaik pada audio dunia nyata (in-the-wild) | Sekitar 33,9% EER | Müller dkk., Interspeech 2022 |
Metodologi dan Sumber
Kami membaca langsung makalah tantangan, bukan ringkasan pihak ketiga. Angka EER adalah persentase pada set evaluasi kecuali baris tertentu menyatakan lain. Sebagian besar data di sini berusia lebih dari tiga tahun karena sifatnya, sebab tantangan berlangsung kira-kira setiap dua hingga tiga tahun. Data terbaru yang tersedia: laporan jurnal 2026 tentang edisi 2024.
- Situs resmi ASVspoof: daftar edisi, jadwal, dan penyelenggara.
- Wu dkk., ASVspoof 2015, Interspeech 2015: edisi pertama, tim, percobaan, dan hasil.
- Wu dkk., IEEE Journal of Selected Topics in Signal Processing 2017: rincian S10 dan tinjauan pascaevaluasi.
- Kinnunen dkk., ASVspoof 2017, Interspeech 2017: hasil deteksi pemutaran ulang.
- Todisco dkk., ASVspoof 2019, Interspeech 2019: gambaran umum dan papan peringkat.
- Wang dkk., basis data ASVspoof 2019, Computer Speech and Language 2020: ukuran data, serangan, dan penilaian manusia.
- Nautsch dkk., IEEE Transactions on Biometrics, Behavior, and Identity Science 2021: t-DCF yang direvisi, ansambel, pemutaran ulang nyata tersembunyi.
- Yamagishi dkk., ASVspoof 2021 Workshop: hasil utama 2021.
- Liu dkk., IEEE/ACM Transactions on Audio, Speech, and Language Processing 2023: analisis lengkap 2021.
- Wang dkk., ASVspoof Workshop 2024: tabel hasil ASVspoof 5.
- Wang dkk., basis data ASVspoof 5, Computer Speech and Language 2025: data, serangan, dan pengaruhnya pada sistem acuan.
- Wang dkk., IEEE Transactions on Audio, Speech and Language Processing 2026: analisis ASVspoof 5 pascatantangan.
- Jung dkk., SASV 2022, Interspeech 2022: verifikasi pembicara sadar-pemalsuan.
- Tak dkk., Odyssey 2022: hasil wav2vec 2.0 pascatantangan.
- Müller dkk., Interspeech 2022: uji generalisasi pada audio dunia nyata (in-the-wild).
- Berisha dkk., arXiv 2025: pracetak, tidak ditelaah sejawat dalam catatan yang kami baca.
- Farhadipour dkk., arXiv 2026 dan rencana evaluasi WildSpoof 2025: makalah sistem tim dan aturan tantangan.
- Catatan data: (1) EER antar-edisi bukan tren, karena data, serangan, dan kodek berubah setiap kali. (2) Skala t-DCF berbeda: gambaran umum 2019 mencetak 0,0069 untuk pemenang akses logis dan 0,0096 untuk pemenang akses fisik, sedangkan makalah T-BIOM berikutnya merevisi rumusnya dan mencetak 0,0692 dan 0,1437, dengan peringkat pada dasarnya tetap; kami memakai nilai yang direvisi. (3) Jumlah tim saling bertentangan: 63 berbanding 62 untuk 2019 dan 53 berbanding 54 untuk ASVspoof 5. (4) Teks makalah lokakarya 2021 menyebut 42 submisi akses logis dan 30 submisi deepfake, tetapi tabelnya mencantumkan 41 dan 33; kami hanya mengutip 33 yang dipakai dalam makalah jurnal. Pemenang deepfake adalah 15,64% di makalah lokakarya dan 15,63% di makalah jurnal. (5) Makalah 2017 menyebut rata-rata EER utama sebagai 26,01% sekaligus 25,91%, sehingga kami tidak memakainya. (6) a-DCF terbuka terbaik Track 2 ASVspoof 5 adalah 0,0756 di tabel 2024 dan tercetak 0,07 di makalah 2026. (7) Hitungan actDCF di bagian 5 adalah tabulasi kami sendiri atas tabel 2024, tidak termasuk dua sistem acuan pada kondisi tertutup. (8) Nilai tabel ASVspoof 5 dibaca dari makalah 2024, dan banyak tim muncul di sana tanpa ID publik. (9) Angka Tak dkk. adalah hasil pascatantangan milik penulis sendiri, yang tidak kami reproduksi. (10) Kami tidak menemukan ringkasan resmi penyelenggara tentang hasil akhir WildSpoof maupun pengumuman ASVspoof 6 di situs resmi per 31 Oktober 2026.
Terakhir diperbarui: 31 Oktober 2026. Kami memperbarui rangkuman ini setiap kuartal, dan pembaruan berikutnya diperkirakan terjadi ketika penyelenggara ASVspoof menerbitkan rencana evaluasi untuk edisi berikutnya.