Najlepszy równy współczynnik błędów (EER) w ASVspoof zmienił się z 0,22% w 2019 roku na 15,64% w zadaniu deepfake z 2021 roku, a następnie na 8,61% w warunku zamkniętym ASVspoof 5 (Todisco i in., Interspeech 2019; Yamagishi i in., warsztaty ASVspoof 2021; Wang i in., warsztaty ASVspoof 2024). EER to punkt, w którym odsetek zaakceptowanych fałszerstw jest równy odsetkowi odrzuconej prawdziwej mowy, więc im niższy, tym lepiej, a ta rosnąca linia odzwierciedla trudniejszy egzamin, a nie słabsze detektory. Spoofing oznacza tu podsuwanie systemowi głosowemu fałszywej lub odtworzonej mowy, tak aby uchodziła za prawdziwą osobę, a zagrożenie da się zmierzyć: same ataki odtworzeniowe podniosły EER bazowego systemu weryfikacji mówcy z 1,76% do 31,46% (Kinnunen i in., Interspeech 2017). Zebraliśmy dane z archiwów ISCA Interspeech i Odyssey, IEEE/ACM TASLP, IEEE T-BIOM, IEEE JSTSP, Computer Speech and Language oraz z raportów ewaluacyjnych samych organizatorów. O komercyjnej stronie tego samego problemu piszemy w naszych statystykach biometrii głosowej.
TL;DR
- W ASVspoof 2019 wzięły udział 63 zespoły badawcze, co jest szczytem uczestnictwa w całej serii (Todisco i in., Interspeech 2019).
- ASVspoof 5 wykorzystał 32 algorytmy ataków i około 2.000 mówców, wobec około 100 mówców we wcześniejszych edycjach (Wang i in., Computer Speech and Language 2025).
- Najlepszy system ASVspoof 2015 uzyskał średni EER 1,211%, ale 8,49% na pojedynczym najtrudniejszym ataku, S10 (Wu i in., IEEE JSTSP 2017).
- Ataki odtworzeniowe podniosły w 2017 roku EER bazowego systemu weryfikacji mówcy z 1,76% do 31,46% (Kinnunen i in., Interspeech 2017).
- Dostęp fizyczny (physical access) w ASVspoof 2021 pozostał trudny: najlepszy system osiągnął 24,25% EER i 0,6824 min t-DCF (Yamagishi i in., warsztaty ASVspoof 2021).
- Warunek zamknięty w ASVspoof 5 wygrał wynik 8,61% EER, wobec 29,12% dla najlepszego systemu bazowego (Wang i in., warsztaty ASVspoof 2024).
- W deepfake’ach ASVspoof 2021 23 z 33 systemów uzyskały poniżej 10% EER na danych progress, a wszystkie przekroczyły 15% na danych ewaluacyjnych (Liu i in., IEEE/ACM TASLP 2023).
- Zwycięski zespół modeli (ensemble) dostępu logicznego z 2019 roku obniżył t-DCF o 56% względem najlepszego pojedynczego systemu, a dostęp fizyczny zyskał tylko około 2% (Nautsch i in., IEEE T-BIOM 2021).
- Pierwszy konkurs weryfikacji mówcy odpornej na spoofing obniżył EER konwencjonalnego systemu z 23,83% do 0,13% (Jung i in., Interspeech 2022).
- Prace po zakończeniu konkursu osiągnęły później 0,82% EER w dostępie logicznym ASVspoof 2021 i 2,85% w deepfake’ach (Tak i in., Odyssey 2022).
1. Edycje konkursu i uczestnictwo
ASVspoof odbył się pięć razy w ciągu dziewięciu lat i za każdym razem celował w inny słaby punkt. Edycja 2015 testowała zamianę tekstu na mowę i konwersję głosu, 2017 testowała ataki odtworzeniowe (replay), a 2019 podzieliła pole na dostęp logiczny (logical access, czyli fałszywa mowa wstrzykiwana prosto w tor audio systemu) i dostęp fizyczny (physical access, czyli fałszywa mowa odtwarzana przez głośnik do mikrofonu). W 2021 roku doszło osobne zadanie deepfake, a ASVspoof 5 podzielił się na samodzielną detekcję i weryfikację mówcy odporną na spoofing.
Uczestnictwo osiągnęło szczyt 63 zespołów badawczych w 2019 roku (Todisco i in., Interspeech 2019) i w dwóch kolejnych edycjach utrzymało się powyżej 50. Ta stabilność ma znaczenie: liczba sfałszowanych prób ewaluacyjnych wzrosła ze 184.000 w 2015 roku do 542.086 w 2024 roku (zob. sekcja 2), a mimo to środowisko nadal się zgłaszało. Słabszym punktem jest jawność, ponieważ 34 z 54 zespołów z ważnymi wynikami z 2021 roku złożyło opis systemu, co zostawia 20 zespołów (54 minus 34) bez opisu w aktach (Liu i in., IEEE/ACM TASLP 2023).
| Metryka | Wartość | Źródło |
|---|---|---|
| ASVspoof 2015: zespoły, które zażądały bazy danych | 28 zespołów z 16 krajów | Wu i in., Interspeech 2015 |
| ASVspoof 2015: zespoły, które przesłały zgłoszenia podstawowe | 16 | Wu i in., Interspeech 2015 |
| ASVspoof 2017: zespoły, które zgłosiły detektor ataków odtworzeniowych | 49 | Kinnunen i in., Interspeech 2017 |
| ASVspoof 2019: wszystkie zespoły badawcze | 63 (48 w dostępie logicznym, 50 w dostępie fizycznym) | Todisco i in., Interspeech 2019 |
| ASVspoof 2021: zespoły z ważnymi wynikami ewaluacji | 54 spośród 72 zarejestrowanych uczestników | Liu i in., IEEE/ACM TASLP 2023 |
| ASVspoof 2021: zespoły, które złożyły opis systemu | 34 | Liu i in., IEEE/ACM TASLP 2023 |
| ASVspoof 5 (2024): zespoły uczestniczące w artykule z wynikami | 53 | Wang i in., IEEE TASLP 2026 |
| SASV 2022, konkurs poboczny łączący wykrywanie spoofingu z weryfikacją mówcy: rejestracje wobec zgłoszeń | 53 wobec 23 | Jung i in., Interspeech 2022 |
Liczba zespołów zależy od artykułu. Artykuł z wynikami z 2019 roku podaje 62 zespoły, a artykuł z warsztatów 2024 podaje 54 uczestników, a tę rozbieżność omawiamy w uwadze o danych.
2. Od 100 do 2.000 mówców: dane stojące za każdą edycją
Najważniejszą zmianą w ASVspoof nie jest model, lecz dane. Wcześniejsze bazy liczyły po około 100 mówców, a prawdziwą mowę dostarczały nagrania studyjnej jakości. ASVspoof 5 przeszedł na mowę pozyskaną metodą crowdsourcingu od około 2.000 mówców, nagraną w różnych pomieszczeniach na różnych urządzeniach (Wang i in., Computer Speech and Language 2025).
Ta jedna decyzja pomaga wyjaśnić wyższe poziomy błędów z sekcji 3. Detektor nie może już odnieść sukcesu, ucząc się, jak brzmi jedna konfiguracja nagrywania. Zmieniła się też strona ataków: ASVspoof 5 po raz pierwszy dodał ataki adwersarialne, czyli fałszerstwa zmodyfikowane specjalnie po to, by oszukać detektor, i przetestował 12 warunków kodeków, od braku kompresji po kodeki neuronowe (Wang i in., warsztaty ASVspoof 2024).
| Metryka | Wartość | Źródło |
|---|---|---|
| Zbiór ewaluacyjny ASVspoof 2015: próby autentyczne wobec sfałszowanych | 9.404 wobec 184.000 | Wu i in., Interspeech 2015 |
| Zbiór ewaluacyjny ASVspoof 2017: unikalne konfiguracje ataków odtworzeniowych | 110 | Kinnunen i in., Interspeech 2017 |
| Podzbiór dostępu logicznego ASVspoof 2019: łączna liczba wypowiedzi | 121.461 | Wang i in., Computer Speech and Language 2020 |
| Dostęp fizyczny ASVspoof 2019: symulowane warunki ewaluacji | 243 (27 pomieszczeń i odległości × 9 typów odtwarzania) | Wang i in., Computer Speech and Language 2020 |
| Ewaluacja dostępu fizycznego ASVspoof 2021: próby prawdziwe wobec sfałszowanych | 94.068 wobec 627.264 | Liu i in., IEEE/ACM TASLP 2023 |
| Ewaluacja deepfake ASVspoof 2021: próby prawdziwe wobec sfałszowanych | 14.869 wobec 519.059, z ponad 100 algorytmów ataków | Liu i in., IEEE/ACM TASLP 2023 |
| Ewaluacja ścieżki 1 ASVspoof 5: próby prawdziwe wobec sfałszowanych | 138.688 wobec 542.086 | Wang i in., IEEE TASLP 2026 |
| Ataki ewaluacyjne ASVspoof 5: łącznie i adwersarialne | 16 ataków, w tym 7 adwersarialnych, z puli 32 | Wang i in., Computer Speech and Language 2025 |
3. Najważniejsze wyniki EER według edycji
Czytanie tych wierszy jako jednej linii trendu to klasyczny błąd. Zwycięzca z 2019 roku z wynikiem 0,22% i zwycięzca z 2024 roku z wynikiem 8,61% pisali różne egzaminy, a organizatorzy celowo utrudniali każdy z nich. Użyteczne porównanie znajduje się wewnątrz każdego wiersza, między najlepszym zespołem a systemem bazowym, który musiał pokonać.
Według tej miary środowisko stale zyskuje. W ASVspoof 5 27 zespołów w warunku zamkniętym pokonało najlepszy system bazowy (Wang i in., IEEE TASLP 2026), a EER najlepszego systemu był mniejszy niż jedna trzecia wyniku tego systemu bazowego. Wyjątkiem jest dostęp fizyczny w 2021 roku, który analiza w czasopiśmie nazywa najtrudniejszym z trzech zadań, z najlepszym systemem utkniętym na poziomie 24,25% (Yamagishi i in., warsztaty ASVspoof 2021).
| Metryka | Wartość | Źródło |
|---|---|---|
| Najlepszy system ASVspoof 2015: ataki znane, ataki nieznane, średnia | 0,408%, 2,013%, 1,211% EER | Wu i in., Interspeech 2015 |
| Najlepszy detektor ataków odtworzeniowych ASVspoof 2017 wobec systemu bazowego | 6,73% wobec 24,77% EER | Kinnunen i in., Interspeech 2017 |
| ASVspoof 2019: najlepszy wobec najlepszego systemu bazowego, dostęp logiczny i dostęp fizyczny | 0,22% wobec 8,09% EER; 0,39% wobec 11,04% EER | Todisco i in., Interspeech 2019 |
| ASVspoof 2021, dostęp logiczny: najlepszy wobec najlepszego systemu bazowego | 1,32% wobec 9,26% EER | Yamagishi i in., warsztaty ASVspoof 2021 |
| ASVspoof 2021, dostęp fizyczny: najlepszy | 24,25% EER | Yamagishi i in., warsztaty ASVspoof 2021 |
| ASVspoof 2021, zadanie deepfake: najlepszy wobec najlepszego systemu bazowego | 15,64% wobec 22,38% EER | Yamagishi i in., warsztaty ASVspoof 2021 |
| ASVspoof 5, ścieżka 1: najlepszy w warunku zamkniętym, najlepszy w warunku otwartym, najlepszy system bazowy | 8,61%, 2,59%, 29,12% EER | Wang i in., warsztaty ASVspoof 2024 |
Warunek zamknięty zabrania danych zewnętrznych, a warunek otwarty dopuszcza dane zewnętrzne i wstępnie wytrenowane modele, dlatego w tym samym roku widać dwóch tak różnych zwycięzców.
4. Co spoofing robi z weryfikacją mówcy i najtrudniejsze ataki
Bez detektora weryfikacja mówcy stawia niewielki opór. Pod wpływem ataku S10 z 2015 roku system z EER 0,42% załamał się do 45,79% (Wu i in., Interspeech 2015). Późniejsze edycje powtarzają ten wzorzec w każdej skali, w tym ASVspoof 5, gdzie 14 z 16 ataków ewaluacyjnych podniosło EER weryfikacji mówcy powyżej 20% (Wang i in., Computer Speech and Language 2025).
Bardziej zaskakujące jest to, kto jest najtrudniejszym atakującym. W warunku zamkniętym ASVspoof 5 był to A19, zbudowany na MaryTTS, starszym syntezatorze konkatenacyjnym, który zszywa nagrane fragmenty mowy, a artykuł o bazie danych wnioskuje, że zarówno starsze, jak i współczesne technologie generatywne nadal stanowią poważne zagrożenie. Maszyny i ludzie zawodzą też inaczej: w 2019 roku atak A17 oszukał bazowy detektor, ale był łatwo wychwytywany przez ludzi, natomiast A10 opisano jako percepcyjnie nieodróżnialny od prawdziwej mowy (Wang i in., Computer Speech and Language 2020). Stronę słuchacza tej luki omawiają nasze statystyki MOS mowy syntetycznej.
| Metryka | Wartość | Źródło |
|---|---|---|
| EER weryfikacji mówcy, zwykli impostorzy wobec ataku S10 (2015) | 0,42% wobec 45,79% | Wu i in., Interspeech 2015 |
| EER weryfikacji mówcy, zwykli impostorzy wobec ataku odtworzeniowego (2017) | 1,76% wobec 31,46% | Kinnunen i in., Interspeech 2017 |
| EER weryfikacji mówcy, zwykli impostorzy wobec najgorszego ataku dostępu logicznego z 2019 roku | 2,48% wobec 64,52% (atak A16) | Wang i in., Computer Speech and Language 2020 |
| EER konwencjonalnej weryfikacji mówcy ECAPA-TDNN, bez spoofingu wobec z dodanymi próbami sfałszowanymi | 1,63% wobec 23,83% | Jung i in., Interspeech 2022 |
| EER weryfikacji mówcy w ASVspoof 5, atak A26 wobec tego samego ataku z dodanym krokiem adwersarialnym Malacopula (A27) | 15,77% wobec 34,68% | Wang i in., Computer Speech and Language 2025 |
| Najlepszy EER detektora ASVspoof 2015 na najtrudniejszym ataku, S10 | 8,49% | Wu i in., IEEE JSTSP 2017 |
| EER bazowego detektora ASVspoof 5 na A19, RawNet2 wobec AASIST | 49,80% wobec 63,75% | Wang i in., Computer Speech and Language 2025 |
S10 pozostał oporny także po konkursie 2015: przegląd edycji 2015 w czasopiśmie wykazał, że wyniki dla tego ataku pozostały słabe w większości badań uzupełniających, z jednym wyjątkiem na poziomie 1,065%.
5. Poza EER: t-DCF, a-DCF i problem kalibracji
EER opisuje sam detektor, przy jednym progu wybranym po fakcie. Od 2019 roku większość zadań ASVspoof jest oceniana według kosztów. Tandemowa funkcja kosztu detekcji (t-DCF) wycenia detektor i weryfikację mówcy działające razem, na skali z dolną granicą ASV: kosztem, który pozostaje nawet przy idealnym detektorze, bo weryfikacja mówcy nadal popełnia błędy. W 2019 roku najlepszy system dostępu logicznego uzyskał 0,0692 wobec dolnej granicy 0,0627, niemal tyle, ile detektor może w ogóle osiągnąć (Nautsch i in., IEEE T-BIOM 2021).
ASVspoof 5 ujawnia kolejny problem, kalibrację, która pyta, czy wyniki systemu można stosować przy stałym, rzeczywistym progu. minDCF to koszt przy najlepszym progu wybranym po fakcie, a actDCF to koszt przy progu, którego faktycznie użyłby wdrożony system. Zwycięzca warunku zamkniętego według minDCF uzyskał 0,9956 w actDCF, natomiast zespół z trzeciego miejsca stracił między tymi dwiema wartościami niemal nic. Naliczyliśmy 11 z 31 zgłoszeń w warunku zamkniętym i 14 z 34 zgłoszeń w warunku otwartym z actDCF równym dokładnie 1,0000 (Wang i in., warsztaty ASVspoof 2024). Organizatorzy wiążą wartości actDCF równe 1,0 z wynikami przypominającymi prawdopodobieństwa, więc niski minDCF i wysoki actDCF mogą współistnieć w jednym systemie, i wskazują metryki wrażliwe na kalibrację jako możliwe metryki główne w przyszłych edycjach (Wang i in., IEEE TASLP 2026).
| Metryka | Wartość | Źródło |
|---|---|---|
| ASVspoof 2019: dolna granica ASV wobec najlepszego min t-DCF, dostęp logiczny i dostęp fizyczny | 0,0627 wobec 0,0692; 0,1354 wobec 0,1437 | Nautsch i in., IEEE T-BIOM 2021 |
| ASVspoof 2021, dostęp fizyczny: dolna granica ASV wobec najlepszego min t-DCF | 0,12 wobec 0,6824 | Liu i in., IEEE/ACM TASLP 2023; Yamagishi i in., warsztaty ASVspoof 2021 |
| ASVspoof 5, ścieżka 1, warunek zamknięty: minDCF wobec actDCF, pierwsze i trzecie miejsce | 0,2436 wobec 0,9956; 0,2975 wobec 0,2976 | Wang i in., warsztaty ASVspoof 2024 |
| ASVspoof 5, ścieżka 2: najlepszy w warunku zamkniętym, najlepszy w warunku otwartym i najlepszy system bazowy w warunku zamkniętym, min a-DCF | 0,2814, 0,0756, 0,5741 | Wang i in., warsztaty ASVspoof 2024 |
a-DCF (funkcja kosztu detekcji niezależna od architektury) to główna metryka ścieżki 2, a ścieżka 2 łączy detektor z weryfikacją mówcy. Wartości t-DCF nie są porównywalne między artykułami: zob. uwaga o danych.
6. Co wygrywa: modele neuronowe, zespoły modeli i wstępnie wytrenowane front-endy
Seria opowiada o metodach klarowną historię. Do 2019 roku sieci neuronowe zajęły szczyt tabeli, a zespoły modeli (ensemble), czyli połączenie kilku podsystemów, stały się domyślnym sposobem wygrywania. Zwycięski zespół modeli dostępu logicznego z 2019 roku był o 56% lepszy od najlepszego pojedynczego systemu pod względem t-DCF, a dostęp fizyczny zyskał tylko około 2% (Nautsch i in., IEEE T-BIOM 2021). Zespołom modeli niewiele zostało do zyskania w dostępie fizycznym, gdzie najlepszy pojedynczy system był już blisko dolnej granicy ASV opisanej w sekcji 5.
Do 2024 roku czynnikiem rozstrzygającym stał się wstępnie wytrenowany front-end. Wszystkie czołowe zgłoszenia ASVspoof 5 używały wav2vec 2.0 lub WavLM (Wang i in., IEEE TASLP 2026), czyli modeli samonadzorowanych, trenowanych najpierw na dużych ilościach zwykłej mowy. Duża część poprawy między warunkiem zamkniętym a otwartym, z 8,61% do 2,59%, wynikała z tych modeli i dodatkowych danych, które dopuszcza warunek otwarty. Te same rodziny modeli są mierzone na ogólnych zadaniach mowy w naszych statystykach rankingu SUPERB. Technika została potwierdzona wkrótce po edycji 2021, gdy jeden system oparty na wav2vec 2.0 pobił wszystkie wyniki konkursu na tych samych danych (Tak i in., Odyssey 2022).
| Metryka | Wartość | Źródło |
|---|---|---|
| ASVspoof 2019: czołowe systemy używające sieci neuronowych oraz systemy używające zespołu klasyfikatorów | Top 7 i 9 w dostępie logicznym; top 6 i 10 w dostępie fizycznym | Todisco i in., Interspeech 2019 |
| ASVspoof 2019: min t-DCF, najlepszy pojedynczy system wobec najlepszego zespołu modeli, dostęp logiczny i dostęp fizyczny | 0,1562 wobec 0,0692; 0,1470 wobec 0,1437 | Nautsch i in., IEEE T-BIOM 2021 |
| ASVspoof 5, ścieżka 1: łączone podsystemy, warunek zamknięty wobec otwartego | od 3 do 4 wobec od 2 do 6 | Wang i in., IEEE TASLP 2026 |
| ASVspoof 5, ścieżka 1: wstępnie wytrenowane front-endy wśród pięciu wymienionych czołowych systemów otwartych | wav2vec2-large w 3, WavLM-Base w 2 | Wang i in., IEEE TASLP 2026 |
| System wav2vec 2.0 po konkursie na dostępie logicznym ASVspoof 2021, EER i min t-DCF | 0,82% i 0,2066 | Tak i in., Odyssey 2022 |
| System wav2vec 2.0 po konkursie na zadaniu deepfake ASVspoof 2021, EER | 2,85% | Tak i in., Odyssey 2022 |
7. Luka w uogólnianiu po rankingu
Nierozwiązanym problemem w ochronie przed spoofingiem jest to, co dzieje się poza benchmarkiem. Najwyraźniejszy sygnał pojawił się w samym konkursie: w deepfake’ach ASVspoof 2021 23 z 33 systemów uzyskało poniżej 10% EER na danych progress, a każdy z nich przekroczył 15% na zbiorze ewaluacyjnym (Liu i in., IEEE/ACM TASLP 2023). Najlepszy wynik progress był poniżej 1%, więc informacja zwrotna z rankingu, na której trenowały zespoły, wprowadzała w błąd.
Ten sam wynik utrzymuje się poza konkursem. Cztery z pięciu najlepszych systemów otwartych ASVspoof 5 przetestowano ponownie na innych zbiorach danych i z jednym wyjątkiem ich EER przekroczył 10% (Wang i in., IEEE TASLP 2026). Na nagraniach zebranych z internetu modele trenowane na ASVspoof 2019 wypadały znacznie gorzej, a więcej danych ASVspoof nie pomagało (Müller i in., Interspeech 2022). Poprawa jakości mowy ma porównywalny problem, opisany w naszych statystykach benchmarków PESQ i STOI. Preprint z 2025 roku idzie dalej i twierdzi, że sama detekcja nie powinna przesądzać o decyzjach o wysokiej stawce, zalecając ją jako jeden sygnał w warstwowej obronie (Berisha i in., arXiv 2025).
| Metryka | Wartość | Źródło |
|---|---|---|
| Systemy otwarte ASVspoof 5 T36, T27, T23, T43: EER na podzbiorze ścieżki 1 ASVspoof 5 wobec dostępu logicznego ASVspoof 2019 | 3,37%, 3,30%, 4,23%, 4,33% wobec 16,27%, 17,33%, 16,73%, 26,63% | Wang i in., IEEE TASLP 2026 |
| Zwycięzca dostępu fizycznego ASVspoof 2019: EER na symulowanych atakach odtworzeniowych wobec ukrytych rzeczywistych nagrań odtwarzanych | 0,39% wobec 19,68% | Nautsch i in., IEEE T-BIOM 2021 |
| Najlepszy model na ASVspoof 2019 wobec najlepszego modelu na nagraniach z rzeczywistych warunków (in-the-wild), EER | Około 1,2% wobec około 33,9% | Müller i in., Interspeech 2022 |
| RawNet2 wytrenowany ponownie na całym ASVspoof 2019: EER na nagraniach z rzeczywistych warunków (in-the-wild) | 33,1% ± 0,2 | Müller i in., Interspeech 2022 |
| Pogorszenie EER 12 ponownie zaimplementowanych modeli na nagraniach z rzeczywistych warunków (in-the-wild) | Około 200% do 1000% | Müller i in., Interspeech 2022 |
| Zespół T03 konkursu WildSpoof, własny zgłoszony EER w wykrywaniu spoofingu w obrębie tej samej dziedziny | 0,16% | Farhadipour i in., arXiv 2026 |
Wynik T03 to raport jednego zespołu o samym sobie, a jego autorzy piszą, że ich wyniki na innych zbiorach danych, w tym ASVspoof 5, pokazują, że uogólnianie między dziedzinami nadal jest trudne. Wyniki w obrębie dziedziny wciąż spadają, a luka pozostaje otwarta. WildSpoof, którego plan ewaluacji wymienia autorów współorganizujących także ASVspoof 5, łączy ścieżkę zamiany tekstu na mowę ze ścieżką weryfikacji mówcy odpornej na spoofing (Farhadipour i in., arXiv 2026).
Podsumowanie: równy współczynnik błędów w ASVspoof w liczbach
| Metryka | Wartość | Źródło |
|---|---|---|
| Zespoły ASVspoof 2015 ze zgłoszeniami podstawowymi | 16 | Wu i in., Interspeech 2015 |
| Zespoły ASVspoof 2017 | 49 | Kinnunen i in., Interspeech 2017 |
| Mówcy w ASVspoof 5 wobec wcześniejszych edycji | Około 2.000 wobec około 100 | Wang i in., Computer Speech and Language 2025 |
| EER weryfikacji mówcy, zwykli impostorzy wobec ataku S10 (2015) | 0,42% wobec 45,79% | Wu i in., Interspeech 2015 |
| EER weryfikacji mówcy, zwykli impostorzy wobec najgorszego ataku dostępu logicznego z 2019 roku | 2,48% wobec 64,52% | Wang i in., Computer Speech and Language 2020 |
| Najlepszy średni EER w ASVspoof 2015 | 1,211% | Wu i in., IEEE JSTSP 2017 |
| Najlepszy EER detektora ASVspoof 2015 na najtrudniejszym ataku, S10 | 8,49% | Wu i in., IEEE JSTSP 2017 |
| Najlepszy EER w ASVspoof 2017 | 6,73% | Kinnunen i in., Interspeech 2017 |
| Najlepszy EER dostępu logicznego w ASVspoof 2019 | 0,22% | Todisco i in., Interspeech 2019 |
| Najlepszy EER zadania deepfake w ASVspoof 2021 | 15,64% | Yamagishi i in., warsztaty ASVspoof 2021 |
| Najlepszy EER w warunku zamkniętym ścieżki 1 ASVspoof 5 | 8,61% | Wang i in., warsztaty ASVspoof 2024 |
| Najlepszy EER SASV 2022 z uwzględnieniem prób sfałszowanych | 0,13% | Jung i in., Interspeech 2022 |
| Najlepszy EER po konkursie na dostępie logicznym ASVspoof 2021 | 0,82% | Tak i in., Odyssey 2022 |
| Najlepszy EER po konkursie na zadaniu deepfake ASVspoof 2021 | 2,85% | Tak i in., Odyssey 2022 |
| Zwycięzca dostępu fizycznego ASVspoof 2019 na ukrytych rzeczywistych nagraniach odtwarzanych | 19,68% EER | Nautsch i in., IEEE T-BIOM 2021 |
| Najlepszy model na nagraniach z rzeczywistych warunków (in-the-wild) | Około 33,9% EER | Müller i in., Interspeech 2022 |
Metodologia i źródła
Czytaliśmy artykuły konkursowe bezpośrednio, a nie streszczenia stron trzecich. Wartości EER są procentami na zbiorach ewaluacyjnych, chyba że wiersz stanowi inaczej. Większość tutejszych danych jest z natury starsza niż trzy lata, ponieważ konkurs odbywa się mniej więcej co dwa do trzech lat. Najnowsze dostępne dane: raport z czasopisma z 2026 roku o edycji 2024.
- Oficjalna strona ASVspoof: lista edycji, harmonogramy i organizatorzy.
- Wu i in., ASVspoof 2015, Interspeech 2015: pierwsza edycja, zespoły, próby i wyniki.
- Wu i in., IEEE Journal of Selected Topics in Signal Processing 2017: szczegóły dotyczące S10 i przegląd po ewaluacji.
- Kinnunen i in., ASVspoof 2017, Interspeech 2017: wyniki wykrywania ataków odtworzeniowych.
- Todisco i in., ASVspoof 2019, Interspeech 2019: przegląd i ranking.
- Wang i in., baza danych ASVspoof 2019, Computer Speech and Language 2020: rozmiary danych, ataki i ocena przez ludzi.
- Nautsch i in., IEEE Transactions on Biometrics, Behavior, and Identity Science 2021: zrewidowane t-DCF, zespoły modeli, ukryte rzeczywiste nagrania odtwarzane.
- Yamagishi i in., warsztaty ASVspoof 2021: najważniejsze wyniki z 2021 roku.
- Liu i in., IEEE/ACM Transactions on Audio, Speech, and Language Processing 2023: pełna analiza edycji 2021.
- Wang i in., warsztaty ASVspoof 2024: tabele wyników ASVspoof 5.
- Wang i in., baza danych ASVspoof 5, Computer Speech and Language 2025: dane, ataki i wpływ systemów bazowych.
- Wang i in., IEEE Transactions on Audio, Speech and Language Processing 2026: analiza ASVspoof 5 po zakończeniu konkursu.
- Jung i in., SASV 2022, Interspeech 2022: weryfikacja mówcy odporna na spoofing.
- Tak i in., Odyssey 2022: wyniki wav2vec 2.0 po zakończeniu konkursu.
- Müller i in., Interspeech 2022: test uogólniania na nagraniach z rzeczywistych warunków (in-the-wild).
- Berisha i in., arXiv 2025: preprint, w odczytanym przez nas zapisie niepoddany recenzji naukowej.
- Farhadipour i in., arXiv 2026 oraz plan ewaluacji WildSpoof 2025: artykuł o systemie zespołu i zasady konkursu.
- Uwaga o danych: (1) EER między edycjami nie jest trendem, ponieważ za każdym razem zmieniały się dane, ataki i kodeki. (2) Skale t-DCF się różnią: przegląd z 2019 roku podał 0,0069 dla zwycięzcy dostępu logicznego i 0,0096 dla zwycięzcy dostępu fizycznego, podczas gdy późniejszy artykuł T-BIOM zrewidował wzór i podał 0,0692 oraz 0,1437, zachowując w zasadzie te same pozycje w rankingu; używamy wartości zrewidowanych. (3) Liczby zespołów są sprzeczne: 63 wobec 62 dla 2019 roku i 53 wobec 54 dla ASVspoof 5. (4) Tekst artykułu z warsztatów 2021 podaje 42 zgłoszenia dostępu logicznego i 30 zgłoszeń deepfake, ale jego tabele wymieniają 41 i 33; cytujemy tylko 33 użyte w artykule z czasopisma. Zwycięzca deepfake to 15,64% w artykule z warsztatów i 15,63% w artykule z czasopisma. (5) Artykuł z 2017 roku podaje średni główny EER jako 26,01% i jako 25,91%, więc z niego nie korzystamy. (6) Najlepszy otwarty a-DCF ścieżki 2 ASVspoof 5 to 0,0756 w tabeli z 2024 roku i wydrukowane jako 0,07 w artykule z 2026 roku. (7) Liczby actDCF w sekcji 5 to nasze własne zestawienie tabel z 2024 roku, z wyłączeniem dwóch systemów bazowych w warunku zamkniętym. (8) Wartości z tabel dla ASVspoof 5 odczytano z artykułu z 2024 roku, a wiele zespołów występuje tam bez publicznego identyfikatora. (9) Wyniki Tak i in. to własne wyniki autorów po zakończeniu konkursu, których nie odtwarzaliśmy. (10) Nie znaleźliśmy oficjalnego podsumowania organizatorów dotyczącego końcowych wyników WildSpoof ani ogłoszenia ASVspoof 6 na oficjalnej stronie według stanu na 31 października 2026 roku.
Ostatnia aktualizacja: 31 października 2026 roku. Aktualizujemy to zestawienie kwartalnie, a kolejnego odświeżenia można się spodziewać, gdy organizatorzy ASVspoof opublikują plan ewaluacji następnej edycji.