Die beste Gleichfehlerrate (Equal Error Rate, EER) bei ASVspoof stieg von 0,22% im Jahr 2019 auf 15,64% bei der Deepfake-Aufgabe 2021 und danach auf 8,61% in der geschlossenen Bedingung von ASVspoof 5 (Todisco et al., Interspeech 2019; Yamagishi et al., ASVspoof 2021 Workshop; Wang et al., ASVspoof Workshop 2024). Die EER ist der Punkt, an dem der Anteil akzeptierter Fälschungen dem Anteil abgelehnter echter Sprache entspricht, daher gilt: je niedriger, desto besser, und diese steigende Linie dokumentiert eine schwerere Prüfung, nicht schwächere Detektoren. Spoofing bedeutet hier, einem Sprachsystem gefälschte oder wiedergegebene Sprache zuzuspielen, damit sie als echte Person durchgeht, und die Bedrohung ist messbar: Allein Replay-Angriffe trieben ein Referenzsystem zur Sprecherverifikation von 1,76% auf 31,46% EER (Kinnunen et al., Interspeech 2017). Wir haben Daten aus den Archiven von ISCA Interspeech und Odyssey, IEEE/ACM TASLP, IEEE T-BIOM, IEEE JSTSP, Computer Speech and Language sowie aus den eigenen Evaluierungsberichten der Organisatoren zusammengeführt. Zur kommerziellen Seite desselben Problems siehe unsere Statistiken zur Sprachbiometrie.
TL;DR
- 63 Forschungsteams nahmen an ASVspoof 2019 teil, dem Beteiligungshöchststand der Reihe (Todisco et al., Interspeech 2019).
- ASVspoof 5 nutzte 32 Angriffsalgorithmen und rund 2.000 Sprecher, gegenüber rund 100 Sprechern in früheren Ausgaben (Wang et al., Computer Speech and Language 2025).
- Das beste System von ASVspoof 2015 erreichte im Mittel 1,211% EER, beim einzelnen schwersten Angriff S10 aber 8,49% (Wu et al., IEEE JSTSP 2017).
- Replay-Angriffe trieben 2017 ein Referenzsystem zur Sprecherverifikation von 1,76% auf 31,46% EER (Kinnunen et al., Interspeech 2017).
- Der physische Zugriff bei ASVspoof 2021 blieb schwierig: Das beste System erreichte 24,25% EER und 0,6824 minimale t-DCF (Yamagishi et al., ASVspoof 2021 Workshop).
- Die geschlossene Bedingung von ASVspoof 5 führte mit 8,61% EER an, gegenüber 29,12% beim besten Referenzsystem (Wang et al., ASVspoof Workshop 2024).
- Bei den ASVspoof-2021-Deepfakes erzielten 23 von 33 Systemen auf den Fortschrittsdaten unter 10% EER, und alle lagen auf den Evaluierungsdaten über 15% (Liu et al., IEEE/ACM TASLP 2023).
- Das siegreiche Ensemble für logischen Zugriff senkte 2019 die t-DCF um 56% gegenüber dem besten Einzelsystem, während der physische Zugriff nur etwa 2% gewann (Nautsch et al., IEEE T-BIOM 2021).
- Die erste Challenge zur Spoofing-bewussten Sprecherverifikation brachte ein konventionelles System von 23,83% auf 0,13% EER (Jung et al., Interspeech 2022).
- Arbeiten nach der Challenge erreichten später 0,82% EER beim logischen Zugriff von ASVspoof 2021 und 2,85% bei den Deepfakes (Tak et al., Odyssey 2022).
1. Wettbewerbsausgaben und Beteiligung
ASVspoof wurde in neun Jahren fünfmal ausgetragen, und jede Ausgabe nahm eine andere Schwachstelle ins Visier. Die Ausgabe 2015 testete Text-to-Speech und Stimmkonversion, 2017 wurde Replay getestet, und 2019 teilte das Feld in logischen Zugriff (logical access, gefälschte Sprache, die direkt in den Audiopfad des Systems eingespeist wird) und physischen Zugriff (physical access, gefälschte Sprache, die über einen Lautsprecher in ein Mikrofon abgespielt wird). 2021 folgte eine eigene Deepfake-Aufgabe (speech deepfake), und ASVspoof 5 teilte sich in eigenständige Erkennung und Spoofing-robuste Sprecherverifikation.
Die Beteiligung erreichte 2019 mit 63 Forschungsteams ihren Höchststand (Todisco et al., Interspeech 2019) und blieb in den zwei Ausgaben seither über 50. Diese Stabilität zählt: Die gefälschten Evaluierungsversuche stiegen von 184.000 im Jahr 2015 auf 542.086 im Jahr 2024 (siehe Abschnitt 2), und trotzdem kam das Feld weiter. Die Offenlegung ist eine schwächere Stelle, denn 34 der 54 Teams mit gültigen Ergebnissen 2021 reichten eine Systembeschreibung ein, sodass 20 Teams (54 minus 34) keine hinterlegt haben (Liu et al., IEEE/ACM TASLP 2023).
| Metrik | Wert | Quelle |
|---|---|---|
| ASVspoof 2015: Teams, die die Datenbank anforderten | 28 Teams aus 16 Ländern | Wu et al., Interspeech 2015 |
| ASVspoof 2015: Teams mit primären Einreichungen | 16 | Wu et al., Interspeech 2015 |
| ASVspoof 2017: Teams, die einen Replay-Detektor einreichten | 49 | Kinnunen et al., Interspeech 2017 |
| ASVspoof 2019: Forschungsteams insgesamt | 63 (48 beim logischen Zugriff, 50 beim physischen Zugriff) | Todisco et al., Interspeech 2019 |
| ASVspoof 2021: Teams mit gültigen Evaluierungsergebnissen | 54 von 72 registrierten Teilnehmern | Liu et al., IEEE/ACM TASLP 2023 |
| ASVspoof 2021: Teams, die eine Systembeschreibung einreichten | 34 | Liu et al., IEEE/ACM TASLP 2023 |
| ASVspoof 5 (2024): teilnehmende Teams im Ergebnisbericht | 53 | Wang et al., IEEE TASLP 2026 |
| SASV 2022, die Nebenchallenge, die Spoofing-Erkennung und Sprecherprüfung verbindet: Registrierungen gegenüber Einreichungen | 53 gegenüber 23 | Jung et al., Interspeech 2022 |
Die Teamzahlen hängen vom jeweiligen Artikel ab. Der Ergebnisartikel von 2019 nennt 62 Teams und der Workshop-Artikel von 2024 nennt 54 Teilnehmer, eine Abweichung, die im Daten-Hinweis behandelt wird.
2. Von 100 Sprechern zu 2.000: Die Daten hinter jeder Ausgabe
Die wichtigste Änderung bei ASVspoof ist kein Modell. Es sind die Daten. Frühere Datenbanken enthielten jeweils rund 100 Sprecher, und Aufnahmen in Studioqualität lieferten die echte Sprache. ASVspoof 5 stellte auf per Crowdsourcing gesammelte Sprache von rund 2.000 Sprechern um, aufgenommen in unterschiedlichen Räumen mit unterschiedlichen Geräten (Wang et al., Computer Speech and Language 2025).
Diese eine Entscheidung erklärt zum Teil die höheren Fehlerraten in Abschnitt 3. Ein Detektor kann nicht mehr dadurch Erfolg haben, dass er lernt, wie ein einzelnes Aufnahmesetup klingt. Auch die Angriffsseite änderte sich: ASVspoof 5 führte erstmals adversariale Angriffe ein, also Fälschungen, die gezielt verändert wurden, um einen Detektor zu täuschen, und testete 12 Codec-Bedingungen, von keiner Kompression bis zu neuronalen Codecs (Wang et al., ASVspoof Workshop 2024).
| Metrik | Wert | Quelle |
|---|---|---|
| Evaluierungsmenge ASVspoof 2015: echte gegenüber gefälschten Versuchen | 9.404 gegenüber 184.000 | Wu et al., Interspeech 2015 |
| Evaluierungsmenge ASVspoof 2017: einzigartige Replay-Konfigurationen | 110 | Kinnunen et al., Interspeech 2017 |
| Teilmenge logischer Zugriff ASVspoof 2019: Äußerungen insgesamt | 121.461 | Wang et al., Computer Speech and Language 2020 |
| Physischer Zugriff ASVspoof 2019: simulierte Evaluierungsbedingungen | 243 (27 Räume und Entfernungen mal 9 Replay-Typen) | Wang et al., Computer Speech and Language 2020 |
| Evaluierung physischer Zugriff ASVspoof 2021: echte gegenüber gefälschten Versuchen | 94.068 gegenüber 627.264 | Liu et al., IEEE/ACM TASLP 2023 |
| Deepfake-Evaluierung ASVspoof 2021: echte gegenüber gefälschten Versuchen | 14.869 gegenüber 519.059, aus mehr als 100 Angriffsalgorithmen | Liu et al., IEEE/ACM TASLP 2023 |
| Evaluierung ASVspoof 5 Track 1: echte gegenüber gefälschten Versuchen | 138.688 gegenüber 542.086 | Wang et al., IEEE TASLP 2026 |
| Evaluierungsangriffe ASVspoof 5: insgesamt und adversarial | 16 Angriffe, davon 7 adversarial, aus einem Pool von 32 | Wang et al., Computer Speech and Language 2025 |
3. Die wichtigsten EER-Ergebnisse je Ausgabe
Diese Zeilen als eine einzige Trendlinie zu lesen, ist der klassische Fehler. Der Sieger von 2019 mit 0,22% und der Sieger von 2024 mit 8,61% haben unterschiedliche Prüfungen abgelegt, und die Organisatoren haben jede absichtlich schwerer gemacht. Der aussagekräftige Vergleich steht innerhalb jeder Zeile, zwischen dem besten Team und dem Referenzsystem, das es schlagen musste.
Nach diesem Maßstab kommt das Feld weiter voran. Bei ASVspoof 5 schlugen 27 Teams der geschlossenen Bedingung das beste Referenzsystem (Wang et al., IEEE TASLP 2026), und die EER des besten Systems lag bei weniger als einem Drittel der des Referenzsystems. Die Ausnahme ist der physische Zugriff 2021, den die Journalanalyse als schwierigste der drei Aufgaben bezeichnet, wobei das beste System bei 24,25% festhing (Yamagishi et al., ASVspoof 2021 Workshop).
| Metrik | Wert | Quelle |
|---|---|---|
| Bestes System ASVspoof 2015: bekannte Angriffe, unbekannte Angriffe, Durchschnitt | 0,408%, 2,013%, 1,211% EER | Wu et al., Interspeech 2015 |
| Bester Replay-Detektor ASVspoof 2017 gegenüber Referenzsystem | 6,73% gegenüber 24,77% EER | Kinnunen et al., Interspeech 2017 |
| ASVspoof 2019 bestes System gegenüber bestem Referenzsystem, logischer Zugriff und physischer Zugriff | 0,22% gegenüber 8,09% EER; 0,39% gegenüber 11,04% EER | Todisco et al., Interspeech 2019 |
| ASVspoof 2021 logischer Zugriff, bestes System gegenüber bestem Referenzsystem | 1,32% gegenüber 9,26% EER | Yamagishi et al., ASVspoof 2021 Workshop |
| ASVspoof 2021 physischer Zugriff, bestes System | 24,25% EER | Yamagishi et al., ASVspoof 2021 Workshop |
| ASVspoof 2021 Deepfake-Aufgabe, bestes System gegenüber bestem Referenzsystem | 15,64% gegenüber 22,38% EER | Yamagishi et al., ASVspoof 2021 Workshop |
| ASVspoof 5 Track 1, beste geschlossene Bedingung, beste offene Bedingung, bestes Referenzsystem | 8,61%, 2,59%, 29,12% EER | Wang et al., ASVspoof Workshop 2024 |
Die geschlossene Bedingung schließt externe Daten aus, während die offene Bedingung externe Daten und vortrainierte Modelle erlaubt, weshalb dasselbe Jahr zwei sehr unterschiedliche Sieger zeigt.
4. Was Spoofing mit der Sprecherverifikation macht, und die schwersten Angriffe
Ohne Detektor leistet die Sprecherverifikation kaum Widerstand. Unter dem Angriff S10 von 2015 brach ein System mit 0,42% EER auf 45,79% ein (Wu et al., Interspeech 2015). Spätere Ausgaben wiederholen das Muster in jeder Größenordnung, auch ASVspoof 5, wo 14 von 16 Evaluierungsangriffen die EER der Sprecherverifikation über 20% trieben (Wang et al., Computer Speech and Language 2025).
Der überraschendere Befund ist, wer der schwerste Angreifer ist. In der geschlossenen Bedingung von ASVspoof 5 war es A19, aufgebaut auf MaryTTS, einem älteren konkatenativen Synthesizer, der aufgenommene Sprachfragmente aneinanderfügt, und der Datenbank-Artikel kommt zu dem Schluss, dass sowohl ältere als auch zeitgemäße generative Technologie weiterhin eine ernste Bedrohung darstellen. Maschinen und Menschen scheitern außerdem unterschiedlich: 2019 täuschte der Angriff A17 den Referenzdetektor, wurde aber von menschlichen Hörern leicht erkannt, während A10 als wahrnehmungsmäßig nicht von echter Sprache zu unterscheiden beschrieben wurde (Wang et al., Computer Speech and Language 2020). Unsere Statistiken zum MOS synthetischer Sprache behandeln die Hörerseite dieser Lücke.
| Metrik | Wert | Quelle |
|---|---|---|
| EER der Sprecherverifikation, gewöhnliche Hochstapler gegenüber Angriff S10 (2015) | 0,42% gegenüber 45,79% | Wu et al., Interspeech 2015 |
| EER der Sprecherverifikation, gewöhnliche Hochstapler gegenüber Replay (2017) | 1,76% gegenüber 31,46% | Kinnunen et al., Interspeech 2017 |
| EER der Sprecherverifikation, gewöhnliche Hochstapler gegenüber dem schlimmsten Angriff auf den logischen Zugriff 2019 | 2,48% gegenüber 64,52% (Angriff A16) | Wang et al., Computer Speech and Language 2020 |
| EER der konventionellen ECAPA-TDNN-Sprecherverifikation, ohne Spoofing gegenüber mit hinzugefügten gefälschten Versuchen | 1,63% gegenüber 23,83% | Jung et al., Interspeech 2022 |
| EER der Sprecherverifikation bei ASVspoof 5, Angriff A26 gegenüber demselben Angriff mit dem adversarialen Schritt Malacopula (A27) | 15,77% gegenüber 34,68% | Wang et al., Computer Speech and Language 2025 |
| EER des besten ASVspoof-2015-Detektors beim schwersten Angriff, S10 | 8,49% | Wu et al., IEEE JSTSP 2017 |
| EER der Referenzdetektoren von ASVspoof 5 bei A19, RawNet2 gegenüber AASIST | 49,80% gegenüber 63,75% | Wang et al., Computer Speech and Language 2025 |
S10 blieb auch nach der Challenge 2015 hartnäckig: Der Journal-Rückblick auf die Ausgabe 2015 stellte fest, dass die Ergebnisse dafür in den meisten Folgestudien schwach blieben, mit einer Ausnahme bei 1,065%.
5. Jenseits der EER: t-DCF, a-DCF und das Kalibrierungsproblem
Die EER beschreibt einen Detektor allein, an einer einzigen, nachträglich gewählten Schwelle. Seit 2019 werden die meisten ASVspoof-Aufgaben stattdessen nach Kosten gerankt. Die Tandem-Detektionskostenfunktion (t-DCF) bewertet Detektor und Sprecherprüfung im Zusammenspiel, auf einer Skala mit einer ASV-Untergrenze: den Kosten, die selbst mit einem perfekten Detektor bleiben, weil die Sprecherprüfung weiterhin Fehler macht. 2019 landete das beste System für logischen Zugriff bei 0,0692 gegenüber einer Untergrenze von 0,0627, nahezu so gut, wie ein Detektor sein kann (Nautsch et al., IEEE T-BIOM 2021).
ASVspoof 5 legt das nächste Problem offen, die Kalibrierung, die fragt, ob sich die Scores eines Systems an einer festen realen Schwelle verwenden lassen. Die minDCF sind die Kosten an der nachträglich gewählten besten Schwelle, und die actDCF sind die Kosten an der Schwelle, die ein eingesetztes System tatsächlich verwenden würde. Der Sieger der geschlossenen Bedingung bei der minDCF erzielte bei der actDCF 0,9956, während das drittplatzierte Team zwischen beiden fast nichts verlor. Wir zählten 11 von 31 Einreichungen der geschlossenen Bedingung und 14 von 34 Einreichungen der offenen Bedingung, die mit einer actDCF von genau 1,0000 aufgeführt sind (Wang et al., ASVspoof Workshop 2024). Die Organisatoren bringen actDCF-Werte von 1,0 mit wahrscheinlichkeitsähnlichen Scores in Verbindung, sodass eine niedrige minDCF und eine hohe actDCF in einem System nebeneinander bestehen können, und sie nennen kalibrierungssensible Metriken als mögliche Primärmetriken künftiger Ausgaben (Wang et al., IEEE TASLP 2026).
| Metrik | Wert | Quelle |
|---|---|---|
| ASVspoof 2019: ASV-Untergrenze gegenüber bester minimaler t-DCF, logischer Zugriff und physischer Zugriff | 0,0627 gegenüber 0,0692; 0,1354 gegenüber 0,1437 | Nautsch et al., IEEE T-BIOM 2021 |
| ASVspoof 2021 physischer Zugriff: ASV-Untergrenze gegenüber bester minimaler t-DCF | 0,12 gegenüber 0,6824 | Liu et al., IEEE/ACM TASLP 2023; Yamagishi et al., ASVspoof 2021 Workshop |
| ASVspoof 5 Track 1 geschlossene Bedingung: minDCF gegenüber actDCF, erster Platz und dritter Platz | 0,2436 gegenüber 0,9956; 0,2975 gegenüber 0,2976 | Wang et al., ASVspoof Workshop 2024 |
| ASVspoof 5 Track 2: beste geschlossene, beste offene und beste geschlossene Referenz, minimale a-DCF | 0,2814, 0,0756, 0,5741 | Wang et al., ASVspoof Workshop 2024 |
Die a-DCF (architekturunabhängige Detektionskostenfunktion) ist die Primärmetrik von Track 2, und Track 2 kombiniert den Detektor mit der Sprecherprüfung. Die t-DCF-Werte sind zwischen Artikeln nicht vergleichbar: siehe Daten-Hinweis.
6. Was gewinnt: neuronale Modelle, Ensembles und vortrainierte Front-Ends
Die Reihe erzählt eine klare Geschichte über Methoden. Bis 2019 hatten neuronale Netze die Spitze der Tabelle übernommen, und Ensembles, also mehrere kombinierte Teilsysteme, waren der übliche Weg zum Sieg geworden. Das siegreiche Ensemble für logischen Zugriff war 2019 bei der t-DCF um 56% besser als das beste Einzelsystem, während der physische Zugriff nur etwa 2% gewann (Nautsch et al., IEEE T-BIOM 2021). Beim physischen Zugriff hatten Ensembles kaum noch etwas zu gewinnen, denn das beste Einzelsystem lag bereits nahe der in Abschnitt 5 beschriebenen ASV-Untergrenze.
Bis 2024 war der entscheidende Faktor das vortrainierte Front-End. Alle Spitzeneinreichungen von ASVspoof 5 nutzten wav2vec 2.0 oder WavLM (Wang et al., IEEE TASLP 2026), selbstüberwachte Modelle, die zuerst auf großen Mengen gewöhnlicher Sprache trainiert werden. Ein großer Teil des Gewinns von der geschlossenen zur offenen Bedingung, von 8,61% auf 2,59%, kam mit diesen Modellen und den zusätzlichen Daten, die die offene Bedingung erlaubt. Dieselben Modellfamilien werden bei allgemeinen Sprachaufgaben in unseren Statistiken zur SUPERB-Rangliste gemessen. Die Technik wurde bald nach der Ausgabe 2021 bestätigt, als ein wav2vec-2.0-System auf denselben Daten jedes Challenge-Ergebnis übertraf (Tak et al., Odyssey 2022).
| Metrik | Wert | Quelle |
|---|---|---|
| ASVspoof 2019: Spitzensysteme mit neuronalen Netzen und Systeme mit einem Ensemble von Klassifikatoren | Top 7 und 9 beim logischen Zugriff; Top 6 und 10 beim physischen Zugriff | Todisco et al., Interspeech 2019 |
| ASVspoof 2019: minimale t-DCF, bestes Einzelsystem gegenüber bestem Ensemble, logischer Zugriff und physischer Zugriff | 0,1562 gegenüber 0,0692; 0,1470 gegenüber 0,1437 | Nautsch et al., IEEE T-BIOM 2021 |
| ASVspoof 5 Track 1: fusionierte Teilsysteme, geschlossene gegenüber offener Bedingung | 3 bis 4 gegenüber 2 bis 6 | Wang et al., IEEE TASLP 2026 |
| ASVspoof 5 Track 1: vortrainierte Front-Ends unter den fünf aufgeführten besten offenen Systemen | wav2vec2-large bei 3, WavLM-Base bei 2 | Wang et al., IEEE TASLP 2026 |
| wav2vec-2.0-System nach der Challenge beim logischen Zugriff von ASVspoof 2021, EER und minimale t-DCF | 0,82% und 0,2066 | Tak et al., Odyssey 2022 |
| wav2vec-2.0-System nach der Challenge bei der Deepfake-Aufgabe von ASVspoof 2021, EER | 2,85% | Tak et al., Odyssey 2022 |
7. Die Generalisierungslücke jenseits der Rangliste
Das ungelöste Problem beim Anti-Spoofing ist, was außerhalb des Benchmarks passiert. Das deutlichste Zeichen kam innerhalb der Challenge selbst: Bei den ASVspoof-2021-Deepfakes erzielten 23 von 33 Systemen auf den Fortschrittsdaten unter 10% EER, und jedes von ihnen lag auf der Evaluierungsmenge über 15% (Liu et al., IEEE/ACM TASLP 2023). Der beste Fortschrittswert lag unter 1%, sodass die Rückmeldung der Rangliste, an der die Teams trainierten, irreführend war.
Dasselbe Ergebnis gilt auch außerhalb der Challenge. Vier der fünf besten offenen Systeme von ASVspoof 5 wurden auf anderen Datensätzen erneut getestet, und mit einer Ausnahme stiegen ihre EER über 10% (Wang et al., IEEE TASLP 2026). Auf aus dem Internet gesammeltem Audio schnitten auf ASVspoof 2019 trainierte Modelle deutlich schlechter ab, und mehr ASVspoof-Daten halfen nicht (Müller et al., Interspeech 2022). Die Sprachverbesserung hat ein vergleichbares Problem, dokumentiert in unseren Statistiken zu PESQ- und STOI-Benchmarks. Ein Preprint von 2025 geht weiter und argumentiert, dass Erkennung allein keine folgenschweren Entscheidungen tragen sollte, und empfiehlt sie als ein Signal unter mehrschichtigen Abwehrmaßnahmen (Berisha et al., arXiv 2025).
| Metrik | Wert | Quelle |
|---|---|---|
| Systeme der offenen Bedingung von ASVspoof 5 T36, T27, T23, T43: EER auf einer Teilmenge von ASVspoof 5 Track 1 gegenüber dem logischen Zugriff von ASVspoof 2019 | 3,37%, 3,30%, 4,23%, 4,33% gegenüber 16,27%, 17,33%, 16,73%, 26,63% | Wang et al., IEEE TASLP 2026 |
| Sieger beim physischen Zugriff von ASVspoof 2019: EER bei simuliertem Replay gegenüber verborgenem echtem Replay | 0,39% gegenüber 19,68% | Nautsch et al., IEEE T-BIOM 2021 |
| Bestes Modell auf ASVspoof 2019 gegenüber bestem Modell auf In-the-Wild-Audio, EER | Etwa 1,2% gegenüber etwa 33,9% | Müller et al., Interspeech 2022 |
| RawNet2 mit dem gesamten ASVspoof 2019 nachtrainiert: EER auf In-the-Wild-Audio | 33,1% ± 0,2 | Müller et al., Interspeech 2022 |
| EER-Verschlechterung von 12 nachimplementierten Modellen auf In-the-Wild-Audio | Etwa 200% bis 1.000% | Müller et al., Interspeech 2022 |
| WildSpoof-Challenge-Team T03, die selbst berichtete EER bei der Spoofing-Erkennung in der eigenen Domäne | 0,16% | Farhadipour et al., arXiv 2026 |
Der Wert von T03 ist der Bericht eines einzelnen Teams, und dessen Autoren sagen, ihre Ergebnisse auf anderen Datensätzen, darunter ASVspoof 5, zeigten, dass domänenübergreifende Generalisierung weiterhin schwierig bleibt. Die Werte in der eigenen Domäne sinken weiter, während die Lücke offen bleibt. WildSpoof, dessen Evaluierungsplan Autoren aufführt, die auch ASVspoof 5 organisiert haben, kombiniert eine Text-to-Speech-Aufgabe mit einer Aufgabe zur Spoofing-robusten Sprecherverifikation (Farhadipour et al., arXiv 2026).
Zusammenfassung: Sprach-Anti-Spoofing und die ASVspoof-Gleichfehlerrate in Zahlen
| Metrik | Wert | Quelle |
|---|---|---|
| Teams bei ASVspoof 2015 mit primären Einreichungen | 16 | Wu et al., Interspeech 2015 |
| Teams bei ASVspoof 2017 | 49 | Kinnunen et al., Interspeech 2017 |
| Sprecher bei ASVspoof 5 gegenüber früheren Ausgaben | Etwa 2.000 gegenüber etwa 100 | Wang et al., Computer Speech and Language 2025 |
| EER der Sprecherverifikation, gewöhnliche Hochstapler gegenüber Angriff S10 (2015) | 0,42% gegenüber 45,79% | Wu et al., Interspeech 2015 |
| EER der Sprecherverifikation, gewöhnliche Hochstapler gegenüber dem schlimmsten Angriff auf den logischen Zugriff 2019 | 2,48% gegenüber 64,52% | Wang et al., Computer Speech and Language 2020 |
| Beste durchschnittliche EER bei ASVspoof 2015 | 1,211% | Wu et al., IEEE JSTSP 2017 |
| EER des besten ASVspoof-2015-Detektors beim schwersten Angriff, S10 | 8,49% | Wu et al., IEEE JSTSP 2017 |
| Beste EER bei ASVspoof 2017 | 6,73% | Kinnunen et al., Interspeech 2017 |
| Beste EER beim logischen Zugriff von ASVspoof 2019 | 0,22% | Todisco et al., Interspeech 2019 |
| Beste EER bei der Deepfake-Aufgabe von ASVspoof 2021 | 15,64% | Yamagishi et al., ASVspoof 2021 Workshop |
| Beste EER der geschlossenen Bedingung von ASVspoof 5 Track 1 | 8,61% | Wang et al., ASVspoof Workshop 2024 |
| Beste EER bei SASV 2022 mit eingeschlossenen gefälschten Versuchen | 0,13% | Jung et al., Interspeech 2022 |
| Beste EER nach der Challenge beim logischen Zugriff von ASVspoof 2021 | 0,82% | Tak et al., Odyssey 2022 |
| Beste EER nach der Challenge bei der Deepfake-Aufgabe von ASVspoof 2021 | 2,85% | Tak et al., Odyssey 2022 |
| Sieger beim physischen Zugriff von ASVspoof 2019 bei verborgenem echtem Replay | 19,68% EER | Nautsch et al., IEEE T-BIOM 2021 |
| Bestes Modell auf In-the-Wild-Audio | Etwa 33,9% EER | Müller et al., Interspeech 2022 |
Methodik und Quellen
Wir haben die Challenge-Artikel direkt gelesen, nicht Zusammenfassungen Dritter. EER-Werte sind Prozentwerte auf Evaluierungsmengen, sofern eine Zeile nichts anderes angibt. Die meisten Daten hier sind naturgemäß älter als drei Jahre, weil die Challenge ungefähr alle zwei bis drei Jahre stattfindet. Aktuellste verfügbare Daten: der Journalbericht von 2026 zur Ausgabe 2024.
- Offizielle ASVspoof-Website: Liste der Ausgaben, Zeitpläne und Organisatoren.
- Wu et al., ASVspoof 2015, Interspeech 2015: erste Ausgabe, Teams, Versuche und Ergebnisse.
- Wu et al., IEEE Journal of Selected Topics in Signal Processing 2017: Details zu S10 und Rückblick nach der Evaluierung.
- Kinnunen et al., ASVspoof 2017, Interspeech 2017: Ergebnisse der Replay-Erkennung.
- Todisco et al., ASVspoof 2019, Interspeech 2019: Überblick und Rangliste.
- Wang et al., ASVspoof-2019-Datenbank, Computer Speech and Language 2020: Datengrößen, Angriffe und menschliche Bewertung.
- Nautsch et al., IEEE Transactions on Biometrics, Behavior, and Identity Science 2021: überarbeitete t-DCF, Ensembles, verborgenes echtes Replay.
- Yamagishi et al., ASVspoof 2021 Workshop: zentrale Ergebnisse von 2021.
- Liu et al., IEEE/ACM Transactions on Audio, Speech, and Language Processing 2023: vollständige Analyse von 2021.
- Wang et al., ASVspoof Workshop 2024: Ergebnistabellen von ASVspoof 5.
- Wang et al., ASVspoof-5-Datenbank, Computer Speech and Language 2025: Daten, Angriffe und Effekte auf die Referenzsysteme.
- Wang et al., IEEE Transactions on Audio, Speech and Language Processing 2026: Analyse von ASVspoof 5 nach der Challenge.
- Jung et al., SASV 2022, Interspeech 2022: Spoofing-bewusste Sprecherverifikation.
- Tak et al., Odyssey 2022: Ergebnisse mit wav2vec 2.0 nach der Challenge.
- Müller et al., Interspeech 2022: In-the-Wild-Generalisierungstest.
- Berisha et al., arXiv 2025: Preprint, in dem von uns gelesenen Eintrag nicht begutachtet.
- Farhadipour et al., arXiv 2026 und der WildSpoof-Evaluierungsplan 2025: Systemartikel des Teams und Challenge-Regeln.
- Daten-Hinweis: (1) Die EER über Ausgaben hinweg ist kein Trend, weil sich Daten, Angriffe und Codecs jedes Mal änderten. (2) Die t-DCF-Skalen unterscheiden sich: Der Überblick von 2019 druckte 0,0069 für den Sieger beim logischen Zugriff und 0,0096 für den Sieger beim physischen Zugriff, während der spätere T-BIOM-Artikel die Formel überarbeitete und 0,0692 und 0,1437 druckte, wobei die Rangfolgen im Wesentlichen erhalten blieben; wir verwenden die überarbeiteten Werte. (3) Die Teamzahlen widersprechen sich: 63 gegenüber 62 für 2019 und 53 gegenüber 54 für ASVspoof 5. (4) Der Text des Workshop-Artikels von 2021 nennt 42 Einreichungen für logischen Zugriff und 30 für Deepfakes, doch seine Tabellen führen 41 und 33 auf; wir zitieren nur die 33, die im Journal-Artikel verwendet wurden. Der Deepfake-Sieger liegt im Workshop-Artikel bei 15,64% und im Journal-Artikel bei 15,63%. (5) Der Artikel von 2017 nennt die durchschnittliche primäre EER sowohl mit 26,01% als auch mit 25,91%, daher verwenden wir sie nicht. (6) Die beste offene a-DCF von ASVspoof 5 Track 2 beträgt in der Tabelle von 2024 0,0756 und ist im Artikel von 2026 als 0,07 gedruckt. (7) Die actDCF-Zählungen in Abschnitt 5 sind unsere eigene Auszählung der Tabellen von 2024, ohne die zwei Referenzsysteme der geschlossenen Bedingung. (8) Die Tabellenwerte für ASVspoof 5 wurden aus dem Artikel von 2024 gelesen, und viele Teams erscheinen dort ohne öffentliche ID. (9) Die Zahlen von Tak et al. sind die eigenen Ergebnisse der Autoren nach der Challenge, die wir nicht reproduziert haben. (10) Wir fanden keine offizielle Zusammenfassung der Organisatoren zu den WildSpoof-Endergebnissen und keine Ankündigung von ASVspoof 6 auf der offiziellen Website, Stand 31. Oktober 2026.
Zuletzt aktualisiert: 31. Oktober 2026. Wir aktualisieren diese Zusammenstellung vierteljährlich, und die nächste Aktualisierung wird erwartet, wenn die ASVspoof-Organisatoren den Evaluierungsplan für die nächste Ausgabe veröffentlichen.