Der Fehler der Sprecherverifikation auf dem VoxCeleb1-Test fiel von 8,8% im Jahr 2017 (Nagrani et al., VoxCeleb-Artikel, 2017) auf 0,12% in einem Artikel von 2025 (Li, Cheng und Li, w2v-BERT-2.0-Artikel, 2025), ein Rückgang um das 73-Fache (8,8 / 0,12). Sprecherverifikation ist die Prüfung “Ist das dieselbe Person?”, und die Gleichfehlerrate (Equal Error Rate, EER) ist ihr Standardmaß. Dieser Rekord stammt aus einer festen Liste von Prominentenreden, die von YouTube stammen. Dasselbe Feld meldet 9,30%, wenn Stimmengewirr so laut ist wie die Stimme (Gu et al., Artikel Noise-Conditioned Mixture-of-Experts, 2025), und 10,419%, wenn dieselbe Person über einen großen Altersabstand hinweg verglichen wird (Qin et al., Interspeech 2022). Wir haben Daten der VoxSRC-Challenge-Organisatoren, der NIST Speaker Recognition Evaluation, von Interspeech- und Odyssey-Artikeln, der Teams hinter den Korpora VoxBlink2 und CN-Celeb sowie der FAccT-Fairness-Forschung zusammengeführt. Zur kommerziellen Seite dieser Technologie siehe unsere Statistiken zur Stimmbiometrie, und zum Problem “Wer hat wann gesprochen”, das daneben steht, siehe unsere Zusammenstellung zur Fehlerrate der Sprecherdiarisierung.
TL;DR
- Niedrigste EER auf VoxCeleb1-O, die wir in einer Primärquelle gefunden haben: 0,12%, von einem Modell mit rund 600 Millionen Parametern (Li, Cheng und Li, w2v-BERT-2.0-Artikel, 2025).
- Ein Korpus mit 111.284 Sprechern half, ein einzelnes ResNet auf 0,17% EER und 0,006 minDCF zu bringen (Lin et al., VoxBlink2, Interspeech 2024).
- ReDimNet2-B6 erreicht 0,29% EER mit 12,3M Parametern (Yakovlev und Okhotnikov, ReDimNet2-Artikel, 2026).
- Die EER des Erstplatzierten in Track 2 auf dem festen VoxSRC-Testset von 2019 fiel von 1,26% im Jahr 2019 auf 0,47% im Jahr 2023 (Huh et al., VoxSRC-Rückblick, 2024).
- Ein 2-Sekunden-Vergleich hebt ERes2NetV2 von 0,61% auf 1,48% EER (Chen et al., ERes2NetV2-Artikel, 2024).
- Babble bei 0 dB hebt eine ResNet34-Baseline von 1,98% auf 9,30% EER (Gu et al., 2025).
- Paare mit großem Altersabstand heben eine Baseline von 1,939% auf 10,419% EER (Qin et al., Interspeech 2022).
- Ein Abstand von 40 Jahren trieb die EER der Männer in einem finnischen Korpus auf 51,61%, über die 50-%-Münzwurf-Linie hinaus (Singh et al., Interspeech 2023).
- Ein auf VoxCeleb trainiertes x-Vector-System erreichte 3,48% auf SITW und 16,59% auf CN-Celeb.E (Li et al., CN-Celeb-Artikel, 2020).
- Die Rangliste der SRE24-Telefon-Challenge wurde mit 2,37% EER angeführt (Rangliste der NIST SRE24-CTS Challenge, 24. Oktober 2024).
- Frauen stellten 38% der Sprecher, aber 29,5% der Äußerungen im VoxCeleb-1-Testset (Hutiri und Ding, FAccT 2022).
1. Der Maßstab: Was die EER misst und was VoxCeleb enthält
Ein Verifikationssystem erhält zwei Aufnahmen, einen sogenannten “Trial” (Vergleich), und entscheidet, ob sie vom selben Sprecher stammen. Eine höhere Akzeptanzschwelle weist mehr echte Sprecher ab, eine niedrigere nimmt mehr Impostoren an. Die EER ist der Punkt, an dem beide Fehlerraten übereinstimmen. Die Begleitmetrik minDCF (minimale Detektionskosten) gewichtet dieselben beiden Fehler für einen gewählten Arbeitspunkt, und auch hier ist niedriger besser. Keine der beiden Metriken deckt synthetische oder abgespielte Stimmen ab: Die “Impostoren” sind hier schlicht andere echte Personen.
Die klassische Testliste ist klein: 37.720 Vergleiche von 40 Sprechern (Gu et al., Artikel Noise-Conditioned Mixture-of-Experts, 2025). VoxCeleb1-O, der Name dieser Liste, ist im Vergleich zu seinen schwierigeren Geschwistern leicht: Der Fehler eines Modells vervierfacht sich beim Wechsel von Vox1-O zu Vox1-H (0,17% auf 0,68%). Die Trainingsdaten dagegen sind enorm gewachsen, und Abschnitt 3 zeigt, warum das wichtiger ist als die meisten Architekturänderungen.
| Metrik | Wert | Quelle |
|---|---|---|
| Größe von VoxCeleb1: Sprecher, Äußerungen, Videos, Stunden, Nationalitäten | 1.251 / 153.516 / 22.496 / 352 / 36 | Chung et al., VoxCeleb2-Artikel, 2018 |
| Trainingsanteil von VoxCeleb2: Sprecher, Äußerungen, Stunden, durchschnittliche Sekunden pro Äußerung | 5.994 / 1.092.009 / 2.442 / 7,8 | Lin et al., VoxBlink2, Interspeech 2024 |
| Größe von VoxBlink2: Sprecher, Äußerungen, Stunden, durchschnittliche Sekunden pro Äußerung | 111.284 / 9.904.382 / 16.672 / 6,0 | Lin et al., VoxBlink2, Interspeech 2024 |
| Größe von CN-Celeb: Sprecher, Aufnahmegenres, Stunden in CN-Celeb1 plus CN-Celeb2 | 3.000 / 11 / 274 plus 1.090 | Li et al., CN-Celeb-Artikel, 2020 |
| Testliste VoxCeleb1-O: Vergleiche, Sprecher | 37.720 / 40 | Gu et al., Artikel Noise-Conditioned Mixture-of-Experts, 2025 |
| EER eines Modells auf Vox1-O (leichte Liste) vs Vox1-E (erweiterte Liste) vs Vox1-H (schwere Liste) | 0,17% vs 0,37% vs 0,68% | Lin et al., VoxBlink2, Interspeech 2024 |
Aktuellste verfügbare Daten zu den ursprünglichen Korpuszahlen: VoxCeleb2-Artikel, 2018.
2. Die Bilanz der VoxSRC-Challenge, 2019 bis 2023
Die VoxCeleb Speaker Recognition Challenge fand von 2019 bis 2023 jedes Jahr statt, und ihre beste Designentscheidung war, das Testset von 2019 in jedem späteren Testset zu behalten. Das gibt dem Feld einen festen Maßstab. Darauf fiel die EER des Erstplatzierten in Track 1 von 1,42% im Jahr 2019 auf 0,57% im Jahr 2021 und sank dann nicht weiter. Die Organisatoren sagen, die Gewinner lägen seit 2020 unter 1%, “was wir als Leistungssättigung betrachten”, und das neue Testset jedes Jahres blieb schwieriger: Die Gewinner in Track 1 erreichten auf ihren eigenen Sets von 2020 bis 2023 3,73%, 1,85%, 1,49% und 1,59%, während der Test von 208.008 Paaren und 745 Sprechern im Jahr 2019 auf 825.437 Paare und 2.532 Sprecher im Jahr 2023 wuchs (Huh et al., VoxSRC-Rückblick, 2024).
Die Sättigung hat eine messbare Untergrenze. Auf diesem Set von 2019 waren die 95-%-Bootstrap-Konfidenzintervalle 18,6% bis 31,2% so breit wie die EER selbst, kleine Abstände zwischen Gewinnern können also Rauschen sein. Von den 232 Paaren, die alle Gewinner von 2022 und 2023 falsch hatten, waren 16 Paare desselben Sprechers, und 12 dieser 16 waren Labelfehler in der Testliste. Die schwierigen Fälle sind ebenfalls echt: Der Gewinner von Track 1 im Jahr 2022 erreichte 0,90% bei Standardpaaren und 2,07%, wenn jedes Paar schwierig war (derselbe Sprecher in verschiedenen Altersstufen oder verschiedene Sprecher in derselben Aufnahmeumgebung).
| Metrik | Wert | Quelle |
|---|---|---|
| EER des Erstplatzierten in Track 1 (geschlossene Trainingsdaten) auf dem festen Testset von 2019, 2019 / 2020 / 2021 / 2022 / 2023 | 1,42% / 0,83% / 0,57% / 0,90% / 0,58% | Huh et al., VoxSRC-Rückblick, 2024 |
| EER des Erstplatzierten in Track 2 (offene Trainingsdaten) auf dem festen Testset von 2019, 2019 / 2020 / 2021 / 2022 / 2023 | 1,26% / 0,80% / 0,57% / 0,69% / 0,47% | Huh et al., VoxSRC-Rückblick, 2024 |
| Beitrag von UNISOUND 2023, laut Teambericht Erster in Track 1: EER, minDCF auf dem Testset von 2023 | 1,5880%, 0,0855 | Zheng et al., Systembericht UNISOUND, 2023 |
| Beitrag von ID R&D 2023, Erster in der öffentlichen Rangliste von Track 2: EER, minDCF bei P_target 0,05 | 1,30%, 0,0762 | Torgashov et al., Systembericht ID R&D, 2023 |
| Fusionierter Beitrag von ChinaTelecom in Track 1 2023, selbst berichtet: EER, minDCF | 1,980%, 0,1066 | Du et al., Systembericht ChinaTelecom, 2023 |
Kontext: Die letzte Ausgabe fand 2023 statt, die aktuellsten verfügbaren Daten zu dieser Challenge sind daher der Rückblick von 2024. Die EER war oft nicht die Ranking-Metrik, weshalb ein zweitplatziertes Team manchmal eine niedrigere EER zeigt als der Gewinner.
3. Der Rekord auf VoxCeleb1-O, von 8,8% auf 0,12%
Die Zahl der Vergleiche macht die Verbesserung greifbar. Beide Fehlerraten entsprechen am Arbeitspunkt der EER, die Gesamtzahl der Fehler beträgt also etwa EER mal Vergleiche: 8,8% von 37.720 sind rund 3.319 Fehlentscheidungen, und 0,12% sind rund 45. Ein System von 2025 macht etwa 45 Fehler, wo die Baseline von 2017 etwa 3.319 machte (Li, Cheng und Li, w2v-BERT-2.0-Artikel, 2025). Auf diesem Niveau kann eine Handvoll falsch beschrifteter Vergleiche einen Rekord entscheiden.
Daten bewegen den Wert inzwischen mehr als die Architektur. W2V-BERT 2.0 wird mit 0,38% geführt, wenn es allein mit VoxCeleb2 trainiert wurde, und mit 0,14%, wenn VoxBlink2 hinzukommt, dasselbe Modell mit 587M Parametern in beiden Zeilen (Yakovlev und Okhotnikov, ReDimNet2-Artikel, 2026). Auch Trainingsrezepte zählen: ResNet34 ging von 1,31% in seinem zitierten Original auf 0,723% in der Neuimplementierung des WeSpeaker-Toolkits. Dieselben Embeddings dienen auch als Richter in der Forschung zur Stimmumwandlung, die unsere Zusammenstellung zur Sprecherähnlichkeit bei der Stimmumwandlung untersucht.
| Metrik | Wert | Quelle |
|---|---|---|
| 2017: i-Vector-plus-PLDA-Baseline auf dem VoxCeleb1-Test, EER und minimale Detektionskosten | 8,8%, 0,73 | Nagrani et al., VoxCeleb-Artikel, 2017 |
| 2018: ResNet-50, trainiert auf VoxCeleb2, EER und minimale Detektionskosten | 3,95%, 0,429 | Chung et al., VoxCeleb2-Artikel, 2018 |
| 2020: ECAPA-TDNN mit 1.024 Kanälen, EER und minDCF | 0,87%, 0,1066 | Desplanques et al., Interspeech 2020 |
| 2022: ResNet293 im WeSpeaker-Toolkit, EER und minDCF | 0,447%, 0,043 | Wang et al., WeSpeaker-Artikel, 2022 |
| 2024: SimAM-ResNet293, auf VoxBlink2 vortrainiert, mit Qualitätskalibrierung, EER und minDCF | 0,17%, 0,006 | Lin et al., VoxBlink2, Interspeech 2024 |
| 2025: w2v-BERT 2.0 auf Vox1-O vs Vox1-H, EER | 0,12% vs 0,55% | Li, Cheng und Li, w2v-BERT-2.0-Artikel, 2025 |
| 2026: ReDimNet2-B6, EER, Parameter, GMACs (Milliarden Multiplikations-Akkumulations-Operationen) für 2 Sekunden Eingabe | 0,29%, 12,3M, 13,05 | Yakovlev und Okhotnikov, ReDimNet2-Artikel, 2026 |
| 2026: ReDimNet2-B0, das kleinste Modell der Familie, EER und Parameter | 1,04%, 1,1M | Yakovlev und Okhotnikov, ReDimNet2-Artikel, 2026 |
Hinweis zu einem Ausreißer: Die Autoren von w2v-BERT 2.0 berichten, dass Pruning die Modellgröße um 80% senkte, bei nur 0,04% EER-Verschlechterung, die größten Modelle müssen also womöglich nicht groß bleiben.
4. Kurze Clips und verrauschtes Audio
Wird ein Testclip auf 2 Sekunden gekürzt, mehr als verdoppelt sich der Fehler eines führenden Modells, von 0,61% auf 1,48% (Chen et al., ERes2NetV2-Artikel, 2024). Das ist für jedes Produkt relevant, das auf einer kurzen gesprochenen Phrase beruht, denn die Schlagzeilenzahl unter 1% gehört zu Clips in voller Länge. Auch das Umgekehrte gilt: Bei VoxSRC-Paaren, die länger als 8 Sekunden waren, gingen dem Gewinner von Track 2 im Jahr 2023 fast die Fehler aus.
Rauschen folgt einer steilen Kurve, nicht einer Geraden. “Babble” bezeichnet Stimmengewirr im Hintergrund, und der SNR (Signal-Rausch-Verhältnis) misst die Stimme gegenüber dem Rauschen, 0 dB bedeutet also, dass beide gleich laut sind. Eine ResNet34-Baseline bewegt sich bei 20 dB kaum, dann steigt ihr Fehler bei 0 dB auf mehr als das Vierfache (Gu et al., Artikel Noise-Conditioned Mixture-of-Experts, 2025). Stimmengewirr schadete mehr als Musik, wahrscheinlich weil es dieselbe Art von Signal ist, die das Modell zu identifizieren trainiert wurde.
| Metrik | Wert | Quelle |
|---|---|---|
| EER von ERes2NetV2 auf VoxCeleb1-O: Vergleiche in voller Länge vs 3 Sekunden vs 2 Sekunden | 0,61% vs 0,98% vs 1,48% | Chen et al., ERes2NetV2-Artikel, 2024 |
| EER von ECAPA-TDNN auf VoxCeleb1-O: 3-Sekunden- vs 2-Sekunden-Vergleiche | 1,27% vs 1,95% | Chen et al., ERes2NetV2-Artikel, 2024 |
| EER von ResNet34 auf VoxCeleb1-O: 3-Sekunden- vs 2-Sekunden-Vergleiche | 1,47% vs 2,12% | Chen et al., ERes2NetV2-Artikel, 2024 |
| EER des Gewinners von VoxSRC 2023 Track 2 auf dem Testset von 2019: alle Paare vs Paare über 6 Sekunden vs Paare über 8 Sekunden | 0,47% vs 0,26% vs 0,03% | Huh et al., VoxSRC-Rückblick, 2024 |
| SRE24-Testsegmente, bei denen die Systeme am meisten Mühe hatten, und der Punkt, ab dem die Zugewinne schrumpfen | 4,5 bis 13 Sekunden; kleinere Zugewinne jenseits von 22,6 Sekunden | Singer et al., Odyssey 2026 |
| EER der ResNet34-Baseline auf dem VoxCeleb1-Test: sauber vs Babble bei 20 dB vs Babble bei 0 dB | 1,98% vs 2,18% vs 9,30% | Gu et al., Artikel Noise-Conditioned Mixture-of-Experts, 2025 |
| Dieselbe Baseline bei 0 dB: Musik vs allgemeines Rauschen | 5,82% vs 7,3% | Gu et al., Artikel Noise-Conditioned Mixture-of-Experts, 2025 |
| Dieselbe Baseline bei 0 dB mit Nonspeech100-Rauschen, und das rauschkonditionierte Modell bei 0 dB Babble | 10,17%; 8,10% | Gu et al., Artikel Noise-Conditioned Mixture-of-Experts, 2025 |
Kontext: Rauschergebnisse lassen sich nicht zwischen Artikeln übertragen. Eine Studie der University of Seoul maß ECAPA-TDNN mit 3,46% sauber und 13,01% mit Babble bei 0 dB (Kim et al., PAS-Artikel, 2023), unter einem anderen Trainingsaufbau, vergleichen Sie also den Anstieg innerhalb jeder Studie statt der Absolutwerte.
5. Alter, Korpus und Domänenabweichung
Ein Rekord auf VoxCeleb1-O sagt wenig über eine Stimme, die Jahre auseinander oder in anderer Umgebung aufgenommen wurde. Die Wahl von Paaren desselben Sprechers mit großem Altersabstand hob eine Baseline von 1,939% auf 10,419% EER (Qin et al., Interspeech 2022). Ein finnischer Längsschnittkorpus zeigt das lange Ende dieser Kurve: Bei 40 Jahren Abstand ist die EER der Männer von 51,61% schlechter als Raten (Singh et al., Interspeech 2023). Dieser Korpus ist klein, mit 109 Sprechern nach der Vorverarbeitung, und die Altersangaben in VoxCeleb sind geschätzt statt erfasst, die Richtung ist daher mit mehr Zuversicht zu lesen als die genauen Werte.
Domänenverschiebung ist das größere kommerzielle Risiko, weil sie unbemerkt eintritt. Der auf VoxCeleb trainierte x-Vector im CN-Celeb-Artikel sah seinen Fehler bei chinesischem Multi-Genre-Audio fast auf das Fünffache steigen (16,59 / 3,48 = 4,8). Neutraining auf der neuen Domäne hilft, schließt die Lücke aber nicht: Dasselbe ECAPA-TDNN-Rezept zeigte auf CN-Celeb immer noch mehr als den neunfachen Fehler wie auf VoxCeleb (8,877 / 0,936 = 9,5).
| Metrik | Wert | Quelle |
|---|---|---|
| EER der Baseline auf dem Vox-H-Test vs Vox-CA20, einem Test aus Paaren mit großem Altersabstand | 1,939% vs 10,419% | Qin et al., Interspeech 2022 |
| EER von ECAPA-TDNN auf VoxCeleb1-Age-Enriched (USA) bei 3 / 6 / 9 Jahren Altersabstand, männliche Sprecher | 2,31% / 2,84% / 3,63% | Singh et al., Interspeech 2023 |
| Derselbe Test bei 3 / 6 / 9 Jahren Altersabstand, weibliche Sprecher | 2,70% / 3,12% / 3,87% | Singh et al., Interspeech 2023 |
| EER des finnischen Längsschnittkorpus (LCFSH) bei 0 / 20 / 40 Jahren Altersabstand, männliche Sprecher | 5,12% / 18,68% / 51,61% | Singh et al., Interspeech 2023 |
| Derselbe Korpus bei 0 / 20 / 40 Jahren Altersabstand, weibliche Sprecher | 10,04% / 21,67% / 40,61% | Singh et al., Interspeech 2023 |
| EER des auf VoxCeleb trainierten x-Vectors auf dem SITW-Testset vs CN-Celeb.E (ein Evaluierungsset aus CN-Celeb) | 3,48% vs 16,59% | Li et al., CN-Celeb-Artikel, 2020 |
| ECAPA-TDNN mit AM-Softmax-Verlust: VoxCeleb1-Test vs CN-Celeb-Evaluierung, jeweils auf der eigenen Domäne trainiert | 0,936% vs 8,877% | Wang et al., DASA-Artikel, 2023 |
| VoxSRC-2023-Track zur Domänenadaption auf CNCeleb: Baseline vs Erstplatzierter, EER | 13,11% vs 4,95% | Huh et al., VoxSRC-Rückblick, 2024 |
Aktuellste verfügbare Daten zur Langzeitalterung: Singh et al., Interspeech 2023.
6. NIST SRE: Der härtere Benchmark ohne die Schlagzeilenzahlen
Das NIST führt diese Evaluierungen seit 1996 durch, und sie ähneln YouTube-Interviews in keiner Weise. SRE24 nutzte einen neuen, außerhalb Nordamerikas gesammelten Korpus, mit Telefonsprache und Audio aus Videos, auf tunesischem Arabisch, Englisch und Französisch. Der Spitzenreiter der SRE24-Telefon-Challenge lag bei 2,37% EER, etwa dem 20-Fachen des VoxCeleb1-O-Rekords (2,37 / 0,12 = 19,8) (NIST-SRE24-Website), obwohl sich die beiden Tests zu stark unterscheiden, als dass dieses Verhältnis mehr als die Schwierigkeit misst.
Die Analyse von 91 eingereichten SRE24-Systemen ergab, dass Telefonvergleiche mit übereinstimmenden Bedingungen durchgängig besser abschnitten als Vergleiche mit übereinstimmenden Bedingungen bei Audio aus Videos, und dass die Art der Quelle mehr zählte als eine Sprachabweichung. Drei Enrollment-Segmente schnitten im Allgemeinen besser ab als eines, selbst bei gleicher Gesamtsprechzeit, und die meisten Systeme zeigten bei Vergleichen innerhalb desselben Geschlechts nur begrenzte Geschlechtsunterschiede (Singer et al., Odyssey 2026). Uneingeschränkte Trainingsdaten brachten deutliche Zugewinne, und Einzelmodelle konkurrierten mit Fusionen (Greenberg et al., Interspeech 2025). Die Zahlen in der Tabelle unten zeigen die andere Lehre: Ein System, das seine eigene Schwelle nicht setzen kann, ist nicht bereit, wie gut seine minimalen Kosten auch sein mögen.
| Metrik | Wert | Quelle |
|---|---|---|
| SRE19-Telefon-Challenge: Organisationen, Teams, gültige Systemausgaben | 67 / 51 / 1.347 | Sadjadi et al., NIST SRE19 CTS Challenge, Odyssey 2020 |
| SRE21-Audiotest: Zielvergleiche vs Nicht-Zielvergleiche | 132.038 vs 5.899.731 | Sadjadi et al., NIST SRE21, 2022 |
| SRE24: Teams, Organisationen, eingereichte Systeme | 11 / 26 / 91 | Singer et al., Odyssey 2026 |
| Erste Zeile der SRE24-CTS-Rangliste am 24. Oktober 2024: EER, minimale Kosten, tatsächliche Kosten | 2,37%, 0,102, 0,106 | Rangliste der NIST SRE24-CTS Challenge, 2024 |
| Ein weiterer Eintrag in dieser Rangliste: EER, minimale Kosten, tatsächliche Kosten (ein triviales System erreicht 1) | 3,00%, 0,080, 1,000 | Rangliste der NIST SRE24-CTS Challenge, 2024 |
| HCCL-System, bei SRE21 eingereicht, Entwicklungs- vs Evaluierungsset: EER | 2,27% vs 3,05% | Li et al., HCCL-System, Interspeech 2022 |
| Dasselbe System, Entwicklungs- vs Evaluierungsset: tatsächliche Kosten | 0,170 vs 0,560 | Li et al., HCCL-System, Interspeech 2022 |
Kontext: Die Überblicks- und Analyseartikel zu SRE24 präsentieren die Ergebnisse als Diagramme, ohne gedruckte EER-Werte, die Rangliste ist daher das numerische Fenster in diesen Zyklus. Aktuellste verfügbare Daten zu offiziellen numerischen Ergebnissen: Rangliste der NIST SRE24-CTS Challenge, 2024.
7. Fairness: Wen der Benchmark misst
Ein einzelner Benchmark-Wert kann verbergen, dass die Falsch-Positiv-Rate einer Gruppe das 13-Fache der Gesamtrate beträgt. An der Schwelle für die minimalen Gesamtkosten hatten indische Sprecherinnen eine Falsch-Positiv-Rate vom 13,0387-Fachen der Gesamtrate, in einer Studie zum Workflow der VoxCeleb Speaker Recognition Challenge (Hutiri und Ding, FAccT 2022). Die Zusammensetzung der Daten hilft, das zu erklären: Das VoxCeleb-1-Testset besteht zu 62,5% aus US-Sprechern, und Frauen stellen 38% der Sprecher, aber 29,5% der Äußerungen.
Die Richtung der Geschlechterlücke ist nicht festgelegt, und genau das ist der nützliche Befund. Die VoxSRC-Gewinner schnitten bei Männern besser ab, eine Amazon-Studie bei Frauen, und ein kontrolliertes Experiment zeigt, dass der Trainingsmix eine eigene Lücke erzeugen kann. Dasselbe Muster zeigt sich bei Sprachwerkzeugen auf Wortebene, wie unsere Zusammenstellung zum Akzent-Bias in der Spracherkennung dokumentiert.
| Metrik | Wert | Quelle |
|---|---|---|
| VoxCeleb-1-Testset: Anteil US-Sprecher; Frauenanteil an den Sprechern; Frauenanteil an den Äußerungen | 62,5%; 38%; 29,5% | Hutiri und Ding, FAccT 2022 |
| VoxCeleb-2-Trainingsset: Männeranteil; US-Anteil | 61%; 29% | Hutiri und Ding, FAccT 2022 |
| Indische Sprecherinnen vs Gesamtrate: Falsch-Positiv-Verhältnis; Falsch-Negativ-Verhältnis | 13,0387-Faches; 1,2497-Faches | Hutiri und Ding, FAccT 2022 |
| VoxSRC-2023-Gewinner auf dem Testset von 2019, EER Männer vs Frauen: Track 1; Track 2 | 0,57% vs 0,69%; 0,43% vs 0,59% | Huh et al., VoxSRC-Rückblick, 2024 |
| System mit adversarialer Neugewichtung, EER Männer vs Frauen | 1,25% vs 0,67% | Jin et al., Interspeech 2022 |
| Dieselbe Studie, Lücke zwischen den Geschlechtergruppen vor vs nach der Neugewichtung | 0,70% vs 0,58% | Jin et al., Interspeech 2022 |
| Dieselbe Studie, EER für USA vs Vereinigtes Königreich vs alle anderen Nationalitäten | 1,04% vs 0,76% vs 1,22% | Jin et al., Interspeech 2022 |
| ResNet-34-Baseline (mit einem Viertel der Kanäle), trainiert mit einem Mix von 9:1 Frauen zu Männern, EER Frauen vs Männer | 3,52% vs 7,22% | Shen et al., ICASSP 2022 |
Aktuellste verfügbare Daten zu Fehlerverhältnissen nach Untergruppen: Hutiri und Ding, FAccT 2022. Davon unabhängig fanden Estevez und Ferrer, dass die Leistung für im Training unterrepräsentierte Gruppen “deutlich beeinträchtigt” war und dass einfaches Datenbalancing die Verzerrung verringerte, ohne Mehrheitsgruppen zu schaden (Study on the Fairness of Speaker Verification Systems).
Zusammenfassung: Sprecherverifikation mit VoxCeleb und Gleichfehlerrate in Zahlen
| Metrik | Wert | Quelle |
|---|---|---|
| Niedrigste EER auf VoxCeleb1-O in einer Primärquelle | 0,12% | Li, Cheng und Li, w2v-BERT-2.0-Artikel, 2025 |
| Dasselbe System auf der schweren Liste Vox1-H | 0,55% | Li, Cheng und Li, w2v-BERT-2.0-Artikel, 2025 |
| SimAM-ResNet293 auf VoxCeleb1-O mit VoxBlink2-Vortraining und Qualitätskalibrierung, EER und minDCF | 0,17%, 0,006 | Lin et al., VoxBlink2, Interspeech 2024 |
| VoxBlink2-Sprecher vs VoxCeleb2-Sprecher | 111.284 vs 5.994 | Lin et al., VoxBlink2, Interspeech 2024 |
| EER und Parameter von ReDimNet2-B6 | 0,29%, 12,3M | Yakovlev und Okhotnikov, ReDimNet2-Artikel, 2026 |
| EER von ECAPA-TDNN mit 1.024 Kanälen | 0,87% | Desplanques et al., Interspeech 2020 |
| EER des Erstplatzierten in VoxSRC Track 2 auf dem festen Testset von 2019, 2019 vs 2023 | 1,26% vs 0,47% | Huh et al., VoxSRC-Rückblick, 2024 |
| EER von ERes2NetV2 bei Vergleichen in voller Länge vs 2-Sekunden-Vergleichen | 0,61% vs 1,48% | Chen et al., ERes2NetV2-Artikel, 2024 |
| EER der ResNet34-Baseline, sauber vs Babble bei 0 dB | 1,98% vs 9,30% | Gu et al., Artikel Noise-Conditioned Mixture-of-Experts, 2025 |
| EER der Baseline auf Vox-H vs Vox-CA20 (großer Altersabstand) | 1,939% vs 10,419% | Qin et al., Interspeech 2022 |
| EER der Männer bei 0 Jahren vs 40 Jahren Altersabstand, finnischer Korpus | 5,12% vs 51,61% | Singh et al., Interspeech 2023 |
| EER des auf VoxCeleb trainierten x-Vectors auf SITW vs CN-Celeb.E | 3,48% vs 16,59% | Li et al., CN-Celeb-Artikel, 2020 |
| EER von ECAPA-TDNN auf VoxCeleb1 vs CN-Celeb-Evaluierung, jeweils auf der eigenen Domäne trainiert | 0,936% vs 8,877% | Wang et al., DASA-Artikel, 2023 |
| EER der ersten Zeile der SRE24-CTS-Rangliste | 2,37% | Rangliste der NIST SRE24-CTS Challenge, 2024 |
| Tatsächliche Kosten von HCCL bei SRE21, Entwicklungs- vs Evaluierungsset | 0,170 vs 0,560 | Li et al., HCCL-System, Interspeech 2022 |
| VoxCeleb-1-Testset, Frauenanteil an den Sprechern vs an den Äußerungen | 38% vs 29,5% | Hutiri und Ding, FAccT 2022 |
| Falsch-Positiv-Rate indischer Sprecherinnen vs Gesamtrate | 13,0387-Faches | Hutiri und Ding, FAccT 2022 |
| System mit adversarialer Neugewichtung, EER Männer vs Frauen | 1,25% vs 0,67% | Jin et al., Interspeech 2022 |
Methodik und Quellen
Jede Zahl wurde während dieser Recherche in einem Primärartikel, einem Challenge-Bericht oder einer NIST-Seite gelesen. EER- und Kostenwerte werden so zitiert, wie die jeweilige Quelle sie ausweist. Verhältnisse und Zahlen von Fehlentscheidungen sind unsere eigene Arithmetik, mit offengelegter Rechnung. Es werden keine VoxBooster-Daten verwendet.
- Huh et al., The VoxCeleb Speaker Recognition Challenge: A Retrospective, 2024
- Nagrani, Chung und Zisserman, VoxCeleb: a large-scale speaker identification dataset, Interspeech 2017
- Chung, Nagrani und Zisserman, VoxCeleb2: Deep Speaker Recognition, Interspeech 2018
- Desplanques, Thienpondt und Demuynck, ECAPA-TDNN, Interspeech 2020
- Wang et al., Artikel zum WeSpeaker-Toolkit, 2022
- Lin et al., VoxBlink2, Interspeech 2024
- Li, Cheng und Li, w2v-BERT 2.0 und strukturiertes Pruning, 2025
- Yakovlev und Okhotnikov, ReDimNet2, 2026
- Zheng et al., UNISOUND-System für VoxSRC 2023
- Torgashov et al., ID-R&D-System für VoxSRC 2023
- Du, Fang und Li, ChinaTelecom-System für VoxSRC 2023
- Chen et al., ERes2NetV2, 2024
- Gu et al., Noise-Conditioned Mixture-of-Experts Framework, 2025
- Kim et al., Artikel zur PAS-Augmentierung, 2023
- Qin et al., Cross-Age Speaker Verification, Interspeech 2022
- Singh, Sahidullah und Kinnunen, Speaker Verification Across Ages, Interspeech 2023
- Li et al., CN-Celeb: multi-genre speaker recognition, 2020
- Wang et al., DASA-Artikel, 2023
- Website der NIST Speaker Recognition Evaluation und Rangliste der SRE24-CTS Challenge
- Greenberg et al., The 2024 NIST Speaker Recognition Evaluation, Interspeech 2025
- Singer et al., Analysis of the NIST 2024 Speaker Recognition Evaluation, Odyssey 2026
- Sadjadi et al., The 2021 NIST Speaker Recognition Evaluation, 2022
- Sadjadi et al., The 2019 NIST SRE CTS Challenge, Odyssey 2020
- Li et al., The HCCL System for the NIST SRE21, Interspeech 2022
- Hutiri und Ding, Bias in Automated Speaker Recognition, FAccT 2022
- Jin et al., Adversarial Reweighting for Speaker Verification Fairness, Interspeech 2022
- Shen et al., Group-adapted Fusion Network, ICASSP 2022
- Estevez und Ferrer, Study on the Fairness of Speaker Verification Systems Across Accent and Gender Groups
- Qu et al., Fair-Gate, 2026
- Daten-Hinweis: Die VoxCeleb1-O-Rekorde sind nicht perfekt vergleichbar, weil einige Artikel eine bereinigte Version des Protokolls verwenden und einige Score-Normalisierung oder Qualitätskalibrierung ergänzen. Allein der Wert für ECAPA-TDNN schwankt je nach Artikel: 0,87% im Original, 0,728% in WeSpeaker, 0,94% in der Tabelle von ReDimNet2 und 1,12% im Fair-Gate-Artikel von 2026. Die Autoren von w2v-BERT 2.0 berichten 0,12%, während die Vergleichstabelle von ReDimNet2 0,14% für ein w2v-BERT-2.0-Modell nennt, das mit VoxBlink2 plus VoxCeleb2 trainiert wurde, und wir konnten diese beiden Einträge nicht exakt in Einklang bringen. Die im VoxBlink2-Artikel angegebene EER-Reduktion von 43,4% passt nicht zu seiner Tabelle (0,606% auf 0,340% sind 43,9%), daher zitieren wir sie nicht. Das Abstract druckt den minDCF außerdem als 0,006%, wo die Tabelle 0,006 druckt. Der CN-Celeb-Artikel nennt für CN-Celeb.E 15,52% in der Einleitung und 16,59% in der Tabelle; wir verwenden die Tabelle. Ältere Ergebnisse hier (2017 bis Mitte 2023) sind als aktuellste verfügbare gekennzeichnet, wo kein neueres Äquivalent existiert. NIST-Ergebnisse des nächsten Evaluierungszyklus würden zuerst Abschnitt 6 ändern. Alle EER-Werte hier betrachten andere echte Sprecher als Impostoren, sie sagen also nichts über die Widerstandsfähigkeit gegen synthetische Stimmen aus.
Zuletzt aktualisiert: 31. Oktober 2026. Wir aktualisieren diese Zusammenstellung vierteljährlich, und die nächste Aktualisierung wird erwartet, wenn das NIST numerische Ergebnisse seiner nächsten Speaker Recognition Evaluation veröffentlicht.