Błąd weryfikacji mówcy na teście VoxCeleb1 spadł z 8,8% w 2017 roku (Nagrani i in., artykuł VoxCeleb, 2017) do 0,12% w pracy z 2025 roku (Li, Cheng i Li, artykuł w2v-BERT 2.0, 2025), czyli 73-krotnie (8,8 / 0,12). Weryfikacja mówcy to sprawdzenie typu “czy to ta sama osoba?”, a wskaźnik równych błędów (EER) jest jej standardową oceną. Ten rekord pochodzi ze stałej listy wypowiedzi celebrytów z YouTube. Ta sama dziedzina raportuje 9,30%, gdy gwar tłumu jest równie głośny jak głos (Gu i in., artykuł Noise-Conditioned Mixture-of-Experts, 2025), oraz 10,419%, gdy jedną osobę porównuje się przez dużą różnicę wieku (Qin i in., Interspeech 2022). Zebraliśmy dane od organizatorów wyzwania VoxSRC, z oceny rozpoznawania mówcy NIST, z prac Interspeech i Odyssey, od zespołów korpusów VoxBlink2 i CN-Celeb oraz z badań nad sprawiedliwością z FAccT. O komercyjnej stronie tej technologii przeczytasz w naszych statystykach biometrii głosowej, a o problemie “kto mówił kiedy”, który leży obok, w naszym zestawieniu wskaźnika błędów diaryzacji mówców.
TL;DR
- Najniższy EER na VoxCeleb1-O znaleziony w pracy źródłowej: 0,12%, z modelu z około 600 milionami parametrów (Li, Cheng i Li, artykuł w2v-BERT 2.0, 2025).
- Korpus 111.284 mówców pomógł doprowadzić pojedynczy ResNet do 0,17% EER i 0,006 minDCF (Lin i in., VoxBlink2, Interspeech 2024).
- ReDimNet2-B6 osiąga 0,29% EER przy 12,3M parametrów (Yakovlev i Okhotnikov, artykuł ReDimNet2, 2026).
- EER zwycięzcy ścieżki 2 na stałym zestawie testowym VoxSRC z 2019 roku spadł z 1,26% w 2019 do 0,47% w 2023 (Huh i in., retrospektywa VoxSRC, 2024).
- Próba 2-sekundowa podnosi ERes2NetV2 z 0,61% do 1,48% EER (Chen i in., artykuł ERes2NetV2, 2024).
- Szum rozmów przy 0 dB podnosi bazowy ResNet34 z 1,98% do 9,30% EER (Gu i in., 2025).
- Pary o dużej różnicy wieku podnoszą system bazowy z 1,939% do 10,419% EER (Qin i in., Interspeech 2022).
- Różnica 40 lat podniosła EER mężczyzn do 51,61% w korpusie fińskim, ponad granicę 50% rzutu monetą (Singh i in., Interspeech 2023).
- System x-vector wytrenowany na VoxCeleb uzyskał 3,48% na SITW i 16,59% na CN-Celeb.E (Li i in., artykuł CN-Celeb, 2020).
- Tabelę wyników wyzwania telefonicznego SRE24 prowadził wynik 2,37% EER (tabela wyników wyzwania NIST SRE24-CTS, 24 października 2024).
- Kobiety stanowiły 38% mówców, ale 29,5% wypowiedzi w zbiorze testowym VoxCeleb 1 (Hutiri i Ding, FAccT 2022).
1. Miarka: co mierzy EER i co zawiera VoxCeleb
System weryfikacji otrzymuje dwa nagrania, zwane “próbą” (trial), i decyduje, czy pochodzą od tego samego mówcy. Podniesienie progu akceptacji odrzuca więcej prawdziwych mówców, a jego obniżenie akceptuje więcej oszustów. EER to punkt, w którym te dwa wskaźniki błędów się równają. Towarzysząca mu miara minDCF (minimalny koszt wykrywania) waży te same dwa błędy dla wybranego punktu pracy, a niższa wartość jest również lepsza. Żadna z miar nie obejmuje głosów syntetycznych ani odtwarzanych: “oszuści” to tu po prostu inni prawdziwi ludzie.
Klasyczna lista testowa jest mała: 37.720 prób od 40 mówców (Gu i in., artykuł Noise-Conditioned Mixture-of-Experts, 2025). VoxCeleb1-O, czyli nazwa tej listy, jest łatwa w porównaniu z trudniejszymi siostrami: błąd jednego modelu rośnie czterokrotnie po przejściu z Vox1-O na Vox1-H (z 0,17% do 0,68%). Dane treningowe natomiast urosły ogromnie, a sekcja 3 pokazuje, dlaczego ma to większe znaczenie niż większość zmian architektury.
| Metryka | Wartość | Źródło |
|---|---|---|
| Rozmiar VoxCeleb1: mówcy, wypowiedzi, filmy, godziny, narodowości | 1.251 / 153.516 / 22.496 / 352 / 36 | Chung i in., artykuł VoxCeleb2, 2018 |
| Część treningowa VoxCeleb2: mówcy, wypowiedzi, godziny, średnia liczba sekund na wypowiedź | 5.994 / 1.092.009 / 2.442 / 7,8 | Lin i in., VoxBlink2, Interspeech 2024 |
| Rozmiar VoxBlink2: mówcy, wypowiedzi, godziny, średnia liczba sekund na wypowiedź | 111.284 / 9.904.382 / 16.672 / 6,0 | Lin i in., VoxBlink2, Interspeech 2024 |
| Rozmiar CN-Celeb: mówcy, gatunki nagrań, godziny w CN-Celeb1 oraz CN-Celeb2 | 3.000 / 11 / 274 oraz 1.090 | Li i in., artykuł CN-Celeb, 2020 |
| Lista testowa VoxCeleb1-O: próby, mówcy | 37.720 / 40 | Gu i in., artykuł Noise-Conditioned Mixture-of-Experts, 2025 |
| EER jednego modelu na Vox1-O (lista łatwa) wobec Vox1-E (lista rozszerzona) wobec Vox1-H (lista trudna) | 0,17% wobec 0,37% wobec 0,68% | Lin i in., VoxBlink2, Interspeech 2024 |
Najnowsze dostępne dane dla liczb oryginalnego korpusu: artykuł VoxCeleb2, 2018.
2. Rekord wyzwania VoxSRC, 2019 do 2023
Wyzwanie VoxCeleb Speaker Recognition Challenge odbywało się co roku od 2019 do 2023, a jego najlepszą decyzją projektową było zachowanie zestawu testowego z 2019 roku wewnątrz każdego późniejszego zestawu. Daje to dziedzinie jedną stałą miarkę. Na niej EER zwycięzcy ścieżki 1 spadł z 1,42% w 2019 do 0,57% w 2021, a potem przestał spadać. Organizatorzy mówią, że zwycięzcy od 2020 roku są poniżej 1%, “co uważamy za nasycenie wydajności”, a nowy zestaw testowy z każdego roku pozostawał trudniejszy: zwycięzcy ścieżki 1 uzyskali 3,73%, 1,85%, 1,49% i 1,59% na własnych zestawach od 2020 do 2023, gdy test rósł z 208.008 par i 745 mówców w 2019 do 825.437 par i 2.532 mówców w 2023 (Huh i in., retrospektywa VoxSRC, 2024).
Nasycenie ma mierzalną podłogę. Na zestawie z 2019 roku 95% przedziały ufności metodą bootstrap miały szerokość od 18,6% do 31,2% samego EER, więc małe różnice między zwycięzcami mogą być szumem. Spośród 232 par, w których pomylili się wszyscy zwycięzcy z 2022 i 2023 roku, 16 było parami tego samego mówcy, a 12 z tych 16 było błędami etykiet na liście testowej. Trudne przypadki też są prawdziwe: zwycięzca ścieżki 1 z 2022 roku uzyskał 0,90% na standardowych parach i 2,07%, gdy każda para była trudna (ten sam mówca w różnym wieku lub różni mówcy w tym samym środowisku nagrania).
| Metryka | Wartość | Źródło |
|---|---|---|
| EER zwycięzcy ścieżki 1 (zamknięte dane treningowe) na stałym zestawie testowym z 2019 roku, 2019 / 2020 / 2021 / 2022 / 2023 | 1,42% / 0,83% / 0,57% / 0,90% / 0,58% | Huh i in., retrospektywa VoxSRC, 2024 |
| EER zwycięzcy ścieżki 2 (otwarte dane treningowe) na stałym zestawie testowym z 2019 roku, 2019 / 2020 / 2021 / 2022 / 2023 | 1,26% / 0,80% / 0,57% / 0,69% / 0,47% | Huh i in., retrospektywa VoxSRC, 2024 |
| Zgłoszenie UNISOUND z 2023, pierwsze na ścieżce 1 według raportu zespołu: EER, minDCF na zestawie testowym z 2023 | 1,5880%, 0,0855 | Zheng i in., raport systemu UNISOUND, 2023 |
| Zgłoszenie ID R&D z 2023, pierwsze w publicznej tabeli wyników ścieżki 2: EER, minDCF przy P_target 0,05 | 1,30%, 0,0762 | Torgashov i in., raport systemu ID R&D, 2023 |
| Zgłoszenie fuzyjne ChinaTelecom na ścieżce 1 z 2023, deklarowane przez zespół: EER, minDCF | 1,980%, 0,1066 | Du i in., raport systemu ChinaTelecom, 2023 |
Kontekst: ostatnia edycja odbyła się w 2023 roku, więc najnowszymi dostępnymi danymi dla tego wyzwania jest retrospektywa z 2024 roku. EER często nie był miarą rankingową, dlatego zespół z drugiego miejsca czasem ma niższy EER niż zwycięzca.
3. Rekord na VoxCeleb1-O, od 8,8% do 0,12%
Liczba prób uwidacznia poprawę. Oba wskaźniki błędów w punkcie pracy równają się EER, więc łączna liczba pomyłek to w przybliżeniu EER razy liczba prób: 8,8% z 37.720 to około 3.319 błędnych decyzji, a 0,12% to około 45. System z 2025 roku popełnia około 45 błędów tam, gdzie bazowy system z 2017 roku popełniał około 3.319 (Li, Cheng i Li, artykuł w2v-BERT 2.0, 2025). Na tym poziomie garść błędnie oznaczonych prób może zdecydować o rekordzie.
Dane przesuwają wynik teraz bardziej niż architektura. W2V-BERT 2.0 jest podany z 0,38% przy treningu wyłącznie na VoxCeleb2 i 0,14% po dodaniu VoxBlink2, przy tym samym modelu z 587M parametrów w obu wierszach (Yakovlev i Okhotnikov, artykuł ReDimNet2, 2026). Ważne są też receptury: ResNet34 przeszedł z 1,31% w cytowanym oryginale do 0,723% w reimplementacji w zestawie narzędzi WeSpeaker. Te same osadzenia służą także jako sędziowie w badaniach nad konwersją głosu, co omawia nasze zestawienie podobieństwa mówcy w konwersji głosu.
| Metryka | Wartość | Źródło |
|---|---|---|
| 2017: system bazowy i-vector plus PLDA na teście VoxCeleb1, EER i minimalny koszt wykrywania | 8,8%, 0,73 | Nagrani i in., artykuł VoxCeleb, 2017 |
| 2018: ResNet-50 wytrenowany na VoxCeleb2, EER i minimalny koszt wykrywania | 3,95%, 0,429 | Chung i in., artykuł VoxCeleb2, 2018 |
| 2020: ECAPA-TDNN z 1.024 kanałami, EER i minDCF | 0,87%, 0,1066 | Desplanques i in., Interspeech 2020 |
| 2022: ResNet293 w zestawie narzędzi WeSpeaker, EER i minDCF | 0,447%, 0,043 | Wang i in., artykuł WeSpeaker, 2022 |
| 2024: SimAM-ResNet293 wstępnie wytrenowany na VoxBlink2, z kalibracją jakości, EER i minDCF | 0,17%, 0,006 | Lin i in., VoxBlink2, Interspeech 2024 |
| 2025: w2v-BERT 2.0 na Vox1-O wobec Vox1-H, EER | 0,12% wobec 0,55% | Li, Cheng i Li, artykuł w2v-BERT 2.0, 2025 |
| 2026: ReDimNet2-B6, EER, parametry, GMACs (miliardy operacji mnożenia z akumulacją) dla 2 sekund wejścia | 0,29%, 12,3M, 13,05 | Yakovlev i Okhotnikov, artykuł ReDimNet2, 2026 |
| 2026: ReDimNet2-B0, najmniejszy model w rodzinie, EER i parametry | 1,04%, 1,1M | Yakovlev i Okhotnikov, artykuł ReDimNet2, 2026 |
Uwaga o wartości odstającej: autorzy w2v-BERT 2.0 podają, że przycinanie zmniejszyło rozmiar modelu o 80% przy pogorszeniu EER o zaledwie 0,04%, więc największe modele mogą nie musieć pozostać duże.
4. Krótkie nagrania i zaszumiony dźwięk
Skrócenie nagrania testowego do 2 sekund ponad dwukrotnie zwiększa błąd wiodącego modelu, z 0,61% do 1,48% (Chen i in., artykuł ERes2NetV2, 2024). Ma to znaczenie dla każdego produktu opartego na krótkiej wypowiedzianej frazie, ponieważ nagłówkowy wynik poniżej 1% dotyczy nagrań pełnej długości. Odwrotnie też jest prawdą: przy parach VoxSRC dłuższych niż 8 sekund zwycięzca ścieżki 2 z 2023 roku prawie przestał popełniać błędy.
Szum podąża za stromą krzywą, nie prostą. “Babble” oznacza gwar tłumu w tle, a SNR (stosunek sygnału do szumu) mierzy głos względem szumu, więc 0 dB oznacza, że oba są równie głośne. Bazowy ResNet34 ledwo się porusza przy 20 dB, a potem jego błąd rośnie ponad czterokrotnie przy 0 dB (Gu i in., artykuł Noise-Conditioned Mixture-of-Experts, 2025). Gwar tłumu szkodził bardziej niż muzyka, prawdopodobnie dlatego, że jest tym samym rodzajem sygnału, który model uczy się rozpoznawać.
| Metryka | Wartość | Źródło |
|---|---|---|
| EER ERes2NetV2 na VoxCeleb1-O: próby pełnej długości wobec 3-sekundowych wobec 2-sekundowych | 0,61% wobec 0,98% wobec 1,48% | Chen i in., artykuł ERes2NetV2, 2024 |
| EER ECAPA-TDNN na VoxCeleb1-O: próby 3-sekundowe wobec 2-sekundowych | 1,27% wobec 1,95% | Chen i in., artykuł ERes2NetV2, 2024 |
| EER ResNet34 na VoxCeleb1-O: próby 3-sekundowe wobec 2-sekundowych | 1,47% wobec 2,12% | Chen i in., artykuł ERes2NetV2, 2024 |
| EER zwycięzcy ścieżki 2 VoxSRC 2023 na zestawie testowym z 2019: wszystkie pary wobec par powyżej 6 sekund wobec par powyżej 8 sekund | 0,47% wobec 0,26% wobec 0,03% | Huh i in., retrospektywa VoxSRC, 2024 |
| Segmenty testowe SRE24, na których systemy radziły sobie najgorzej, i punkt, powyżej którego zyski maleją | 4,5 do 13 sekund; mniejsze zyski powyżej 22,6 sekundy | Singer i in., Odyssey 2026 |
| EER bazowego ResNet34 na teście VoxCeleb1: czysty wobec szumu rozmów przy 20 dB wobec szumu rozmów przy 0 dB | 1,98% wobec 2,18% wobec 9,30% | Gu i in., artykuł Noise-Conditioned Mixture-of-Experts, 2025 |
| Ten sam system bazowy przy 0 dB: muzyka wobec szumu ogólnego | 5,82% wobec 7,3% | Gu i in., artykuł Noise-Conditioned Mixture-of-Experts, 2025 |
| Ten sam system bazowy przy 0 dB z szumem Nonspeech100 oraz model uwarunkowany szumem przy szumie rozmów 0 dB | 10,17%; 8,10% | Gu i in., artykuł Noise-Conditioned Mixture-of-Experts, 2025 |
Kontekst: wyniki dotyczące szumu nie przenoszą się między pracami. Badanie z University of Seoul zmierzyło ECAPA-TDNN na poziomie 3,46% w czystym nagraniu i 13,01% przy szumie rozmów 0 dB (Kim i in., artykuł PAS, 2023), przy innym ustawieniu treningu, więc porównuj wzrost wewnątrz każdego badania, a nie wartości bezwzględne.
5. Wiek, korpus i niedopasowanie domeny
Rekord na VoxCeleb1-O mówi niewiele o głosie nagranym w odstępie lat albo w innym otoczeniu. Wybór par tego samego mówcy o dużej różnicy wieku podniósł system bazowy z 1,939% do 10,419% EER (Qin i in., Interspeech 2022). Fiński korpus podłużny pokazuje daleki koniec tej krzywej: przy różnicy 40 lat EER mężczyzn wynoszący 51,61% jest gorszy niż zgadywanie (Singh i in., Interspeech 2023). Ten korpus jest mały, liczy 109 mówców po wstępnym przetworzeniu, a wiek w VoxCeleb jest szacowany, nie odnotowany, więc kierunek odczytuj z większą pewnością niż dokładne wartości.
Przesunięcie domeny to większe ryzyko komercyjne, bo przychodzi po cichu. Wytrenowany na VoxCeleb x-vector z artykułu CN-Celeb zanotował prawie pięciokrotny wzrost błędu na chińskim dźwięku wielogatunkowym (16,59 / 3,48 = 4,8). Ponowny trening na nowej domenie pomaga, ale nie zamyka luki: ta sama receptura ECAPA-TDNN nadal wykazywała na CN-Celeb ponad dziewięciokrotnie większy błąd niż na VoxCeleb (8,877 / 0,936 = 9,5).
| Metryka | Wartość | Źródło |
|---|---|---|
| EER systemu bazowego na teście Vox-H wobec Vox-CA20, testu par o dużej różnicy wieku | 1,939% wobec 10,419% | Qin i in., Interspeech 2022 |
| EER ECAPA-TDNN na VoxCeleb1-Age-Enriched (USA) przy różnicy wieku 3 / 6 / 9 lat, mówcy płci męskiej | 2,31% / 2,84% / 3,63% | Singh i in., Interspeech 2023 |
| Ten sam test przy różnicy wieku 3 / 6 / 9 lat, mówczynie płci żeńskiej | 2,70% / 3,12% / 3,87% | Singh i in., Interspeech 2023 |
| EER fińskiego korpusu podłużnego (LCFSH) przy różnicy wieku 0 / 20 / 40 lat, mówcy płci męskiej | 5,12% / 18,68% / 51,61% | Singh i in., Interspeech 2023 |
| Ten sam korpus przy różnicy wieku 0 / 20 / 40 lat, mówczynie płci żeńskiej | 10,04% / 21,67% / 40,61% | Singh i in., Interspeech 2023 |
| EER x-vectora wytrenowanego na VoxCeleb na zestawie testowym SITW wobec CN-Celeb.E (zestawu ewaluacyjnego z CN-Celeb) | 3,48% wobec 16,59% | Li i in., artykuł CN-Celeb, 2020 |
| ECAPA-TDNN ze stratą AM-Softmax: test VoxCeleb1 wobec ewaluacji CN-Celeb, każdy wytrenowany na własnej domenie | 0,936% wobec 8,877% | Wang i in., artykuł DASA, 2023 |
| Ścieżka adaptacji domeny VoxSRC 2023 na CNCeleb: system bazowy wobec pierwszego miejsca, EER | 13,11% wobec 4,95% | Huh i in., retrospektywa VoxSRC, 2024 |
Najnowsze dostępne dane o długoterminowym starzeniu się: Singh i in., Interspeech 2023.
6. NIST SRE: trudniejszy test bez nagłówkowych liczb
NIST prowadzi te oceny od 1996 roku i wcale nie przypominają one wywiadów z YouTube. SRE24 użyło nowego korpusu zebranego poza Ameryką Północną, mowy telefonicznej i dźwięku z wideo oraz tunezyjskiego arabskiego, angielskiego i francuskiego. Lider wyzwania telefonicznego SRE24 miał 2,37% EER, około 20 razy więcej niż rekord VoxCeleb1-O (2,37 / 0,12 = 19,8) (strona NIST SRE24), choć oba testy różnią się zbyt mocno, by ten stosunek mierzył cokolwiek poza trudnością.
Analiza 91 zgłoszonych systemów SRE24 wykazała, że dopasowane próby telefoniczne konsekwentnie przewyższały dopasowane próby z dźwiękiem z wideo, a rodzaj źródła liczył się bardziej niż niedopasowanie języka. Trzy segmenty rejestracji zwykle przewyższały jeden, nawet przy równej łącznej ilości mowy, a większość systemów wykazywała ograniczone różnice płci w próbach jednopłciowych (Singer i in., Odyssey 2026). Nieograniczone dane treningowe przyniosły znaczące zyski, a pojedyncze modele rywalizowały z fuzjami (Greenberg i in., Interspeech 2025). Liczby w tabeli poniżej pokazują drugą lekcję: system, który nie potrafi ustawić własnego progu, nie jest gotowy, jakkolwiek dobry byłby jego minimalny koszt.
| Metryka | Wartość | Źródło |
|---|---|---|
| Wyzwanie telefoniczne SRE19: organizacje, zespoły, prawidłowe wyniki systemów | 67 / 51 / 1.347 | Sadjadi i in., NIST SRE19 CTS Challenge, Odyssey 2020 |
| Test audio SRE21: próby docelowe wobec prób niedocelowych | 132.038 wobec 5.899.731 | Sadjadi i in., NIST SRE21, 2022 |
| SRE24: zespoły, organizacje, zgłoszone systemy | 11 / 26 / 91 | Singer i in., Odyssey 2026 |
| Pierwszy wiersz tabeli wyników SRE24-CTS z 24 października 2024: EER, minimalny koszt, rzeczywisty koszt | 2,37%, 0,102, 0,106 | Tabela wyników wyzwania NIST SRE24-CTS, 2024 |
| Inne zgłoszenie w tej tabeli: EER, minimalny koszt, rzeczywisty koszt (system trywialny uzyskuje 1) | 3,00%, 0,080, 1,000 | Tabela wyników wyzwania NIST SRE24-CTS, 2024 |
| Zgłoszony system HCCL w SRE21, zbiór deweloperski wobec ewaluacyjnego: EER | 2,27% wobec 3,05% | Li i in., system HCCL, Interspeech 2022 |
| Ten sam system, zbiór deweloperski wobec ewaluacyjnego: rzeczywisty koszt | 0,170 wobec 0,560 | Li i in., system HCCL, Interspeech 2022 |
Kontekst: artykuły przeglądowy i analityczny SRE24 przedstawiają wyniki na wykresach, bez wydrukowanych wartości EER, więc tabela wyników jest liczbowym oknem na ten cykl. Najnowsze dostępne dane dla oficjalnych wyników liczbowych: tabela wyników wyzwania NIST SRE24-CTS, 2024.
7. Sprawiedliwość: kogo mierzy ten test
Pojedynczy wynik testowy może ukrywać wskaźnik fałszywie pozytywnych jednej grupy sięgający 13 razy ogólnego wskaźnika. Przy ogólnym progu minimalnego kosztu indyjskie mówczynie miały wskaźnik fałszywie pozytywnych 13,0387 raza większy niż ogólny w badaniu przebiegu pracy wyzwania VoxCeleb Speaker Recognition Challenge (Hutiri i Ding, FAccT 2022). Skład danych pomaga to wyjaśnić: zbiór testowy VoxCeleb 1 to w 62,5% mówcy z USA, a kobiety stanowią 38% mówców, ale 29,5% wypowiedzi.
Kierunek różnicy płci nie jest stały, i to jest przydatne odkrycie. Zwycięzcy VoxSRC radzili sobie lepiej z mężczyznami, badanie Amazona lepiej z kobietami, a kontrolowany eksperyment pokazuje, że mieszanka treningowa może sama stworzyć różnicę. Ten sam wzorzec widać w narzędziach do mowy na poziomie słów, co dokumentuje nasze zestawienie uprzedzeń akcentowych w rozpoznawaniu mowy.
| Metryka | Wartość | Źródło |
|---|---|---|
| Zbiór testowy VoxCeleb 1: udział USA wśród mówców; udział kobiet wśród mówców; udział kobiet wśród wypowiedzi | 62,5%; 38%; 29,5% | Hutiri i Ding, FAccT 2022 |
| Zbiór treningowy VoxCeleb 2: udział mężczyzn; udział USA | 61%; 29% | Hutiri i Ding, FAccT 2022 |
| Indyjskie mówczynie wobec ogólnego wskaźnika: stosunek fałszywie pozytywnych; stosunek fałszywie negatywnych | 13,0387 raza; 1,2497 raza | Hutiri i Ding, FAccT 2022 |
| Zwycięzcy VoxSRC 2023 na zestawie testowym z 2019, EER mężczyzn wobec kobiet: ścieżka 1; ścieżka 2 | 0,57% wobec 0,69%; 0,43% wobec 0,59% | Huh i in., retrospektywa VoxSRC, 2024 |
| System z adwersaryjnym przeważaniem, EER mężczyzn wobec kobiet | 1,25% wobec 0,67% | Jin i in., Interspeech 2022 |
| To samo badanie, różnica między grupami płci przed wobec po przeważeniu | 0,70% wobec 0,58% | Jin i in., Interspeech 2022 |
| To samo badanie, EER dla USA wobec Wielkiej Brytanii wobec wszystkich pozostałych narodowości | 1,04% wobec 0,76% wobec 1,22% | Jin i in., Interspeech 2022 |
| Bazowy ResNet-34 (ćwierć kanałów) wytrenowany na mieszance kobiet do mężczyzn 9:1, EER kobiet wobec mężczyzn | 3,52% wobec 7,22% | Shen i in., ICASSP 2022 |
Najnowsze dostępne dane dla stosunków błędów w podgrupach: Hutiri i Ding, FAccT 2022. Niezależnie od tego Estevez i Ferrer stwierdzili, że wydajność była “wyraźnie obniżona” dla grup niedostatecznie reprezentowanych w treningu oraz że proste równoważenie danych zmniejszyło uprzedzenie bez szkody dla grup większościowych (Study on the Fairness of Speaker Verification Systems).
Podsumowanie: wskaźnik równych błędów w weryfikacji mówcy na VoxCeleb w liczbach
| Metryka | Wartość | Źródło |
|---|---|---|
| Najniższy EER na VoxCeleb1-O znaleziony w pracy źródłowej | 0,12% | Li, Cheng i Li, artykuł w2v-BERT 2.0, 2025 |
| Ten sam system na trudnej liście Vox1-H | 0,55% | Li, Cheng i Li, artykuł w2v-BERT 2.0, 2025 |
| SimAM-ResNet293 na VoxCeleb1-O z wstępnym treningiem na VoxBlink2 i kalibracją jakości, EER i minDCF | 0,17%, 0,006 | Lin i in., VoxBlink2, Interspeech 2024 |
| Mówcy VoxBlink2 wobec mówców VoxCeleb2 | 111.284 wobec 5.994 | Lin i in., VoxBlink2, Interspeech 2024 |
| EER i parametry ReDimNet2-B6 | 0,29%, 12,3M | Yakovlev i Okhotnikov, artykuł ReDimNet2, 2026 |
| EER ECAPA-TDNN z 1.024 kanałami | 0,87% | Desplanques i in., Interspeech 2020 |
| EER zwycięzcy ścieżki 2 VoxSRC na stałym zestawie testowym z 2019, 2019 wobec 2023 | 1,26% wobec 0,47% | Huh i in., retrospektywa VoxSRC, 2024 |
| EER ERes2NetV2 przy próbach pełnej długości wobec 2-sekundowych | 0,61% wobec 1,48% | Chen i in., artykuł ERes2NetV2, 2024 |
| EER bazowego ResNet34, czysty wobec szumu rozmów przy 0 dB | 1,98% wobec 9,30% | Gu i in., artykuł Noise-Conditioned Mixture-of-Experts, 2025 |
| EER systemu bazowego na Vox-H wobec Vox-CA20 (duże różnice wieku) | 1,939% wobec 10,419% | Qin i in., Interspeech 2022 |
| EER mężczyzn przy różnicy wieku 0 lat wobec 40 lat, korpus fiński | 5,12% wobec 51,61% | Singh i in., Interspeech 2023 |
| EER x-vectora wytrenowanego na VoxCeleb na SITW wobec CN-Celeb.E | 3,48% wobec 16,59% | Li i in., artykuł CN-Celeb, 2020 |
| EER ECAPA-TDNN na VoxCeleb1 wobec ewaluacji CN-Celeb, każdy wytrenowany na własnej domenie | 0,936% wobec 8,877% | Wang i in., artykuł DASA, 2023 |
| Pierwszy wiersz tabeli wyników SRE24-CTS, EER | 2,37% | Tabela wyników wyzwania NIST SRE24-CTS, 2024 |
| Rzeczywisty koszt HCCL SRE21, zbiór deweloperski wobec ewaluacyjnego | 0,170 wobec 0,560 | Li i in., system HCCL, Interspeech 2022 |
| Zbiór testowy VoxCeleb 1, udział kobiet wśród mówców wobec wypowiedzi | 38% wobec 29,5% | Hutiri i Ding, FAccT 2022 |
| Wskaźnik fałszywie pozytywnych indyjskich mówczyń wobec ogólnego wskaźnika | 13,0387 raza | Hutiri i Ding, FAccT 2022 |
| System z adwersaryjnym przeważaniem, EER mężczyzn wobec kobiet | 1,25% wobec 0,67% | Jin i in., Interspeech 2022 |
Metodologia i źródła
Każdą liczbę odczytano w pracy źródłowej, raporcie wyzwania lub na stronie NIST podczas tych badań. Wartości EER i kosztów cytujemy tak, jak drukuje je każde źródło. Stosunki i liczby błędnych decyzji to nasze własne obliczenia, z pokazanym rachunkiem. Nie używamy żadnych danych VoxBooster.
- Huh i in., The VoxCeleb Speaker Recognition Challenge: A Retrospective, 2024
- Nagrani, Chung i Zisserman, VoxCeleb: a large-scale speaker identification dataset, Interspeech 2017
- Chung, Nagrani i Zisserman, VoxCeleb2: Deep Speaker Recognition, Interspeech 2018
- Desplanques, Thienpondt i Demuynck, ECAPA-TDNN, Interspeech 2020
- Wang i in., artykuł o zestawie narzędzi WeSpeaker, 2022
- Lin i in., VoxBlink2, Interspeech 2024
- Li, Cheng i Li, w2v-BERT 2.0 i przycinanie strukturalne, 2025
- Yakovlev i Okhotnikov, ReDimNet2, 2026
- Zheng i in., system UNISOUND dla VoxSRC 2023
- Torgashov i in., system ID R&D dla VoxSRC 2023
- Du, Fang i Li, system ChinaTelecom dla VoxSRC 2023
- Chen i in., ERes2NetV2, 2024
- Gu i in., Noise-Conditioned Mixture-of-Experts Framework, 2025
- Kim i in., artykuł o augmentacji PAS, 2023
- Qin i in., Cross-Age Speaker Verification, Interspeech 2022
- Singh, Sahidullah i Kinnunen, Speaker Verification Across Ages, Interspeech 2023
- Li i in., CN-Celeb: multi-genre speaker recognition, 2020
- Wang i in., artykuł DASA, 2023
- Strona NIST Speaker Recognition Evaluation i tabela wyników wyzwania SRE24-CTS
- Greenberg i in., The 2024 NIST Speaker Recognition Evaluation, Interspeech 2025
- Singer i in., Analysis of the NIST 2024 Speaker Recognition Evaluation, Odyssey 2026
- Sadjadi i in., The 2021 NIST Speaker Recognition Evaluation, 2022
- Sadjadi i in., The 2019 NIST SRE CTS Challenge, Odyssey 2020
- Li i in., The HCCL System for the NIST SRE21, Interspeech 2022
- Hutiri i Ding, Bias in Automated Speaker Recognition, FAccT 2022
- Jin i in., Adversarial Reweighting for Speaker Verification Fairness, Interspeech 2022
- Shen i in., Group-adapted Fusion Network, ICASSP 2022
- Estevez i Ferrer, Study on the Fairness of Speaker Verification Systems Across Accent and Gender Groups
- Qu i in., Fair-Gate, 2026
- Uwaga o danych: rekordy VoxCeleb1-O nie są idealnie porównywalne, ponieważ niektóre prace używają oczyszczonej wersji protokołu, a niektóre dodają normalizację wyników lub kalibrację jakości. Sama wartość dla ECAPA-TDNN różni się między pracami: 0,87% w oryginale, 0,728% w WeSpeaker, 0,94% w tabeli ReDimNet2 i 1,12% w pracy Fair-Gate z 2026 roku. Autorzy w2v-BERT 2.0 podają 0,12%, podczas gdy tabela porównawcza ReDimNet2 wymienia 0,14% dla modelu w2v-BERT 2.0 wytrenowanego na VoxBlink2 plus VoxCeleb2, i nie udało nam się dokładnie uzgodnić tych dwóch wpisów. Podana w artykule VoxBlink2 redukcja EER o 43,4% nie zgadza się z jego tabelą (od 0,606% do 0,340% to 43,9%), więc jej nie cytujemy. Jego streszczenie drukuje też minDCF jako 0,006%, a tabela jako 0,006. Artykuł CN-Celeb podaje 15,52% we wstępie i 16,59% w tabeli dla CN-Celeb.E; używamy tabeli. Starsze wyniki tutaj (od 2017 do połowy 2023) są oznaczone jako najnowsze dostępne tam, gdzie nie ma nowszego odpowiednika. Wyniki liczbowe NIST z następnego cyklu oceny zmieniłyby najpierw sekcję 6. Wszystkie wartości EER dotyczą innych prawdziwych mówców jako oszustów, więc nic nie mówią o odporności na głosy syntetyczne.
Ostatnia aktualizacja: 31 października 2026 roku. Aktualizujemy to zestawienie kwartalnie, a kolejnej aktualizacji spodziewamy się, gdy NIST opublikuje wyniki liczbowe z następnej oceny rozpoznawania mówcy (Speaker Recognition Evaluation).