Kesalahan verifikasi pembicara pada uji VoxCeleb1 turun dari 8,8% pada 2017 (Nagrani dkk., makalah VoxCeleb 2017) menjadi 0,12% dalam makalah 2025 (Li, Cheng dan Li, makalah w2v-BERT 2.0 2025), penurunan 73 kali lipat (8,8 / 0,12). Verifikasi pembicara adalah pemeriksaan “apakah ini orang yang sama?”, dan tingkat kesalahan setara (EER) adalah skor standarnya. Rekor itu berasal dari daftar tetap ucapan selebritas yang diambil dari YouTube. Bidang yang sama melaporkan 9,30% ketika obrolan keramaian sekeras suara pembicara (Gu dkk., makalah Noise-Conditioned Mixture-of-Experts 2025) dan 10,419% ketika satu orang dibandingkan pada selisih usia yang besar (Qin dkk., Interspeech 2022). Kami mengagregasi data dari penyelenggara tantangan VoxSRC, NIST Speaker Recognition Evaluation, makalah Interspeech dan Odyssey, tim korpus VoxBlink2 dan CN-Celeb, serta riset keadilan FAccT. Untuk sisi komersial teknologi ini, lihat statistik biometrik suara kami, dan untuk masalah “siapa berbicara kapan” yang berdampingan dengannya, lihat rangkuman tingkat kesalahan diarisasi pembicara kami.
TL;DR
- EER VoxCeleb1-O terendah yang kami temukan dalam makalah primer: 0,12%, dari model dengan sekitar 600 juta parameter (Li, Cheng dan Li, makalah w2v-BERT 2.0 2025).
- Korpus dengan 111.284 pembicara membantu mendorong satu ResNet ke EER 0,17% dan minDCF 0,006 (Lin dkk., VoxBlink2, Interspeech 2024).
- ReDimNet2-B6 mencapai EER 0,29% dengan 12,3M parameter (Yakovlev dan Okhotnikov, makalah ReDimNet2 2026).
- EER juara pertama Jalur 2 pada set uji VoxSRC 2019 yang tetap turun dari 1,26% pada 2019 menjadi 0,47% pada 2023 (Huh dkk., retrospektif VoxSRC 2024).
- Percobaan 2 detik menaikkan ERes2NetV2 dari EER 0,61% menjadi 1,48% (Chen dkk., makalah ERes2NetV2 2024).
- Babble pada 0 dB menaikkan sistem acuan ResNet34 dari EER 1,98% menjadi 9,30% (Gu dkk. 2025).
- Pasangan dengan selisih usia besar menaikkan sistem acuan dari EER 1,939% menjadi 10,419% (Qin dkk., Interspeech 2022).
- Selisih 40 tahun membawa EER pria ke 51,61% dalam korpus Finlandia, melewati garis lempar koin 50% (Singh dkk., Interspeech 2023).
- Sistem x-vector yang dilatih pada VoxCeleb mencetak 3,48% pada SITW dan 16,59% pada CN-Celeb.E (Li dkk., makalah CN-Celeb 2020).
- Papan peringkat tantangan telepon SRE24 dipimpin pada EER 2,37% (papan peringkat NIST SRE24-CTS Challenge, 24 Oktober 2024).
- Wanita adalah 38% dari pembicara tetapi hanya 29,5% dari ujaran dalam set uji VoxCeleb 1 (Hutiri dan Ding, FAccT 2022).
1. Tolok Ukur: Apa yang Diukur EER dan Apa Isi VoxCeleb
Sistem verifikasi menerima dua rekaman, yang disebut “percobaan” (trial), lalu memutuskan apakah keduanya berasal dari pembicara yang sama. Menaikkan ambang penerimaan menolak lebih banyak pembicara asli, dan menurunkannya menerima lebih banyak penyamar. EER adalah titik tempat kedua tingkat kesalahan itu sama. Metrik pendampingnya, minDCF (biaya deteksi minimum), memberi bobot pada dua kesalahan yang sama untuk titik operasi yang dipilih, dan makin rendah juga makin baik. Tidak satu pun metrik mencakup suara sintetis atau suara yang diputar ulang: “penyamar” di sini hanyalah orang nyata lainnya.
Daftar uji klasiknya kecil: 37.720 percobaan dari 40 pembicara (Gu dkk., makalah Noise-Conditioned Mixture-of-Experts 2025). VoxCeleb1-O, nama untuk daftar itu, mudah dibandingkan saudara-saudaranya yang lebih sulit: kesalahan satu model menjadi empat kali lipat ketika dipindah dari Vox1-O ke Vox1-H (0,17% menjadi 0,68%). Sebaliknya, data pelatihan telah tumbuh sangat besar, dan bagian 3 menunjukkan mengapa hal itu lebih penting daripada kebanyakan perubahan arsitektur.
| Metrik | Nilai | Sumber |
|---|---|---|
| Ukuran VoxCeleb1: pembicara, ujaran, video, jam, kewarganegaraan | 1.251 / 153.516 / 22.496 / 352 / 36 | Chung dkk., makalah VoxCeleb2 2018 |
| Bagian pelatihan VoxCeleb2: pembicara, ujaran, jam, rata-rata detik per ujaran | 5.994 / 1.092.009 / 2.442 / 7,8 | Lin dkk., VoxBlink2, Interspeech 2024 |
| Ukuran VoxBlink2: pembicara, ujaran, jam, rata-rata detik per ujaran | 111.284 / 9.904.382 / 16.672 / 6,0 | Lin dkk., VoxBlink2, Interspeech 2024 |
| Ukuran CN-Celeb: pembicara, genre rekaman, jam di CN-Celeb1 plus CN-Celeb2 | 3.000 / 11 / 274 plus 1.090 | Li dkk., makalah CN-Celeb 2020 |
| Daftar uji VoxCeleb1-O: percobaan, pembicara | 37.720 / 40 | Gu dkk., makalah Noise-Conditioned Mixture-of-Experts 2025 |
| EER satu model pada Vox1-O (daftar mudah) berbanding Vox1-E (daftar diperluas) berbanding Vox1-H (daftar sulit) | 0,17% berbanding 0,37% berbanding 0,68% | Lin dkk., VoxBlink2, Interspeech 2024 |
Data terbaru yang tersedia untuk angka korpus asli: makalah VoxCeleb2, 2018.
2. Rekor Tantangan VoxSRC, 2019 hingga 2023
VoxCeleb Speaker Recognition Challenge berlangsung setiap tahun dari 2019 hingga 2023, dan pilihan desain terbaiknya adalah mempertahankan set uji 2019 di dalam setiap set uji berikutnya. Itu memberi bidang ini satu penggaris tetap. Pada penggaris itu, EER juara pertama Jalur 1 turun dari 1,42% pada 2019 menjadi 0,57% pada 2021, lalu berhenti turun. Penyelenggara mengatakan para pemenang berada di bawah 1% sejak 2020, “yang kami anggap sebagai kejenuhan kinerja”, dan set uji baru setiap tahun tetap lebih sulit: pemenang Jalur 1 mencetak 3,73%, 1,85%, 1,49%, dan 1,59% pada set mereka sendiri dari 2020 hingga 2023, seiring uji itu tumbuh dari 208.008 pasangan dan 745 pembicara pada 2019 menjadi 825.437 pasangan dan 2.532 pembicara pada 2023 (Huh dkk., retrospektif VoxSRC 2024).
Kejenuhan punya batas dasar yang terukur. Pada set 2019 itu, interval kepercayaan bootstrap 95% selebar 18,6% hingga 31,2% dari EER itu sendiri, sehingga selisih kecil antar pemenang bisa jadi hanya derau. Dari 232 pasangan yang salah dijawab oleh semua pemenang 2022 dan 2023, 16 adalah pasangan pembicara yang sama, dan 12 dari 16 itu adalah kesalahan label dalam daftar uji. Kasus sulit juga nyata: pemenang Jalur 1 2022 mencetak 0,90% pada pasangan standar dan 2,07% ketika setiap pasangan adalah pasangan sulit (pembicara yang sama pada usia berbeda, atau pembicara berbeda di lingkungan rekaman yang sama).
| Metrik | Nilai | Sumber |
|---|---|---|
| EER juara pertama Jalur 1 (data pelatihan tertutup) pada set uji 2019 yang tetap, 2019 / 2020 / 2021 / 2022 / 2023 | 1,42% / 0,83% / 0,57% / 0,90% / 0,58% | Huh dkk., retrospektif VoxSRC 2024 |
| EER juara pertama Jalur 2 (data pelatihan terbuka) pada set uji 2019 yang tetap, 2019 / 2020 / 2021 / 2022 / 2023 | 1,26% / 0,80% / 0,57% / 0,69% / 0,47% | Huh dkk., retrospektif VoxSRC 2024 |
| Peserta UNISOUND 2023, pertama di Jalur 1 menurut laporan tim: EER, minDCF pada set uji 2023 | 1,5880%, 0,0855 | Zheng dkk., laporan sistem UNISOUND 2023 |
| Peserta ID R&D 2023, pertama di papan peringkat publik Jalur 2: EER, minDCF pada P_target 0,05 | 1,30%, 0,0762 | Torgashov dkk., laporan sistem ID R&D 2023 |
| Peserta fusi ChinaTelecom 2023 Jalur 1, dilaporkan sendiri: EER, minDCF | 1,980%, 0,1066 | Du dkk., laporan sistem ChinaTelecom 2023 |
Konteks: edisi terakhir digelar pada 2023, sehingga data terbaru yang tersedia untuk tantangan ini adalah retrospektif 2024. EER sering bukan metrik pemeringkatan, itulah sebabnya tim peringkat kedua kadang menunjukkan EER lebih rendah daripada sang pemenang.
3. Rekor VoxCeleb1-O, dari 8,8% ke 0,12%
Jumlah percobaan membuat peningkatan ini konkret. Kedua tingkat kesalahan sama dengan EER pada titik operasi, sehingga total kesalahan kira-kira EER dikali jumlah percobaan: 8,8% dari 37.720 kira-kira 3.319 keputusan keliru, dan 0,12% kira-kira 45. Sistem 2025 membuat sekitar 45 kesalahan, sedangkan acuan 2017 membuat sekitar 3.319 (Li, Cheng dan Li, makalah w2v-BERT 2.0 2025). Pada level itu, segelintir percobaan yang salah label dapat menentukan sebuah rekor.
Data kini menggerakkan skor lebih banyak daripada arsitektur. W2V-BERT 2.0 tercatat 0,38% ketika dilatih hanya dengan VoxCeleb2 dan 0,14% dengan tambahan VoxBlink2, model 587M parameter yang sama pada kedua baris (Yakovlev dan Okhotnikov, makalah ReDimNet2 2026). Resep pelatihan juga berpengaruh: ResNet34 turun dari 1,31% pada aslinya yang dikutip menjadi 0,723% dalam implementasi ulang toolkit WeSpeaker. Embedding yang sama ini juga berfungsi sebagai juri dalam riset konversi suara, yang dikaji oleh rangkuman kemiripan pembicara pada konversi suara kami.
| Metrik | Nilai | Sumber |
|---|---|---|
| 2017: acuan i-vector plus PLDA pada uji VoxCeleb1, EER dan biaya deteksi minimum | 8,8%, 0,73 | Nagrani dkk., makalah VoxCeleb 2017 |
| 2018: ResNet-50 yang dilatih pada VoxCeleb2, EER dan biaya deteksi minimum | 3,95%, 0,429 | Chung dkk., makalah VoxCeleb2 2018 |
| 2020: ECAPA-TDNN dengan 1.024 kanal, EER dan minDCF | 0,87%, 0,1066 | Desplanques dkk., Interspeech 2020 |
| 2022: ResNet293 dalam toolkit WeSpeaker, EER dan minDCF | 0,447%, 0,043 | Wang dkk., makalah WeSpeaker 2022 |
| 2024: SimAM-ResNet293 yang dilatih awal pada VoxBlink2, dengan kalibrasi kualitas, EER dan minDCF | 0,17%, 0,006 | Lin dkk., VoxBlink2, Interspeech 2024 |
| 2025: w2v-BERT 2.0 pada Vox1-O berbanding Vox1-H, EER | 0,12% berbanding 0,55% | Li, Cheng dan Li, makalah w2v-BERT 2.0 2025 |
| 2026: ReDimNet2-B6, EER, parameter, GMAC (miliar operasi perkalian-akumulasi) untuk input 2 detik | 0,29%, 12,3M, 13,05 | Yakovlev dan Okhotnikov, makalah ReDimNet2 2026 |
| 2026: ReDimNet2-B0, model terkecil dalam keluarganya, EER dan parameter | 1,04%, 1,1M | Yakovlev dan Okhotnikov, makalah ReDimNet2 2026 |
Catatan pencilan: penulis w2v-BERT 2.0 melaporkan bahwa pemangkasan memotong ukuran model sebesar 80% dengan penurunan EER hanya 0,04%, sehingga model terbesar mungkin tidak perlu tetap besar.
4. Klip Pendek dan Audio Berisik
Memotong klip uji menjadi 2 detik menaikkan kesalahan model terdepan lebih dari dua kali lipat, dari 0,61% menjadi 1,48% (Chen dkk., makalah ERes2NetV2 2024). Itu penting bagi produk apa pun yang dibangun di atas frasa lisan singkat, karena angka utama di bawah 1% hanya berlaku untuk klip berdurasi penuh. Kebalikannya juga berlaku: pada pasangan VoxSRC yang lebih panjang dari 8 detik, pemenang Jalur 2 2023 nyaris kehabisan kesalahan.
Kebisingan mengikuti kurva yang curam, bukan garis lurus. “Babble” berarti obrolan keramaian di latar belakang, dan SNR (rasio sinyal terhadap derau) mengukur suara terhadap kebisingan, sehingga 0 dB berarti keduanya sama keras. Sistem acuan ResNet34 nyaris tidak bergeser pada 20 dB, lalu kesalahannya naik lebih dari empat kali lipat pada 0 dB (Gu dkk., makalah Noise-Conditioned Mixture-of-Experts 2025). Obrolan keramaian lebih merusak daripada musik, kemungkinan karena itu jenis sinyal yang sama dengan yang dilatih untuk diidentifikasi oleh model.
| Metrik | Nilai | Sumber |
|---|---|---|
| EER ERes2NetV2 pada VoxCeleb1-O: percobaan durasi penuh berbanding 3 detik berbanding 2 detik | 0,61% berbanding 0,98% berbanding 1,48% | Chen dkk., makalah ERes2NetV2 2024 |
| EER ECAPA-TDNN pada VoxCeleb1-O: percobaan 3 detik berbanding 2 detik | 1,27% berbanding 1,95% | Chen dkk., makalah ERes2NetV2 2024 |
| EER ResNet34 pada VoxCeleb1-O: percobaan 3 detik berbanding 2 detik | 1,47% berbanding 2,12% | Chen dkk., makalah ERes2NetV2 2024 |
| EER pemenang Jalur 2 VoxSRC 2023 pada set uji 2019: semua pasangan berbanding pasangan di atas 6 detik berbanding pasangan di atas 8 detik | 0,47% berbanding 0,26% berbanding 0,03% | Huh dkk., retrospektif VoxSRC 2024 |
| Segmen uji SRE24 tempat sistem paling kesulitan, dan titik di atasnya peningkatan mengecil | 4,5 hingga 13 detik; peningkatan lebih kecil setelah 22,6 detik | Singer dkk., Odyssey 2026 |
| EER sistem acuan ResNet34 pada uji VoxCeleb1: bersih berbanding babble pada 20 dB berbanding babble pada 0 dB | 1,98% berbanding 2,18% berbanding 9,30% | Gu dkk., makalah Noise-Conditioned Mixture-of-Experts 2025 |
| Sistem acuan yang sama pada 0 dB: musik berbanding derau umum | 5,82% berbanding 7,3% | Gu dkk., makalah Noise-Conditioned Mixture-of-Experts 2025 |
| Sistem acuan yang sama pada 0 dB dengan derau Nonspeech100, dan model berkondisi derau pada babble 0 dB | 10,17%; 8,10% | Gu dkk., makalah Noise-Conditioned Mixture-of-Experts 2025 |
Konteks: hasil kebisingan tidak dapat dipindahkan antar makalah. Studi University of Seoul mengukur ECAPA-TDNN pada 3,46% dalam kondisi bersih dan 13,01% dengan babble pada 0 dB (Kim dkk., makalah PAS 2023), dengan pengaturan pelatihan yang berbeda, jadi bandingkan kenaikan di dalam setiap studi, bukan nilai absolutnya.
5. Usia, Korpus, dan Ketidakcocokan Domain
Rekor di VoxCeleb1-O hanya sedikit bercerita tentang suara yang direkam berselang bertahun-tahun atau di lingkungan lain. Memilih pasangan pembicara yang sama dengan selisih usia besar menaikkan sistem acuan dari EER 1,939% menjadi 10,419% (Qin dkk., Interspeech 2022). Korpus longitudinal Finlandia menunjukkan ujung panjang kurva itu: pada selisih 40 tahun, EER pria sebesar 51,61% lebih buruk daripada menebak (Singh dkk., Interspeech 2023). Korpus itu kecil, dengan 109 pembicara setelah praproses, dan usia di VoxCeleb diperkirakan, bukan tercatat, jadi bacalah arahnya dengan keyakinan lebih besar daripada nilai pastinya.
Pergeseran domain adalah risiko komersial yang lebih besar, karena datang diam-diam. X-vector yang dilatih pada VoxCeleb dalam makalah CN-Celeb mengalami kenaikan kesalahan hampir lima kali lipat pada audio multi-genre Tiongkok (16,59 / 3,48 = 4,8). Pelatihan ulang pada domain baru membantu tetapi tidak menutup kesenjangan: resep ECAPA-TDNN yang sama masih menunjukkan kesalahan lebih dari sembilan kali lipat di CN-Celeb dibandingkan di VoxCeleb (8,877 / 0,936 = 9,5).
| Metrik | Nilai | Sumber |
|---|---|---|
| EER sistem acuan pada uji Vox-H berbanding Vox-CA20, uji pasangan dengan selisih usia besar | 1,939% berbanding 10,419% | Qin dkk., Interspeech 2022 |
| EER ECAPA-TDNN pada VoxCeleb1-Age-Enriched (AS) pada selisih usia 3 / 6 / 9 tahun, pembicara pria | 2,31% / 2,84% / 3,63% | Singh dkk., Interspeech 2023 |
| Uji yang sama pada selisih usia 3 / 6 / 9 tahun, pembicara wanita | 2,70% / 3,12% / 3,87% | Singh dkk., Interspeech 2023 |
| EER korpus longitudinal Finlandia (LCFSH) pada selisih usia 0 / 20 / 40 tahun, pembicara pria | 5,12% / 18,68% / 51,61% | Singh dkk., Interspeech 2023 |
| Korpus yang sama pada selisih usia 0 / 20 / 40 tahun, pembicara wanita | 10,04% / 21,67% / 40,61% | Singh dkk., Interspeech 2023 |
| EER x-vector yang dilatih pada VoxCeleb pada set uji SITW berbanding CN-Celeb.E (set evaluasi dari CN-Celeb) | 3,48% berbanding 16,59% | Li dkk., makalah CN-Celeb 2020 |
| ECAPA-TDNN dengan fungsi kerugian AM-Softmax: uji VoxCeleb1 berbanding evaluasi CN-Celeb, masing-masing dilatih pada domainnya sendiri | 0,936% berbanding 8,877% | Wang dkk., makalah DASA 2023 |
| Jalur adaptasi domain VoxSRC 2023 pada CNCeleb: acuan berbanding juara pertama, EER | 13,11% berbanding 4,95% | Huh dkk., retrospektif VoxSRC 2024 |
Data terbaru yang tersedia untuk penuaan jangka panjang: Singh dkk., Interspeech 2023.
6. NIST SRE: Tolok Ukur yang Lebih Sulit tanpa Angka Utama
NIST telah menjalankan evaluasi ini sejak 1996, dan bentuknya sama sekali tidak mirip wawancara YouTube. SRE24 memakai korpus baru yang dikumpulkan di luar Amerika Utara, ucapan telepon dan audio dari video, serta bahasa Arab Tunisia, Inggris, dan Prancis. Pemimpin tantangan telepon SRE24 berada di EER 2,37%, sekitar 20 kali rekor VoxCeleb1-O (2,37 / 0,12 = 19,8) (situs NIST SRE24), meskipun kedua uji itu terlalu berbeda sehingga rasio tersebut tidak mengukur apa pun selain tingkat kesulitan.
Analisis atas 91 sistem SRE24 yang diserahkan menemukan bahwa percobaan telepon yang cocok secara konsisten mengungguli percobaan audio-dari-video yang cocok, dan jenis sumber lebih berpengaruh daripada ketidakcocokan bahasa. Tiga segmen pendaftaran umumnya mengalahkan satu segmen, bahkan dengan total ucapan yang sama, dan sebagian besar sistem menunjukkan perbedaan jenis kelamin yang terbatas pada percobaan sesama jenis kelamin (Singer dkk., Odyssey 2026). Data pelatihan tanpa batasan memberi peningkatan signifikan, dan model tunggal bersaing dengan fusi (Greenberg dkk., Interspeech 2025). Angka dalam tabel di bawah menunjukkan pelajaran lainnya: sistem yang tidak dapat menetapkan ambangnya sendiri belum siap, sebaik apa pun biaya minimumnya.
| Metrik | Nilai | Sumber |
|---|---|---|
| Tantangan telepon SRE19: organisasi, tim, keluaran sistem yang valid | 67 / 51 / 1.347 | Sadjadi dkk., NIST SRE19 CTS Challenge, Odyssey 2020 |
| Uji audio SRE21: percobaan target berbanding percobaan non-target | 132.038 berbanding 5.899.731 | Sadjadi dkk., NIST SRE21 2022 |
| SRE24: tim, organisasi, sistem yang diserahkan | 11 / 26 / 91 | Singer dkk., Odyssey 2026 |
| Baris pertama papan peringkat SRE24-CTS pada 24 Oktober 2024: EER, biaya minimum, biaya aktual | 2,37%, 0,102, 0,106 | Papan peringkat NIST SRE24-CTS Challenge 2024 |
| Peserta lain di papan peringkat itu: EER, biaya minimum, biaya aktual (sistem sepele mendapat 1) | 3,00%, 0,080, 1,000 | Papan peringkat NIST SRE24-CTS Challenge 2024 |
| Sistem SRE21 yang diserahkan HCCL, set pengembangan berbanding set evaluasi: EER | 2,27% berbanding 3,05% | Li dkk., sistem HCCL, Interspeech 2022 |
| Sistem yang sama, set pengembangan berbanding set evaluasi: biaya aktual | 0,170 berbanding 0,560 | Li dkk., sistem HCCL, Interspeech 2022 |
Konteks: makalah gambaran umum dan analisis SRE24 menyajikan hasil dalam bentuk grafik, tanpa nilai EER tercetak, sehingga papan peringkat menjadi jendela numerik ke siklus ini. Data terbaru yang tersedia untuk hasil numerik resmi: papan peringkat NIST SRE24-CTS Challenge, 2024.
7. Keadilan: Siapa yang Diukur oleh Tolok Ukur
Satu skor tolok ukur dapat menyembunyikan tingkat positif palsu satu kelompok yang mencapai 13 kali tingkat keseluruhan. Pada ambang biaya minimum keseluruhan, pembicara wanita India memiliki tingkat positif palsu 13,0387 kali tingkat keseluruhan dalam studi atas alur kerja VoxCeleb Speaker Recognition Challenge (Hutiri dan Ding, FAccT 2022). Komposisi data membantu menjelaskannya: set uji VoxCeleb 1 terdiri dari 62,5% pembicara AS, dan wanita menyumbang 38% pembicara tetapi 29,5% ujaran.
Arah kesenjangan jenis kelamin tidak tetap, dan itulah temuan yang berguna. Pemenang VoxSRC lebih baik pada pria, studi Amazon lebih baik pada wanita, dan eksperimen terkontrol menunjukkan bahwa komposisi data pelatihan dapat menciptakan kesenjangan tersendiri. Pola yang sama muncul pada perangkat ucapan tingkat kata, seperti yang didokumentasikan rangkuman bias aksen pengenalan ucapan kami.
| Metrik | Nilai | Sumber |
|---|---|---|
| Set uji VoxCeleb 1: porsi AS dari pembicara; porsi wanita dari pembicara; porsi wanita dari ujaran | 62,5%; 38%; 29,5% | Hutiri dan Ding, FAccT 2022 |
| Set pelatihan VoxCeleb 2: porsi pria; porsi AS | 61%; 29% | Hutiri dan Ding, FAccT 2022 |
| Pembicara wanita India berbanding tingkat keseluruhan: rasio positif palsu; rasio negatif palsu | 13,0387 kali; 1,2497 kali | Hutiri dan Ding, FAccT 2022 |
| Pemenang VoxSRC 2023 pada set uji 2019, EER pria berbanding wanita: Jalur 1; Jalur 2 | 0,57% berbanding 0,69%; 0,43% berbanding 0,59% | Huh dkk., retrospektif VoxSRC 2024 |
| Sistem pembobotan ulang adversarial, EER pria berbanding wanita | 1,25% berbanding 0,67% | Jin dkk., Interspeech 2022 |
| Studi yang sama, selisih antar kelompok jenis kelamin sebelum berbanding sesudah pembobotan ulang | 0,70% berbanding 0,58% | Jin dkk., Interspeech 2022 |
| Studi yang sama, EER untuk AS berbanding Inggris berbanding semua kewarganegaraan lain | 1,04% berbanding 0,76% berbanding 1,22% | Jin dkk., Interspeech 2022 |
| Sistem acuan ResNet-34 (seperempat kanal) yang dilatih pada campuran wanita berbanding pria 9:1, EER wanita berbanding pria | 3,52% berbanding 7,22% | Shen dkk., ICASSP 2022 |
Data terbaru yang tersedia untuk rasio kesalahan subkelompok: Hutiri dan Ding, FAccT 2022. Secara terpisah, Estevez dan Ferrer menemukan kinerja “menurun secara nyata” untuk kelompok yang kurang terwakili dalam pelatihan, dan bahwa penyeimbangan data sederhana mengurangi bias tanpa merugikan kelompok mayoritas (Study on the Fairness of Speaker Verification Systems).
Ringkasan: Tingkat Kesalahan Setara VoxCeleb pada Verifikasi Pembicara dalam Angka
| Metrik | Nilai | Sumber |
|---|---|---|
| EER VoxCeleb1-O terendah yang ditemukan dalam makalah primer | 0,12% | Li, Cheng dan Li, makalah w2v-BERT 2.0 2025 |
| Sistem yang sama pada daftar sulit Vox1-H | 0,55% | Li, Cheng dan Li, makalah w2v-BERT 2.0 2025 |
| SimAM-ResNet293 pada VoxCeleb1-O dengan pelatihan awal VoxBlink2 dan kalibrasi kualitas, EER dan minDCF | 0,17%, 0,006 | Lin dkk., VoxBlink2, Interspeech 2024 |
| Pembicara VoxBlink2 berbanding pembicara VoxCeleb2 | 111.284 berbanding 5.994 | Lin dkk., VoxBlink2, Interspeech 2024 |
| EER dan parameter ReDimNet2-B6 | 0,29%, 12,3M | Yakovlev dan Okhotnikov, makalah ReDimNet2 2026 |
| ECAPA-TDNN dengan 1.024 kanal, EER | 0,87% | Desplanques dkk., Interspeech 2020 |
| EER juara pertama Jalur 2 VoxSRC pada set uji 2019 yang tetap, 2019 berbanding 2023 | 1,26% berbanding 0,47% | Huh dkk., retrospektif VoxSRC 2024 |
| EER ERes2NetV2 pada percobaan durasi penuh berbanding 2 detik | 0,61% berbanding 1,48% | Chen dkk., makalah ERes2NetV2 2024 |
| EER sistem acuan ResNet34, bersih berbanding babble pada 0 dB | 1,98% berbanding 9,30% | Gu dkk., makalah Noise-Conditioned Mixture-of-Experts 2025 |
| EER sistem acuan pada Vox-H berbanding Vox-CA20 (selisih usia besar) | 1,939% berbanding 10,419% | Qin dkk., Interspeech 2022 |
| EER pria pada selisih usia 0 tahun berbanding 40 tahun, korpus Finlandia | 5,12% berbanding 51,61% | Singh dkk., Interspeech 2023 |
| EER x-vector yang dilatih pada VoxCeleb di SITW berbanding CN-Celeb.E | 3,48% berbanding 16,59% | Li dkk., makalah CN-Celeb 2020 |
| EER ECAPA-TDNN pada VoxCeleb1 berbanding evaluasi CN-Celeb, masing-masing dilatih pada domainnya sendiri | 0,936% berbanding 8,877% | Wang dkk., makalah DASA 2023 |
| Baris pertama papan peringkat SRE24-CTS, EER | 2,37% | Papan peringkat NIST SRE24-CTS Challenge 2024 |
| Biaya aktual HCCL SRE21, set pengembangan berbanding set evaluasi | 0,170 berbanding 0,560 | Li dkk., sistem HCCL, Interspeech 2022 |
| Set uji VoxCeleb 1, porsi wanita dari pembicara berbanding ujaran | 38% berbanding 29,5% | Hutiri dan Ding, FAccT 2022 |
| Tingkat positif palsu pembicara wanita India berbanding tingkat keseluruhan | 13,0387 kali | Hutiri dan Ding, FAccT 2022 |
| Sistem pembobotan ulang adversarial, EER pria berbanding wanita | 1,25% berbanding 0,67% | Jin dkk., Interspeech 2022 |
Metodologi dan Sumber
Setiap angka dibaca dalam makalah primer, laporan tantangan, atau halaman NIST selama riset ini. Angka EER dan biaya dikutip sebagaimana dicetak oleh tiap sumber. Rasio dan jumlah keputusan keliru adalah hitungan kami sendiri, dengan perhitungan ditampilkan. Tidak ada data VoxBooster yang digunakan.
- Huh dkk., The VoxCeleb Speaker Recognition Challenge: A Retrospective, 2024
- Nagrani, Chung dan Zisserman, VoxCeleb: a large-scale speaker identification dataset, Interspeech 2017
- Chung, Nagrani dan Zisserman, VoxCeleb2: Deep Speaker Recognition, Interspeech 2018
- Desplanques, Thienpondt dan Demuynck, ECAPA-TDNN, Interspeech 2020
- Wang dkk., makalah toolkit WeSpeaker, 2022
- Lin dkk., VoxBlink2, Interspeech 2024
- Li, Cheng dan Li, w2v-BERT 2.0 dan pemangkasan terstruktur, 2025
- Yakovlev dan Okhotnikov, ReDimNet2, 2026
- Zheng dkk., sistem UNISOUND untuk VoxSRC 2023
- Torgashov dkk., sistem ID R&D untuk VoxSRC 2023
- Du, Fang dan Li, sistem ChinaTelecom untuk VoxSRC 2023
- Chen dkk., ERes2NetV2, 2024
- Gu dkk., Noise-Conditioned Mixture-of-Experts Framework, 2025
- Kim dkk., makalah augmentasi PAS, 2023
- Qin dkk., Cross-Age Speaker Verification, Interspeech 2022
- Singh, Sahidullah dan Kinnunen, Speaker Verification Across Ages, Interspeech 2023
- Li dkk., CN-Celeb: multi-genre speaker recognition, 2020
- Wang dkk., makalah DASA, 2023
- Situs NIST Speaker Recognition Evaluation dan papan peringkat SRE24-CTS Challenge
- Greenberg dkk., The 2024 NIST Speaker Recognition Evaluation, Interspeech 2025
- Singer dkk., Analysis of the NIST 2024 Speaker Recognition Evaluation, Odyssey 2026
- Sadjadi dkk., The 2021 NIST Speaker Recognition Evaluation, 2022
- Sadjadi dkk., The 2019 NIST SRE CTS Challenge, Odyssey 2020
- Li dkk., The HCCL System for the NIST SRE21, Interspeech 2022
- Hutiri dan Ding, Bias in Automated Speaker Recognition, FAccT 2022
- Jin dkk., Adversarial Reweighting for Speaker Verification Fairness, Interspeech 2022
- Shen dkk., Group-adapted Fusion Network, ICASSP 2022
- Estevez dan Ferrer, Study on the Fairness of Speaker Verification Systems Across Accent and Gender Groups
- Qu dkk., Fair-Gate, 2026
- Catatan data: rekor VoxCeleb1-O tidak sepenuhnya sebanding, karena sebagian makalah memakai versi protokol yang sudah dibersihkan, dan sebagian menambahkan normalisasi skor atau kalibrasi kualitas. Angka ECAPA-TDNN saja berbeda antar makalah: 0,87% pada aslinya, 0,728% di WeSpeaker, 0,94% di tabel ReDimNet2, dan 1,12% di makalah Fair-Gate 2026. Penulis w2v-BERT 2.0 melaporkan 0,12%, sedangkan tabel perbandingan ReDimNet2 mencantumkan 0,14% untuk model w2v-BERT 2.0 yang dilatih dengan VoxBlink2 plus VoxCeleb2, dan kami tidak dapat mencocokkan kedua entri itu secara persis. Penurunan EER sebesar 43,4% yang dinyatakan makalah VoxBlink2 tidak cocok dengan tabelnya (0,606% menjadi 0,340% adalah 43,9%), jadi kami tidak mengutipnya. Abstraknya juga mencetak minDCF sebagai 0,006%, padahal tabelnya mencetak 0,006. Makalah CN-Celeb memberi 15,52% dalam pendahuluannya dan 16,59% dalam tabelnya untuk CN-Celeb.E; kami memakai tabel. Hasil yang lebih lama di sini (2017 hingga pertengahan 2023) ditandai sebagai data terbaru yang tersedia jika tidak ada padanan yang lebih baru. Hasil NIST untuk siklus evaluasi berikutnya akan mengubah bagian 6 lebih dulu. Semua nilai EER di sini menganggap pembicara nyata lainnya sebagai penyamar, sehingga tidak mengatakan apa pun tentang ketahanan terhadap suara sintetis.
Terakhir diperbarui: 31 Oktober 2026. Kami memperbarui rangkuman ini setiap kuartal, dan pembaruan berikutnya diperkirakan terjadi ketika NIST mempublikasikan hasil numerik dari Speaker Recognition Evaluation berikutnya.