VoxCeleb1 테스트에서 화자 검증 오류는 2017년 8.8%(Nagrani 외, VoxCeleb 논문, 2017)에서 2025년 논문의 0.12%(Li, Cheng, Li, w2v-BERT 2.0 논문, 2025)로, 73분의 1 수준으로 줄었다 (8.8 / 0.12). 화자 검증은 “같은 사람인가?”를 확인하는 작업이며, 동일 오류율(EER)이 그 표준 점수다. 이 기록은 YouTube에서 가져온 유명인 음성의 고정된 목록에서 나온 것이다. 같은 분야에서는 군중 대화가 목소리만큼 클 때 9.30% (Gu 외, Noise-Conditioned Mixture-of-Experts 논문, 2025), 한 사람을 큰 나이 차이로 비교할 때 10.419% (Qin 외, Interspeech 2022)가 보고된다. 저희는 VoxSRC 챌린지 주최 측, NIST 화자 인식 평가, Interspeech와 Odyssey 논문, VoxBlink2와 CN-Celeb 코퍼스 팀, FAccT 공정성 연구의 데이터를 종합했다. 이 기술의 상업적 측면은 저희 음성 생체인식 통계를, 바로 옆에 있는 “누가 언제 말했는가” 문제는 저희 화자 분리 오류율 정리를 참고하세요.
요약
- 1차 논문에서 확인한 VoxCeleb1-O 최저 EER: 0.12%, 약 600백만 개의 파라미터를 가진 모델의 결과 (Li, Cheng, Li, w2v-BERT 2.0 논문, 2025).
- 111,284명의 화자를 담은 코퍼스가 단일 ResNet을 EER 0.17%, minDCF 0.006으로 끌어올리는 데 기여했다 (Lin 외, VoxBlink2, Interspeech 2024).
- ReDimNet2-B6는 12.3M 파라미터로 EER 0.29%에 도달한다 (Yakovlev와 Okhotnikov, ReDimNet2 논문, 2026).
- 2019년 VoxSRC 고정 테스트 세트에서 트랙 2 1위의 EER은 2019년 1.26%에서 2023년 0.47%로 떨어졌다 (Huh 외, VoxSRC 회고, 2024).
- 2초 시행은 ERes2NetV2의 EER을 0.61%에서 1.48%로 높인다 (Chen 외, ERes2NetV2 논문, 2024).
- 0 dB의 배블 잡음은 기준 ResNet34의 EER을 1.98%에서 9.30%로 높인다 (Gu 외, 2025).
- 나이 차이가 큰 쌍은 기준 시스템의 EER을 1.939%에서 10.419%로 높인다 (Qin 외, Interspeech 2022).
- 핀란드 코퍼스에서 40년의 나이 차이는 남성 EER을 51.61%로 끌어올려, 동전 던지기 기준선인 50%를 넘었다 (Singh 외, Interspeech 2023).
- VoxCeleb으로 학습한 x-vector 시스템은 SITW에서 3.48%, CN-Celeb.E에서 16.59%를 기록했다 (Li 외, CN-Celeb 논문, 2020).
- SRE24 전화 챌린지 리더보드의 선두는 EER 2.37%였다 (NIST SRE24-CTS 챌린지 리더보드, 2024년 10월 24일).
- VoxCeleb 1 테스트 세트에서 여성은 화자의 38%였지만 발화의 29.5%였다 (Hutiri와 Ding, FAccT 2022).
1. 잣대: EER이 재는 것과 VoxCeleb의 구성
검증 시스템은 “시행”(trial)이라 부르는 두 개의 녹음을 받아 같은 화자의 것인지 판정한다. 수락 임계값을 올리면 진짜 화자를 더 많이 거부하고, 내리면 사칭자를 더 많이 받아들인다. EER은 그 두 오류율이 일치하는 지점이다. 보조 지표인 minDCF(최소 탐지 비용)는 선택한 동작점에서 같은 두 오류에 가중치를 매기며, 마찬가지로 낮을수록 좋다. 두 지표 모두 합성 음성이나 재생 음성은 다루지 않는다. 여기서 “사칭자”는 단순히 다른 실제 사람이다.
고전적인 테스트 목록은 작다. 40명의 화자로 이루어진 37,720개 시행이다 (Gu 외, Noise-Conditioned Mixture-of-Experts 논문, 2025). 그 목록의 이름인 VoxCeleb1-O는 더 어려운 형제 목록에 비하면 쉽다. 한 모델의 오류는 Vox1-O에서 Vox1-H로 옮기면 네 배가 된다 (0.17%에서 0.68%). 반면 학습 데이터는 엄청나게 늘었으며, 이것이 대부분의 아키텍처 변경보다 더 중요한 이유를 3절에서 보여준다.
| 지표 | 값 | 출처 |
|---|---|---|
| VoxCeleb1 규모: 화자, 발화, 동영상, 시간, 국적 | 1,251 / 153,516 / 22,496 / 352 / 36 | Chung 외, VoxCeleb2 논문, 2018 |
| VoxCeleb2 학습 부분: 화자, 발화, 시간, 발화당 평균 초 | 5,994 / 1,092,009 / 2,442 / 7.8 | Lin 외, VoxBlink2, Interspeech 2024 |
| VoxBlink2 규모: 화자, 발화, 시간, 발화당 평균 초 | 111,284 / 9,904,382 / 16,672 / 6.0 | Lin 외, VoxBlink2, Interspeech 2024 |
| CN-Celeb 규모: 화자, 녹음 장르, CN-Celeb1과 CN-Celeb2의 시간 | 3,000 / 11 / 274 및 1,090 | Li 외, CN-Celeb 논문, 2020 |
| VoxCeleb1-O 테스트 목록: 시행, 화자 | 37,720 / 40 | Gu 외, Noise-Conditioned Mixture-of-Experts 논문, 2025 |
| 한 모델의 EER, Vox1-O(쉬운 목록) 대 Vox1-E(확장 목록) 대 Vox1-H(어려운 목록) | 0.17% 대 0.37% 대 0.68% | Lin 외, VoxBlink2, Interspeech 2024 |
원본 코퍼스 수치에 대해 입수 가능한 최신 데이터: VoxCeleb2 논문, 2018.
2. VoxSRC 챌린지 기록, 2019년부터 2023년까지
VoxCeleb 화자 인식 챌린지는 2019년부터 2023년까지 매년 열렸으며, 가장 훌륭한 설계 결정은 2019년 테스트 세트를 이후 모든 테스트 세트 안에 유지한 것이었다. 덕분에 이 분야에는 고정된 하나의 잣대가 생겼다. 그 잣대에서 트랙 1 1위의 EER은 2019년 1.42%에서 2021년 0.57%까지 떨어졌고, 그 후 더는 내려가지 않았다. 주최 측은 우승 시스템이 2020년부터 1% 아래에 있었다며 “우리는 이를 성능 포화로 본다”고 말하며, 매년의 새 테스트 세트는 계속 더 어려웠다. 트랙 1 우승 시스템은 2020년부터 2023년까지 자체 세트에서 각각 3.73%, 1.85%, 1.49%, 1.59%를 기록했고, 테스트는 2019년의 208,008쌍·화자 745명에서 2023년의 825,437쌍·화자 2,532명으로 커졌다 (Huh 외, VoxSRC 회고, 2024).
포화에는 측정 가능한 바닥이 있다. 그 2019년 세트에서 95% 부트스트랩 신뢰구간의 폭은 EER 자체의 18.6%에서 31.2%였으므로, 우승 시스템 간의 작은 차이는 잡음일 수 있다. 2022년과 2023년의 우승 시스템이 모두 틀린 232쌍 중 16쌍은 같은 화자의 쌍이었고, 그 16쌍 중 12쌍은 테스트 목록의 라벨 오류였다. 어려운 사례도 실제로 존재한다. 2022년 트랙 1 우승 시스템은 표준 쌍에서 0.90%, 모든 쌍이 어려운 쌍일 때(다른 나이의 같은 화자, 또는 같은 녹음 환경의 다른 화자) 2.07%를 기록했다.
| 지표 | 값 | 출처 |
|---|---|---|
| 2019년 고정 테스트 세트에서 트랙 1(폐쇄형 학습 데이터) 1위의 EER, 2019 / 2020 / 2021 / 2022 / 2023년 | 1.42% / 0.83% / 0.57% / 0.90% / 0.58% | Huh 외, VoxSRC 회고, 2024 |
| 2019년 고정 테스트 세트에서 트랙 2(개방형 학습 데이터) 1위의 EER, 2019 / 2020 / 2021 / 2022 / 2023년 | 1.26% / 0.80% / 0.57% / 0.69% / 0.47% | Huh 외, VoxSRC 회고, 2024 |
| UNISOUND의 2023년 제출, 팀 보고에 따른 트랙 1 1위: 2023년 테스트 세트의 EER, minDCF | 1.5880%, 0.0855 | Zheng 외, UNISOUND 시스템 보고서, 2023 |
| ID R&D의 2023년 제출, 트랙 2 공개 리더보드 1위: P_target 0.05에서의 EER, minDCF | 1.30%, 0.0762 | Torgashov 외, ID R&D 시스템 보고서, 2023 |
| ChinaTelecom의 2023년 트랙 1 융합 제출, 자체 보고: EER, minDCF | 1.980%, 0.1066 | Du 외, ChinaTelecom 시스템 보고서, 2023 |
맥락: 마지막 대회는 2023년에 열렸으므로 이 챌린지에서 입수 가능한 최신 데이터는 2024년 회고 논문이다. EER은 순위 지표가 아닌 경우가 많았으며, 그래서 2위 팀이 우승 팀보다 낮은 EER을 보이기도 한다.
3. VoxCeleb1-O 기록, 8.8%에서 0.12%까지
시행 수를 보면 개선 폭이 구체적으로 드러난다. 동작점에서 두 오류율은 모두 EER과 같으므로 전체 실수는 대략 EER에 시행 수를 곱한 값이다. 37,720의 8.8%는 약 3,319건의 잘못된 판정이고, 0.12%는 약 45건이다. 2025년 시스템은 2017년 기준 시스템이 약 3,319건 틀리던 자리에서 약 45건만 틀린다 (Li, Cheng, Li, w2v-BERT 2.0 논문, 2025). 이 수준에서는 라벨이 잘못된 몇 개의 시행이 기록을 좌우할 수 있다.
이제는 아키텍처보다 데이터가 점수를 더 크게 움직인다. W2V-BERT 2.0은 VoxCeleb2만으로 학습하면 0.38%, VoxBlink2를 더하면 0.14%로 기재되어 있으며, 두 행 모두 같은 587M 파라미터 모델이다 (Yakovlev와 Okhotnikov, ReDimNet2 논문, 2026). 학습 레시피도 중요하다. ResNet34는 인용된 원본의 1.31%에서 WeSpeaker 툴킷 재구현에서는 0.723%로 내려갔다. 이 같은 임베딩은 음성 변환 연구에서 심사위원 역할도 하며, 저희 음성 변환 화자 유사도 정리에서 다룬다.
| 지표 | 값 | 출처 |
|---|---|---|
| 2017년: VoxCeleb1 테스트에서 i-vector와 PLDA 기준 시스템, EER과 최소 탐지 비용 | 8.8%, 0.73 | Nagrani 외, VoxCeleb 논문, 2017 |
| 2018년: VoxCeleb2로 학습한 ResNet-50, EER과 최소 탐지 비용 | 3.95%, 0.429 | Chung 외, VoxCeleb2 논문, 2018 |
| 2020년: 1,024 채널의 ECAPA-TDNN, EER과 minDCF | 0.87%, 0.1066 | Desplanques 외, Interspeech 2020 |
| 2022년: WeSpeaker 툴킷의 ResNet293, EER과 minDCF | 0.447%, 0.043 | Wang 외, WeSpeaker 논문, 2022 |
| 2024년: VoxBlink2로 사전 학습하고 품질 보정을 적용한 SimAM-ResNet293, EER과 minDCF | 0.17%, 0.006 | Lin 외, VoxBlink2, Interspeech 2024 |
| 2025년: Vox1-O 대 Vox1-H에서의 w2v-BERT 2.0, EER | 0.12% 대 0.55% | Li, Cheng, Li, w2v-BERT 2.0 논문, 2025 |
| 2026년: ReDimNet2-B6, 2초 입력에 대한 EER, 파라미터 수, GMAC(십억 단위 곱셈-누산 연산) | 0.29%, 12.3M, 13.05 | Yakovlev와 Okhotnikov, ReDimNet2 논문, 2026 |
| 2026년: 이 계열에서 가장 작은 모델인 ReDimNet2-B0, EER과 파라미터 수 | 1.04%, 1.1M | Yakovlev와 Okhotnikov, ReDimNet2 논문, 2026 |
이상치 참고: w2v-BERT 2.0 저자들은 가지치기로 모델 크기를 80% 줄이면서 EER 저하는 0.04%에 그쳤다고 보고하므로, 가장 큰 모델이 계속 클 필요는 없을지도 모른다.
4. 짧은 음성과 잡음이 있는 음성
테스트 클립을 2초로 줄이면 선두 모델의 오류가 두 배 넘게 늘어 0.61%에서 1.48%가 된다 (Chen 외, ERes2NetV2 논문, 2024). 1% 미만의 대표 수치는 전체 길이 클립에 대한 것이므로, 짧은 발화 문구에 기반한 모든 제품에 중요한 문제다. 반대도 성립한다. 8초보다 긴 VoxSRC 쌍에서는 2023년 트랙 2 우승 시스템이 거의 틀리지 않았다.
잡음은 직선이 아니라 가파른 곡선을 따른다. “배블”(babble)은 배경의 군중 대화를 뜻하고, 신호 대 잡음비(SNR)는 목소리를 잡음과 비교해 재므로 0 dB은 둘이 똑같이 크다는 뜻이다. 기준 ResNet34는 20 dB에서는 거의 변하지 않다가 0 dB에서는 오류가 네 배 넘게 치솟는다 (Gu 외, Noise-Conditioned Mixture-of-Experts 논문, 2025). 군중 대화는 음악보다 더 해로웠는데, 아마도 모델이 식별하도록 학습된 것과 같은 종류의 신호이기 때문일 것이다.
| 지표 | 값 | 출처 |
|---|---|---|
| VoxCeleb1-O에서 ERes2NetV2의 EER: 전체 길이 대 3초 대 2초 시행 | 0.61% 대 0.98% 대 1.48% | Chen 외, ERes2NetV2 논문, 2024 |
| VoxCeleb1-O에서 ECAPA-TDNN의 EER: 3초 대 2초 시행 | 1.27% 대 1.95% | Chen 외, ERes2NetV2 논문, 2024 |
| VoxCeleb1-O에서 ResNet34의 EER: 3초 대 2초 시행 | 1.47% 대 2.12% | Chen 외, ERes2NetV2 논문, 2024 |
| 2019년 테스트 세트에서 2023년 VoxSRC 트랙 2 우승 시스템의 EER: 모든 쌍 대 6초 초과 쌍 대 8초 초과 쌍 | 0.47% 대 0.26% 대 0.03% | Huh 외, VoxSRC 회고, 2024 |
| 시스템이 가장 고전한 SRE24 테스트 구간과, 그 이상에서는 향상 폭이 줄어드는 지점 | 4.5초에서 13초, 22.6초를 넘으면 향상 폭이 작아짐 | Singer 외, Odyssey 2026 |
| VoxCeleb1 테스트에서 기준 ResNet34의 EER: 깨끗한 음성 대 20 dB 배블 잡음 대 0 dB 배블 잡음 | 1.98% 대 2.18% 대 9.30% | Gu 외, Noise-Conditioned Mixture-of-Experts 논문, 2025 |
| 같은 기준 시스템의 0 dB 값: 음악 대 일반 잡음 | 5.82% 대 7.3% | Gu 외, Noise-Conditioned Mixture-of-Experts 논문, 2025 |
| 같은 기준 시스템의 0 dB Nonspeech100 잡음 값과, 0 dB 배블 잡음에서 잡음 조건부 모델의 값 | 10.17%, 8.10% | Gu 외, Noise-Conditioned Mixture-of-Experts 논문, 2025 |
맥락: 잡음 결과는 논문 간에 이전되지 않는다. 서울시립대의 한 연구는 ECAPA-TDNN을 깨끗한 음성에서 3.46%, 0 dB 배블 잡음에서 13.01%로 측정했는데 (Kim 외, PAS 논문, 2023), 학습 설정이 달랐으므로 절댓값이 아니라 각 연구 안에서의 상승 폭을 비교하세요.
5. 나이, 코퍼스, 도메인 불일치
VoxCeleb1-O에서의 기록은 몇 년의 간격을 두고 녹음되었거나 다른 환경에서 녹음된 목소리에 대해서는 거의 말해주지 않는다. 나이 차이가 큰 같은 화자의 쌍을 고르자 기준 시스템의 EER이 1.939%에서 10.419%로 올랐다 (Qin 외, Interspeech 2022). 핀란드 종단 코퍼스는 그 곡선의 먼 끝을 보여준다. 40년 차이에서 남성 EER 51.61%는 찍는 것보다 나쁘다 (Singh 외, Interspeech 2023). 이 코퍼스는 전처리 후 화자가 109명으로 작고, VoxCeleb의 나이는 기록된 것이 아니라 추정된 것이므로, 정확한 값보다 방향을 더 신뢰해서 읽으세요.
도메인 이동은 조용히 찾아오기 때문에 더 큰 상업적 위험이다. CN-Celeb 논문에서 VoxCeleb으로 학습한 x-vector는 중국어 다중 장르 음성에서 오류가 거의 다섯 배 늘었다 (16.59 / 3.48 = 4.8). 새 도메인에서 재학습하면 도움이 되지만 격차가 닫히지는 않는다. 같은 ECAPA-TDNN 레시피도 CN-Celeb에서는 VoxCeleb에서보다 아홉 배 넘는 오류를 보였다 (8.877 / 0.936 = 9.5).
| 지표 | 값 | 출처 |
|---|---|---|
| 기준 시스템의 EER, Vox-H 테스트 대 나이 차이가 큰 쌍의 테스트인 Vox-CA20 | 1.939% 대 10.419% | Qin 외, Interspeech 2022 |
| VoxCeleb1-Age-Enriched(미국)에서 ECAPA-TDNN의 EER, 나이 차이 3 / 6 / 9년, 남성 화자 | 2.31% / 2.84% / 3.63% | Singh 외, Interspeech 2023 |
| 같은 테스트에서 나이 차이 3 / 6 / 9년, 여성 화자 | 2.70% / 3.12% / 3.87% | Singh 외, Interspeech 2023 |
| 핀란드 종단 코퍼스(LCFSH)의 EER, 나이 차이 0 / 20 / 40년, 남성 화자 | 5.12% / 18.68% / 51.61% | Singh 외, Interspeech 2023 |
| 같은 코퍼스에서 나이 차이 0 / 20 / 40년, 여성 화자 | 10.04% / 21.67% / 40.61% | Singh 외, Interspeech 2023 |
| VoxCeleb으로 학습한 x-vector의 EER, SITW 테스트 세트 대 CN-Celeb.E(CN-Celeb의 평가 세트) | 3.48% 대 16.59% | Li 외, CN-Celeb 논문, 2020 |
| AM-Softmax 손실을 쓴 ECAPA-TDNN: VoxCeleb1 테스트 대 CN-Celeb 평가, 각각 자체 도메인으로 학습 | 0.936% 대 8.877% | Wang 외, DASA 논문, 2023 |
| CNCeleb에서 VoxSRC 2023 도메인 적응 트랙: 기준 시스템 대 1위, EER | 13.11% 대 4.95% | Huh 외, VoxSRC 회고, 2024 |
장기 노화에 대해 입수 가능한 최신 데이터: Singh 외, Interspeech 2023.
6. NIST SRE: 대표 수치가 없는 더 어려운 벤치마크
NIST는 1996년부터 이 평가를 실시해 왔으며, YouTube 인터뷰와는 전혀 다르다. SRE24는 북미 밖에서 수집한 새 코퍼스, 전화 음성과 동영상에서 추출한 음성, 그리고 튀니지 아랍어, 영어, 프랑스어를 사용했다. SRE24 전화 챌린지의 선두는 EER 2.37%로, VoxCeleb1-O 기록의 약 20배였다 (2.37 / 0.12 = 19.8) (NIST SRE24 사이트). 다만 두 테스트는 차이가 너무 커서 이 비율은 난이도 이외의 것을 재지 못한다.
제출된 91개 SRE24 시스템의 분석에서는 조건이 일치하는 전화 시행이 조건이 일치하는 동영상 추출 음성 시행을 일관되게 앞섰고, 언어 불일치보다 음원 유형이 더 중요했다. 등록 구간은 총 발화량이 같아도 하나보다 세 개가 대체로 더 나았고, 대부분의 시스템은 동성 시행에서 성별 차이가 제한적이었다 (Singer 외, Odyssey 2026). 제한 없는 학습 데이터는 상당한 향상을 가져왔고, 단일 모델이 융합 시스템과 경쟁했다 (Greenberg 외, Interspeech 2025). 아래 표의 수치는 또 하나의 교훈을 보여준다. 스스로 임계값을 정하지 못하는 시스템은 최소 비용이 아무리 좋아도 준비가 안 된 것이다.
| 지표 | 값 | 출처 |
|---|---|---|
| SRE19 전화 챌린지: 기관, 팀, 유효한 시스템 출력 | 67 / 51 / 1,347 | Sadjadi 외, NIST SRE19 CTS Challenge, Odyssey 2020 |
| SRE21 오디오 테스트: 타깃 시행 대 비타깃 시행 | 132,038 대 5,899,731 | Sadjadi 외, NIST SRE21, 2022 |
| SRE24: 팀, 기관, 제출 시스템 | 11 / 26 / 91 | Singer 외, Odyssey 2026 |
| 2024년 10월 24일 SRE24-CTS 리더보드 첫 행: EER, 최소 비용, 실제 비용 | 2.37%, 0.102, 0.106 | NIST SRE24-CTS 챌린지 리더보드, 2024 |
| 같은 리더보드의 다른 제출: EER, 최소 비용, 실제 비용(자명한 시스템은 1을 기록) | 3.00%, 0.080, 1.000 | NIST SRE24-CTS 챌린지 리더보드, 2024 |
| HCCL이 제출한 SRE21 시스템, 개발 세트 대 평가 세트: EER | 2.27% 대 3.05% | Li 외, HCCL 시스템, Interspeech 2022 |
| 같은 시스템, 개발 세트 대 평가 세트: 실제 비용 | 0.170 대 0.560 | Li 외, HCCL 시스템, Interspeech 2022 |
맥락: SRE24 개요 논문과 분석 논문은 결과를 그래프로 제시하며 EER 값을 인쇄하지 않으므로, 리더보드가 이 주기의 수치를 보는 창구다. 공식 수치 결과에 대해 입수 가능한 최신 데이터: NIST SRE24-CTS 챌린지 리더보드, 2024.
7. 공정성: 벤치마크가 측정하는 대상
하나의 벤치마크 점수는 한 집단의 오수락률이 전체 비율의 13배에 달한다는 사실을 가릴 수 있다. VoxCeleb 화자 인식 챌린지 작업 흐름을 연구한 결과, 전체 최소 비용 임계값에서 인도 여성 화자의 오수락률은 전체 비율의 13.0387배였다 (Hutiri와 Ding, FAccT 2022). 데이터의 구성이 이를 설명하는 데 도움이 된다. VoxCeleb 1 테스트 세트는 62.5%가 미국 화자이고, 여성은 화자의 38%이지만 발화의 29.5%를 차지한다.
성별 격차의 방향이 고정되어 있지 않다는 것이 유용한 발견이다. VoxSRC 우승 시스템은 남성에서 더 좋았고, Amazon의 연구는 여성에서 더 좋았으며, 통제 실험은 학습 데이터 구성만으로도 자체 격차가 생길 수 있음을 보여준다. 같은 패턴은 단어 수준의 음성 도구에서도 나타나며, 저희 음성 인식 억양 편향 정리에서 다룬다.
| 지표 | 값 | 출처 |
|---|---|---|
| VoxCeleb 1 테스트 세트: 화자 중 미국 비중, 화자 중 여성 비중, 발화 중 여성 비중 | 62.5%, 38%, 29.5% | Hutiri와 Ding, FAccT 2022 |
| VoxCeleb 2 학습 세트: 남성 비중, 미국 비중 | 61%, 29% | Hutiri와 Ding, FAccT 2022 |
| 전체 비율 대비 인도 여성 화자: 오수락 비율, 오거부 비율 | 13.0387배, 1.2497배 | Hutiri와 Ding, FAccT 2022 |
| 2019년 테스트 세트에서 2023년 VoxSRC 우승 시스템, 남성 대 여성 EER: 트랙 1, 트랙 2 | 0.57% 대 0.69%, 0.43% 대 0.59% | Huh 외, VoxSRC 회고, 2024 |
| 적대적 재가중 시스템, 남성 대 여성 EER | 1.25% 대 0.67% | Jin 외, Interspeech 2022 |
| 같은 연구, 재가중 전 대 후의 성별 집단 간 격차 | 0.70% 대 0.58% | Jin 외, Interspeech 2022 |
| 같은 연구, 미국 대 영국 대 그 밖의 모든 국적의 EER | 1.04% 대 0.76% 대 1.22% | Jin 외, Interspeech 2022 |
| 여성 대 남성 9:1 비율로 학습한 ResNet-34 기준 시스템(채널 4분의 1), 여성 대 남성 EER | 3.52% 대 7.22% | Shen 외, ICASSP 2022 |
하위 집단 오류 비율에 대해 입수 가능한 최신 데이터: Hutiri와 Ding, FAccT 2022. 별도로 Estevez와 Ferrer는 학습에서 과소 대표된 집단의 성능이 “현저히 저하”되며, 단순한 데이터 균형 조정이 다수 집단을 해치지 않고 편향을 줄인다는 것을 발견했다 (Study on the Fairness of Speaker Verification Systems).
숫자로 보는 VoxCeleb 화자 검증 동일 오류율
| 지표 | 값 | 출처 |
|---|---|---|
| 1차 논문에서 확인한 VoxCeleb1-O 최저 EER | 0.12% | Li, Cheng, Li, w2v-BERT 2.0 논문, 2025 |
| 같은 시스템의 어려운 Vox1-H 목록 결과 | 0.55% | Li, Cheng, Li, w2v-BERT 2.0 논문, 2025 |
| VoxBlink2 사전 학습과 품질 보정을 적용한 VoxCeleb1-O의 SimAM-ResNet293, EER과 minDCF | 0.17%, 0.006 | Lin 외, VoxBlink2, Interspeech 2024 |
| VoxBlink2 화자 대 VoxCeleb2 화자 | 111,284 대 5,994 | Lin 외, VoxBlink2, Interspeech 2024 |
| ReDimNet2-B6의 EER과 파라미터 수 | 0.29%, 12.3M | Yakovlev와 Okhotnikov, ReDimNet2 논문, 2026 |
| 1,024 채널 ECAPA-TDNN의 EER | 0.87% | Desplanques 외, Interspeech 2020 |
| 2019년 고정 테스트 세트에서 VoxSRC 트랙 2 1위의 EER, 2019년 대 2023년 | 1.26% 대 0.47% | Huh 외, VoxSRC 회고, 2024 |
| ERes2NetV2의 EER, 전체 길이 대 2초 시행 | 0.61% 대 1.48% | Chen 외, ERes2NetV2 논문, 2024 |
| 기준 ResNet34의 EER, 깨끗한 음성 대 0 dB 배블 잡음 | 1.98% 대 9.30% | Gu 외, Noise-Conditioned Mixture-of-Experts 논문, 2025 |
| 기준 시스템의 EER, Vox-H 대 Vox-CA20(큰 나이 차이) | 1.939% 대 10.419% | Qin 외, Interspeech 2022 |
| 남성 EER, 나이 차이 0년 대 40년, 핀란드 코퍼스 | 5.12% 대 51.61% | Singh 외, Interspeech 2023 |
| VoxCeleb으로 학습한 x-vector의 EER, SITW 대 CN-Celeb.E | 3.48% 대 16.59% | Li 외, CN-Celeb 논문, 2020 |
| ECAPA-TDNN의 EER, VoxCeleb1 대 CN-Celeb 평가, 각각 자체 도메인으로 학습 | 0.936% 대 8.877% | Wang 외, DASA 논문, 2023 |
| SRE24-CTS 리더보드 첫 행, EER | 2.37% | NIST SRE24-CTS 챌린지 리더보드, 2024 |
| HCCL SRE21 실제 비용, 개발 세트 대 평가 세트 | 0.170 대 0.560 | Li 외, HCCL 시스템, Interspeech 2022 |
| VoxCeleb 1 테스트 세트, 화자 대 발화에서 여성 비중 | 38% 대 29.5% | Hutiri와 Ding, FAccT 2022 |
| 인도 여성 오수락률 대 전체 비율 | 13.0387배 | Hutiri와 Ding, FAccT 2022 |
| 적대적 재가중 시스템, 남성 대 여성 EER | 1.25% 대 0.67% | Jin 외, Interspeech 2022 |
방법론과 출처
모든 수치는 이번 조사 중에 1차 논문, 챌린지 보고서 또는 NIST 페이지에서 직접 확인했다. EER과 비용 수치는 각 출처에 인쇄된 대로 인용한다. 비율과 오판정 건수는 저희가 직접 계산한 것이며 계산식을 보여준다. VoxBooster 데이터는 사용하지 않는다.
- Huh 외, The VoxCeleb Speaker Recognition Challenge: A Retrospective, 2024
- Nagrani, Chung, Zisserman, VoxCeleb: a large-scale speaker identification dataset, Interspeech 2017
- Chung, Nagrani, Zisserman, VoxCeleb2: Deep Speaker Recognition, Interspeech 2018
- Desplanques, Thienpondt, Demuynck, ECAPA-TDNN, Interspeech 2020
- Wang 외, WeSpeaker 툴킷 논문, 2022
- Lin 외, VoxBlink2, Interspeech 2024
- Li, Cheng, Li, w2v-BERT 2.0과 구조적 가지치기, 2025
- Yakovlev와 Okhotnikov, ReDimNet2, 2026
- Zheng 외, VoxSRC 2023용 UNISOUND 시스템
- Torgashov 외, VoxSRC 2023용 ID R&D 시스템
- Du, Fang, Li, VoxSRC 2023용 ChinaTelecom 시스템
- Chen 외, ERes2NetV2, 2024
- Gu 외, Noise-Conditioned Mixture-of-Experts Framework, 2025
- Kim 외, PAS 증강 논문, 2023
- Qin 외, Cross-Age Speaker Verification, Interspeech 2022
- Singh, Sahidullah, Kinnunen, Speaker Verification Across Ages, Interspeech 2023
- Li 외, CN-Celeb: multi-genre speaker recognition, 2020
- Wang 외, DASA 논문, 2023
- NIST 화자 인식 평가 사이트와 SRE24-CTS 챌린지 리더보드
- Greenberg 외, The 2024 NIST Speaker Recognition Evaluation, Interspeech 2025
- Singer 외, Analysis of the NIST 2024 Speaker Recognition Evaluation, Odyssey 2026
- Sadjadi 외, The 2021 NIST Speaker Recognition Evaluation, 2022
- Sadjadi 외, The 2019 NIST SRE CTS Challenge, Odyssey 2020
- Li 외, The HCCL System for the NIST SRE21, Interspeech 2022
- Hutiri와 Ding, Bias in Automated Speaker Recognition, FAccT 2022
- Jin 외, Adversarial Reweighting for Speaker Verification Fairness, Interspeech 2022
- Shen 외, Group-adapted Fusion Network, ICASSP 2022
- Estevez와 Ferrer, Study on the Fairness of Speaker Verification Systems Across Accent and Gender Groups
- Qu 외, Fair-Gate, 2026
- 데이터 참고 사항: VoxCeleb1-O 기록은 완벽하게 비교할 수 없다. 일부 논문은 프로토콜의 정제된 버전을 쓰고, 일부는 점수 정규화나 품질 보정을 추가하기 때문이다. ECAPA-TDNN 수치만 해도 논문마다 다르다. 원본에서 0.87%, WeSpeaker에서 0.728%, ReDimNet2 표에서 0.94%, 2026년 Fair-Gate 논문에서 1.12%다. w2v-BERT 2.0 저자들은 0.12%를 보고하는 반면 ReDimNet2 비교 표는 VoxBlink2와 VoxCeleb2로 학습한 w2v-BERT 2.0 모델에 0.14%를 기재하고 있으며, 이 두 항목을 정확히 대응시키지는 못했다. VoxBlink2 논문이 밝힌 EER 43.4% 감소는 자체 표와 맞지 않으므로(0.606%에서 0.340%는 43.9%) 인용하지 않는다. 이 논문의 초록은 minDCF를 0.006%로 인쇄했지만, 표에서는 0.006이다. CN-Celeb 논문은 CN-Celeb.E에 대해 서론에서 15.52%, 표에서 16.59%를 제시하며, 저희는 표의 값을 쓴다. 여기서 오래된 결과(2017년부터 2023년 중반)는 더 새로운 동등 결과가 없는 경우 입수 가능한 최신 데이터로 표시했다. 다음 평가 주기의 NIST 결과가 나오면 가장 먼저 바뀔 곳은 6절이다. 여기의 모든 EER 값은 다른 실제 화자를 사칭자로 삼는 경우에 관한 것이므로, 합성 음성에 대한 저항력에 대해서는 아무것도 말해주지 않는다.
마지막 업데이트: 2026년 10월 31일. 저희는 이 정리를 분기마다 업데이트하며, 다음 갱신은 NIST가 다음 화자 인식 평가의 수치 결과를 발표할 때 이루어질 것으로 예상한다.