CALLHOME 전화 통화 벤치마크에서, 2명 통화에서는 DER 8.50%를 기록하는 동일한 엔드투엔드 화자 분할 시스템이 6명 통화에서는 40.29%를 기록한다(Horiguchi 외, EEND-EDA, Interspeech 2020). 화자 분할(다이어라이제이션)은 ‘누가 언제 말했는가’를 알아내는 단계로, 녹음을 여러 구간으로 나누고 각 구간에 화자 라벨을 붙이며, 전사 이전이나 전사와 함께 수행된다. 선별된 벤치마크에서는 빠르게 개선되어, DIHARD 트랙 1의 오류 중앙값이 DIHARD I의 30% 초과에서 DIHARD III의 20% 미만으로 떨어졌지만(Ryant 외, Third DIHARD Challenge 2021), 저녁 식사 모임 음성은 CHiME-6에서 여전히 62.0%의 기준선 DER을 낳았다(Watanabe 외, CHiME-6 챌린지 개요 2020). 우리는 DIHARD와 VoxSRC 챌린지 주최 측, CHiME-6, NOTSOFAR-1, DISPLACE 챌린지, ETH Zurich의 2025년 화자 분할 벤치마크, Brno University of Technology, pyannote 프로젝트의 모델 카드, 그리고 동료 심사를 거친 임상 연구의 데이터를 종합했다. 같은 파이프라인의 단어 수준 측면은 음성 인식의 억양 편향과 단어 오류율에 관한 정리를 참고하라.
아래 모든 수치를 읽을 때의 주의점: DER(화자 분할 오류율)은 낮을수록 좋으며, 두 결과가 같은 벤치마크, 같은 허용 구간(collar, 화자가 바뀌는 지점 주변에 두는 짧은 채점 제외 구간), 그리고 겹치는 발화에 대한 같은 규칙을 공유할 때만 비교할 수 있다. 각 표에는 출처가 밝힌 경우 그 설정을 적었다.
요약
- 동일한 시스템의 CALLHOME DER은 화자 2명일 때 8.50%에서 화자 6명일 때 40.29%로 오른다(Horiguchi 외, Interspeech 2020).
- DIHARD 트랙 1의 DER 중앙값은 30% 초과(DIHARD I)에서 25%(DIHARD II), 20% 미만(DIHARD III)으로 떨어졌다(Ryant 외, Third DIHARD Challenge 2021).
- VoxSRC 우승 시스템은 YouTube 음성에서 2020년 3.71%, 2023년 4.30%의 DER을 기록했으며, 두 해 모두 기준선의 약 절반이었다(Huh 외, VoxSRC 회고, IEEE TASLP 2024).
- 0.25 s 허용 구간을 없애면 동일한 시스템의 AMI DER이 9.8%에서 15.4%로 오른다(Han 외, Brno University of Technology 2024).
- 단일 마이크 NIST 회의 데이터에서 오류의 33% 넘게가 화자 교체 후 0.5 s 이내에서 발생한다(Knox, UC Berkeley 2013).
- 회의 녹음에서는 발화의 평균 12%에서 15%가 겹친다(Park 외, Computer Speech and Language 2022).
- 의사와 환자의 대화는 8개 시스템에서 평균 DER이 33.38%로, 일반 대화의 15.18%보다 높았다(Okocha 외, 2025).
- CHiME-6 저녁 식사 모임 기준선은 평가 세트에서 DER 62.0%를 기록했다(Watanabe 외, CHiME-6 개요 2020).
- NOTSOFAR-1의 최고 회의 시스템은 화자 귀속 단어 오류율을 기준선 28.3%에서 10.8%로 낮췄다(Abramovski 외, NOTSOFAR-1 요약 2025).
- 2025년 벤치마크에서 가장 빠른 모델은 실시간보다 214.3배 빠르게 음성을 처리했다(Lanzendoerfer 외, ETH Zurich 2025).
1. DER이 측정하는 것, 그리고 채점 설정이 수치를 바꾸는 이유
DER은 세 종류의 시간을 합산해 기준 발화의 총량으로 나눈다. 누락된 발화(누군가 말했는데 시스템은 무음으로 들었다), 오경보(발화가 없는 곳을 시스템이 발화로 표시했다), 화자 혼동(발화는 감지했지만 엉뚱한 사람에게 배정했다)이다. pyannote 3.1 모델 카드는 이 계산을 분명하게 보여준다. AMI 헤드셋 음성에서 18.8%의 DER은 오경보 3.6%, 누락 9.5%, 혼동 5.7%를 합한 값이다.
더 큰 함정은 허용 구간이다. NIST Rich Transcription 평가 이후 대부분의 논문은 모든 기준 경계 양쪽 0.25 s를 무시하는데, 사람 주석자들이 발화가 시작되는 정확한 밀리초에 대해 합의하는 경우가 드물기 때문이다. 이 선택 하나만으로 5.6포인트, 즉 허용 구간 없는 수치의 36%가 사라진다. Brno University of Technology의 동일한 시스템은 AMI에서 허용 구간 없이 15.4%, 허용 구간을 적용하면 9.8%를 기록한다(Han 외, 2024). 용서되는 구간이 바로 시스템이 가장 많이 실패하는 곳이다. 전체 오류의 3분의 1 이상이 화자가 바뀐 지점에서 0.5초 이내에 있기 때문이다(Knox, UC Berkeley 기술 보고서 2013).
| 지표 | 값 | 출처 |
|---|---|---|
| 각 기준 구간 경계 주변의 표준 채점 제외 허용 구간(RT 방식 채점) | 0.25 s, 가장 널리 쓰이는 방식으로 설명됨 | Park 외, Computer Speech and Language 2022 |
| DIHARD와 CHiME-6의 채점 규칙 | 허용 구간 없음, 겹치는 발화를 채점함 | Park 외, Computer Speech and Language 2022 |
| AMI DER, BUT의 WavLM 기반 시스템, 허용 구간 없음 대 0.25 s 허용 구간 | 15.4% 대 9.8% | Han 외, Brno University of Technology 2024 |
| AliMeeting DER, 동일 시스템, 허용 구간 없음 대 0.25 s 허용 구간 | 17.6% 대 10.2% | Han 외, Brno University of Technology 2024 |
| AMI DER, pyannote 3 기준선, 허용 구간 없음 대 0.25 s 허용 구간 | 21.1% 대 13.7% | Han 외, Brno University of Technology 2024 |
| 화자 교체 후 0.5 s 이내 오류의 비율, NIST RT-09 회의, 단일 원거리 마이크 대 복수 원거리 마이크 | 33% 초과 대 40% | Knox, UC Berkeley 2013 |
| AMI 헤드셋 믹스 DER, pyannote 3.1, 오경보 + 누락 + 혼동으로 분해 | 18.8% = 3.6% + 9.5% + 5.7% (프로젝트 보고) | pyannote, speaker-diarization-3.1 모델 카드 |
맥락: Berkeley의 오류 분석은 오류 위치에 관해 입수 가능한 가장 최근 데이터다(Knox, UC Berkeley 2013). 2025년 ETH 벤치마크도 같은 방향을 가리킨다. 대부분의 모델에서 가장 지배적인 오류 유형은 누락된 발화였고, 평균 약 350 ms인 누락 구간에 대해 저자들은 발화 전체가 들리지 않은 것이 아니라 시작과 끝의 타이밍 때문이라고 설명한다(Lanzendoerfer 외, Benchmarking Diarization Models 2025).
2. 벤치마크별 최고 수준, 그리고 DER이 떨어진 속도
진전은 실재하지만 벤치마크마다 다르다. 의도적으로 어렵게 구성된 11개 도메인의 혼합인 DIHARD에서는 트랙 1 DER 중앙값이 세 차례의 대회를 거치며 30% 초과에서 20% 미만으로 떨어졌다(Ryant 외, The Third DIHARD Diarization Challenge 2021). 트랙 1은 시스템에 실제 발화 구간을 주고, 트랙 2는 시스템이 스스로 발화를 찾게 하므로 수치가 더 높게 나온다.
방송 스타일의 YouTube 음성에서 VoxSRC 우승 시스템은 약 4% 부근에 있으며, 이는 매년 주최 측 기준선의 약 절반이다(Huh 외, The VoxCeleb Speaker Recognition Challenge: A Retrospective, IEEE TASLP 2024). 다만 2020년과 2023년의 우승 결과는 시계열이 아니다. 테스트 세트가 232개 파일에서 413개 파일로 늘었으므로, 2023년 수치가 약간 더 높다고 해서 이 분야가 뒷걸음질했다는 뜻은 아니다.
| 지표 | 값 | 출처 |
|---|---|---|
| DIHARD 트랙 1 DER 중앙값(실제 발화 구간 제공), DIHARD I 대 II 대 III | 30% 초과 대 25% 대 20% 미만 | Ryant 외, Third DIHARD Challenge 2021 |
| DIHARD 트랙 2 DER 중앙값(시스템이 스스로 발화 감지), DIHARD I 대 III | 40% 대 25% 미만 | Ryant 외, Third DIHARD Challenge 2021 |
| DIHARD III 우승 시스템(USTC-NELSLIP), 핵심 평가 세트, 트랙 1 대 트랙 2 | 13.45% 대 19.37% (허용 구간 없음, 겹침 채점) | DIHARD III 챌린지 결과 |
| VoxSRC 화자 분할 트랙, 2020년 테스트 세트, 우승 시스템 대 기준선 | 3.71% 대 8.15% (0.25 s 허용 구간, 겹침 채점) | Huh 외, VoxSRC 회고 2024 |
| VoxSRC 화자 분할 트랙, 2023년 테스트 세트, 우승 시스템 대 기준선 | 4.30% 대 8.54% (0.25 s 허용 구간, 겹침 채점) | Huh 외, VoxSRC 회고 2024 |
| CALLHOME DER, 전체 통화, 엔드투엔드 EEND-EDA 대 x-vector 군집화 | 15.29% 대 19.43% (0.25 s 허용 구간) | Horiguchi 외, Interspeech 2020 |
| NIST RT-09 회의에서 ICSI 시스템의 평균 DER, 단일 원거리 마이크 | 31.3% | Sinclair, King, University of Edinburgh 2013 |
맥락: DIHARD III 우승 시스템의 전체 평가 세트 DER은 트랙 1에서 11.3%, 트랙 2에서 16.78%였고, 핵심 세트의 기준선은 20.65%와 27.34%였다(DIHARD III 챌린지 결과). RT-09 수치는 해당 평가에 대해 입수 가능한 가장 최근 데이터이며(Sinclair, King, Where are the challenges in speaker diarization? 2013), DIHARD와는 다른 데이터와 다른 시대의 것이므로 전후를 직접 비교하는 것으로 읽어서는 안 된다.
3. 겹치는 발화와 화자 수: DER을 좌우하는 두 가지 최대 요인
겹침은 예외적인 경우가 아니다. 회의 녹음에서는 발화의 평균 12%에서 15%가 겹치며, 이 수치를 정리한 리뷰는 일상 대화에서는 더 높아질 수 있다고 지적한다(Park 외, A Review of Speaker Diarization, Computer Speech and Language 2022). 기존의 군집화 파이프라인은 매 순간 정확히 한 명의 화자를 배정하므로, 두 사람이 겹치는 구간에서는 다른 어떤 실수가 일어나기 전에 이미 채점 시간의 최소 절반이 틀리게 된다.
화자 수는 문제를 더 키운다. CALLHOME에서 동일한 EEND-EDA 모델의 DER은 화자 2명 통화의 8.50%에서 화자 6명 통화의 40.29%로 오른다(Horiguchi 외, EEND-EDA, Interspeech 2020). 화자 수에 엄격한 상한이 있는 모델은 이중으로 손해를 본다. 화자를 4명으로 제한한 Sortformer 계열은 ETH 벤치마크에서 사람이 많은 녹음에서 화자 혼동이 더 많았다. 복수 마이크 수음은 도움이 되며, 이는 5절의 NOTSOFAR-1 회의 결과가 보여주는 바와 같고, 우리의 원거리 빔포밍과 웨이크워드 정확도 데이터에서도 같은 패턴이 나타난다.
| 지표 | 값 | 출처 |
|---|---|---|
| 회의 녹음에서 겹치는 발화의 평균 비율 | 12%에서 15% | Park 외, Computer Speech and Language 2022 |
| 평균 겹침 비율: AliMeeting 대 AMI 대 CALLHOME 대 VoxConverse | 19% 대 15.94% 대 12.58% 대 3.52% | Lanzendoerfer 외, ETH Zurich 2025 |
| CALLHOME DER, EEND-EDA, 화자 2명 대 3명 대 4명 통화 | 8.50% 대 13.24% 대 21.46% | Horiguchi 외, Interspeech 2020 |
| CALLHOME DER, EEND-EDA, 화자 5명 대 6명 통화 | 33.16% 대 40.29% | Horiguchi 외, Interspeech 2020 |
| CALLHOME DER, x-vector 군집화, 화자 2명 대 6명 통화 | 15.45% 대 34.27% | Horiguchi 외, Interspeech 2020 |
| 화자 4명 녹음의 DER: Sortformer(화자 수 상한 4) 대 DiariZen | 21.3% 대 12.7% (0.25 s 허용 구간, 겹침 채점) | Lanzendoerfer 외, ETH Zurich 2025 |
| 녹음당 평균 화자 수, VoxSRC 2020 테스트 세트 | 평균 675.6 s 동안 6.5명 | Huh 외, VoxSRC 회고 2024 |
맥락: 화자 수만으로 점수가 결정되는 것은 아니다. ETH 벤치마크에서 최고 시스템은 화자 5명 이상 녹음에서 6.6%였지만 화자 4명 녹음에서는 10.1%였는데, 이는 겹침과 녹음 조건이 인원수만큼 중요하다는 점을 상기시킨다. 또한 CALLHOME의 화자 5명과 6명 결과는 적은 수의 파일에 기반한다. EEND-EDA 저자들은 CALLHOME에 화자가 4명을 넘는 녹음이 10건뿐이라고 밝힌다.
4. 도메인 격차: 임상, 아동, 다국어, 실환경 음성
회의와 전화 통화에 맞춰 조정된 모델은 그 정확도를 진료실, 가정, 온라인 영상으로 가져가지 못한다. 8개 화자 분할 시스템에서 의사와 환자의 대화는 평균 DER이 33.38%로, 일반 대화의 15.18%보다 높았다. 격차는 18.20퍼센트포인트이며(대응표본 t검정, p < 10⁻⁴), 임상 환경의 불이익은 대부분 오경보에서 비롯되었다(Okocha 외, Domain-Aware Speaker Diarization on African-Accented English 2025). 억양이 있는 음성으로 미세 조정하자 한 오픈 모델의 오류가 절반으로 줄었지만, 임상 격차는 사라지지 않고 줄어드는 데 그쳤다.
아동은 별개의 영역이다. BabyHuBERT 연구에서 아동 중심의 하루 종일 녹음은 화자 유형별(주 대상 아동, 다른 아동, 성인 남성, 성인 여성)로 F1 점수(높을수록 좋음)로 평가되는데, 2026년 최고 모델도 두 번째 사람 주석자에는 미치지 못한다(Charlot 외, BabyHuBERT 2026). DIHARD III도 같은 약점을 지적하면서, 임상 면담의 아동을 특히 어려운 과제로 꼽았다.
| 지표 | 값 | 출처 |
|---|---|---|
| DIHARD III 트랙 1 DER 중앙값, 회의, 웹 영상, 식당 도메인 | 35%에서 45% | Ryant 외, Third DIHARD Challenge 2021 |
| DIHARD III DER, 임상 면담과 전화 음성, 트랙 1 대 트랙 2 | 대체로 10%에서 20% 대 15%에서 25% | Ryant 외, Third DIHARD Challenge 2021 |
| 8개 시스템 평균 DER, 의사와 환자의 대화 대 아프리카 억양 영어 일반 대화 | 33.38% 대 15.18% (허용 구간 없음, 겹침 채점) | Okocha 외, 2025 |
| pyannote DER, 아프리카 억양 음성 미세 조정 전 대 후, 의료 대화 | 31.46% 대 15.73% | Okocha 외, 2025 |
| 아동 중심 녹음, 화자 유형별 평균 F1: LENA 대 BabyHuBERT-VTC 대 두 번째 사람 주석자 | 40.8% 대 65.1% 대 69.8% (높을수록 좋음) | Charlot 외, BabyHuBERT 2026 |
| 실환경 영상 벤치마크 Ego4D(dev)와 AVA-AVD의 DER, pyannote community-1 | 46.8%와 44.6% (프로젝트 보고, 허용 구간 없음) | pyannote, community-1 모델 카드 2025 |
| ETH 벤치마크 데이터셋의 언어별 DER, 최고 시스템(pyannoteAI), 스페인어 대 영어 | 14.3% 대 6.6% | Lanzendoerfer 외, ETH Zurich 2025 |
| 다국어 인도 대화(DISPLACE), 동일한 평가 데이터에서 최고 팀의 DER, 2023년 대 2024년 | 27.8% 대 21.27% | Kalluri 외, Second DISPLACE Challenge 2024 |
맥락: DISPLACE 데이터는 인도의 9개 언어와 인도 영어를 다루며 세션당 3명에서 5명이 참여한다(Kalluri 외, The Second DISPLACE Challenge 2024). ETH 저자들은 언어 격차를 일부 언어의 데이터 부족과 연관 짓고, 테스트한 다섯 언어 중 스페인어를 가장 어려운 언어로 꼽는다.
5. 실제 현장 도입: 회의, 콜센터, 진료실
실제 운영 환경에서 화자 분할 오류는 엉뚱한 사람의 발언으로 기록된 전사 줄의 형태로 드러나며, 그래서 회의와 의료 연구는 단어 수준 지표를 보고하는 경우가 많다. 아래에는 두 가지가 나온다. tcpWER는 시간 창 안에서 엉뚱한 화자에게 귀속된 단어까지 세는 단어 오류율이고, WDER는 잘못된 화자 라벨이 붙은 단어의 비율이다. 지금까지 벤치마크된 가장 어려운 환경 중 하나는 저녁 식사 모임이다. CHiME-6 기준선은 평가 세트에서 DER 62.0%를 기록했고, 주최 측은 트랙 간 단어 오류율 격차 중 절대값으로 약 15%를 주로 화자 분할 탓으로 돌린다(Watanabe 외, CHiME-6 챌린지 개요 2020).
사무실 회의는 더 다루기 쉽다. 30개 환경에서 각각 4명에서 8명이 참여한 315건의 실제 회의로 구축된 NOTSOFAR-1에서, 최고의 다채널 시스템은 10.8%의 tcpWER에 도달했다(Abramovski 외, Summary of the NOTSOFAR-1 Challenge, Computer Speech and Language 2025). 법정 전사에는 화자 라벨링과 관련된 고유한 부담이 있으며, 이는 우리의 법정 음성 전사 정확도 통계에서 다룬다. 화자 오류 위에 얹히는 텍스트 오류는 우리의 음성 인식 환각 데이터에서 다룬다.
| 지표 | 값 | 출처 |
|---|---|---|
| CHiME-6 저녁 식사 모임 기준선 DER, 개발 세트 대 평가 세트 | 61.6% 대 62.0% | Watanabe 외, CHiME-6 개요 2020 |
| 주로 화자 분할 탓으로 돌려지는 CHiME-6 트랙 간 단어 오류율 격차 | 절대값 약 15% | Watanabe 외, CHiME-6 개요 2020 |
| NOTSOFAR-1 회의 전사, 최고 시스템 대 기준선 tcpWER, 다채널 | 10.8% 대 28.3% | Abramovski 외, NOTSOFAR-1 요약 2025 |
| NOTSOFAR-1 회의 전사, 최고 시스템 대 기준선 tcpWER, 단일 채널 | 22.2% 대 41.4% | Abramovski 외, NOTSOFAR-1 요약 2025 |
| CALLHOME 전화 DER, 오픈 community-1 대 상용 precision-2 | 26.7% 대 16.6% (벤더 보고, 허용 구간 없음) | pyannote, community-1 모델 카드 2025 |
| 4개 상용 음성 모델의 WDER, 1차 의료 대화 36건 | 1.8%에서 13.9% | Tran 외, AMIA Annual Symposium 2022 |
| 의사와 환자 대화의 WDER, 기존 파이프라인 대 인식과 화자 분할 통합 모델 | 15.8% 대 2.2% | El Shafey 외, Interspeech 2019 |
맥락: 1차 의료 녹음은 영어 원어민 두 사람이 조용한 스튜디오에서 재연한 것이므로, 저자들은 자신들의 수치가 실제 진료실 성능의 상한에 가까울 가능성이 높다고 설명한다(Tran 외, AMIA Annual Symposium Proceedings 2022). 통합 모델 결과는 공개되지 않은 코퍼스에서 입수 가능한 가장 최근 데이터다(El Shafey 외, Interspeech 2019). precision-2 수치는 벤더가 자사 상용 모델에 대해 내세운 주장이다.
6. 속도, 오픈 모델, 연구 규모
정확도는 도입 결정의 절반에 불과하다. ETH 벤치마크에서 가장 빠른 시스템은 실시간보다 214.3배 빠르게 동작했으며, 이는 실시간의 20.2배로 동작하고 전체 DER 13.3%를 기록한 오픈 DiariZen 모델보다 10배 넘게 빠른 속도다(Lanzendoerfer 외, ETH Zurich 2025). 이 절충은 하룻밤 일괄 처리보다 실시간 자막에서 훨씬 더 무겁게 작용한다.
오픈 모델은 널리 쓰인다. pyannote 파이프라인은 월간 수백만 회의 다운로드를 보이며, 프로젝트 자체의 2025년 9월 벤치마크는 대부분의 데이터셋에서 현재 오픈 릴리스가 이전 릴리스보다 낮은 DER을 기록하고 상용 등급이 둘 모두를 앞선다고 보고한다(pyannote, speaker-diarization-community-1 모델 카드). 이 점수는 프로젝트 보고 수치로 취급해야 한다. 모델을 배포하는 같은 팀이 실행한 것이기 때문이다.
| 지표 | 값 | 출처 |
|---|---|---|
| 실시간 계수(음성 길이를 처리 시간으로 나눈 값), Sortformer v2 대 Sortformer v2 스트리밍 | 214.3배 대 209.5배 | Lanzendoerfer 외, ETH Zurich 2025 |
| 실시간 계수, 오픈 pyannote 대 DiariZen | 45.0배 대 20.2배 | Lanzendoerfer 외, ETH Zurich 2025 |
| ETH 벤치마크 전체 DER, pyannoteAI 대 DiariZen | 11.2% 대 13.3% (0.25 s 허용 구간, 겹침 채점) | Lanzendoerfer 외, ETH Zurich 2025 |
| DIHARD 3 full DER, pyannote 3.1 대 community-1 대 precision-2 | 21.4% 대 20.2% 대 14.7% (프로젝트 및 벤더 보고, 허용 구간 없음) | pyannote, community-1 모델 카드 2025 |
| Hugging Face 월간 다운로드, pyannote speaker-diarization-3.1 대 community-1 | 6,886,119 대 5,051,937 (2026년 10월 확인) | Hugging Face 모델 페이지 |
| 참가자에게 공개된 NOTSOFAR-1 시뮬레이션 학습 데이터 | 약 1,000시간 | Abramovski 외, NOTSOFAR-1 요약 2025 |
| AMI Meeting Corpus 규모 | 100시간, 약 3분의 2는 역할극으로 진행된 설계 회의 | University of Edinburgh, AMI Meeting Corpus |
맥락: 지금도 화자 분할의 핵심 벤치마크인 AMI Meeting Corpus는 근접 마이크와 원거리 마이크를 동기화해 녹음한다(University of Edinburgh, AMI Meeting Corpus). ETH 벤치마크는 API 접근만 가능했기 때문에 pyannoteAI의 속도를 측정하지 못했다.
요약: 숫자로 보는 화자 분할 오류율
| 지표 | 값 | 출처 |
|---|---|---|
| CALLHOME DER, EEND-EDA, 화자 2명 대 6명 (0.25 s 허용 구간) | 8.50% 대 40.29% | Horiguchi 외, Interspeech 2020 |
| CALLHOME DER, EEND-EDA 대 x-vector 군집화, 전체 통화 | 15.29% 대 19.43% | Horiguchi 외, Interspeech 2020 |
| DIHARD 트랙 1 DER 중앙값, DIHARD I 대 III | 30% 초과 대 20% 미만 | Ryant 외, Third DIHARD Challenge 2021 |
| DIHARD III 우승 시스템, 핵심 평가 세트, 트랙 1 대 트랙 2 | 13.45% 대 19.37% | DIHARD III 챌린지 결과 |
| VoxSRC 우승 시스템 대 기준선, 2023년 테스트 세트 | 4.30% 대 8.54% | Huh 외, VoxSRC 회고 2024 |
| AMI DER, 동일 시스템, 허용 구간 없음 대 0.25 s 허용 구간 | 15.4% 대 9.8% | Han 외, Brno University of Technology 2024 |
| 화자 교체 후 0.5 s 이내 오류, NIST RT-09, 단일 원거리 마이크 | 33% 초과 | Knox, UC Berkeley 2013 |
| ICSI 시스템 DER, NIST RT-09 단일 원거리 마이크 | 31.3% | Sinclair, King, University of Edinburgh 2013 |
| 회의 녹음에서 겹치는 발화의 비율 | 12%에서 15% | Park 외, Computer Speech and Language 2022 |
| 겹침 비율, AliMeeting 대 AMI | 19% 대 15.94% | Lanzendoerfer 외, ETH Zurich 2025 |
| 의사와 환자 대 일반 대화의 DER, 8개 시스템 평균 | 33.38% 대 15.18% | Okocha 외, 2025 |
| 아동 중심 녹음, 평균 F1, 최고 모델 대 두 번째 사람 주석자 | 65.1% 대 69.8% | Charlot 외, BabyHuBERT 2026 |
| DISPLACE 최고 팀 DER, 2023년 대 2024년 | 27.8% 대 21.27% | Kalluri 외, Second DISPLACE Challenge 2024 |
| CHiME-6 저녁 식사 모임 기준선 DER, 평가 세트 | 62.0% | Watanabe 외, CHiME-6 개요 2020 |
| NOTSOFAR-1 최고 시스템 대 기준선 tcpWER, 다채널 | 10.8% 대 28.3% | Abramovski 외, NOTSOFAR-1 요약 2025 |
| WDER 범위, 4개 상용 음성 모델, 1차 의료 | 1.8%에서 13.9% | Tran 외, AMIA Annual Symposium 2022 |
| Hugging Face의 pyannote 3.1 월간 다운로드 | 6,886,119 | Hugging Face, pyannote speaker-diarization-3.1 모델 페이지 |
방법론과 출처
- Ryant et al., The Third DIHARD Diarization Challenge (2021): 11개 도메인, DIHARD 각 대회의 중앙값, 도메인별 범위, 허용 구간 없이 겹침을 포함한 채점.
- DIHARD III 챌린지 결과: 트랙 1과 트랙 2의 공식 리더보드, 핵심 및 전체 평가 세트.
- Huh et al., The VoxCeleb Speaker Recognition Challenge: A Retrospective (IEEE TASLP 2024): 화자 분할 트랙 우승 시스템과 기준선, 0.25 s 허용 구간과 겹침 채점.
- Horiguchi et al., End-to-End Speaker Diarization for an Unknown Number of Speakers with Encoder-Decoder Based Attractors (Interspeech 2020): 화자 수별 CALLHOME DER.
- Han et al., Leveraging Self-Supervised Learning for Speaker Diarization (Brno University of Technology, 2024): AMI, AISHELL-4, AliMeeting에서의 허용 구간 0 s 대 0.25 s 결과.
- Lanzendoerfer et al., Benchmarking Diarization Models (ETH Zurich, 2025): CALLHOME, VoxConverse, AMI, AliMeeting에 걸친 약 196.6시간. 겹침 비율, 언어별 및 화자 수별 DER, 속도.
- Park et al., A Review of Speaker Diarization: Recent Advances with Deep Learning (Computer Speech and Language, 2022): 허용 구간 관행과 회의의 겹침 비율.
- Knox, Speaker Diarization: Current Limitations and New Directions (UC Berkeley technical report, 2013): NIST RT-09에서 화자 교체에 대한 오류 위치.
- Sinclair and King, Where are the challenges in speaker diarization? (University of Edinburgh, 2013): RT-09 회의 DER.
- Watanabe et al., CHiME-6 Challenge overview (2020): 저녁 식사 모임 기준선 DER과 단어 오류 격차 중 화자 분할이 차지하는 비중.
- Abramovski et al., Summary of the NOTSOFAR-1 Challenge (Computer Speech and Language, 2025): 회의 데이터셋과 tcpWER 결과.
- Kalluri et al., The Second DISPLACE Challenge (2024): 다국어 대화 화자 분할 결과.
- Okocha et al., Domain-Aware Speaker Diarization on African-Accented English (2025): 8개 시스템에 걸친 임상 대 일반 DER.
- Charlot et al., BabyHuBERT (2026): 아동 중심 장시간 녹음의 화자 분할.
- Tran et al., Automatic speech recognition performance for digital scribes (AMIA Annual Symposium Proceedings, 2022): 1차 의료 대화의 WDER.
- El Shafey et al., Joint Speech Recognition and Speaker Diarization via Sequence Transduction (Interspeech 2019): 의사와 환자 대화의 WDER.
- pyannote speaker-diarization-3.1 모델 카드 및 pyannote speaker-diarization-community-1 모델 카드: 프로젝트 보고 DER(허용 구간 없음, 겹침 채점), 다운로드 수. precision-2 수치는 상용 모델에 대한 벤더 자체의 주장이다.
- University of Edinburgh, AMI Meeting Corpus: 코퍼스 규모와 녹음 설정.
- 데이터 참고 사항: DER 값은 하나의 벤치마크와 하나의 채점 설정 안에서만 비교할 수 있다. VoxSRC는 0.25 s 허용 구간을 쓰지만 DIHARD, pyannote 모델 카드, 아프리카 억양 임상 연구는 쓰지 않으므로, VoxSRC의 4.30%와 DIHARD의 13.45%를 비교해서는 안 된다. pyannote 3.1 모델 카드는 DIHARD 3 full에서 21.7%를 기재하는 반면 더 새로운 community-1 카드는 같은 이전 파이프라인에 대해 21.4%를 기재하는데, 이는 평가 업데이트에서 비롯된 작은 불일치이며 버전 비교에는 community-1 표를 사용한다. VoxSRC 회고의 2021년과 2022년 행은 표와 본문 사이에 내부적으로 일관되지 않으므로 2020년과 2023년만 보고한다. 아프리카 억양 임상 연구의 구성 요소별 오류 표는 명시된 의료 DER과 정확히 합산되지 않으므로 대표 평균만 인용한다. NOTSOFAR-1 요약은 한 표에서 단일 채널과 다채널 최고 결과의 라벨을 일관되지 않게 붙이는데, 우리는 상대 개선율 51%가 위 수치와 일치하는 본문을 따른다. Hugging Face 다운로드 수는 최근 한 달의 스냅샷이며 매일 바뀐다. Berkeley, Edinburgh, CHiME-6, DIHARD III, EEND-EDA, Interspeech 2019, AMIA 2022의 수치는 각각의 구체적인 측정에 대해 입수 가능한 가장 최근 데이터다.
- 마지막 업데이트: 2026년 10월 27일. 저희는 이 정리를 분기마다 업데이트하며, 다음 업데이트는 Interspeech 2026 챌린지 요약 논문과 다음 pyannote 모델 카드 벤치마크 업데이트가 공개될 때로 예상한다.