공식 DIHARD III 기준 감지기는 평가 코어 세트에서 음성의 4.97%를 놓쳤지만, 비음성을 음성으로 잘못 판정한 비율은 15.07%로 자체 미검출률의 3배였다. 이 격차가 음성 활동 감지(VAD)의 모든 것을 말해 준다. 모든 감지기는 미검출(놓친 실제 음성)과 오경보(통과시킨 무음, 음악, 소음)를 맞바꾸며, 어느 오류가 더 중요한지는 벤치마크가 결정한다. NASA Apollo 오디오를 쓴 Fearless Steps Phase-3 챌린지에서 최고 시스템은 기준 시스템의 검출 비용 15.16%를 1.47%로 낮췄지만, 신호 대 잡음비 0 dB에서 WebRTC VAD의 평균 F1 점수는 겨우 0.581이었다. 모든 처리의 상류에서는 소음이 가장 큰 적이므로, VAD와 신경망 소음 억제 지연 시간은 보통 함께 조정된다. 우리는 NIST의 OpenSAT 평가, DIHARD III와 Fearless Steps 챌린지, Google의 AVA-Speech 및 2026년 윈도우 크기 연구, 3GPP와 ITU-T 코덱 사양, Cisco와 Avaya의 전화 가이드, 그리고 십수 편이 넘는 동료 심사 논문과 프리프린트의 데이터를 종합했다.
요약
- NIST는 음성 활동 감지를 0.75 × 미검출률 + 0.25 × 오경보율로 채점해, 미검출의 비용이 3배였다(NIST IR 8242, OpenSAT 2017 파일럿).
- DIHARD III 기준 시스템은 평가 코어 세트에서 미검출 4.97%, 오경보 15.07%였다(The Third DIHARD Diarization Challenge 논문, arXiv 2020).
- Fearless Steps Phase-3 최고 시스템은 평가 데이터에서 검출 비용 1.47%를 기록해 기준 시스템의 15.16%를 크게 밑돌았다(Joglekar 외, Interspeech 2021).
- DIHARD 3 오디오에서 pyannote 2.0은 오경보 3.9%, 미검출 3.3%였고, 2021년 당시 Silero VAD는 17.0%와 4.0%였다(Bredin·Laurent, arXiv 2021).
- 환경 소음 데이터셋 ESC-50에서 WebRTC VAD의 정확도는 0, Silero v5는 0.61, Silero v6는 0.87이었다(Silero VAD Quality Metrics, 프로젝트 주장).
- 50 ms 윈도우에서 매슈스 상관계수는 Silero가 0.72, WebRTC가 0.41, 단순 음량(RMS) 감지기가 0.11이었다(McKinnon 외, Google, arXiv 2026).
- 0 dB SNR에서 WebRTC VAD의 평균 AUC는 0.691로, 22.7K 파라미터의 MagicNet 0.956에 못 미쳤다(Jia 외, arXiv 2024).
- 판정 1회당 WebRTC VAD는 0.06 ms, 대형 ResNet VAD는 265 ms가 걸렸다(Chaudhuri 외, AVA-Speech, Interspeech 2018).
- Cisco는 VAD가 음성 대역폭을 최대 35퍼센트 절감한다고 가정하지만, 이는 24건이 넘는 통화의 평균에 한한다(Cisco, Per Call Bandwidth Consumption).
- 소음을 덧붙인 음성에서 Whisper의 단어 오류율은 WebRTC VAD 뒤에서 68.3%, Silero VAD 뒤에서 8.0%였다(Barański 외, arXiv 2025).
1. VAD 오류의 채점 방식: 미검출과 오경보
두 VAD 수치를 비교하기 전에 채점 규칙부터 확인하자. ‘오경보’는 비음성을 음성으로 표시한 것이고, ‘미검출’은 음성을 비음성으로 표시한 것이다. 그다음 평가자는 각 오류의 비용과, 세그먼트 경계 주변에 얼마나 여유를 줄지를 정한다. 이 여유를 ‘허용 구간’이라 부르며, 실제 음성 경계 주변에서 오류를 세지 않는 짧은 윈도우를 말한다. NIST는 미검출에 0.75, 오경보에 0.25의 가중치를 두었으며, 그 이유로 ‘놓친 검출이 오경보보다 더 중대하다고 여겨진다’는 점을 들었다(NIST IR 8242, OpenSAT 2017 파일럿).
그 이후 추세는 더 엄격한 채점으로 가고 있다. 허용 구간은 Fearless Steps에서 0.5 s에서 0.25 s로 줄었고 DIHARD III에서는 완전히 사라졌으므로, 허용 구간 없이 채점한 2026년 수치를 허용 구간을 둔 2017년 수치와 비교할 수는 없다. NIST 시리즈 자체도 끝났다. OpenSAT 프로그램 페이지는 상태를 완료로 표시하며 2020년 이후 평가는 없다.
| 지표 | 값 | 출처 |
|---|---|---|
| 음성 활동 감지 채점에 쓰이는 검출 비용 함수의 가중치 | DCF = 0.75 × P_Miss + 0.25 × P_FA | NIST IR 8242, OpenSAT 2017 파일럿 |
| 각 기준 음성 세그먼트 주변의 채점 제외 윈도우(허용 구간), OpenSAT 2017 파일럿 | 0.5 s | NIST IR 8242, OpenSAT 2017 파일럿 |
| OpenSAT 2017 파일럿에 결과를 제출한 팀 수 대 등록한 기관 수 | 22 대 33 | NIST IR 8242, OpenSAT 2017 파일럿 |
| 마지막 OpenSAT 평가와 그 도메인 | OpenSAT20(2020년), 영어 공공 안전 통신만 | NIST OpenSAT 평가 시리즈 페이지 |
| 채점 허용 구간, Fearless Steps Phase-3 대 Phase-2 | 0.25 s 대 0.5 s | Joglekar 외, Fearless Steps Phase-3, Interspeech 2021 |
| DIHARD III에서 쓰인 채점 허용 구간 | 없음(‘허용 구간을 사용하지 않고’), 겹친 음성도 채점 | The Third DIHARD Diarization Challenge 논문, arXiv 2020 |
| AVA-Speech의 각 클립에 레이블을 붙인 사람 평가자 3명 사이의 일치도 | 플라이스 카파 0.74(‘상당한 일치’) | Chaudhuri 외, AVA-Speech, Interspeech 2018 |
| Silero와 경쟁 VAD의 채점에 쓰인 세그먼트 길이 | 31.25 ms, 임계값은 17시간짜리 다중 도메인 검증 세트로 조정 | Silero VAD Quality Metrics 위키(프로젝트 주장) |
참고: 정답 레이블 자체에도 잡음이 있다. Amazon이 영화와 TV 450시간을 대상으로 한 연구에서는 레이블로 쓰이는 고품질 자막 파일에 최대 15%의 레이블 잡음이 있는 것으로 나타났다(Sharma 외, Neurocomputing 2022). NIST와 AVA 채점 규칙에 대해 확인 가능한 최신 데이터: 2017년에서 2019년, 그리고 2018년.
2. 챌린지 결과: 까다로운 오디오에서의 미검출률과 오경보율
공개 챌린지는 VAD가 아무도 맞춰 두지 않은 오디오를 만나는 자리다. DIHARD III 수치는 핵심 문제를 보여 준다. 기준 시스템의 오경보율은 개발 데이터의 3.98%에서 평가 코어 세트의 15.07%로 뛰었고, 미검출률은 훨씬 적게 움직였다. 감지기는 학습한 배경 소음에 과적합되고, 새로운 소음은 유령 음성으로 바뀐다.
Fearless Steps 결과는 반대편 끝을 보여 준다. NASA Apollo 임무 오디오는 소음이 많고 다채널이며 수십 년 전 것이지만, 최고의 Phase-3 시스템은 검출 비용을 기준의 약 10분의 1인 1.47%까지 낮췄다. Fearless Steps Phase-3 개요는 한계도 보여 준다. Phase-3는 Phase-2의 최고 기록 1.07%를 넘지 못했고, Apollo-13 하위 집합은 Apollo-11보다 여전히 어려웠다.
| 지표 | 값 | 출처 |
|---|---|---|
| DIHARD III 기준 시스템, 개발 코어 세트: 미검출 / 오경보 / 전체 오류 | 1.84% / 3.98% / 2.30% | The Third DIHARD Diarization Challenge 논문, arXiv 2020 |
| DIHARD III 기준 시스템, 평가 코어 세트: 미검출 / 오경보 / 전체 오류 | 4.97% / 15.07% / 7.26% | The Third DIHARD Diarization Challenge 논문, arXiv 2020 |
| DIHARD III 기준 시스템, 평가 전체 세트: 미검출 / 오경보 / 전체 오류 | 4.35% / 14.65% / 6.51% | The Third DIHARD Diarization Challenge 논문, arXiv 2020 |
| DIHARD III 평가 코어 세트의 규모와 음성 비중 | 녹음 184개, 22.73시간, 음성 77.35%, 도메인 11개 | The Third DIHARD Diarization Challenge 논문, arXiv 2020 |
| Fearless Steps Phase-3 참여 현황(전체 트랙) | 9개 기관, 과제별 14개 팀, 시스템 제출 235건 | Joglekar 외, Interspeech 2021 |
| Fearless Steps Phase-3 기준 시스템의 검출 비용, 개발 대 평가 | 12.84% 대 15.16% | Joglekar 외, Interspeech 2021 |
| Fearless Steps Phase-3 최고 검출 비용: 평가 전체 / Apollo-13 하위 집합 / 미지 채널 하위 집합 | 1.47% / 2.37% / 1.67% | Joglekar 외, Interspeech 2021 |
| Fearless Steps Phase-2 최고 검출 비용(Phase-3 이후에도 여전히 최신 기록) | 1.07% | Joglekar 외, Interspeech 2021 |
이상치 참고: DIHARD III 논문은 음성 활동 감지가 ‘일부 대상 도메인에서는 여전히 어려운 문제’이며, 정확한 분할이 없으면 오디오북을 제외하고 화자 분할이 ‘일부에서 치명적으로’ 나빠졌다고 말한다. 전체 표는 DIHARD III 챌린지 논문에 있다. 확인 가능한 최신 데이터: DIHARD III(2020년에서 2021년)와 Fearless Steps Phase-3(2021년). 두 챌린지 모두 더 새로운 음성 활동 감지 트랙을 진행하지 않았다.
3. 오픈 모델 정면 비교: pyannote, Silero, WebRTC
대부분의 제품은 세 가지 오픈 감지기 중 하나를 탑재한다. Google WebRTC 프로젝트의 신호 처리 기반 VAD, Silero 신경망 VAD, 또는 pyannote 분할 모델이다. 독립적인 데이터들은 순위에 대해 의견이 일치하며, 제품이 실패하는 바로 그 지점인 소음만 있는 오디오에서 격차가 가장 크다. ESC-50 환경 소음 클립에서 WebRTC VAD의 정확도는 0, 즉 모든 소음 클립을 음성으로 판정했고, Silero v6는 0.87을 맞혔다(Silero VAD Quality Metrics, 프로젝트 자체 주장).
오경보와 미검출의 구분에는 pyannote 2.0 논문이 더 나은 참고 자료다. 세 개의 공개 데이터셋에서 둘을 따로 보고하기 때문이다(Bredin·Laurent, arXiv 2021). 이 논문의 튜닝은 둘의 합을 최소화하므로 균형에 가까운 값에 도달한다(DIHARD 3에서 3.9% 대 3.3%). 같은 표의 2021년 당시 Silero 모델은 미검출은 적고 오경보는 많은 전형적인 비대칭 프로필을 보인다. 아래에서 쓰는 ROC-AUC는 모든 임계값에 걸쳐 감지기가 음성과 비음성을 얼마나 잘 가르는지를 0에서 1로 나타낸 점수이며, 매슈스 상관계수(MCC)는 한쪽 클래스가 압도적일 때도 공정함을 유지하는 -1에서 1 사이의 점수다.
| 지표 | 값 | 출처 |
|---|---|---|
| DIHARD 3: 오경보 / 미검출 / 검출 오류 합계, pyannote 2.0 대 Silero VAD(2021년 버전) | 3.9% / 3.3% / 7.3% 대 17.0% / 4.0% / 21.0% | Bredin·Laurent, arXiv 2021 |
| AMI 회의: 오경보 / 미검출, pyannote 2.0 대 Silero VAD(2021년 버전) | 3.6% / 3.2% 대 9.4% / 1.7% | Bredin·Laurent, arXiv 2021 |
| VoxConverse: 오경보 / 미검출, pyannote 2.0 대 Silero VAD(2021년 버전) | 1.8% / 0.8% 대 3.0% / 1.1% | Bredin·Laurent, arXiv 2021 |
| 17시간짜리 다중 도메인 검증 세트의 ROC-AUC: WebRTC / Silero v5 / Silero v6 | 0.73 / 0.96 / 0.97 | Silero VAD Quality Metrics 위키(프로젝트 주장) |
| 소음이 섞인 MSDWild 음성 80시간의 ROC-AUC: WebRTC 대 Silero v6 | 0.62 대 0.79 | Silero VAD Quality Metrics 위키(프로젝트 주장) |
| 올바르게 기각된 ESC-50 소음 클립 비율: WebRTC / Silero v5 / Silero v6 | 0 / 0.61 / 0.87 | Silero VAD Quality Metrics 위키(프로젝트 주장) |
| ESC-50에서 Silero VAD v5의 발화 단위 정확도(독립 검증) | 61% | Wang 외, Calm-Whisper, arXiv 2025 |
| 팟캐스트, 영화, 음악 1.1시간의 50 ms 윈도우 MCC: RMS / WebRTC / Silero | 0.11 / 0.41 / 0.72 | McKinnon 외, Google, arXiv 2026 |
참고: Google 팀은 히스테리시스(증거가 분명히 바뀔 때까지 현재의 음성 또는 비음성 상태를 유지하는 규칙)를 더하면 WebRTC의 MCC가 0.41에서 0.47로 올랐지만 Silero에는 쓸모 있는 효과가 없었다고 밝혔다(McKinnon 외, arXiv 2026). Silero 자체의 v6.0 릴리스 노트는 v5와 비교해 소음이 있는 실제 데이터에서 오류가 16%, 다중 도메인 검증에서 11% 적다고 주장하는데, 이는 아직 독립적으로 재현되지 않은 프로젝트 주장이다.
4. 소음과 SNR: 감지가 무너지는 지점
신호 대 잡음비(SNR)는 배경 위로 올라온 음성의 레벨을 데시벨로 나타낸 것이며, 0 dB은 음성과 소음의 크기가 같다는 뜻이다. 여기서 다루는 모든 데이터셋이 같은 패턴을 보인다. 깨끗한 음성은 해결된 문제이고, 음악과 소음은 그렇지 않다. Google의 AVA-Speech 영화 데이터셋에서 깨끗한 음성의 추정 SNR은 40.8 dB이었지만 음악이 깔린 음성은 11.7 dB에 불과했고, 대형 ResNet 감지기조차 참양성률이 깨끗한 음성의 0.992에서 음악이 있는 음성의 0.787로 떨어졌다(Chaudhuri 외, AVA-Speech).
소음 속 음성의 재현율을 끌어올리면 대개 오경보라는 대가가 따른다. Huawei의 2025년 소형 VAD는 전처리 단계를 추가해 MS-SNSD에서 소음 속 음성 정확도를 15.9%에서 89.9%로 높였지만, 같은 세트의 비음성 정확도는 99.1%에서 87.7%로 떨어졌다(Jafarzadeh Asl 외, arXiv 2025). 공짜 점심은 없다. 동작점이 상충 관계 곡선을 따라 움직일 뿐이다.
| 지표 | 값 | 출처 |
|---|---|---|
| AVA-Speech 추정 SNR: 깨끗한 음성 / 소음이 있는 음성 / 음악이 있는 음성 | 40.8 dB / 16.2 dB / 11.7 dB | Chaudhuri 외, AVA-Speech, Interspeech 2018 |
| 거짓양성률을 0.315로 고정했을 때 AVA-Speech 참양성률, WebRTC VAD: 깨끗함 / 소음 / 음악 | 0.786 / 0.706 / 0.733 | Chaudhuri 외, AVA-Speech, Interspeech 2018 |
| 같은 거짓양성률에서 AVA-Speech 참양성률, ResNet-960 모델: 깨끗함 / 소음 / 음악 | 0.992 / 0.944 / 0.787 | Chaudhuri 외, AVA-Speech, Interspeech 2018 |
| 0 dB(웅성거림, 자동차, 기계 소음)에서의 평균 F1과 AUC, WebRTC VAD 대 MagicNet | F1 0.581 대 0.859, AUC 0.691 대 0.956 | Jia 외, arXiv 2024 |
| MS-SNSD 소음 속 음성 정확도, SG-VAD 기준 대 전처리를 적용한 Huawei VAD | 15.9% 대 89.9% | Jafarzadeh Asl 외, arXiv 2025 |
| MS-SNSD 비음성 정확도, SG-VAD 기준 대 전처리를 적용한 Huawei VAD | 99.1% 대 87.7% | Jafarzadeh Asl 외, arXiv 2025 |
| 음성의 99%를 잡아내는 데 필요한 거짓양성률, SG-VAD 대 전처리를 적용한 Huawei VAD | 58% 대 28% | Jafarzadeh Asl 외, arXiv 2025 |
| 개인(타깃 화자) VAD의 평균 정밀도(mAP), 기준 대 최고 모델: 깨끗한 테스트 세트 대 소음과 잔향을 추가한 테스트 세트 | 깨끗함 0.900 대 0.969, 소음 0.801 대 0.928 | Ding 외, Google, Personal VAD, arXiv 2019 |
참고: 2025년 12월의 한 연구는 -18 dB에서 +30 dB까지의 소음을 섞은 카자흐어 음성으로 하이브리드 CNN 감지기를 학습시켰다. 최고 모델은 F1 점수 99.6%에 도달했고 -12 dB 이상에서 강건함을 유지했지만, 단일 소음 수준에서 학습한 모델은 일반화가 좋지 않았다(Kulakayeva 외, ETASR 2025). Amazon의 영화·TV 리뷰는 약 2M 파라미터 모델이 약 0.5M 모델보다 소음에 덜 강건하다는 점도 확인했다. AVA-Speech와 Personal VAD에 대해 확인 가능한 최신 데이터: 2018년과 2019년.
5. 프레임 크기, 지연 시간, 연산 예산
VAD는 다른 모든 처리보다 먼저 실행되므로 가벼워야 한다. 문헌에서 제시하는 예산은 아주 작다. WebRTC VAD는 10, 20, 30 ms 프레임 단위로 판정하며(py-webrtcvad 문서), AVA-Speech 벤치마크에서 판정 1회당 0.06 ms가 필요했던 반면 가장 정확한 ResNet 모델은 265 ms가 필요했다. 그 대가로 후자는 전체 음성에 대한 참양성률을 0.722에서 0.917로 끌어올렸다.
2024년에서 2026년의 연구는 모델 쪽에서 이 격차를 좁히고 있다. MagicNet은 22.7K 파라미터로 실시간 계수(처리 시간을 오디오 길이로 나눈 값) 0.034로 동작해 WebRTC의 0.015에 가깝고, Silero는 약 2 MB 모델이 30 ms 이상의 청크를 CPU 단일 스레드에서 1 ms 미만에 처리한다고 밝힌다(Silero VAD README, 프로젝트 주장). 개인 VAD는 작게 유지해야 하는 또 다른 이유를 보여 준다. Google은 등록된 사용자일 때만 인식기가 깨어나도록 온디바이스 음성 인식을 제어하기 위해 이를 만들었고, 그 결과 연산량과 배터리 사용량이 줄었다.
| 지표 | 값 | 출처 |
|---|---|---|
| WebRTC VAD 프레임 길이, 공격성 모드, 샘플링 레이트 | 10, 20 또는 30 ms, 모드 0에서 3, 8, 16, 32 또는 48 kHz, 16비트 모노 PCM | py-webrtcvad 문서 |
| 판정 1회당 지연 시간, AVA-Speech 벤치마크: WebRTC / CNN tiny_320 / CNN ResNet-960 | 0.06 ms / 2.23 ms / 265 ms | Chaudhuri 외, AVA-Speech, Interspeech 2018 |
| Intel Xeon CPU의 실시간 계수: WebRTC / MagicNet / MarbleNet | 0.015 / 0.034 / 0.038 | Jia 외, arXiv 2024 |
| 파라미터 수: MagicNet / CRNN / MarbleNet | 22.7K / 36.8K / 85.2K | Jia 외, arXiv 2024 |
| Silero VAD 처리 시간과 모델 크기 | CPU 단일 스레드에서 30 ms 이상 청크당 1 ms 미만, 약 2 MB, ONNX는 최대 4-5배 빠름 | Silero VAD README(프로젝트 주장) |
| pyannote 2.0 분할 모델의 프레임 스텝과 입력 청크 | 약 16 ms, 5 s 청크 | Bredin·Laurent, arXiv 2021 |
| EML 온라인 SAD의 판정 간격과 CPU 1개에서의 실시간 계수(Apollo 오디오) | 약 0.1 s마다, 약 0.002 | Ghahabi·Fischer, arXiv 2021 |
| 개인 VAD의 크기, 임베딩 전용 모델 대 화자 검증 기반 파이프라인 | 0.13M 대 4.88M + 0.06M 파라미터, 10 ms마다 한 번 판정 | Ding 외, Google, Personal VAD, arXiv 2019 |
참고: 프레임 크기는 정확도를 좌우하는 요소이기도 하다. Google의 2026년 윈도우 연구는 10 ms에서 10 s까지의 윈도우에 걸쳐 예측을 평균했고, 100 ms 설정에서 Silero가 WebRTC를 확실히 앞선다는 것을 확인했다. 더 긴 윈도우는 깜빡임을 매끄럽게 하지만 지연을 더하기 때문에, 실시간 음성 도구는 기본 프레임을 짧게 유지하고 그 뒤에 평활화한다.
6. 전화 DTX: 무음을 보내지 않아 절약하는 대역폭
전화에서 VAD는 불연속 전송(DTX)을 통해 제값을 한다. 감지기가 음성을 듣지 못하면 전화기는 음성 패킷 전송을 멈추고, 상대편은 회선이 끊어진 것처럼 들리지 않도록 합성된 ‘안정 잡음(컴포트 노이즈)‘을 재생한다. Avaya 문서는 대화 전송량의 40% 넘게가 무음이라고 밝히는데, 보통 한 번에 한쪽만 말하기 때문이다(Avaya Aura 문서, 벤더 가이드).
설계용 수치는 무음 비중이 시사하는 것보다 더 보수적이다. Cisco는 엔지니어에게 VAD 절감을 동시 통화가 많을 때에만 기대하라고 안내한다(Cisco 통화당 대역폭 가이드, 벤더 가이드). 통화 한 건이 내내 말소리뿐일 수 있고, 대기 음악이나 팩스는 감지기를 무력화하기 때문이다. Avaya는 오류 간 상충 관계를 직접 짚는다. 너무 공격적이면 단어의 시작과 끝이 잘리고(미검출), 충분히 공격적이지 않으면 대역폭이 절약되지 않는다(오경보). 이후 패킷 타이밍이 통화 품질에 어떤 영향을 주는지는 저희 VoIP 지터 버퍼와 POLQA 통계를 참고하세요.
| 지표 | 값 | 출처 |
|---|---|---|
| VAD로 인한 대역폭 절감, 24건이 넘는 통화의 평균으로 | 최대 35퍼센트, 개별 통화마다 실현되지는 않음 | Cisco, Voice Over IP Per Call Bandwidth Consumption(벤더 가이드) |
| VAD 절감을 계산에 넣어서는 안 된다고 Cisco가 밝힌 링크 | 동시 음성 통화가 24건 미만인 링크 | Cisco, Voice Over IP Per Call Bandwidth Consumption(벤더 가이드) |
| 기본 페이로드 크기에서 통화당 Ethernet 대역폭, G.711 대 G.729 | 87.2 kbps 대 31.2 kbps | Cisco, Voice Over IP Per Call Bandwidth Consumption(벤더 가이드) |
| 대화 전송량 중 무음의 비중 | 40% 넘음 | Avaya Aura 10.2.x 문서(벤더 가이드) |
| Avaya Communication Manager에서 무음 억제의 기본 상태 | 비활성, 단 G.729B는 내장되어 있음 | Avaya Aura 10.2.x 문서(벤더 가이드) |
| ITU-T G.729 기본 비트레이트, Annex B의 역할 | 8 kbit/s, Annex B는 VAD, DTX, 안정 잡음을 추가하며 회선용으로 조정되었고 VoIP용으로는 Appendices II와 III가 있음 | ITU-T Rec. G.729(06/2012) 요약 |
| EVS 코덱의 안정 잡음 갱신 간격: 기본 / 고정 비율 범위 / 적응 비율 범위 | 8프레임마다 / 1에서 100프레임 / 8에서 50프레임 | 3GPP TS 26.449, EVS 안정 잡음 생성 |
참고: 3GPP의 EVS 개요는 DTX가 요구되는 평균 비트레이트를 낮춰 ‘부하가 줄어 더 효율적인 전송으로 이어지고 따라서 용량이 늘어난다’고 설명하지만, 단일 비율은 제시하지 않는다(3GPP TS 26.441 개요). ITU-T G.729 요약은 2012년 6월 자료이며, 이 코덱 계열에 대해 확인 가능한 가장 최신 문서로 남아 있다.
7. 하류 피해: VAD 오류가 ASR과 화자 분할로 번지는 과정
VAD 오류가 최종 오류가 되는 경우는 드물다. 오경보는 음성 인식기에 받아 적을 소음을 넘기고, 미검출은 이후 어떤 단계도 되살릴 수 없는 단어를 지워 버린다. 가장 명확한 통제 실험 결과는 폴란드 크라쿠프의 AGH 공과대학에서 나왔다. SNR 9 dB에서 비음성 소리를 덧붙인 Common Voice 음성에서 Whisper의 단어 오류율은 앞단이 WebRTC VAD일 때 68.3%, Silero VAD일 때 8.0%였다(Barański 외, arXiv 2025). 감지기 선택만으로 오류가 약 8배 달라졌다. 지어낸 단어는 삽입으로 계산되므로 여기서는 100%를 넘는 비율도 가능하다. 인식기 쪽에서 일어나는 이 실패는 저희 음성 인식 환각 통계에서 자세히 다룬다.
좋은 VAD는 속도와 타이밍 정확도도 가져다준다. WhisperX는 pyannote VAD로 오디오를 음성만 담은 청크로 잘라 배치 처리하며, 그 덕분에 일반 Whisper보다 11.8배 빨라졌고 AMI 회의에서 단어 타이밍 정밀도도 높아졌다(Bain 외, WhisperX, arXiv 2023). 화자 분할 쪽에서는 2025년 ETH Zurich가 196.6시간에 걸쳐 수행한 벤치마크가 ‘놓친 음성이 모든 화자 분할 모델에서 가장 지배적인 실패 사례’임을 확인했다(Lanzendörfer 외, arXiv 2025). 저희 화자 분할 오류율 통계는 전체 오류 예산을 추적한다.
| 지표 | 값 | 출처 |
|---|---|---|
| 앞이나 뒤에 비음성 소리가 있는 음성에서 Whisper의 단어 오류율, WebRTC VAD 대 Silero VAD | 68.3% 대 8.0% | Barański 외, arXiv 2025 |
| 소음이 음성과 겹칠 때 같은 비교, WebRTC VAD 대 Silero VAD | 75.4% 대 10.8% | Barański 외, arXiv 2025 |
| VAD 기반 배치 처리를 쓴 전사 속도, WhisperX 대 Whisper | 11.8배 대 1.0배 | Bain 외, WhisperX, arXiv 2023 |
| AMI 회의(허용 구간 200 ms)의 단어 타이밍 정밀도 / 재현율, WhisperX 대 Whisper | 84.1 / 60.3 대 78.9 / 52.1 | Bain 외, WhisperX, arXiv 2023 |
| 녹음당 평균 비발성 시간, 실어증 화자 대 대조군 화자(pyannote로 측정, Silero로 확인) | 6.8 s 대 1.3 s(p < 2.2e-16) | Koenecke 외, Careless Whisper, ACM FAccT 2024 |
| 평균 비발성 시간, Whisper가 환각을 일으킨 녹음 대 일으키지 않은 녹음 | 5.3 s 대 3.5 s | Koenecke 외, Careless Whisper, ACM FAccT 2024 |
| 시스템이 기준 음성 구간을 받는 경우(트랙 1)가 아니라 스스로 음성을 찾아야 하는 경우(트랙 2) 추가되는 화자 분할 난이도 | DER과 JER 모두 ‘5% 정도’ | The Third DIHARD Diarization Challenge 논문, arXiv 2020 |
| 놓친 음성 관련 결론의 바탕이 된 화자 분할 벤치마크 범위 | 196.6시간, 데이터셋 4개, 언어 5개 | Lanzendörfer 외, ETH Zurich, arXiv 2025 |
이상치 참고: 같은 크라쿠프 표는 VAD가 필요조건이지만 충분조건은 아님을 보여 준다. Silero VAD에 반복 제거 단계와 알려진 환각 문구 목록을 더하면 Silero 단독보다 나은 결과가 나왔다(겹침 없는 오디오에서 단어 오류율 6.5% 대 8.0%). WhisperX에 대해 확인 가능한 최신 데이터: 2023년.
요약: 숫자로 보는 음성 활동 감지
| 지표 | 값 | 출처 |
|---|---|---|
| NIST 음성 활동 비용 함수 | 0.75 × 미검출률 + 0.25 × 오경보율 | NIST IR 8242, OpenSAT 2017 파일럿 |
| DIHARD III 기준 시스템, 평가 코어: 미검출 / 오경보 | 4.97% / 15.07% | The Third DIHARD Diarization Challenge 논문, arXiv 2020 |
| Fearless Steps Phase-3 검출 비용, 기준 대 최고(평가) | 15.16% 대 1.47% | Joglekar 외, Interspeech 2021 |
| Fearless Steps 채점 허용 구간, Phase-3 대 Phase-2 | 0.25 s 대 0.5 s | Joglekar 외, Interspeech 2021 |
| DIHARD 3 오경보 / 미검출, pyannote 2.0 | 3.9% / 3.3% | Bredin·Laurent, arXiv 2021 |
| DIHARD 3 오경보 / 미검출, Silero VAD(2021년 버전) | 17.0% / 4.0% | Bredin·Laurent, arXiv 2021 |
| 올바르게 기각된 ESC-50 소음 클립, WebRTC 대 Silero v6 | 0 대 0.87 | Silero VAD Quality Metrics 위키(프로젝트 주장) |
| 50 ms 윈도우의 MCC, WebRTC 대 Silero | 0.41 대 0.72 | McKinnon 외, Google, arXiv 2026 |
| 0 dB SNR에서 평균 AUC, WebRTC 대 MagicNet | 0.691 대 0.956 | Jia 외, arXiv 2024 |
| AVA-Speech ResNet 참양성률, 깨끗한 음성 대 음악이 있는 음성 | 0.992 대 0.787 | Chaudhuri 외, AVA-Speech, Interspeech 2018 |
| MS-SNSD 소음 속 음성 정확도, 기준 대 전처리를 적용한 Huawei VAD | 15.9% 대 89.9% | Jafarzadeh Asl 외, arXiv 2025 |
| 판정 1회당 지연 시간, WebRTC 대 ResNet-960 | 0.06 ms 대 265 ms | Chaudhuri 외, AVA-Speech, Interspeech 2018 |
| 24건이 넘는 통화의 평균으로 본 VAD 대역폭 절감 | 최대 35퍼센트 | Cisco, Per Call Bandwidth Consumption(벤더 가이드) |
| 대화 전송량 중 무음의 비중 | 40% 넘음 | Avaya Aura 10.2.x 문서(벤더 가이드) |
| EVS 기본 안정 잡음 갱신 간격 | 8프레임마다 | 3GPP TS 26.449 |
| WebRTC VAD 대 Silero VAD 뒤에서 Whisper의 단어 오류율 | 68.3% 대 8.0% | Barański 외, arXiv 2025 |
| VAD 기반 배치 처리로 인한 WhisperX 속도 향상 | 11.8배 | Bain 외, WhisperX, arXiv 2023 |
방법론과 출처
- NIST IR 8242, OpenSAT 2017 파일럿 평가 보고서: 비용 함수, 허용 구간, 참여 현황.
- NIST OpenSAT 평가 시리즈 페이지: 평가 연도, 도메인, 프로그램 상태.
- The Third DIHARD Diarization Challenge 논문(arXiv 2012.01477): 기준 시스템의 음성 활동 감지 미검출률과 오경보율, 데이터셋 규모, 트랙 1 대 트랙 2 결과.
- Joglekar 외, Fearless Steps Challenge Phase-3, Interspeech 2021: Apollo 오디오 검출 비용 결과와 허용 구간.
- Ghahabi·Fischer, EML online SAD for Fearless Steps Phase-III, arXiv 2021: 판정 간격과 실시간 계수.
- Bredin·Laurent, End-to-end speaker segmentation for overlap-aware resegmentation, arXiv 2021: AMI, DIHARD 3, VoxConverse의 오경보율과 미검출률.
- Silero VAD Quality Metrics 위키, Silero VAD README, Silero VAD 릴리스: 프로젝트가 직접 보고한 정확도, 속도, 릴리스 관련 주장.
- McKinnon 외, Window Size Versus Accuracy Experiments in Voice Activity Detectors, Google, arXiv 2026: RMS, WebRTC, Silero의 MCC 비교.
- py-webrtcvad 문서: WebRTC VAD 프레임 크기, 모드, 샘플링 레이트.
- Chaudhuri 외, AVA-Speech, Interspeech 2018: 레이블 비중, 추정 SNR, 조건별 참양성률, 지연 시간.
- Jia 외, A Real-Time Voice Activity Detection Based on Lightweight Neural Network, arXiv 2024: 0 dB의 F1, AUC, 파라미터 수, 실시간 계수.
- Jafarzadeh Asl 외, Tiny Noise-Robust Voice Activity Detector for Voice Assistants, Huawei, arXiv 2025: 소음 속 음성과 비음성 정확도 사이의 상충 관계.
- Kulakayeva 외, Robust Neural Network-Based VAD under Low SNR, ETASR 2025: SNR 범위와 강건성 임계값.
- Sharma 외, Empirical review of VAD for movies and TV shows, Neurocomputing 2022: 레이블 잡음과 모델 크기 관련 결과.
- Ding 외, Personal VAD, Google, arXiv 2019: 타깃 화자 VAD의 정밀도, 크기, 프레임 레이트.
- Cisco, Voice Over IP Per Call Bandwidth Consumption: VAD 절감 가이드와 통화당 대역폭.
- Avaya Aura 10.2.x, Silence suppression or voice activity detection: 무음 비중과 기본값.
- ITU-T Rec. G.729(06/2012) 요약, 3GPP TS 26.449 EVS 안정 잡음 생성, 3GPP TS 26.441 EVS 개요: DTX와 안정 잡음의 동작 원리(3GPP 문서는 iTecSpec 미러를 통해 열람).
- Barański 외, Investigation of Whisper ASR Hallucinations Induced by Non-Speech Audio, arXiv 2025: WebRTC VAD 대 Silero VAD 뒤에서의 단어 오류율.
- Bain 외, WhisperX, arXiv 2023: VAD 기반 배치 처리에 따른 속도 향상과 단어 타이밍 결과.
- Wang 외, Calm-Whisper, arXiv 2025: ESC-50에서 Silero v5 정확도의 독립 검증.
- Koenecke 외, Careless Whisper, ACM FAccT 2024: 비발성 시간과 환각.
- Lanzendörfer 외, Benchmarking Diarization Models, ETH Zurich, arXiv 2025: 화자 분할의 지배적 실패 사례로서 놓친 음성.
- 데이터 참고 사항: 벤치마크 기반 자료의 상당수가 3년보다 오래되었다(OpenSAT 2017, AVA-Speech 2018, Personal VAD 2019, DIHARD III 2020년에서 2021년, Fearless Steps Phase-3 2021, WhisperX 2023). 그 이후로 공개 음성 활동 감지 챌린지가 열리지 않았기 때문이며, 이들을 확인 가능한 최신 데이터로 보아 주길 바란다. pyannote 논문의 DIHARD 3 기준 행(오경보 4.0%, 미검출 4.2%)은 DIHARD III 논문 자체의 평가 수치(코어 세트에서 15.07%와 4.97%)와 맞지 않으며, 아마도 분할이나 설정이 달랐기 때문일 것이므로 각각을 자신의 출처와 함께만 인용한다. 2021년 pyannote 표의 Silero 모델은 Silero v5와 v6 이전 버전이다. Google의 2026년 논문은 Silero의 기본 윈도우를 16 ms로 제시하지만 Silero README는 30 ms 이상의 청크를 언급한다. AVA-Speech는 스스로를 ‘45시간’이라고도 ‘약 46시간’이라고도 설명한다. Personal VAD 논문은 소음 테스트 모델이 다르게 학습되었는지 여부를 충분히 밝히지 않는다. Silero, Cisco, Avaya의 수치는 각 발행처의 자체 주장 또는 가이드다. Cisco의 35퍼센트는 평균적인 경우를 가정한 설계 수치이며, 특정 네트워크를 측정한 값이 아니다.
- 마지막 업데이트: 2026년 10월 31일. 저희는 이 정리를 분기마다 업데이트하며, 다음 갱신은 ICASSP 2027 논문이 공개되고 Silero VAD 프로젝트가 Quality Metrics 페이지를 다음에 업데이트할 때 이루어질 것으로 예상한다.