WSJ0-2mix 벤치마크의 2화자 음성 분리 성능은 2015년 딥 클러스터링의 약 6 dB 신호 이득에서 2024년 25.1 dB SI-SNRi로 향상되었다(Hershey 외, arXiv 2015; SepReformer, NeurIPS 2024). 이 도약 덕분에 ‘칵테일 파티 문제’는 실험실의 호기심에서 실제로 출시되는 보청기와 헤드셋 기능으로 바뀌었다. 다만 깨끗한 벤치마크는 모델을 실제보다 좋아 보이게 한다. Conv-TasNet은 깨끗한 혼합음에서 15.3 dB이지만 소음과 잔향이 더해지면 8.3 dB로 떨어진다(MossFormer2 논문, arXiv 2312.11825, 비교표). 수요 측면의 규모도 엄청나서, 청각 장애를 일으키는 난청으로 재활이 필요한 사람은 430백만 명에 이른다(WHO 팩트시트, 2026년 3월). 이 글은 arXiv, IEEE ICASSP, Interspeech, NeurIPS의 동료 심사 논문, Microsoft의 DNS 및 NOTSOFAR-1 챌린지, Google Research, MERL, WHO, FDA, MarkeTrak 2025, 워싱턴 대학교와 컬럼비아 대학교 연구진의 데이터를 종합했다. 같은 기술의 소비자 측면은 저희 AI 오디오 분리기 통계를 참고하세요.
요약
- WSJ0-2mix 2화자 최고 결과: 25.1 dB SI-SNRi(다이내믹 믹싱을 적용한 SepReformer-L, NeurIPS 2024; TF-Locoformer L, MERL 2024).
- 딥 클러스터링은 2015년에 화자 혼합음에서 약 6 dB의 개선을 이뤘다(Hershey 외, arXiv 1508.04306).
- Conv-TasNet은 5.1백만 개 파라미터와 최소 지연 2 ms로 15.3 dB SI-SNRi를 달성했다(Luo와 Mesgarani, IEEE/ACM TASLP 2019).
- SepReformer-B는 39.8 GMACs/s에서 23.8 dB에 도달하고, TF-GridNet은 460.8 GMACs/s에서 23.5 dB에 도달한다(SepReformer, NeurIPS 2024).
- SepFormer는 학습 시 최대 메모리가 35.3 GB 필요하지만, SepMamba (S)는 2.0 GB면 된다(SepMamba 논문, 2024).
- Conv-TasNet의 점수는 깨끗한 환경에서 15.3 dB, 소음 환경(WHAM!)에서 12.7 dB, 소음과 잔향 환경(WHAMR!)에서 8.3 dB이다(MossFormer2 논문, 2024).
- 분리를 적용하자 LibriCSS의 중첩률 40%에서 단어 오류율이 43.3%에서 21.7%로 떨어졌다(Chen 외, Microsoft, 2020).
- NOTSOFAR-1 최고 성능 멀티채널 시스템: tcpWER 10.8%, 기준선은 28.3%(NOTSOFAR-1 요약, 2025).
- 2.2 MB 크기의 온디바이스 VoiceFilter-Lite 모델은 겹치는 발화에서 WER을 25.1% 개선했다(Google Research, 2020).
- 청각 장애를 일으키는 난청으로 재활이 필요한 사람은 430백만 명이며, 2050년에는 700백만 명을 넘어선다(WHO, 2026년 3월).
- 청력에 어려움이 있는 미국인의 보청기 보급률은 2022년 46.9%에서 51.3%로 올랐다(MarkeTrak 2025).
- UW Target Speech Hearing: 참가자 21명이 등록된 목소리를 필터링하지 않은 오디오보다 거의 두 배 또렷하다고 평가했다(워싱턴 대학교, CHI 2024).
1. WSJ0-2mix에서 본 10년간의 벤치마크 진전
WSJ0-2mix 벤치마크는 컴퓨터 비전에서 ImageNet이 한 일을 음성 분리에서 해냈다. 고정된 목표가 있었기에 10년 동안의 진전을 측정할 수 있었다. 2화자 최고 점수는 2015년의 약 6 dB 신호 개선에서 2024년 25.1 dB SI-SNRi로 올랐다. 데시벨은 로그 척도이므로 3 dB가 늘어날 때마다 남는 간섭 에너지는 대략 절반으로 줄어든다. 가장 중요한 도약은 2018년이었는데, Conv-TasNet이 스펙트로그램 마스크를 버리고 원시 파형을 직접 처리하기 시작했다. 오랫동안 실용적 한계로 여겨져 온 이상적인 시간-주파수 마스크를 넘어선 최초의 시스템이었다(Conv-TasNet, Luo와 Mesgarani).
그 이후 곡선은 완만해졌다. 2021년부터 2024년까지의 향상은 약 1 dB 단위로 이뤄졌고, 2024년 상위 두 모델은 25.1 dB로 같다. 이 분야는 사실상 자신의 벤치마크를 포화시켰고, 그래서 최근 논문들은 효율과 강건성으로 경쟁한다(2절과 3절).
| 지표 | 값 | 출처 |
|---|---|---|
| 딥 클러스터링, 화자 혼합음(2015) | 약 6 dB 개선 | Hershey 외, 딥 클러스터링, arXiv 2015 |
| 개선된 딥 클러스터링, 2화자(2016) | SDR 10.3 dB 개선(기준선 6.0 dB) | Isik 외, arXiv 1607.02173, 2016 |
| Conv-TasNet(2018) | 15.3 dB SI-SNRi, 15.6 dB SDRi | Luo와 Mesgarani, IEEE/ACM TASLP 2019 |
| DPRNN(2019) | 18.8 dB SI-SDRi | Luo, Chen, Yoshioka, ICASSP 2020 |
| 다이내믹 믹싱을 적용한 SepFormer(2020) | 22.3 dB SI-SNRi | Subakan 외, ICASSP 2021 |
| TF-GridNet, 데이터 증강 없음(2022) | 23.5 dB SI-SDRi | TF-GridNet 논문, arXiv 2211.12433 |
| MossFormer2(2023) | 24.1 dB SI-SDRi | MossFormer2 논문, arXiv 2312.11825 |
| SepReformer-L과 TF-Locoformer (L), 둘 다 다이내믹 믹싱 적용(2024) | 25.1 dB SI-SNRi | SepReformer, NeurIPS 2024; Saijo 외, MERL 2024 |
이상적인 마스크와의 비교가 Conv-TasNet을 획기적인 모델로 만들었다. 같은 테스트셋에서 이상적 이진 마스크는 13.0 dB SI-SNRi, 이상적 비율 마스크는 12.2 dB, 위너 필터 방식 마스크는 13.4 dB를 기록했고 모두 Conv-TasNet의 15.3 dB에 못 미쳤다. 사람 청취자의 평가도 같았다. Conv-TasNet 출력의 평균 의견 점수(MOS)는 4.03으로, 이상적 비율 마스크의 3.51을 앞섰다.
| 지표 | 값 | 출처 |
|---|---|---|
| 이상적 이진 마스크(IBM) | 13.0 dB SI-SNRi | Conv-TasNet 논문, 2019 |
| 이상적 비율 마스크(IRM) | 12.2 dB SI-SNRi | Conv-TasNet 논문, 2019 |
| 위너 필터 방식 마스크(WFM) | 13.4 dB SI-SNRi | Conv-TasNet 논문, 2019 |
| 청취자 MOS: Conv-TasNet 대 IRM | 4.03 대 3.51 | Conv-TasNet 논문, 2019 |
| WSJ0-2mix 규모 | 학습 30시간, 검증 10시간, 테스트 5시간 | Conv-TasNet 논문, 2019 |
| 혼합 범위 | -5에서 5 dB 사이의 무작위 SNR | Conv-TasNet 논문, 2019 |
참고: ‘다이내믹 믹싱’(DM)은 학습 중에 새로운 혼합음을 즉석에서 만들어 약 1~2 dB를 더해 준다. SepFormer는 DM을 쓰면 22.3 dB, 쓰지 않으면 20.4 dB이므로 논문 간 비교를 할 때는 먼저 이 설정을 확인해야 한다(SepFormer, arXiv 2010.13154). 2015년부터 2019년까지의 기준선에 대해 구할 수 있는 최신 데이터는 원 논문의 것이다.
2. 효율: 파라미터, 연산량, 메모리, 지연
정확도가 정체되자 경쟁은 비용으로 옮겨갔다. SepReformer-B는 오디오 1초당 39.8 GMACs로 23.8 dB SI-SNRi에 도달하는 반면, TF-GridNet은 23.5 dB를 위해 460.8 GMACs/s가 필요하다. 약간 더 나은 점수를 위해 연산량이 11배 넘게 차이 나는 셈이다(SepReformer, NeurIPS 2024). 파라미터 수도 비슷한 이야기를 들려준다. DPRNN은 2019년에 이전 최고 시스템보다 20배 작은 모델로 당시 최고 수준에 맞먹었다.
메모리는 누가 이런 모델을 학습시킬 수 있는지를 가르는 숨은 비용이다. SepFormer의 최대 메모리는 35.3 GB인 반면, SepMamba (S)는 2.0 GB이면서도 21.2 dB를 기록한다(SepMamba, 덴마크 공과대학교와 WS Audiology, 2024). 스마트폰, 헤드셋, 보청기에서 돌아가야 하는 모델에서는 이 차이가 출시 가능 여부를 결정한다.
| 지표 | 값 | 출처 |
|---|---|---|
| SepReformer-T | 3.7백만 개 파라미터에서 22.4 dB, 10.4 GMACs/s | SepReformer, NeurIPS 2024 |
| SepReformer-B | 14.2백만 개 파라미터에서 23.8 dB, 39.8 GMACs/s | SepReformer, NeurIPS 2024 |
| DM을 적용한 SepReformer-L | 55.3백만 개 파라미터에서 25.1 dB, 155.5 GMACs/s | SepReformer, NeurIPS 2024 |
| TF-GridNet | 14.5백만 개 파라미터에서 23.5 dB, 460.8 GMACs/s | SepReformer, NeurIPS 2024(비교표) |
| QDPN | 200.0백만 개 파라미터 | TF-GridNet 논문, 2022 |
| MossFormer2 | 55.7백만 개 파라미터, 실시간 계수 0.053 | MossFormer2 논문, 2023 |
| DPRNN | 2.6백만 개 파라미터, 이전 최고보다 20배 작음 | Luo 외, ICASSP 2020 |
| Conv-TasNet 최소 지연 | 2 ms(STFT 윈도우 32 ms 대비) | Conv-TasNet 논문, 2019 |
| 지표 | 값 | 출처 |
|---|---|---|
| SepFormer 최대 메모리 | 35.30 GB | SepMamba 논문, 2024 |
| DM을 적용한 MossFormer2 최대 메모리 | 12.30 GB | SepMamba 논문, 2024 |
| SepMamba (S) | 21.2 dB, 7.2백만 개 파라미터, 최대 메모리 2.00 GB | SepMamba 논문, 2024 |
| SepMamba (M) | 22.7 dB, 22백만 개 파라미터, 최대 메모리 3.04 GB | SepMamba 논문, 2024 |
| EConv-TasNet(2026년 9월) | 3.8백만 개 파라미터에서 18.4 dB | Liu, Novatek, arXiv 2609.11342 |
| EConv-TasNet 대 Conv-TasNet | 22.4% 작고 추론이 18.9% 빠름 | Liu, arXiv 2609.11342 |
예외적 사례: 이 정리에서 가장 최신 논문인 반도체 업체 Novatek의 EConv-TasNet(2026년 9월)은 25 dB 기록을 쫓지 않는다. 엣지 배포를 겨냥해 더 적은 파라미터로 Conv-TasNet에 3.1 dB를 더했다(EConv-TasNet). 상업적 관심이 어디에 있는지 보여 주는 좋은 신호다.
3. 실환경 강건성: 소음, 잔향, 더 많은 화자
통제된 수준으로 섞은 스튜디오의 깨끗한 낭독 음성은 레스토랑이 아니다. Conv-TasNet은 테스트 혼합음에 실제 주변 소음과 잔향이 더해지면 7 dB를 잃는다. WSJ0-2mix에서 15.3 dB, WHAM!에서 12.7 dB, WHAMR!에서 8.3 dB이다(MossFormer2 비교표). WHAM!은 샌프란시스코 베이 지역의 카페, 레스토랑, 바에서 녹음한 소음을 더하며, 저자들은 대부분의 분리 연구가 낮은 샘플링 레이트와 배경 소음이 없는 제한된 설정을 사용했다고 지적한다(WHAM!, Interspeech 2019).
더 새로운 모델은 이 격차의 상당 부분을 좁혔지만 전부는 아니다. 잔향이 있는 환경에서 가장 좋은 결과는 1718.5 dB로, 깨끗한 벤치마크보다 여전히 67 dB 낮다. 화자가 세 명이 되면 같은 모델에서 1.9~2.8 dB가 더 떨어진다(MossFormer2: 24.1에서 22.2 dB, SepFormer: 22.3에서 19.5 dB). 또한 LibriMix의 저자들은 WSJ0-2mix로 학습한 모델이 비슷한 데이터셋에서 성능이 크게 떨어진다는 점을 보였고, 그래서 LibriMix는 LibriSpeech 음성에 WHAM! 소음을 더해 만들어졌다(LibriMix, Interspeech 2020).
| 지표 | 값 | 출처 |
|---|---|---|
| Conv-TasNet: WSJ0-2mix / WHAM! / WHAMR! | 15.3 / 12.7 / 8.3 dB SI-SDRi | MossFormer2 논문, 2023 |
| SepFormer: WHAM! / WHAMR! | 16.4 / 14.0 dB | MossFormer2 논문, 2023 |
| MossFormer2: WHAM! / WHAMR! | 18.1 / 17.0 dB | MossFormer2 논문, 2023 |
| DM을 적용한 SepReformer-L: WHAM! / WHAMR! | 18.5 / 17.2 dB | SepReformer, NeurIPS 2024 |
| TF-Locoformer (M): WHAMR! | 18.5 dB | Saijo 외, MERL 2024 |
| TF-GridNet, 6채널 SMS-WSJ(전체 파이프라인) | 22.8 dB SI-SDR, PESQ 4.08 | TF-GridNet 논문, 2022 |
| 지표 | 값 | 출처 |
|---|---|---|
| 3화자, Conv-TasNet(WSJ0-3mix) | 12.7 dB SI-SNRi | Conv-TasNet 논문, 2019 |
| 3화자, SepFormer(WSJ0-3mix) | 19.5 dB SI-SNRi | SepFormer 논문, 2020 |
| 3화자, MossFormer2(WSJ0-3mix) | 22.2 dB SI-SDRi | MossFormer2 논문, 2023 |
| 3화자, 개선된 딥 클러스터링(2016) | SDR 7.1 dB 개선 | Isik 외, 2016 |
| Libri2Mix: Conv-TasNet / SepFormer / MossFormer2 | 14.7 / 19.2 / 21.7 dB | MossFormer2 논문, 2023 |
| Libri2Mix: SepReformer-M / TF-Locoformer (M) | 22.1 / 22.1 dB | SepReformer, 2024; Saijo 외, 2024 |
주의: 벤치마크 자체에도 결함이 있다. IEEE ASRU에 채택된 2025년 연구는 WSJ0-2mix 참조 신호의 잡음이 달성 가능한 SI-SDR을 제한하며, SI-SDR이 테스트셋 전반에서 체감 잡음 정도와 음의 상관관계를 보였다고 밝혔다(Jepsen 외, arXiv 2508.14623). 마지막 1 dB의 ‘진전’ 중 일부는 모델이 잡음 섞인 참조 신호를 재현하도록 학습한 결과일 수 있다.
4. 회의와 음성 인식을 위한 분리
받아쓰기에서는 데시벨보다 단어가 중요하다. Microsoft의 LibriCSS 데이터셋에서 인식 전에 분리를 적용하자 화자 중첩률 40%에서 단어 오류율이 43.3%에서 21.7%로 떨어졌고, 중첩이 없는 오디오에서는 결과가 거의 달라지지 않았다(11.8%에서 8.4%)(Chen 외, 연속 음성 분리, 2020). 같은 저자들은 신호 수준 지표가 음성 인식 정확도나 체감 품질과 약한 상관관계만 가진다고 경고하며, 그래서 회의 벤치마크는 SI-SNR이 아니라 단어를 평가한다. 이 정확도에 의존하는 시장이 얼마나 빠르게 성장하는지는 저희 AI 회의 어시스턴트 통계를 참고하세요.
| 지표 | 값 | 출처 |
|---|---|---|
| LibriCSS 규모 | 10시간, 10개 세션, 중첩률 0%~40% | Chen 외, Microsoft, 2020 |
| 중첩률 10%에서의 WER: 분리 없음 대 분리 | 18.8% 대 11.6% | Chen 외, 2020(발화 단위, 7채널) |
| 중첩률 20%에서의 WER | 27.2% 대 15.8% | Chen 외, 2020 |
| 중첩률 30%에서의 WER | 35.6% 대 18.7% | Chen 외, 2020 |
| 중첩률 40%에서의 WER | 43.3% 대 21.7% | Chen 외, 2020 |
| 중첩률 40%에서의 WER, 연속 입력 | 40.5% 대 21.9% | Chen 외, 2020 |
| 2화자 혼합음에서의 딥 클러스터링 음성 인식 | WER이 89.1%에서 30.8%로 감소 | Isik 외, 2016 |
실제 회의는 시뮬레이션보다 어렵다. CHiME-8 안에서 진행된 Microsoft의 NOTSOFAR-1 챌린지는 30개 방에서 4~8명이 참여한 회의를 녹음했다. 우승한 싱글채널 시스템도 단어의 22.2%를 틀렸고(시간 제약 tcpWER), 최고 성능의 멀티채널 시스템은 10.8%였다(NOTSOFAR-1 요약, arXiv 2501.17304). 마이크 어레이는 여전히 가장 큰 단일 지렛대이며, 주최 측은 가이드 음원 분리가 우승 파이프라인에서 여전히 지배적인 분리 기법이라고 밝혔다.
| 지표 | 값 | 출처 |
|---|---|---|
| NOTSOFAR-1 녹음 회의 | 고유한 영어 회의 315건, 30개 방, 참가자 4~8명 | NOTSOFAR-1 요약, 2025 |
| 시뮬레이션 학습 데이터 | 약 1,000시간, 실제 음향 전달 함수 15,000개 | NOTSOFAR-1 요약, 2025 |
| 싱글채널: 최고 대 기준선 tcpWER | 22.2% 대 41.4% | NOTSOFAR-1 요약, 2025 |
| 멀티채널: 최고 대 기준선 tcpWER | 10.8% 대 28.3% | NOTSOFAR-1 요약, 2025 |
| 제출 수: 싱글채널 / 멀티채널 트랙 | 9 / 5 | NOTSOFAR-1 요약, 2025 |
| VoiceFilter-Lite 온디바이스 모델 크기 | 2.2 MB(양자화) | Google Research, 2020년 11월 |
| VoiceFilter-Lite WER 개선, 겹치는 발화 | 25.1%(잔향이 있으면 14.7%) | Google Research, 2020년 11월 |
참고: Google의 VoiceFilter-Lite 결과(2020)는 대형 플랫폼이 공개한 온디바이스 수치 중 구할 수 있는 가장 최신 자료다. 그 이후 출시된 시스템은 단어 수준 벤치마크를 거의 공개하지 않는다.
5. 청각 건강이 걸린 문제
칵테일 파티 문제는 이를 겪으며 사는 사람들에게 학술적인 이야기가 아니다. WHO는 세계 인구의 5% 이상인 430백만 명이 청각 장애를 일으키는 난청으로 재활이 필요하다고 추정하며, 2050년까지 700백만 명을 넘을 것으로 전망한다(WHO 난청 팩트시트, 2026년 3월). 증폭만으로는 붐비는 방 안의 모든 사람의 목소리가 한꺼번에 커진다. 그래서 DNN 기반 분리가 이제 프리미엄 보청기의 핵심 기능이 되었다. 기기 시장 자체는 저희 보청기 통계에서 다룬다.
| 지표 | 값 | 출처 |
|---|---|---|
| 청각 장애를 일으키는 난청으로 재활이 필요한 사람 | 430백만 명(세계 인구의 5% 이상) | WHO 팩트시트, 2026년 3월 |
| 청각 장애를 일으키는 난청이 있는 어린이 | 34백만 명 | WHO 팩트시트, 2026년 3월 |
| 2050년까지 어느 정도 난청이 있는 사람 | 약 2.5십억 명 | WHO 팩트시트, 2026년 3월 |
| 2050년까지 재활이 필요한 사람 | 700백만 명 이상(10명 중 1명) | WHO 팩트시트, 2026년 3월 |
| 60세 이상에서 청각 장애를 일으키는 난청 | 25% 이상 | WHO 팩트시트, 2026년 3월 |
| 치료받지 못한 난청의 연간 전 세계 비용 | 약 US$1조 | WHO 팩트시트, 2026년 3월 |
| 저소득 및 중간소득 국가에 사는 비중 | 약 80% | WHO 팩트시트, 2026년 3월 |
보급은 늘고 있다. 2024년 10월과 11월에 미국 16,148가구와 42,982명을 대상으로 한 MarkeTrak 2025에서는 청력에 어려움이 있다고 스스로 밝힌 사람의 보청기 보급률이 2022년 46.9%에서 51.3%로 올랐고, 기기 전반의 만족도는 83%였다(MarkeTrak 2025, Seminars in Hearing). 소비자용 이어버드도 이 분야에 진입하고 있다. 2024년 9월 FDA는 최초의 일반 의약품(OTC) 보청기 소프트웨어로 AirPods Pro용 Apple 보청기 기능을 승인했다(FDA 보도자료).
| 지표 | 값 | 출처 |
|---|---|---|
| 미국 보청기 보급률, 청력에 어려움이 있는 사람 | 51.3%(2022년 46.9%) | MarkeTrak 2025 |
| 스스로 보고한 청력 어려움, 미국 | 9.1% | MarkeTrak 2025 |
| 보청기 소유자 만족도 | 83% | MarkeTrak 2025 |
| OTC 보청기 소프트웨어 FDA 임상 연구 | 참가자 118명, 경도에서 중등도 난청 | FDA, 2024년 9월 12일 |
| Phonak Spheric Speech Clarity 2.0(DNN) | 실환경에서 SNR 10.2 dB 개선 | AudiologyOnline 전문가 기고문, 2026 |
| Phonak Spheric Speech Clarity 2.0 | 청취 노력 최대 37% 감소, 효율 30% 향상 | AudiologyOnline 전문가 기고문, 2026 |
| Mayo Clinic과 Sonova 연구, SNR 10 dB에서의 DNN 소음 감소 | 음성 인식 +23 및 +32 퍼센트포인트 | Audiology Research, 2024 |
| 같은 연구, 큰 소음 프로그램에서의 SNR 이득 | 4.8~5.0 dB | Audiology Research, 2024 |
주의: 제조사의 SNR 주장은 제조사가 직접 수행한 시험에서 나온 것이며, 독립적인 Mayo Clinic과 Sonova 연구는 참가자가 10명뿐이었다. Phonak의 수치는 동료 심사를 거친 논문이 아니라 AudiologyOnline 전문가 Q&A를 통해 보고된 것이다.
6. 최전선: 들을 목소리를 고르다
모든 목소리를 분리하는 것은 문제의 절반일 뿐이다. 기기는 청취자가 어떤 목소리를 원하는지도 알아야 한다. 워싱턴 대학교의 Target Speech Hearing 시제품은 착용자가 화자를 3~5초 바라보면 그 화자를 등록하며, 시험 참가자 21명은 그 목소리의 선명도를 필터링하지 않은 오디오보다 거의 두 배 높게 평가했다(UW News, 2024년 5월). 2025년 12월의 후속 연구는 바라보는 동작을 없앴다. ‘선제적 청각 어시스턴트’는 2~4초 분량의 오디오에서 말 주고받기 리듬으로 대화 상대를 감지한다(UW News, 2025년 12월).
다른 단서도 시험되고 있다. Google의 2018년 Looking to Listen 모델은 입술 움직임을 활용했으며, YouTube 동영상 100,000개에서 추출한 클립으로 학습했다(Google Research 블로그). 컬럼비아 대학교의 뇌 제어 방식은 분리된 목소리를 뇌 신호와 비교한다. 2019년 버전은 신경외과 환자 세 명에게 시험되었고(Science Advances, 2019), 2026년 5월 Nature Neuroscience 연구는 실시간 시스템의 첫 인체 시험을 보고했다(컬럼비아 대학교 주커먼 연구소, EurekAlert 경유). 개인 맞춤 등록은 통신 분야에서도 표준이다. Microsoft의 제5회 Deep Noise Suppression 챌린지는 10~30초 분량의 등록 클립을 사용해 주변 화자를 억제하도록 모델에 요구했다(ICASSP 2023 DNS 챌린지). 이처럼 화자를 인식하는 정리 기술 덕분에 룸메이트가 뒤에서 이야기해도 Discord 음성 채팅이 또렷하게 들린다.
| 지표 | 값 | 출처 |
|---|---|---|
| UW Target Speech Hearing: 등록 시간 | 화자를 3~5초 바라봄 | 워싱턴 대학교, CHI 2024 |
| UW Target Speech Hearing: 참가자와 선명도 평가 | 참가자 21명, 필터링하지 않은 오디오보다 거의 2배 선명 | 워싱턴 대학교, CHI 2024 |
| UW Target Speech Hearing: 방향 허용 범위 | 오차 허용 16도 | 워싱턴 대학교, 2024 |
| UW 선제적 청각 어시스턴트: 필요한 오디오 | 2~4초 | 워싱턴 대학교, EMNLP 2025 |
| UW 선제적 청각 어시스턴트: 대화 상대와 시험 참가자 | 대화 상대 1~4명; 참가자 11명이 2배 넘게 높게 평가 | 워싱턴 대학교, 2025년 12월 |
| UW 선제적 청각 어시스턴트: 학습 언어 | 영어, 중국어(만다린), 일본어 | 워싱턴 대학교, 2025년 12월 |
| Google Looking to Listen: 학습 데이터 출처 | 동영상 100,000개, 깨끗한 클립 약 2,000시간 | Google Research 블로그, 2018년 4월 |
| 컬럼비아 대학교 뇌 제어 청각(2019) | 신경외과 환자 3명 | Han 외, Science Advances, 2019 |
| 지표 | 값 | 출처 |
|---|---|---|
| ICASSP 2023의 DNS 챌린지 회차 | 제5회 | Dubey 외, Microsoft, 2023 |
| DNS 2023 오디오 형식 | 풀밴드 48 kHz | Dubey 외, 2023 |
| DNS 2023 등록 클립 | 주 화자의 10~30초 | Dubey 외, 2023 |
| DNS 2023 우승 점수의 잡음 입력 대비 이득 | 0.145(헤드셋)와 0.141(스피커폰) | Dubey 외, 2023 |
| DNS 2020 음성 향상에서의 TF-Locoformer (M) | 23.3 dB SI-SNR, STOI 98.8, PESQ-WB 3.72 | Saijo 외, MERL 2024 |
예외적 사례: UW 팀은 선제적 시스템이 대화가 역동적으로 변해 참가자들이 서로 말을 겹칠 때 가장 힘들어한다고 말한다. 바로 칵테일 파티의 상황이다. 노이즈 캔슬링 헤드폰에 대한 관심은 이러한 기능에 이미 갖춰진 하드웨어 기반을 제공한다.
요약: 숫자로 보는 음성 분리와 칵테일 파티 문제
| 지표 | 값 | 출처 |
|---|---|---|
| WSJ0-2mix 최고 점수 | 25.1 dB SI-SNRi | SepReformer-L, NeurIPS 2024; TF-Locoformer (L), MERL 2024 |
| 딥 클러스터링, 2015 | 약 6 dB 개선 | Hershey 외, 2015 |
| Conv-TasNet, 2018 | 15.3 dB SI-SNRi, 5.1백만 개 파라미터 | Luo와 Mesgarani, 2019 |
| 다이내믹 믹싱 적용 / 미적용 SepFormer | 22.3 / 20.4 dB | SepFormer, 2021; TF-GridNet, 2022 |
| MossFormer2 | 24.1 dB, 55.7백만 개 파라미터 | MossFormer2, 2023 |
| Conv-TasNet 최소 지연 | 2 ms | Conv-TasNet 논문, 2019 |
| TF-GridNet 대 SepReformer-B 연산량 | 460.8 대 39.8 GMACs/s | SepReformer, NeurIPS 2024 |
| SepFormer 대 SepMamba (S) 최대 메모리 | 35.3 GB 대 2.0 GB | SepMamba, 2024 |
| Conv-TasNet 깨끗한 환경 / 소음 환경 / 잔향 환경 | 15.3 / 12.7 / 8.3 dB | MossFormer2, 2023 |
| WHAMR!(소음과 잔향) 최고 점수 | 18.5 dB | TF-Locoformer (M), MERL 2024 |
| WSJ0-3mix, MossFormer2 | 22.2 dB | MossFormer2, 2023 |
| LibriCSS 중첩률 40%에서의 WER, 분리 없음 대 분리 | 43.3% 대 21.7% | Microsoft, Chen 외, 2020 |
| NOTSOFAR-1 최고 멀티채널 tcpWER | 10.8%(기준선 28.3%) | NOTSOFAR-1 요약, 2025 |
| NOTSOFAR-1 최고 싱글채널 tcpWER | 22.2%(기준선 41.4%) | NOTSOFAR-1 요약, 2025 |
| 겹치는 발화에서의 VoiceFilter-Lite WER 개선 | 2.2 MB에서 25.1% | Google Research, 2020 |
| 청력 재활이 필요한 사람 | 430백만 명, 2050년까지 700백만 명 이상 | WHO, 2026년 3월 |
| 청력에 어려움이 있는 사람의 미국 보청기 보급률 | 51.3% | MarkeTrak 2025 |
| Phonak DNN의 SNR 개선 | 10.2 dB | AudiologyOnline, 2026 |
| UW Target Speech Hearing 등록 | 3~5초, 참가자 21명 | 워싱턴 대학교, 2024 |
| EConv-TasNet 엣지 모델 | 3.8백만 개 파라미터에서 18.4 dB | Novatek, 2026년 9월 |
방법론과 출처
위의 모든 벤치마크 수치는 해당 수치를 보고한 논문에서, 또는 표시한 경우 이후 논문의 비교표에서 가져왔다. 검색 결과 스니펫, 2차 요약, 열어 볼 수 없었던 제조사 마케팅 자료에만 나온 수치는 제외했다. 리더보드 집계 사이트는 WSJ0-2mix에서 더 높은 결과가 공개되지 않았는지 확인하는 용도로만 사용했다.
- Hershey, Chen, Le Roux, Watanabe: 딥 클러스터링, arXiv 1508.04306 (2015)
- Isik, Le Roux, Chen, Watanabe, Hershey: 딥 클러스터링을 이용한 단일 채널 다중 화자 분리 (2016)
- Luo와 Mesgarani: Conv-TasNet, IEEE/ACM TASLP (2019); 전문의 표는 ar5iv를 통해 확인
- Luo, Chen, Yoshioka: 듀얼 패스 RNN, ICASSP 2020
- Subakan 외: 음성 분리에 필요한 것은 어텐션뿐이다 (SepFormer), ICASSP 2021
- TF-GridNet: 음성 분리를 위한 전대역 및 부대역 모델링의 통합 (2022)
- MossFormer2 (2023년 12월)
- 분리 후 재구성: 음성 분리를 위한 비대칭 인코더-디코더 (SepReformer), NeurIPS 2024
- Saijo, Wichern, Germain, Pan, Le Roux (MERL): TF-Locoformer (2024)
- Avenstrup 외 (DTU, WS Audiology): SepMamba (2024)
- Liu (Novatek): EConv-TasNet (2026년 9월)
- Wichern 외: WHAM!, Interspeech 2019
- Cosentino 외: LibriMix, Interspeech 2020
- Jepsen, Christensen, Jensen: 잡음 섞인 참조 신호에서의 SI-SDR, IEEE ASRU 2025
- Chen 외 (Microsoft): 연속 음성 분리: 데이터셋과 분석 (LibriCSS) (2020)
- Abramovski 외 (Microsoft): NOTSOFAR-1 챌린지 요약 (2025); Cornell 외: CHiME-8 DASR 챌린지 (2024)
- Google Research: VoiceFilter-Lite (2020) 및 Looking to Listen (2018)
- Dubey 외 (Microsoft): ICASSP 2023 Deep Noise Suppression 챌린지
- WHO: 난청 팩트시트 (2026년 3월)
- Dobyan과 Kihm: MarkeTrak 2025, Seminars in Hearing
- FDA: 최초의 일반 의약품 보청기 소프트웨어 승인 (2024년 9월)
- Saoji 외 (Mayo Clinic, Sonova): DNN 소음 감소와 인공와우 적격성, Audiology Research 2024
- AudiologyOnline: Phonak Infinio 기기에서 AI는 어떻게 발전했는가?
- 워싱턴 대학교: Target Speech Hearing (2024) 및 선제적 청각 어시스턴트 (2025)
- 컬럼비아 대학교: Han 외, Science Advances (2019) 및 EurekAlert를 통한 Nature Neuroscience 연구 발표 (2026년 5월)
- 데이터 참고 사항: 논문마다 기준선 수치가 다르다. QDPN은 TF-GridNet 논문에서는 22.1 dB, MossFormer2 논문에서는 23.6 dB로 기재되어 있다. Libri2Mix에서 Conv-TasNet은 14.7 dB(MossFormer2)와 12.1 dB(EConv-TasNet)로 모두 나타난다. SepFormer의 연산량은 86.9 GMACs/s(SepReformer)와 257.94 GMACs/s(SepMamba)로, 파라미터 수는 25.7백만 개 또는 26.0백만 개로 보고된다. 논문마다 입력 길이, 샘플링 레이트, 집계 도구가 다르므로 수치는 표 사이가 아니라 하나의 표 안에서 비교하길 권한다. 이 분야에서는 SI-SNRi와 SI-SDRi가 혼용된다. 2015년과 2016년 딥 클러스터링 수치는 단순 SDR 개선이어서 이후의 SI-SNRi 점수와 직접 비교할 수 없다. NOTSOFAR-1 초록은 녹음 회의를 280건이라고 적었지만, 논문 본문은 학습, 개발, 평가 세트로 나뉜 고유한 회의 315건을 설명한다. 음성 분리에 한정된 신뢰할 만한 공개 시장 규모 추정치는 찾지 못해 싣지 않았다. Conv-TasNet, 딥 클러스터링, Looking to Listen, VoiceFilter-Lite 수치는 3년이 넘은 것으로, 구할 수 있는 가장 최신 데이터로 제시했다. 컬럼비아 대학교의 2026년 발표에는 정량적 결과가 없어서, 그 존재와 게재 매체만 근거로 인용했다.
마지막 업데이트: 2026년 10월 3일. 저희는 이 정리를 분기마다 업데이트하며, 다음 갱신은 ICASSP 2027 채택 논문과 다음 CHiME 챌린지 결과가 공개될 때 이루어질 것으로 예상한다.