PESQ를 악용하도록 일부러 만든 음성 향상 모델이 VoiceBank-DEMAND 테스트 세트에서 3.82를 기록했다. 이는 이번 정리에 포함된 가장 우수한 정직한 시스템이 보고한 3.69를 웃도는 값이지만, 손대지 않은 잡음 입력의 3.11에 비해 이 모델의 POLQA 점수는 1.46으로 무너졌다 (de Oliveira 외, PESQetarian 논문, Interspeech 2024). 정직한 경쟁도 실제로 벌어지고 있다. 같은 벤치마크에서 PESQ는 2017년 SEGAN의 2.16에서 2025년 PrimeK-Net의 3.61까지 올랐다. 그런데 PESQ 옆에 자주 함께 인쇄되는 명료도 지표인 STOI는 13개의 청취 데이터셋 전체에서 측정된 명료도와의 상관이 평균 0.62에 그쳤다 (Edraki 외, IEEE/ACM TASLP 2020). 이 글에서는 ITU-T, Interspeech, ICASSP, IEEE SLT, WASPAA의 동료 심사 논문, IEEE/ACM Transactions on Audio, Speech, and Language Processing, Microsoft의 Deep Noise Suppression(DNS) 챌린지, 그리고 URGENT와 CCF AATC 챌린지 보고서의 데이터를 종합했다. 같은 모델의 지연 시간과 제품 측면은 저희 신경망 잡음 억제 지연 시간 통계를 참고하세요. 이 페이지는 점수 자체와 그 점수를 어디까지 믿을 수 있는지를 다룬다.
요약
- VoiceBank-DEMAND에서 PESQ는 2.16(SEGAN, 2017년)에서 3.41(CMGAN, 2022년)로 올랐다 (Cao 외, CMGAN 논문, Interspeech 2022).
- SEMamba는 PESQ 3.55에 도달했고, 지각적 대비 확장을 더하면 3.69에 도달했다 (Chao 외, IEEE SLT 2024).
- PrimeK-Net은 단 1.41M 파라미터로 PESQ 3.61을 보고했다 (PrimeK-Net 논문, ICASSP 2025).
- PESQetarian은 PESQ 3.82를 기록했지만 SI-SDR은 -19.8 dB로, 잡음이 섞인 입력의 8.4 dB에 못 미쳤다 (de Oliveira 외, Interspeech 2024).
- STOI와 측정된 명료도 사이의 피어슨 상관은 13개 데이터셋 평균 0.62였고, eSTOI는 0.88이었다 (Edraki 외, IEEE/ACM TASLP 2020).
- DNSMOS P.835와 음성 품질 사이의 상관은 모델별 0.94에서 클립별 0.71로 떨어졌다 (Reddy 외, Microsoft, DNSMOS P.835 논문 2021년).
- 처음 보는 음성 코퍼스에서 Conv-TasNet의 ESTOI 일반화 격차는 대응하는 참조 모델 대비 -68%였다 (Gonzalez 외, IEEE/ACM TASLP 2023).
- ROSE-CD의 PESQ는 도메인 안에서의 3.49에서 도메인 밖에서의 2.62로 떨어졌다 (Xu 외, WASPAA 2025).
- 참조 없는 지표는 하이브리드 시스템에서 청취자 MOS와의 순위 상관이 -0.8이었다 (Zhang 외, CCF AATC 2025 회고).
- ITU-T는 2024년 1월 5일에 PESQ(P.862)를 삭제했다 (ITU-T P.862 권고 페이지).
1. VoiceBank-DEMAND에서의 PESQ 경쟁, 2017년부터 2025년까지
PESQ(지각적 음성 품질 평가)는 향상된 녹음을 깨끗한 원본과 비교해 청취자가 매길 점수를 예측한다. VoiceBank-DEMAND는 일상적인 녹음 잡음을 섞은 낭독 문장으로 이루어진 소규모 영어 테스트 세트로, PESQ를 보고하는 기본 무대가 되었다. PESQ는 2017년 SEGAN의 2.16에서 2024년 지각적 대비 확장을 적용한 SEMamba의 3.69까지 올랐으며, 그 속도 자체가 많은 것을 말해 준다.
SEGAN(2.16)에서 MetricGAN+(3.15)까지 4년 동안 이 분야는 PESQ를 0.99점 끌어올렸다. CMGAN(3.41, 2022년)에서 PrimeK-Net(3.61, 2025년)까지 3년 동안은 0.20이었다 (발표된 수치에서 저희가 뺄셈한 값). 이 벤치마크는 포화에 가까워서, 남은 향상 폭은 추가 기법과 지표를 의식한 학습이 순위표를 좌우할 수 있을 만큼 작다 (5절 참조). 출처: CMGAN 논문, SEMamba 논문, PrimeK-Net 논문.
| 지표 | 값 | 출처 |
|---|---|---|
| PESQ: 처리하지 않은 잡음 테스트 세트 vs GAN 기반 향상기 SEGAN (2017년) | 1.97 vs 2.16 | Cao 외, CMGAN 논문, Interspeech 2022 |
| MetricGAN+ (2021년)의 PESQ와 MetricGAN 대비 향상 폭 | 3.15; 약 +0.3 | MetricGAN+ 논문, Interspeech 2021 |
| CMGAN (2022년)의 PESQ | 3.41 | Cao 외, CMGAN 논문, Interspeech 2022 |
| 크기와 위상을 병렬로 잡음 제거하는 MP-SENet (2023년)의 PESQ | 3.50 | MP-SENet 논문, Interspeech 2023 |
| 비인과적 SEMamba의 PESQ: 지각적 대비 확장 없음 vs 있음 | 3.55 vs 3.69 | Chao 외, SEMamba 논문, IEEE SLT 2024 |
| PrimeK-Net (2025년)의 PESQ와 모델 크기 | 3.61; 1.41M 파라미터 | PrimeK-Net 논문, ICASSP 2025 |
참고: 이 수치들은 같은 공개 테스트 세트에 대해 각 논문이 직접 보고한 값이며, 모든 시스템을 한 번에 독립적으로 재실행한 결과가 아니다.
2. 이 벤치마크가 실제로 측정하는 것
순위표는 좁은 기반 위에 서 있다. VoiceBank-DEMAND 테스트 세트는 처음 보는 화자 단 2명의 발화 824개로 구성되어 있으며, 5가지 잡음을 비교적 완만한 2.5에서 17.5 dB의 신호 대 잡음비(SNR, 음성이 잡음보다 얼마나 큰지)로 섞었다. 2.5 dB 아래로 섞인 테스트 클립은 하나도 없어서, 실제 통화에서 가장 어려운 구간은 아예 표본에 들어 있지 않다.
명료도는 향상 여지가 거의 남아 있지 않다. 잡음 입력이 이미 STOI(단시간 객관 명료도, 청취자가 음성을 얼마나 이해할지 예측하는 지표)에서 0.91을 기록하고, CMGAN은 0.96에 도달한다. 한편 모델 크기는 한 자릿수 이상 줄어들었다. SEGAN은 97.47M 파라미터를 썼고 CMGAN은 1.83M을 썼다. 화자가 겹치는 상황의 벤치마크는 다르게 작동하며, 이는 저희 음성 분리 통계에서 보여 준다. 출처: CMGAN 논문, 데이터셋 및 결과 절.
| 지표 | 값 | 출처 |
|---|---|---|
| 학습 세트: 규모와 잡음 조건 | 화자 28명의 발화 11,572개; DEMAND 잡음 8종과 인공 잡음 2종, SNR 0, 5, 10, 15 dB | Cao 외, CMGAN 논문, Interspeech 2022 |
| 테스트 세트: 규모와 잡음 조건 | 처음 보는 화자 2명의 발화 824개; 처음 보는 DEMAND 잡음 5종, SNR 2.5, 7.5, 12.5, 17.5 dB | Cao 외, CMGAN 논문, Interspeech 2022 |
| STOI: 잡음 입력 vs CMGAN 출력 | 0.91 vs 0.96 | Cao 외, CMGAN 논문, Interspeech 2022 |
| 복합 음성 신호 점수(CSIG)와 종합 점수(COVL): 잡음 입력 vs CMGAN 출력 | 3.35와 2.63 vs 4.63과 4.12 | Cao 외, CMGAN 논문, Interspeech 2022 |
| 모델 크기: SEGAN vs DEMUCS vs CMGAN | 97.47M vs 128M vs 1.83M 파라미터 | Cao 외, CMGAN 논문, Interspeech 2022 |
참고: CSIG와 COVL은 음성 신호와 전체 품질에 대한 청취자 평가를 예측하기 위해 여러 객관 지표로 구성한 복합 척도다. 따라서 결합한 지표들의 사각지대를 그대로 물려받는다.
3. 품질 지표는 사람 청취자와 일치하는가
답은 평균을 내느냐에 달려 있다. 여기서 상관은 PCC(피어슨 상관, 값의 일치), SRCC(스피어먼 순위 상관, 순서의 일치), KRCC(켄들 순위 상관, 순서를 보는 또 다른 검정)로 측정하며, 1.0은 완전한 일치를 뜻한다. 깨끗한 참조 없이 청취자 평가를 예측하는 신경망인 DNSMOS P.835는 모델별로 평균을 내면 청취자의 음성 평가와 PCC 0.94에 도달했지만, 개별 클립에서는 0.71이었다.
사람 쪽도 잡음이 있다. 같은 클립에 대한 두 차례의 별도 P.808 평가는 클립별 PCC가 약 0.5 정도만 일치했으므로, 단일 클립의 MOS(평균 의견 점수, 청취자 평가의 평균)는 그 자체로 거친 수치다. 이는 파일이 아니라 시스템을 비교해야 하고, 순위표에서 한 번 뒤집힌 것을 약한 증거로 다뤄야 하는 또 하나의 이유다. 클립 단위에 대한 같은 주의는 합성 음성에도 적용되며, 이는 저희 합성 음성 자연스러움 MOS 통계에서 다룬다. 출처: DNSMOS P.835 논문, DNSMOS 논문, ICASSP 2022 DNS 챌린지 논문, NISQA 논문.
| 지표 | 값 | 출처 |
|---|---|---|
| DNSMOS P.835 음성 점수(SIG)와 청취자 평가: 모델별 PCC vs 클립별 PCC | 0.94 vs 0.71 | Reddy 외, Microsoft, DNSMOS P.835 논문 2021년 |
| DNSMOS P.835 배경 잡음 점수(BAK)와 청취자 평가: 모델별 PCC vs 클립별 PCC | 0.98 vs 0.83 | Reddy 외, Microsoft, DNSMOS P.835 논문 2021년 |
| 같은 클립에 대한 두 차례의 별도 사람 P.808 평가 사이의 일치도 (클립별 PCC) | 약 0.5 | Reddy 외, Microsoft, DNSMOS 논문 2020년 |
| ICASSP 2022 DNS 챌린지 트랙 1에서 DNSMOS P.835와 청취자 평가, 음성 점수: PCC vs SRCC | 0.93 vs 0.78 | Microsoft, ICASSP 2022 DNS 챌린지 논문 |
| DNS 챌린지 2 블라인드 세트의 범주 전반에서 원래 DNSMOS의 순위 상관(SRCC): 단일 단계 모델 vs 다단계 모델 | 0.65 vs 0.90 | Reddy 외, Microsoft, DNSMOS 논문 2020년 |
| 또 다른 신경망 품질 예측기 NISQA: 새로운 학습·검증용 음성 파일, 그리고 학습과 평가에 쓰인 데이터셋 | 13,000개 이상의 파일; 81개 데이터셋 | Mittag 외, NISQA 논문, Interspeech 2021 |
| URGENT 2024: 챌린지의 종합 순위 점수와 청취자 MOS 순위 사이의 KRCC | 0.73 | Zhang, Saijo 외, URGENT 2024 교훈 논문, Interspeech 2025 |
참고: DNSMOS P.835는 평가된 약 30,000개 클립(75시간)으로, 원래 DNSMOS는 약 120,000개 클립으로 학습되었다. 모델별 상관은 클립당 평가 5건으로 계산했고 클립 단위 분석은 클립당 평가 30건을 사용했으므로, 각 행의 두 수치는 동일한 설정에서 나온 것이 아니다.
4. 명료도 지표: STOI와 그 후속 지표
STOI는 PESQ보다 좁은 질문에 답하도록 만들어졌다. 음성이 얼마나 듣기 좋은가가 아니라, 몇 개의 단어가 살아남는가다. 13개의 청취 데이터셋 전체에서 STOI와 측정된 명료도 사이의 피어슨 상관은 평균 0.62였고, 확장판인 eSTOI는 평균 0.88이었다. 강하게 변동하는 잡음 속의 음성을 다룬 데이터셋 하나에서는 STOI의 상관이 음수(-0.77)였다. 지표가 엉뚱한 방향으로 움직인 것이다.
실질적인 해석은, STOI는 설계 당시 염두에 둔 정상 잡음과 시간-주파수 마스킹에서 가장 잘 작동하고, 경쟁하는 화자나 붐비는 공간이 만들어 내는 돌발적이고 변조된 잡음 속의 음성에서는 가장 잘 작동하지 않는다는 것이다. 확인 가능한 가장 최근 데이터: Edraki 외, IEEE/ACM TASLP 2020. 출처: PubMed Central의 Edraki 외, Taal 외, IEEE TASLP 2011.
| 지표 | 값 | 출처 |
|---|---|---|
| STOI 분석 세그먼트 길이 | 386 ms | Taal 외, IEEE TASLP 2011 |
| 원 논문에서의 STOI 검증 | 청취 실험 3건; 참조 명료도 모델 5개보다 우수한 상관 | Taal 외, IEEE TASLP 2011 |
| 로지스틱 사상 후 13개 데이터셋에서 측정된 명료도와의 평균 피어슨 상관: STOI vs eSTOI vs HASPI vs wSTMI | 0.62 vs 0.88 vs 0.82 vs 0.93 | Edraki 외, IEEE/ACM TASLP 2020 |
| 같은 13개 데이터셋에서의 평균 스피어먼 순위 상관: STOI vs eSTOI | 0.59 vs 0.82 | Edraki 외, IEEE/ACM TASLP 2020 |
| 변조 잡음 속 음성 데이터셋(ModN-Fogerty)에서 STOI의 피어슨 상관 | -0.77 | Edraki 외, IEEE/ACM TASLP 2020 |
| 근단 청취 향상 데이터셋(NELE-Taal)에서 STOI의 피어슨 상관 | 0.90 | Edraki 외, IEEE/ACM TASLP 2020 |
| 원래 STOI 논문의 피인용 횟수 | 2,265 | OpenAlex 기록, 2026년 10월 31일 확인 |
이상치 참고: 가장 성능이 좋은 wSTMI는 13개 데이터셋 중 2개로 학습 및 검증되었으므로, 그 평균은 완전히 홀드아웃된 값이 아니다. HASPI는 청각 장애가 있는 청취자를 염두에 두고 설계된 지표이고, eSTOI는 주파수 대역이 서로 독립이라는 STOI의 가정을 버렸다.
5. 굿하트의 법칙: PESQ가 품질을 측정하지 못하게 될 때
굿하트의 법칙은 목표가 된 척도는 더 이상 좋은 척도가 아니라고 말한다. 음성 향상에는 이제 이를 입증할 데이터가 있다. PESQ를 최대화하도록 학습된 모델인 PESQetarian은 VoiceBank-DEMAND에서 3.82를 기록했지만, SI-SDR(스케일 불변 신호 대 왜곡비, 파형이 깨끗한 원본에 얼마나 가까운지)은 -19.8 dB까지 떨어져 처리하지 않은 잡음 입력의 8.4 dB를 크게 밑돌았다.
이 효과는 논문 한 편에 국한되지 않는다. PESQ 손실로 학습한 2025년의 한 단계 확산 모델은 PESQ 3.99에 도달했지만 SI-SDR은 0.40 dB에 불과했고, 저자들의 균형 잡힌 버전은 PESQ 3.49와 SI-SDR 17.8 dB를 기록했다. 정직한 기법조차 수치를 움직인다. 대상 특징의 대비를 지각적 중요도에 따라 끌어올리는 지각적 대비 확장은 SEMamba에 PESQ 0.14를 더해 주었다 (3.55에서 3.69, 저희가 뺄셈한 값). 구매자와 검토자에게 주는 교훈은 단순하다. 짝이 되는 청취 테스트 없이 PESQ 기록만 있다면 그것은 헤드라인이 아니라 경고 신호다. 출처: PESQetarian 논문, ROSE-CD 논문.
| 지표 | 값 | 출처 |
|---|---|---|
| PESQ: 잡음 입력 vs 일반 MSE 학습 모델 vs PESQetarian | 1.97 vs 2.78 vs 3.82 | de Oliveira 외, PESQetarian 논문, Interspeech 2024 |
| POLQA (ITU-T에서 PESQ의 후속 표준): 잡음 입력 vs MSE 모델 vs PESQetarian | 3.11 vs 3.87 vs 1.46 | de Oliveira 외, PESQetarian 논문, Interspeech 2024 |
| DNSMOS 종합 점수: 잡음 입력 vs MSE 모델 vs PESQetarian | 2.69 vs 3.13 vs 2.06 | de Oliveira 외, PESQetarian 논문, Interspeech 2024 |
| 잡음 제거 없이, 잡음이 섞인 모든 테스트 파일에 고정된 클릭음 하나를 더한 뒤의 PESQ | 3.46 | de Oliveira 외, PESQetarian 논문, Interspeech 2024 |
| 파일 여섯 개에 대한 직접 최적화: PESQ 전후와 POLQA 전후 | 1.91에서 3.76; 3.46에서 2.73 | de Oliveira 외, PESQetarian 논문, Interspeech 2024 |
| PESQ 손실로 학습한 ROSE-CD vs 최종 ROSE-CD: PESQ, SI-SDR, WV-MOS(신경망 청취자 점수 예측기) | 3.99, 0.40 dB, 2.31 vs 3.49, 17.8 dB, 4.41 | Xu 외, ROSE-CD 논문, WASPAA 2025 |
| SEMamba에서 지각적 대비 확장으로 얻은 PESQ 향상 | +0.14 (3.55에서 3.69) | Chao 외, SEMamba 논문, IEEE SLT 2024 |
참고: PESQetarian 청취 테스트는 오디오 전문가 10명이 무작위 테스트 샘플 10개를 0에서 100 척도로 평가했으며, 논문은 시스템별 결과를 그림으로만 보고한다. PESQetarian은 일부러 만든 스트레스 테스트이며 제품이 아니다.
6. 벤치마크에서 실제 녹음으로: 일반화 격차
테스트 화자 2명에서 이기는 모델이 여러분의 화자를 다룰 수 있다는 것을 증명한 것은 아니다. 2023년의 한 연구는 음성 데이터베이스 5개, 잡음 데이터베이스 5개, 실내 음향 데이터베이스 5개에 걸쳐 아키텍처마다 40개 모델을 학습시킨 다음, 각 모델을 테스트 조건 자체로 학습한 참조 모델과 비교해 측정했다. 테스트 음성이 처음 보는 코퍼스에서 나왔을 때 Conv-TasNet은 그 참조 대비 ESTOI 일반화 격차 -68%를 보였으며, 모든 모델에서 음성 불일치가 잡음이나 실내 불일치보다 더 큰 타격을 주었다.
고무적인 발견은 잡음 일반화는 데이터로 풀 수 있다는 점이다. 잡음 데이터베이스 네 개로 학습하자 SNR 개선 격차가 -5% 또는 그보다 나은 수준으로 유지되었다. 2025년 논문의 도메인 밖 테스트는 더 새로운 생성 모델 역시 성능을 잃는다는 것을 보여 준다. 출처: Gonzalez 외, 일반화 격차 논문, ROSE-CD 논문, ICASSP 2021 DNS 챌린지 논문.
| 지표 | 값 | 출처 |
|---|---|---|
| 음성 코퍼스 불일치에서의 ESTOI 일반화 격차, 음성 데이터베이스 1개로 학습한 Conv-TasNet | -68% | Gonzalez 외, IEEE/ACM TASLP 2023 |
| 음성 코퍼스 불일치에서의 PESQ 일반화 격차: 데이터베이스 1개로 학습한 MANNER vs 4개로 학습한 Conv-TasNet | -50% vs -35% | Gonzalez 외, IEEE/ACM TASLP 2023 |
| 학습용 잡음 데이터베이스 4개로 학습했을 때 잡음 불일치에서의 SNR 개선 격차 (Conv-TasNet, DCCRN, MANNER) | -5% 또는 그보다 나음 | Gonzalez 외, IEEE/ACM TASLP 2023 |
| 학습용 데이터베이스 1개에서의 실내 음향 불일치: 순방향 신경망의 PESQ 격차 vs Conv-TasNet의 ESTOI 격차 | -10% vs -17% | Gonzalez 외, IEEE/ACM TASLP 2023 |
| ROSE-CD의 PESQ: VoiceBank-DEMAND vs 도메인 밖 TIMIT+NOISE92 | 3.49 vs 2.62 | Xu 외, ROSE-CD 논문, WASPAA 2025 |
| SGMSE+ (확산 모델)의 PESQ: VoiceBank-DEMAND vs 도메인 밖 TIMIT+NOISE92 | 2.93 vs 2.08 | Xu 외, ROSE-CD 논문, WASPAA 2025 |
| ICASSP 2021 DNS 챌린지 트랙 1 블라인드 테스트: 실제 녹음 vs 합성 클립 | 실제 650개 vs 합성 50개 (700개 클립) | Microsoft, ICASSP 2021 DNS 챌린지 논문 |
참고: 일반화 격차는 테스트 조건으로 학습한 참조 모델과 비교해 측정하므로 상대적인 수치이지, ESTOI나 PESQ 점수의 절대적인 하락이 아니다. 반면 ROSE-CD와 SGMSE+의 원시 하락 폭은 처음 보는 데이터와 과제 난이도를 뒤섞고 있는데, 참조 모델 방식은 바로 이 두 효과를 분리하도록 설계되었다. DNS 주최 측은 블라인드 테스트를 주로 실제 녹음으로 구성하고 청취자로 평가했으며, PESQ, SDR, POLQA 같은 객관 척도가 배경 잡음이 있는 환경에서 주관적 품질과 잘 상관되지 않는다는 점이 밝혀졌다고 언급했다.
7. 챌린지와 표준이 평가를 바꾸는 방식
지표 악용에 대한 현재의 답은 더 넓은 성적표다. URGENT 2024에서 DNSMOS(3.26) 1위를 한 팀은 청취자 MOS(3.05)에서는 18위로 마쳤고, 단어 정확도는 40.73%에 불과했다. 반면 1위 팀은 MOS 3.52와 단어 정확도 73.57%를 함께 달성했다. 여기서 단어 정확도란 음성 향상 이후에도 음성 인식기가 올바르게 인식하는 단어의 비율로, 모델이 음성을 지어내거나 지우지 않았는지 직접 확인하는 수단이다. 저희 음성 인식 환각 통계는 이 실패를 인식기 쪽에서 다룬다.
하이브리드 및 생성형 향상기는 문제를 더 날카롭게 만든다. 2025년 음성 복원 챌린지는 하이브리드 시스템에 대해 널리 쓰이는 참조 없는 지표와 청취자 MOS 사이의 순위 상관을 -0.8로 측정했는데, 이는 지표의 순위가 사람의 순위와 대체로 반대로 움직였다는 뜻이다. 표준 기구도 움직였다. PESQ는 더 이상 ITU-T 권고가 아니다. 출처: CCF AATC 2025 회고, URGENT 2025 개요, ICASSP 2026 URGENT 개요, ITU-T P.862 페이지, ITU-T P.863 페이지.
| 지표 | 값 | 출처 |
|---|---|---|
| URGENT 2024 블라인드 테스트와 청취 부분집합 | 시뮬레이션 녹음 500개와 실제 녹음 500개; 300개 샘플 MOS 부분집합, 샘플당 청취자 8명; 21개 팀 | Zhang, Saijo 외, URGENT 2024 교훈 논문, Interspeech 2025 |
| 선언된 대역폭과 실효 대역폭이 일치하지 않는 URGENT 2024 학습 데이터 | LibriTTS의 약 25%; DNS5 LibriVox와 CommonVoice 11.0의 약 100% | Zhang, Saijo 외, URGENT 2024 교훈 논문, Interspeech 2025 |
| CCF AATC 2025: 하이브리드 시스템에서 참조 없는 지표와 청취자 MOS 사이의 순위 상관 | -0.8 (챌린지에서 분석된 25개 시스템) | Zhang 외, CCF AATC 2025 회고, arXiv 2025 |
| URGENT 2025 평가 모음 | 5개 범주의 지표 14개; 왜곡 유형 7가지; 학습 언어 5개 | Saijo 외, URGENT 2025 개요, Interspeech 2025 |
| ICASSP 2026 URGENT 트랙 1 학습 데이터 | 2,500시간 규모의 URGENT 2025 세트에서 엄선한 700시간 부분집합 | ICASSP 2026 URGENT 챌린지 개요 |
| ITU-T에서 PESQ의 지위 | P.862와 P.862.1에서 P.862.3까지의 부분이 2024년 1월 5일 삭제됨 | ITU-T P.862 권고 페이지 |
| ITU-T에서 POLQA의 지위 | P.863 (2018년 3월) 유효, 수정 1 (2020년 4월) 포함 | ITU-T P.863 권고 페이지 |
참고: URGENT 2024는 또한 ‘고품질’로 분류된 학습 코퍼스에서 약 2,000개의 음성 레이블이 블라인드 SNR 추정치인 WADA-SNR에서 음수 값을 보인다고 지적했으며, 따라서 PESQ 같은 침습형 지표가 비교 대상으로 삼는 깨끗한 참조 안에도 레이블 잡음이 들어 있다.
숫자로 보는 음성 향상 PESQ·STOI 벤치마크
| 지표 | 값 | 출처 |
|---|---|---|
| VoiceBank-DEMAND PESQ: SEGAN (2017년) vs CMGAN (2022년) | 2.16 vs 3.41 | Cao 외, CMGAN 논문, Interspeech 2022 |
| VoiceBank-DEMAND PESQ: SEMamba, 지각적 대비 확장 없음 vs 있음 | 3.55 vs 3.69 | Chao 외, IEEE SLT 2024 |
| VoiceBank-DEMAND에서 PrimeK-Net의 PESQ와 크기 | 3.61; 1.41M 파라미터 | PrimeK-Net 논문, ICASSP 2025 |
| STOI: 잡음 입력 vs CMGAN 출력 | 0.91 vs 0.96 | Cao 외, CMGAN 논문, Interspeech 2022 |
| PESQetarian: PESQ, SI-SDR, POLQA (괄호 안은 잡음 입력) | 3.82, -19.8 dB, 1.46 (1.97, 8.4 dB, 3.11) | de Oliveira 외, Interspeech 2024 |
| ROSE-CD의 PESQ 손실 변형: PESQ vs SI-SDR | 3.99 vs 0.40 dB | Xu 외, WASPAA 2025 |
| STOI와 측정된 명료도의 상관: 13개 데이터셋 평균 (괄호 안은 eSTOI 평균) vs 변조 잡음 데이터셋 | 0.62 (0.88) vs -0.77 | Edraki 외, IEEE/ACM TASLP 2020 |
| DNSMOS P.835 음성 점수 PCC: 모델별 vs 클립별 | 0.94 vs 0.71 | Reddy 외, Microsoft, DNSMOS P.835 논문 2021년 |
| 처음 보는 음성 코퍼스에서의 ESTOI 일반화 격차 (Conv-TasNet) | -68% | Gonzalez 외, IEEE/ACM TASLP 2023 |
| 처음 보는 음성 코퍼스에서의 PESQ 일반화 격차 (MANNER, 학습 데이터베이스 1개) | -50% | Gonzalez 외, IEEE/ACM TASLP 2023 |
| ROSE-CD PESQ 도메인 안 vs 도메인 밖 | 3.49 vs 2.62 | Xu 외, WASPAA 2025 |
| URGENT 2024: 같은 팀의 DNSMOS 순위 vs 청취자 MOS 순위 | 1위 vs 18위 | Zhang, Saijo 외, Interspeech 2025 |
| 잡음 제거 없이, 잡음이 섞인 모든 테스트 파일에 고정된 클릭음 하나를 더한 뒤의 PESQ | 3.46 | de Oliveira 외, Interspeech 2024 |
| 하이브리드 시스템에서 참조 없는 지표 vs 청취자 MOS (순위 상관) | -0.8 | Zhang 외, CCF AATC 2025 회고 |
| ITU-T가 PESQ를 삭제한 날짜 | 2024년 1월 5일 | ITU-T P.862 권고 페이지 |
방법론과 출처
- ITU-T, P.862 (PESQ) 권고 페이지 (상태 갱신일 2024년 1월 9일), 그리고 P.863 (POLQA) 권고 페이지 (2026년 10월 확인).
- Taal 외, An Algorithm for Intelligibility Prediction of Time-Frequency Weighted Noisy Speech, IEEE TASLP 2011 (초록은 OpenAlex 기록으로 확인; 피인용 횟수는 OpenAlex 기준).
- Edraki, Chan, Jensen, Fogerty, Speech Intelligibility Prediction using Spectro-Temporal Modulation Analysis, IEEE/ACM TASLP 2020.
- Cao, Abdulatif, Yang, CMGAN: Conformer-based Metric GAN for Speech Enhancement, Interspeech 2022 (SEGAN, DEMUCS, 데이터셋 수치의 출처).
- MetricGAN+, Interspeech 2021; MP-SENet, Interspeech 2023; Chao 외, SEMamba, IEEE SLT 2024; PrimeK-Net, ICASSP 2025.
- de Oliveira, Welker, Richter, Gerkmann, The PESQetarian: On the Relevance of Goodhart’s Law for Speech Enhancement, Interspeech 2024.
- Xu, Yan, Kleijn, Robust One-step Speech Enhancement via Consistency Distillation (ROSE-CD), WASPAA 2025.
- Gonzalez, Alstrøm, May, Assessing the Generalization Gap of Learning-Based Speech Enhancement Systems, IEEE/ACM TASLP 2023.
- Microsoft 연구 논문: Reddy, Gopal, Cutler, DNSMOS (2020년)와 DNSMOS P.835 (2021년); ICASSP 2021 DNS 챌린지 및 ICASSP 2022 DNS 챌린지 논문.
- Mittag, Naderi, Chehadi, Möller, NISQA, Interspeech 2021.
- Zhang, Saijo 외, Lessons Learned from the URGENT 2024 Speech Enhancement Challenge, Interspeech 2025; Saijo 외, Interspeech 2025 URGENT Challenge; ICASSP 2026 URGENT 챌린지 개요 (2026년).
- Zhang, Zhu, Xu, Bu, Ling, Wu, The CCF AATC 2025 Speech Restoration Challenge: A Retrospective, arXiv 2025.
- 데이터 참고 사항: 여기에 실린 VoiceBank-DEMAND 점수는 각 논문이 직접 보고한 값이며, 같은 시스템의 수치도 논문마다 다를 수 있다 (MetricGAN+는 자체 논문에서 3.15이고 ROSE-CD 표에서는 3.13이다). ROSE-CD 논문은 내부적으로 일관되지 않다. 결과 표에서는 최종 모델의 PESQ가 3.49이지만 결론에서는 3.99라고 하며, 이는 PESQ 손실만 쓴 변형과 일치한다. 저희는 3.49를 최종 모델의 값으로 보고한다. STOI 논문의 피인용 횟수는 출처마다 다르다 (OpenAlex 2,265, Semantic Scholar 2,499, 둘 다 2026년 10월 31일 확인). 명료도 지표 상관은 2020년 연구에서 나온 것으로, 저희가 찾은 가장 최근의 다중 데이터셋 비교다. ITU-T는 2026년 7월에 DNSMOS P.835의 바탕이 되는 청취 테스트 방법인 P.835의 새 판을 발행했으며, ICASSP 2026 URGENT 논문은 아직 품질 예측기 상관을 본문에 싣지 않았다.
마지막 업데이트: 2026년 10월 31일. 저희는 이 정리를 분기마다 업데이트하며, 다음 갱신은 ICASSP 2026 URGENT 챌린지 논문집이 트랙 2의 품질 예측기 상관을 공개할 때 이루어질 것으로 예상한다.