Model poprawy mowy zbudowany celowo tak, by wykorzystywać PESQ, uzyskał 3,82 na zbiorze testowym VoiceBank-DEMAND, czyli więcej niż 3,69, które podaje najlepszy uczciwy system w tym zestawieniu, podczas gdy jego wynik POLQA spadł do 1,46 wobec 3,11 dla nietkniętego zaszumionego sygnału wejściowego (de Oliveira i in., artykuł o PESQetarian, Interspeech 2024). Uczciwy wyścig też jest prawdziwy: PESQ na tym samym benchmarku wzrósł z 2,16 dla SEGAN w 2017 roku do 3,61 dla PrimeK-Net w 2025 roku. Tymczasem STOI, metryka zrozumiałości często drukowana obok PESQ, miała średnią korelację zaledwie 0,62 z mierzoną zrozumiałością w 13 zbiorach danych odsłuchowych (Edraki i in., IEEE/ACM TASLP 2020). Zebraliśmy dane z ITU-T, recenzowanych artykułów z konferencji Interspeech, ICASSP, IEEE SLT i WASPAA, z czasopisma IEEE/ACM Transactions on Audio, Speech, and Language Processing, z wyzwania Microsoft Deep Noise Suppression (DNS) oraz z raportów wyzwań URGENT i CCF AATC. Aby poznać opóźnienia i stronę produktową tych samych modeli, zajrzyj do naszych statystyk opóźnień neuronowego tłumienia szumu; ta strona dotyczy samych wyników i tego, na ile można im ufać.
TL;DR
- PESQ na VoiceBank-DEMAND wzrósł z 2,16 (SEGAN, 2017) do 3,41 (CMGAN, 2022) (Cao i in., artykuł o CMGAN, Interspeech 2022).
- SEMamba osiągnął 3,55 PESQ, a 3,69 po dodaniu rozciągania kontrastu percepcyjnego (Chao i in., IEEE SLT 2024).
- PrimeK-Net uzyskał 3,61 PESQ przy zaledwie 1,41M parametrów (artykuł o PrimeK-Net, ICASSP 2025).
- PESQetarian osiągnął 3,82 PESQ przy SI-SDR równym -19,8 dB, wobec 8,4 dB dla zaszumionego sygnału wejściowego (de Oliveira i in., Interspeech 2024).
- Korelacja Pearsona STOI z mierzoną zrozumiałością wyniosła średnio 0,62 w 13 zbiorach danych, a eSTOI 0,88 (Edraki i in., IEEE/ACM TASLP 2020).
- Korelacja DNSMOS P.835 z jakością mowy spadła z 0,94 dla modelu do 0,71 dla pojedynczego nagrania (Reddy i in., Microsoft, artykuł o DNSMOS P.835 z 2021 roku).
- Luka generalizacji ESTOI dla Conv-TasNet na niewidzianym korpusie mowy wyniosła -68% wobec dopasowanego modelu referencyjnego (Gonzalez i in., IEEE/ACM TASLP 2023).
- PESQ ROSE-CD spadł z 3,49 w dziedzinie treningowej do 2,62 poza dziedziną (Xu i in., WASPAA 2025).
- Metryki bez odniesienia wykazały korelację rang -0,8 z MOS słuchaczy dla systemów hybrydowych (Zhang i in., retrospektywa CCF AATC 2025).
- ITU-T wycofała PESQ (P.862) 5 stycznia 2024 roku (strona zalecenia ITU-T P.862).
1. Wyścig PESQ na VoiceBank-DEMAND, 2017-2025
PESQ (percepcyjna ocena jakości mowy) porównuje nagranie poddane poprawie z jego czystym oryginałem i przewiduje ocenę, jaką wystawiłby słuchacz. VoiceBank-DEMAND, niewielki angielski zbiór testowy złożony z czytanych zdań zmieszanych z nagranymi szumami dnia codziennego, stał się domyślnym miejscem raportowania tej metryki. PESQ wzrósł z 2,16 dla SEGAN w 2017 roku do 3,69 dla SEMamba z rozciąganiem kontrastu percepcyjnego w 2024 roku, a tempo tego wzrostu samo opowiada całą historię.
Od SEGAN (2,16) do MetricGAN+ (3,15) dziedzina dodała 0,99 punktu PESQ w cztery lata. Od CMGAN (3,41, 2022) do PrimeK-Net (3,61, 2025) dodała 0,20 w trzy (nasze odejmowanie opublikowanych wartości). Benchmark jest bliski nasycenia, więc pozostałe zyski są na tyle małe, że o rankingu mogą decydować techniki dodatkowe i trening uwzględniający metrykę (zob. sekcja 5). Źródła: artykuł o CMGAN, artykuł o SEMamba, artykuł o PrimeK-Net.
| Metryka | Wartość | Źródło |
|---|---|---|
| PESQ: nieprzetworzony zaszumiony zbiór testowy vs SEGAN, wzmacniacz oparty na GAN (2017) | 1,97 vs 2,16 | Cao i in., artykuł o CMGAN, Interspeech 2022 |
| PESQ MetricGAN+ (2021) i jego zysk względem MetricGAN | 3,15; ok. +0,3 | artykuł o MetricGAN+, Interspeech 2021 |
| PESQ CMGAN (2022) | 3,41 | Cao i in., artykuł o CMGAN, Interspeech 2022 |
| PESQ MP-SENet, równoległe odszumianie amplitudy i fazy (2023) | 3,50 | artykuł o MP-SENet, Interspeech 2023 |
| PESQ SEMamba nieprzyczynowego: bez rozciągania kontrastu percepcyjnego vs z nim | 3,55 vs 3,69 | Chao i in., artykuł o SEMamba, IEEE SLT 2024 |
| PESQ PrimeK-Net (2025) i rozmiar modelu | 3,61; 1,41M parametrów | artykuł o PrimeK-Net, ICASSP 2025 |
Uwaga kontekstowa: są to wyniki podane przez każdy artykuł osobno na tym samym publicznym zbiorze testowym, a nie rezultaty jednego niezależnego ponownego uruchomienia wszystkich systemów.
2. Co ten benchmark faktycznie mierzy
Ranking opiera się na wąskiej podstawie. Zbiór testowy VoiceBank-DEMAND zawiera 824 wypowiedzi od zaledwie 2 niewidzianych mówców, zmieszane z 5 rodzajami szumu przy dość łagodnych stosunkach sygnału do szumu (SNR, czyli o ile głośniejsza jest mowa od szumu) od 2,5 do 17,5 dB. Żaden klip testowy nie jest zmieszany poniżej 2,5 dB, więc najtrudniejszy koniec prawdziwych rozmów po prostu nie jest próbkowany.
Zrozumiałość nie zostawia prawie żadnego zapasu. Zaszumiony sygnał wejściowy ma już 0,91 w STOI (krótkoczasowa obiektywna zrozumiałość, predyktor tego, ile mowy zrozumie słuchacz), a CMGAN osiąga 0,96. Rozmiar modeli tymczasem zmalał o ponad rząd wielkości: SEGAN miał 97,47M parametrów, CMGAN 1,83M. Benchmarki z nakładającymi się mówcami działają inaczej, co pokazują nasze statystyki separacji mowy. Źródło: artykuł o CMGAN, sekcje o zbiorze danych i wynikach.
| Metryka | Wartość | Źródło |
|---|---|---|
| Zbiór treningowy: rozmiar i warunki szumu | 11.572 wypowiedzi od 28 mówców; 8 rodzajów szumu DEMAND plus 2 rodzaje szumu sztucznego, przy SNR 0, 5, 10 i 15 dB | Cao i in., artykuł o CMGAN, Interspeech 2022 |
| Zbiór testowy: rozmiar i warunki szumu | 824 wypowiedzi od 2 niewidzianych mówców; 5 niewidzianych rodzajów szumu DEMAND, przy SNR 2,5, 7,5, 12,5 i 17,5 dB | Cao i in., artykuł o CMGAN, Interspeech 2022 |
| STOI: zaszumiony sygnał wejściowy vs wyjście CMGAN | 0,91 vs 0,96 | Cao i in., artykuł o CMGAN, Interspeech 2022 |
| Złożona ocena sygnału mowy (CSIG) i ocena ogólna (COVL): zaszumiony sygnał wejściowy vs wyjście CMGAN | 3,35 i 2,63 vs 4,63 i 4,12 | Cao i in., artykuł o CMGAN, Interspeech 2022 |
| Rozmiar modelu: SEGAN vs DEMUCS vs CMGAN | 97,47M vs 128M vs 1,83M parametrów | Cao i in., artykuł o CMGAN, Interspeech 2022 |
Uwaga kontekstowa: CSIG i COVL to miary złożone, zbudowane z kilku obiektywnych metryk, by przewidywać oceny słuchaczy dotyczące sygnału mowy i ogólnej jakości. Dziedziczą one martwe punkty metryk, które łączą.
3. Czy metryki jakości zgadzają się ze słuchaczami?
Odpowiedź zależy od tego, czy uśredniasz. Korelację mierzy się tu za pomocą PCC (korelacja Pearsona, zgodność wartości), SRCC (korelacja rang Spearmana, zgodność kolejności) lub KRCC (korelacja rang Kendalla, kolejny test kolejności); 1,0 oznacza pełną zgodność. DNSMOS P.835, sieć neuronowa przewidująca oceny słuchaczy bez czystego odniesienia, osiągnął PCC 0,94 z ocenami mowy wystawionymi przez słuchaczy po uśrednieniu dla modelu, ale 0,71 dla pojedynczych nagrań.
Strona ludzka też jest zaszumiona. Dwie osobne rundy ocen P.808 tych samych nagrań zgadzały się na poziomie PCC wynoszącego tylko około 0,5 dla nagrania, więc MOS pojedynczego nagrania (średnia ocena opinii, czyli średnia ocen słuchaczy) jest sam w sobie liczbą przybliżoną. To kolejny powód, by porównywać systemy, a nie pliki, i traktować jedną zamianę miejsc w rankingu jako słaby dowód. Taka sama ostrożność wobec pojedynczych nagrań dotyczy głosów syntetycznych, które omawiamy w naszych statystykach MOS naturalności mowy syntetycznej. Źródła: artykuł o DNSMOS P.835, artykuł o DNSMOS, artykuł o wyzwaniu DNS na ICASSP 2022, artykuł o NISQA.
| Metryka | Wartość | Źródło |
|---|---|---|
| Ocena mowy DNSMOS P.835 (SIG) vs oceny słuchaczy: PCC dla modelu vs dla nagrania | 0,94 vs 0,71 | Reddy i in., Microsoft, artykuł o DNSMOS P.835 z 2021 roku |
| Ocena szumu tła DNSMOS P.835 (BAK) vs oceny słuchaczy: PCC dla modelu vs dla nagrania | 0,98 vs 0,83 | Reddy i in., Microsoft, artykuł o DNSMOS P.835 z 2021 roku |
| Zgodność dwóch osobnych ludzkich rund ocen P.808 tych samych nagrań (PCC dla nagrania) | ok. 0,5 | Reddy i in., Microsoft, artykuł o DNSMOS z 2020 roku |
| DNSMOS P.835 vs oceny słuchaczy w ścieżce 1 wyzwania DNS na ICASSP 2022, ocena mowy: PCC vs SRCC | 0,93 vs 0,78 | Microsoft, artykuł o wyzwaniu DNS na ICASSP 2022 |
| Korelacja rang (SRCC) oryginalnego DNSMOS w kategoriach ślepego zbioru wyzwania DNS 2: model jednoetapowy vs wieloetapowy | 0,65 vs 0,90 | Reddy i in., Microsoft, artykuł o DNSMOS z 2020 roku |
| NISQA, kolejny neuronowy predyktor jakości: nowe pliki mowy do treningu i walidacji oraz zbiory danych użyte do treningu i oceny | ponad 13.000 plików; 81 zbiorów danych | Mittag i in., artykuł o NISQA, Interspeech 2021 |
| URGENT 2024: KRCC między ogólnym wynikiem rankingowym wyzwania a rangą według MOS słuchaczy | 0,73 | Zhang, Saijo i in., artykuł o wnioskach z URGENT 2024, Interspeech 2025 |
Uwaga kontekstowa: DNSMOS P.835 wytrenowano na około 30.000 ocenionych nagrań (75 godzin), a oryginalny DNSMOS na około 120.000 nagrań. Korelacje dla modeli obliczono z 5 ocenami na nagranie, a analiza na poziomie nagrań wykorzystała 30 ocen na nagranie, więc dwie liczby w każdym wierszu nie pochodzą z identycznych układów.
4. Metryki zrozumiałości: STOI i jego następcy
STOI zbudowano, by odpowiadało na węższe pytanie niż PESQ: nie jak przyjemnie brzmi mowa, lecz ile słów się zachowuje. W 13 zbiorach danych odsłuchowych STOI miało średnią korelację Pearsona 0,62 z mierzoną zrozumiałością, a rozszerzona wersja eSTOI średnio 0,88. W jednym zbiorze danych z mową w silnie fluktuującym szumie korelacja STOI była ujemna (-0,77): metryka poruszała się w złą stronę.
Praktyczny wniosek jest taki, że STOI działa najlepiej dla stałego szumu i maskowania czasowo-częstotliwościowego, wokół których je zaprojektowano, a najgorzej dla mowy w szumie wybuchowym, modulowanym, takim jaki wytwarzają rozmawiający jednocześnie ludzie i zatłoczone pomieszczenia. Najnowsze dostępne dane: Edraki i in., IEEE/ACM TASLP 2020. Źródła: Edraki i in. w PubMed Central, Taal i in., IEEE TASLP 2011.
| Metryka | Wartość | Źródło |
|---|---|---|
| Długość segmentu analizy STOI | 386 ms | Taal i in., IEEE TASLP 2011 |
| Walidacja STOI w oryginalnym artykule | 3 eksperymenty odsłuchowe; lepsza korelacja niż 5 referencyjnych modeli zrozumiałości | Taal i in., IEEE TASLP 2011 |
| Średnia korelacja Pearsona z mierzoną zrozumiałością w 13 zbiorach danych, po odwzorowaniu logistycznym: STOI vs eSTOI vs HASPI vs wSTMI | 0,62 vs 0,88 vs 0,82 vs 0,93 | Edraki i in., IEEE/ACM TASLP 2020 |
| Średnia korelacja rang Spearmana w tych samych 13 zbiorach danych: STOI vs eSTOI | 0,59 vs 0,82 | Edraki i in., IEEE/ACM TASLP 2020 |
| Korelacja Pearsona STOI w zbiorze danych z mową w szumie modulowanym (ModN-Fogerty) | -0,77 | Edraki i in., IEEE/ACM TASLP 2020 |
| Korelacja Pearsona STOI w zbiorze danych do poprawy odsłuchu po stronie odbiorcy (NELE-Taal) | 0,90 | Edraki i in., IEEE/ACM TASLP 2020 |
| Liczba cytowań oryginalnego artykułu o STOI | 2.265 | rekord OpenAlex, dostęp 31 października 2026 |
Uwaga o wartościach odstających: wSTMI, najlepszy z metryk, był trenowany i walidowany na dwóch z 13 zbiorów danych, więc jego średnia nie jest w pełni niezależna od danych treningowych. HASPI to metryka zaprojektowana z myślą o słuchaczach z uszkodzonym słuchem, a eSTOI porzuca założenie STOI, że pasma częstotliwości są niezależne.
5. Prawo Goodharta: kiedy PESQ przestaje mierzyć jakość
Prawo Goodharta mówi, że miara, która staje się celem, przestaje być dobrą miarą. Poprawa mowy ma dziś dane, które to dowodzą. PESQetarian, model wytrenowany do maksymalizacji PESQ, uzyskał 3,82 na VoiceBank-DEMAND, podczas gdy jego SI-SDR (niezmiennicza względem skali relacja sygnału do zniekształceń, czyli jak blisko czystego oryginału jest przebieg) spadł do -19,8 dB, daleko poniżej 8,4 dB nieprzetworzonego zaszumionego sygnału wejściowego.
Efekt nie ogranicza się do jednego artykułu. Jednokrokowy model dyfuzyjny z 2025 roku wytrenowany ze stratą PESQ osiągnął 3,99 PESQ, ale tylko 0,40 dB SI-SDR, podczas gdy zrównoważona wersja autorów uzyskała 3,49 PESQ i 17,8 dB SI-SDR. Nawet uczciwe techniki przesuwają liczbę: rozciąganie kontrastu percepcyjnego, które wzmacnia kontrast cech docelowych według ich znaczenia percepcyjnego, dodało SEMamba 0,14 PESQ (z 3,55 do 3,69, nasze odejmowanie). Wniosek dla kupujących i recenzentów jest prosty: rekord PESQ bez pasującego testu odsłuchowego to sygnał ostrzegawczy, a nie nagłówek. Źródła: artykuł o PESQetarian, artykuł o ROSE-CD.
| Metryka | Wartość | Źródło |
|---|---|---|
| PESQ: zaszumiony sygnał wejściowy vs zwykły model trenowany MSE vs PESQetarian | 1,97 vs 2,78 vs 3,82 | de Oliveira i in., artykuł o PESQetarian, Interspeech 2024 |
| POLQA (następca PESQ w ITU-T): zaszumiony sygnał wejściowy vs model MSE vs PESQetarian | 3,11 vs 3,87 vs 1,46 | de Oliveira i in., artykuł o PESQetarian, Interspeech 2024 |
| Ogólna ocena DNSMOS: zaszumiony sygnał wejściowy vs model MSE vs PESQetarian | 2,69 vs 3,13 vs 2,06 | de Oliveira i in., artykuł o PESQetarian, Interspeech 2024 |
| PESQ po dodaniu jednego stałego kliknięcia do każdego zaszumionego pliku testowego, bez odszumiania | 3,46 | de Oliveira i in., artykuł o PESQetarian, Interspeech 2024 |
| Bezpośrednia optymalizacja na sześciu plikach: PESQ przed vs po oraz POLQA przed vs po | od 1,91 do 3,76; od 3,46 do 2,73 | de Oliveira i in., artykuł o PESQetarian, Interspeech 2024 |
| ROSE-CD trenowany ze stratą PESQ vs końcowy ROSE-CD: PESQ, SI-SDR i WV-MOS (neuronowy predyktor oceny słuchacza) | 3,99, 0,40 dB, 2,31 vs 3,49, 17,8 dB, 4,41 | Xu i in., artykuł o ROSE-CD, WASPAA 2025 |
| Zysk PESQ z rozciągania kontrastu percepcyjnego w SEMamba | +0,14 (z 3,55 do 3,69) | Chao i in., artykuł o SEMamba, IEEE SLT 2024 |
Uwaga kontekstowa: w teście odsłuchowym PESQetarian 10 ekspertów od dźwięku oceniło 10 losowych próbek testowych w skali od 0 do 100, a artykuł podaje wyniki dla poszczególnych systemów wyłącznie na wykresie. PESQetarian jest celowym testem skrajnym, a nie produktem.
6. Od benchmarku do prawdziwych nagrań: luka generalizacji
Model, który wygrywa na 2 mówcach testowych, nie udowodnił, że poradzi sobie z twoimi. W badaniu z 2023 roku wytrenowano 40 modeli na każdą architekturę, w pięciu bazach danych mowy, pięciu szumu i pięciu akustyki pomieszczeń, a następnie zmierzono każdy model względem modelu referencyjnego wytrenowanego na samym warunku testowym. Gdy mowa testowa pochodziła z niewidzianego korpusu, Conv-TasNet wykazał lukę generalizacji ESTOI równą -68% względem tego odniesienia, a niedopasowanie mowy szkodziło każdemu modelowi bardziej niż niedopasowanie szumu czy pomieszczenia.
Zachęcające jest to, że generalizację szumu da się rozwiązać danymi: trening na czterech bazach szumu utrzymał lukę poprawy SNR na poziomie -5% lub lepszym. Test poza dziedziną w artykule z 2025 roku pokazuje, że nowsze modele generatywne również tracą grunt. Źródła: Gonzalez i in., artykuł o luce generalizacji, artykuł o ROSE-CD, artykuł o wyzwaniu DNS na ICASSP 2021.
| Metryka | Wartość | Źródło |
|---|---|---|
| Luka generalizacji ESTOI przy niedopasowaniu korpusu mowy, Conv-TasNet wytrenowany na 1 bazie danych mowy | -68% | Gonzalez i in., IEEE/ACM TASLP 2023 |
| Luka generalizacji PESQ przy niedopasowaniu korpusu mowy: MANNER wytrenowany na 1 bazie danych vs Conv-TasNet wytrenowany na 4 | -50% vs -35% | Gonzalez i in., IEEE/ACM TASLP 2023 |
| Luka poprawy SNR przy niedopasowaniu szumu z 4 treningowymi bazami szumu (Conv-TasNet, DCCRN, MANNER) | -5% lub lepiej | Gonzalez i in., IEEE/ACM TASLP 2023 |
| Niedopasowanie akustyki pomieszczenia przy 1 treningowej bazie danych: luka PESQ dla sieci jednokierunkowej vs luka ESTOI dla Conv-TasNet | -10% vs -17% | Gonzalez i in., IEEE/ACM TASLP 2023 |
| PESQ ROSE-CD na VoiceBank-DEMAND vs na TIMIT+NOISE92 spoza dziedziny | 3,49 vs 2,62 | Xu i in., artykuł o ROSE-CD, WASPAA 2025 |
| PESQ SGMSE+ (model dyfuzyjny) na VoiceBank-DEMAND vs na TIMIT+NOISE92 spoza dziedziny | 2,93 vs 2,08 | Xu i in., artykuł o ROSE-CD, WASPAA 2025 |
| Ślepy test w ścieżce 1 wyzwania DNS na ICASSP 2021: prawdziwe nagrania vs klipy syntetyczne | 650 prawdziwych vs 50 syntetycznych (700 klipów) | Microsoft, artykuł o wyzwaniu DNS na ICASSP 2021 |
Uwaga kontekstowa: luka generalizacji jest mierzona względem modelu referencyjnego wytrenowanego na warunku testowym, więc jest to wartość względna, a nie bezwzględny spadek wyniku ESTOI czy PESQ. Surowe spadki ROSE-CD i SGMSE+ natomiast mieszają dane niewidziane z trudnością zadania, czyli dwa efekty, które metoda z modelem referencyjnym ma rozdzielać. Organizatorzy DNS zbudowali swój ślepy test głównie z prawdziwych nagrań i ocenili go ze słuchaczami, zaznaczając, że wykazano, iż metryki obiektywne, takie jak PESQ, SDR i POLQA, słabo korelują z jakością subiektywną w obecności szumu tła.
7. Jak zmienia się ocena w wyzwaniach i standardach
Obecną odpowiedzią na manipulowanie metrykami jest szersza tablica wyników. W URGENT 2024 zespół, który zajął pierwsze miejsce w DNSMOS (3,26), zakończył na 18. miejscu w MOS słuchaczy (3,05), z dokładnością słów wynoszącą zaledwie 40,73%, podczas gdy najlepszy zespół połączył MOS 3,52 z dokładnością słów 73,57%. Dokładność słów oznacza tu, ile słów rozpoznawalnik mowy nadal poprawnie rozpoznaje po poprawie jakości, co jest bezpośrednim sprawdzeniem, czy model nie wymyślił ani nie wymazał mowy; nasze statystyki halucynacji rozpoznawania mowy opisują tę usterkę od strony rozpoznawalnika.
Hybrydowe i generatywne wzmacniacze zaostrzają problem. W wyzwaniu odtwarzania mowy z 2025 roku zmierzono korelację rang -0,8 między powszechnie stosowanymi metrykami bez odniesienia a MOS słuchaczy dla systemów hybrydowych, co oznacza, że ranking metryk biegł w dużej mierze odwrotnie do rankingu ludzkiego. Zmieniły się też organy normalizacyjne: PESQ nie jest już zaleceniem ITU-T. Źródła: retrospektywa CCF AATC 2025, przegląd URGENT 2025, przegląd URGENT na ICASSP 2026, strona ITU-T P.862, strona ITU-T P.863.
| Metryka | Wartość | Źródło |
|---|---|---|
| Ślepy test i podzbiór odsłuchowy URGENT 2024 | 500 symulowanych plus 500 prawdziwych nagrań; podzbiór MOS z 300 próbek, 8 słuchaczy na próbkę; 21 zespołów | Zhang, Saijo i in., artykuł o wnioskach z URGENT 2024, Interspeech 2025 |
| Dane treningowe URGENT 2024 z niedopasowaną deklarowaną i efektywną szerokością pasma | ok. 25% LibriTTS; ok. 100% DNS5 LibriVox i CommonVoice 11.0 | Zhang, Saijo i in., artykuł o wnioskach z URGENT 2024, Interspeech 2025 |
| CCF AATC 2025: korelacja rang między metrykami bez odniesienia a MOS słuchaczy dla systemów hybrydowych | -0,8 (25 systemów przeanalizowanych w wyzwaniu) | Zhang i in., retrospektywa CCF AATC 2025, arXiv 2025 |
| Zestaw oceny URGENT 2025 | 14 metryk w 5 kategoriach; 7 typów zniekształceń; 5 języków treningowych | Saijo i in., przegląd URGENT 2025, Interspeech 2025 |
| Dane treningowe ścieżki 1 URGENT na ICASSP 2026 | wyselekcjonowany podzbiór 700 godzin z zestawu URGENT 2025 liczącego 2.500 godzin | Przegląd wyzwania URGENT na ICASSP 2026 |
| Status PESQ w ITU-T | P.862 i części P.862.1 do P.862.3 wycofane 5 stycznia 2024 | strona zalecenia ITU-T P.862 |
| Status POLQA w ITU-T | P.863 (marzec 2018) obowiązuje, wraz z poprawką 1 (kwiecień 2020) | strona zalecenia ITU-T P.863 |
Uwaga kontekstowa: URGENT 2024 oznaczył też około 2.000 etykiet mowy w swoich ‘wysokiej jakości’ korpusach treningowych z ujemnymi wartościami WADA-SNR, czyli ślepego estymatora SNR, więc szum etykiet tkwi w czystych odniesieniach, z którymi porównują metryki inwazyjne, takie jak PESQ.
Podsumowanie: benchmarki PESQ i STOI w poprawie mowy w liczbach
| Metryka | Wartość | Źródło |
|---|---|---|
| PESQ na VoiceBank-DEMAND: SEGAN (2017) vs CMGAN (2022) | 2,16 vs 3,41 | Cao i in., artykuł o CMGAN, Interspeech 2022 |
| PESQ na VoiceBank-DEMAND: SEMamba bez rozciągania kontrastu percepcyjnego vs z nim | 3,55 vs 3,69 | Chao i in., IEEE SLT 2024 |
| PESQ i rozmiar PrimeK-Net na VoiceBank-DEMAND | 3,61; 1,41M parametrów | artykuł o PrimeK-Net, ICASSP 2025 |
| STOI: zaszumiony sygnał wejściowy vs wyjście CMGAN | 0,91 vs 0,96 | Cao i in., artykuł o CMGAN, Interspeech 2022 |
| PESQetarian: PESQ, SI-SDR i POLQA (zaszumiony sygnał wejściowy w nawiasie) | 3,82, -19,8 dB, 1,46 (1,97, 8,4 dB, 3,11) | de Oliveira i in., Interspeech 2024 |
| Wariant ROSE-CD ze stratą PESQ: PESQ vs SI-SDR | 3,99 vs 0,40 dB | Xu i in., WASPAA 2025 |
| Korelacja STOI z mierzoną zrozumiałością: średnia z 13 zbiorów danych (średnia eSTOI w nawiasie) vs zbiór z szumem modulowanym | 0,62 (0,88) vs -0,77 | Edraki i in., IEEE/ACM TASLP 2020 |
| PCC oceny mowy DNSMOS P.835: dla modelu vs dla nagrania | 0,94 vs 0,71 | Reddy i in., Microsoft, artykuł o DNSMOS P.835 z 2021 roku |
| Luka generalizacji ESTOI przy niewidzianym korpusie mowy (Conv-TasNet) | -68% | Gonzalez i in., IEEE/ACM TASLP 2023 |
| Luka generalizacji PESQ przy niewidzianym korpusie mowy (MANNER, 1 treningowa baza danych) | -50% | Gonzalez i in., IEEE/ACM TASLP 2023 |
| PESQ ROSE-CD w dziedzinie vs poza dziedziną | 3,49 vs 2,62 | Xu i in., WASPAA 2025 |
| URGENT 2024: ranga DNSMOS vs ranga MOS słuchaczy tego samego zespołu | 1. vs 18. | Zhang, Saijo i in., Interspeech 2025 |
| PESQ po dodaniu jednego stałego kliknięcia do każdego zaszumionego pliku testowego, bez odszumiania | 3,46 | de Oliveira i in., Interspeech 2024 |
| Metryki bez odniesienia vs MOS słuchaczy dla systemów hybrydowych (korelacja rang) | -0,8 | Zhang i in., retrospektywa CCF AATC 2025 |
| PESQ wycofany przez ITU-T | 5 stycznia 2024 | strona zalecenia ITU-T P.862 |
Metodologia i źródła
- ITU-T, strona zalecenia P.862 (PESQ), status zaktualizowany 9 stycznia 2024, oraz strona zalecenia P.863 (POLQA), dostęp w październiku 2026.
- Taal i in., An Algorithm for Intelligibility Prediction of Time-Frequency Weighted Noisy Speech, IEEE TASLP 2011 (streszczenie odczytane z rekordu OpenAlex; liczba cytowań z OpenAlex).
- Edraki, Chan, Jensen i Fogerty, Speech Intelligibility Prediction using Spectro-Temporal Modulation Analysis, IEEE/ACM TASLP 2020.
- Cao, Abdulatif i Yang, CMGAN: Conformer-based Metric GAN for Speech Enhancement, Interspeech 2022 (źródło wartości dla SEGAN, DEMUCS i zbioru danych).
- MetricGAN+, Interspeech 2021; MP-SENet, Interspeech 2023; Chao i in., SEMamba, IEEE SLT 2024; PrimeK-Net, ICASSP 2025.
- de Oliveira, Welker, Richter i Gerkmann, The PESQetarian: On the Relevance of Goodhart’s Law for Speech Enhancement, Interspeech 2024.
- Xu, Yan i Kleijn, Robust One-step Speech Enhancement via Consistency Distillation (ROSE-CD), WASPAA 2025.
- Gonzalez, Alstrøm i May, Assessing the Generalization Gap of Learning-Based Speech Enhancement Systems, IEEE/ACM TASLP 2023.
- Artykuły badawcze Microsoft: Reddy, Gopal i Cutler, DNSMOS (2020) i DNSMOS P.835 (2021); artykuły o wyzwaniu DNS na ICASSP 2021 i wyzwaniu DNS na ICASSP 2022.
- Mittag, Naderi, Chehadi i Möller, NISQA, Interspeech 2021.
- Zhang, Saijo i in., Lessons Learned from the URGENT 2024 Speech Enhancement Challenge, Interspeech 2025; Saijo i in., Interspeech 2025 URGENT Challenge; przegląd wyzwania URGENT na ICASSP 2026 (2026).
- Zhang, Zhu, Xu, Bu, Ling i Wu, The CCF AATC 2025 Speech Restoration Challenge: A Retrospective, arXiv 2025.
- Uwaga o danych: wyniki VoiceBank-DEMAND podane tutaj to własne raporty poszczególnych artykułów, a liczby dla jednego systemu mogą się między artykułami różnić (MetricGAN+ ma 3,15 we własnym artykule i 3,13 w tabeli ROSE-CD). Artykuł o ROSE-CD jest wewnętrznie niespójny: jego tabela wyników podaje dla modelu końcowego PESQ 3,49, a wniosek stwierdza 3,99, co odpowiada wariantowi ze stratą wyłącznie PESQ; jako model końcowy podajemy 3,49. Liczby cytowań artykułu o STOI różnią się w zależności od źródła (2.265 w OpenAlex, 2.499 w Semantic Scholar, oba odczytane 31 października 2026). Korelacje metryk zrozumiałości pochodzą z badania z 2020 roku i są najnowszym porównaniem na wielu zbiorach danych, jakie znaleźliśmy. ITU-T opublikowała w lipcu 2026 nową edycję P.835, metody testu odsłuchowego stojącej za DNSMOS P.835, a artykuł o URGENT na ICASSP 2026 nie podaje jeszcze w tekście korelacji swoich predyktorów jakości.
Ostatnia aktualizacja: 31 października 2026 roku. Aktualizujemy to zestawienie kwartalnie, a kolejnego odświeżenia można się spodziewać, gdy materiały konferencyjne wyzwania URGENT na ICASSP 2026 opublikują korelacje predyktorów jakości ze ścieżki 2.