Ein Sprachverbesserungsmodell, das gezielt zum Ausnutzen von PESQ gebaut wurde, erzielte auf dem VoiceBank-DEMAND-Testset 3,82, mehr als die 3,69 des besten legitimen Systems in dieser Zusammenstellung, während sein POLQA-Wert auf 1,46 einbrach, gegenüber 3,11 für die unbearbeitete verrauschte Eingabe (de Oliveira et al., PESQetarian-Paper, Interspeech 2024). Auch das legitime Wettrennen ist real: PESQ auf demselben Benchmark stieg von 2,16 für SEGAN im Jahr 2017 auf 3,61 für PrimeK-Net im Jahr 2025. Und doch erreichte STOI, die oft neben PESQ ausgewiesene Verständlichkeitsmetrik, über 13 Hördatensätze hinweg im Mittel nur eine Korrelation von 0,62 mit der gemessenen Verständlichkeit (Edraki et al., IEEE/ACM TASLP 2020). Wir haben Daten der ITU-T, von begutachteten Beiträgen auf der Interspeech, ICASSP, IEEE SLT und WASPAA, der IEEE/ACM Transactions on Audio, Speech, and Language Processing, der Microsoft Deep Noise Suppression (DNS) Challenge sowie der Berichte der URGENT- und CCF-AATC-Challenges zusammengetragen. Zur Latenz- und Produktseite derselben Modelle siehe unsere Statistiken zur Latenz neuronaler Rauschunterdrückung; diese Seite handelt von den Werten selbst und davon, wie weit man ihnen trauen kann.
TL;DR
- PESQ auf VoiceBank-DEMAND stieg von 2,16 (SEGAN, 2017) auf 3,41 (CMGAN, 2022) (Cao et al., CMGAN-Paper, Interspeech 2022).
- SEMamba erreichte 3,55 PESQ und 3,69 mit zusätzlicher perzeptiver Kontrastdehnung (Chao et al., IEEE SLT 2024).
- PrimeK-Net meldete 3,61 PESQ mit nur 1,41 Mio. Parametern (PrimeK-Net-Paper, ICASSP 2025).
- Der PESQetarian erreichte 3,82 PESQ bei einem SI-SDR von -19,8 dB, gegenüber 8,4 dB für die verrauschte Eingabe (de Oliveira et al., Interspeech 2024).
- STOI erreichte über 13 Datensätze im Mittel eine Pearson-Korrelation von 0,62 mit der gemessenen Verständlichkeit, eSTOI 0,88 (Edraki et al., IEEE/ACM TASLP 2020).
- Die Korrelation von DNSMOS P.835 mit der Sprachqualität fiel von 0,94 pro Modell auf 0,71 pro Clip (Reddy et al., Microsoft, DNSMOS-P.835-Paper 2021).
- Die ESTOI-Generalisierungslücke von Conv-TasNet auf einem ungesehenen Sprachkorpus betrug -68% gegenüber einem unter gleichen Bedingungen trainierten Referenzmodell (Gonzalez et al., IEEE/ACM TASLP 2023).
- Der PESQ von ROSE-CD sank von 3,49 in der Trainingsdomäne auf 2,62 außerhalb der Domäne (Xu et al., WASPAA 2025).
- Referenzfreie Metriken zeigten für hybride Systeme eine Rangkorrelation von -0,8 mit dem Hörer-MOS (Zhang et al., Rückblick zu CCF AATC 2025).
- Die ITU-T hat PESQ (P.862) am 5. Januar 2024 gestrichen (Empfehlungsseite ITU-T P.862).
1. Das PESQ-Rennen auf VoiceBank-DEMAND, 2017 bis 2025
PESQ (Perceptual Evaluation of Speech Quality) vergleicht eine verbesserte Aufnahme mit ihrem sauberen Original und sagt die Note voraus, die ein Hörer vergeben würde. VoiceBank-DEMAND, ein kleines englischsprachiges Testset aus gelesenen Sätzen, gemischt mit aufgezeichnetem Alltagsrauschen, wurde zum Standardort für diese Angabe. PESQ stieg von 2,16 für SEGAN im Jahr 2017 auf 3,69 für SEMamba mit perzeptiver Kontrastdehnung im Jahr 2024, und das Tempo erzählt seine eigene Geschichte.
Von SEGAN (2,16) bis MetricGAN+ (3,15) legte das Feld in vier Jahren 0,99 PESQ-Punkte zu. Von CMGAN (3,41, 2022) bis PrimeK-Net (3,61, 2025) waren es in drei Jahren 0,20 (unsere Subtraktion der veröffentlichten Werte). Der Benchmark ist nahe an der Sättigung, sodass die verbleibenden Gewinne so klein sind, dass Zusatztechniken und metrikbewusstes Training die Rangliste entscheiden können (siehe Abschnitt 5). Quellen: CMGAN-Paper, SEMamba-Paper, PrimeK-Net-Paper.
| Metrik | Wert | Quelle |
|---|---|---|
| PESQ: unbearbeitetes verrauschtes Testset vs SEGAN, ein GAN-basierter Enhancer (2017) | 1,97 vs 2,16 | Cao et al., CMGAN-Paper, Interspeech 2022 |
| PESQ von MetricGAN+ (2021) und sein Zugewinn gegenüber MetricGAN | 3,15; rund +0,3 | MetricGAN+-Paper, Interspeech 2021 |
| PESQ von CMGAN (2022) | 3,41 | Cao et al., CMGAN-Paper, Interspeech 2022 |
| PESQ von MP-SENet, paralleles Entrauschen von Betrag und Phase (2023) | 3,50 | MP-SENet-Paper, Interspeech 2023 |
| PESQ von SEMamba, nicht kausal: ohne vs mit perzeptiver Kontrastdehnung | 3,55 vs 3,69 | Chao et al., SEMamba-Paper, IEEE SLT 2024 |
| PESQ von PrimeK-Net (2025) und seine Modellgröße | 3,61; 1,41 Mio. Parameter | PrimeK-Net-Paper, ICASSP 2025 |
Hinweis zum Kontext: Dies sind die jeweils vom Paper selbst gemeldeten Werte auf demselben öffentlichen Testset, keine Ergebnisse eines einzigen unabhängigen Neulaufs aller Systeme.
2. Was der Benchmark tatsächlich misst
Die Rangliste ruht auf einer schmalen Basis. Das VoiceBank-DEMAND-Testset enthält 824 Äußerungen von nur 2 ungesehenen Sprechern, gemischt mit 5 Rauscharten bei recht milden Signal-Rausch-Verhältnissen (SNR, wie viel lauter die Sprache als das Rauschen ist) von 2,5 bis 17,5 dB. Kein Testclip ist unter 2,5 dB gemischt, sodass das schwierigste Ende echter Anrufe schlicht nicht abgetastet wird.
Bei der Verständlichkeit bleibt fast kein Spielraum. Die verrauschte Eingabe erreicht bereits 0,91 im STOI (Short-Time Objective Intelligibility, ein Prädiktor dafür, wie viel der Sprache ein Hörer verstehen würde), und CMGAN kommt auf 0,96. Die Modellgröße ist dagegen um mehr als eine Größenordnung gesunken: SEGAN nutzte 97,47 Mio. Parameter, CMGAN 1,83 Mio. Benchmarks mit überlappenden Sprechern funktionieren anders, wie unsere Statistiken zur Sprachtrennung zeigen. Quelle: CMGAN-Paper, Abschnitte zu Datensatz und Ergebnissen.
| Metrik | Wert | Quelle |
|---|---|---|
| Trainingsset: Umfang und Rauschbedingungen | 11.572 Äußerungen von 28 Sprechern; 8 DEMAND-Rauscharten plus 2 künstliche Rauscharten, bei SNR von 0, 5, 10 und 15 dB | Cao et al., CMGAN-Paper, Interspeech 2022 |
| Testset: Umfang und Rauschbedingungen | 824 Äußerungen von 2 ungesehenen Sprechern; 5 ungesehene DEMAND-Rauscharten, bei SNR von 2,5, 7,5, 12,5 und 17,5 dB | Cao et al., CMGAN-Paper, Interspeech 2022 |
| STOI: verrauschte Eingabe vs CMGAN-Ausgabe | 0,91 vs 0,96 | Cao et al., CMGAN-Paper, Interspeech 2022 |
| Zusammengesetzter Sprachsignalwert (CSIG) und Gesamtwert (COVL): verrauschte Eingabe vs CMGAN-Ausgabe | 3,35 und 2,63 vs 4,63 und 4,12 | Cao et al., CMGAN-Paper, Interspeech 2022 |
| Modellgröße: SEGAN vs DEMUCS vs CMGAN | 97,47 Mio. vs 128 Mio. vs 1,83 Mio. Parameter | Cao et al., CMGAN-Paper, Interspeech 2022 |
Hinweis zum Kontext: CSIG und COVL sind zusammengesetzte Maße, die aus mehreren objektiven Metriken gebildet werden, um die Hörerbewertungen des Sprachsignals und der Gesamtqualität vorherzusagen. Sie erben die blinden Flecken der Metriken, die sie kombinieren.
3. Stimmen Qualitätsmetriken mit menschlichen Hörern überein?
Die Antwort hängt davon ab, ob man mittelt. Korrelation wird hier mit dem PCC (Pearson-Korrelation, Übereinstimmung im Wert), dem SRCC (Spearman-Rangkorrelation, Übereinstimmung in der Reihenfolge) oder dem KRCC (Kendall-Rangkorrelation, ein weiterer Test der Reihenfolge) gemessen; 1,0 ist perfekte Übereinstimmung. DNSMOS P.835, ein neuronales Netz, das Hörerbewertungen ohne saubere Referenz vorhersagt, erreichte mit den Sprachbewertungen der Hörer einen PCC von 0,94, wenn pro Modell gemittelt wurde, aber nur 0,71 bei einzelnen Clips.
Auch die menschliche Seite ist verrauscht. Zwei getrennte P.808-Bewertungsrunden derselben Clips stimmten pro Clip nur mit einem PCC von rund 0,5 überein, sodass der MOS eines einzelnen Clips (Mean Opinion Score, der Durchschnitt der Hörerbewertungen) selbst eine grobe Zahl ist. Das ist ein weiterer Grund, Systeme statt Dateien zu vergleichen und einen einzelnen Wechsel in der Rangliste als schwachen Beleg zu behandeln. Dieselbe Vorsicht pro Clip gilt für synthetische Stimmen, die unsere Statistiken zum MOS der Natürlichkeit synthetischer Sprache behandeln. Quellen: DNSMOS-P.835-Paper, DNSMOS-Paper, Paper zur ICASSP 2022 DNS Challenge, NISQA-Paper.
| Metrik | Wert | Quelle |
|---|---|---|
| DNSMOS-P.835-Sprachwert (SIG) vs Hörerbewertungen: PCC pro Modell vs pro Clip | 0,94 vs 0,71 | Reddy et al., Microsoft, DNSMOS-P.835-Paper 2021 |
| DNSMOS-P.835-Hintergrundrauschwert (BAK) vs Hörerbewertungen: PCC pro Modell vs pro Clip | 0,98 vs 0,83 | Reddy et al., Microsoft, DNSMOS-P.835-Paper 2021 |
| Übereinstimmung zwischen zwei getrennten menschlichen P.808-Bewertungsrunden derselben Clips (PCC pro Clip) | rund 0,5 | Reddy et al., Microsoft, DNSMOS-Paper 2020 |
| DNSMOS P.835 vs Hörerbewertungen in Track 1 der ICASSP 2022 DNS Challenge, Sprachwert: PCC vs SRCC | 0,93 vs 0,78 | Microsoft, Paper zur ICASSP 2022 DNS Challenge |
| Rangkorrelation (SRCC) des ursprünglichen DNSMOS über Kategorien des Blind-Sets der DNS Challenge 2: einstufiges vs mehrstufiges Modell | 0,65 vs 0,90 | Reddy et al., Microsoft, DNSMOS-Paper 2020 |
| NISQA, ein weiterer neuronaler Qualitätsprädiktor: neue Sprachdateien für Training und Validierung sowie für Training und Evaluation genutzte Datensätze | über 13.000 Dateien; 81 Datensätze | Mittag et al., NISQA-Paper, Interspeech 2021 |
| URGENT 2024: KRCC zwischen dem Gesamt-Ranking-Wert der Challenge und dem Rang nach Hörer-MOS | 0,73 | Zhang, Saijo et al., Paper zu den Erkenntnissen aus URGENT 2024, Interspeech 2025 |
Hinweis zum Kontext: DNSMOS P.835 wurde mit rund 30.000 bewerteten Clips (75 Stunden) trainiert, der ursprüngliche DNSMOS mit rund 120.000 Clips. Die Korrelationen pro Modell wurden mit 5 Bewertungen pro Clip berechnet, die Analyse auf Clip-Ebene nutzte 30 Bewertungen pro Clip, daher stammen die beiden Zahlen in jeder Zeile nicht aus identischen Aufbauten.
4. Verständlichkeitsmetriken: STOI und seine Nachfolger
STOI wurde gebaut, um eine engere Frage als PESQ zu beantworten: nicht, wie angenehm die Sprache klingt, sondern wie viele Wörter erhalten bleiben. Über 13 Hördatensätze hinweg erreichte STOI im Mittel eine Pearson-Korrelation von 0,62 mit der gemessenen Verständlichkeit, während die erweiterte Version eSTOI im Mittel 0,88 erreichte. Auf einem Datensatz mit Sprache in stark schwankendem Rauschen war die Korrelation von STOI negativ (-0,77): Die Metrik bewegte sich in die falsche Richtung.
Die praktische Lesart ist, dass STOI am besten für das stationäre Rauschen und die Zeit-Frequenz-Maskierung funktioniert, auf die es ausgelegt wurde, und am schlechtesten für Sprache in stoßartigem, moduliertem Rauschen, wie es konkurrierende Sprecher und volle Räume erzeugen. Aktuellste verfügbare Daten: Edraki et al., IEEE/ACM TASLP 2020. Quellen: Edraki et al. in PubMed Central, Taal et al., IEEE TASLP 2011.
| Metrik | Wert | Quelle |
|---|---|---|
| Länge des STOI-Analysesegments | 386 ms | Taal et al., IEEE TASLP 2011 |
| Validierung von STOI im Originalpaper | 3 Hörexperimente; bessere Korrelation als 5 Referenzmodelle der Verständlichkeit | Taal et al., IEEE TASLP 2011 |
| Mittlere Pearson-Korrelation mit der gemessenen Verständlichkeit über 13 Datensätze, nach logistischer Abbildung: STOI vs eSTOI vs HASPI vs wSTMI | 0,62 vs 0,88 vs 0,82 vs 0,93 | Edraki et al., IEEE/ACM TASLP 2020 |
| Mittlere Spearman-Rangkorrelation über dieselben 13 Datensätze: STOI vs eSTOI | 0,59 vs 0,82 | Edraki et al., IEEE/ACM TASLP 2020 |
| Pearson-Korrelation von STOI auf einem Datensatz mit Sprache in moduliertem Rauschen (ModN-Fogerty) | -0,77 | Edraki et al., IEEE/ACM TASLP 2020 |
| Pearson-Korrelation von STOI auf einem Datensatz zur Hörverbesserung auf der Hörerseite (NELE-Taal) | 0,90 | Edraki et al., IEEE/ACM TASLP 2020 |
| Zitierungen des ursprünglichen STOI-Papers | 2.265 | OpenAlex-Eintrag, abgerufen am 31. Oktober 2026 |
Hinweis zu Ausreißern: wSTMI, der beste Kandidat, wurde auf zwei der 13 Datensätze trainiert und validiert, sein Mittelwert ist also nicht vollständig vom Training getrennt. HASPI ist eine mit Blick auf hörgeschädigte Hörer entworfene Metrik, und eSTOI gibt die Annahme von STOI auf, dass Frequenzbänder voneinander unabhängig sind.
5. Goodharts Gesetz: Wenn PESQ aufhört, Qualität zu messen
Goodharts Gesetz besagt, dass ein Maß, das zum Ziel wird, aufhört, ein gutes Maß zu sein. Die Sprachverbesserung hat inzwischen die Daten, um das zu belegen. Der PESQetarian, ein auf die Maximierung von PESQ trainiertes Modell, erzielte auf VoiceBank-DEMAND 3,82, während sein SI-SDR (skaleninvariantes Signal-Verzerrungs-Verhältnis, wie nah die Wellenform am sauberen Original liegt) auf -19,8 dB fiel, weit unter die 8,4 dB der unbearbeiteten verrauschten Eingabe.
Der Effekt beschränkt sich nicht auf ein Paper. Ein einstufiges Diffusionsmodell von 2025, trainiert mit einem PESQ-Verlust, erreichte 3,99 PESQ, aber nur 0,40 dB SI-SDR, während die ausgewogene Version der Autoren 3,49 PESQ und 17,8 dB SI-SDR erzielte. Selbst legitime Techniken bewegen die Zahl: Die perzeptive Kontrastdehnung, die den Kontrast der Zielmerkmale nach ihrer wahrnehmungsbezogenen Bedeutung verstärkt, steigerte SEMamba um 0,14 PESQ (von 3,55 auf 3,69, unsere Subtraktion). Die Lehre für Käufer und Gutachter ist einfach: Ein PESQ-Rekord ohne passenden Hörtest ist ein Warnzeichen, keine Schlagzeile. Quellen: PESQetarian-Paper, ROSE-CD-Paper.
| Metrik | Wert | Quelle |
|---|---|---|
| PESQ: verrauschte Eingabe vs schlicht MSE-trainiertes Modell vs PESQetarian | 1,97 vs 2,78 vs 3,82 | de Oliveira et al., PESQetarian-Paper, Interspeech 2024 |
| POLQA (der ITU-T-Nachfolger von PESQ): verrauschte Eingabe vs MSE-Modell vs PESQetarian | 3,11 vs 3,87 vs 1,46 | de Oliveira et al., PESQetarian-Paper, Interspeech 2024 |
| DNSMOS-Gesamtwert: verrauschte Eingabe vs MSE-Modell vs PESQetarian | 2,69 vs 3,13 vs 2,06 | de Oliveira et al., PESQetarian-Paper, Interspeech 2024 |
| PESQ nach Hinzufügen eines einzelnen festen Klicks zu jeder verrauschten Testdatei, ohne jede Entrauschung | 3,46 | de Oliveira et al., PESQetarian-Paper, Interspeech 2024 |
| Direkte Optimierung an sechs Dateien: PESQ vorher vs nachher sowie POLQA vorher vs nachher | von 1,91 auf 3,76; von 3,46 auf 2,73 | de Oliveira et al., PESQetarian-Paper, Interspeech 2024 |
| ROSE-CD mit PESQ-Verlust trainiert vs finales ROSE-CD: PESQ, SI-SDR und WV-MOS (ein neuronaler Prädiktor für Hörerwerte) | 3,99, 0,40 dB, 2,31 vs 3,49, 17,8 dB, 4,41 | Xu et al., ROSE-CD-Paper, WASPAA 2025 |
| PESQ-Zugewinn durch perzeptive Kontrastdehnung bei SEMamba | +0,14 (von 3,55 auf 3,69) | Chao et al., SEMamba-Paper, IEEE SLT 2024 |
Hinweis zum Kontext: Der Hörtest zum PESQetarian nutzte 10 Audioexperten, die 10 zufällige Testproben auf einer Skala von 0 bis 100 bewerteten, und das Paper gibt die Ergebnisse pro System nur als Abbildung an. Der PESQetarian ist ein bewusster Stresstest, kein Produkt.
6. Vom Benchmark zu echten Aufnahmen: Die Generalisierungslücke
Ein Modell, das mit 2 Testsprechern gewinnt, hat nicht bewiesen, dass es mit Ihren zurechtkommt. Eine Studie von 2023 trainierte 40 Modelle pro Architektur über fünf Sprach-, fünf Rausch- und fünf Raumakustik-Datenbanken und maß dann jedes Modell gegen ein Referenzmodell, das auf der Testbedingung selbst trainiert war. Wenn die Testsprache aus einem ungesehenen Korpus stammte, zeigte Conv-TasNet gegenüber dieser Referenz eine ESTOI-Generalisierungslücke von -68%, und die Fehlanpassung bei der Sprache schadete bei jedem Modell mehr als die bei Rauschen oder Raum.
Der ermutigende Befund ist, dass sich die Generalisierung bei Rauschen mit Daten lösen lässt: Training auf vier Rausch-Datenbanken hielt die Lücke bei der SNR-Verbesserung bei -5% oder besser. Ein domänenfremder Test in einem Paper von 2025 zeigt, dass auch neuere generative Modelle an Boden verlieren. Quellen: Gonzalez et al., Paper zur Generalisierungslücke, ROSE-CD-Paper, Paper zur ICASSP 2021 DNS Challenge.
| Metrik | Wert | Quelle |
|---|---|---|
| ESTOI-Generalisierungslücke bei Fehlanpassung des Sprachkorpus, Conv-TasNet auf 1 Sprachdatenbank trainiert | -68% | Gonzalez et al., IEEE/ACM TASLP 2023 |
| PESQ-Generalisierungslücke bei Fehlanpassung des Sprachkorpus: MANNER auf 1 Datenbank trainiert vs Conv-TasNet auf 4 trainiert | -50% vs -35% | Gonzalez et al., IEEE/ACM TASLP 2023 |
| Lücke bei der SNR-Verbesserung bei Rausch-Fehlanpassung mit 4 Rausch-Trainingsdatenbanken (Conv-TasNet, DCCRN, MANNER) | -5% oder besser | Gonzalez et al., IEEE/ACM TASLP 2023 |
| Fehlanpassung der Raumakustik mit 1 Trainingsdatenbank: PESQ-Lücke eines Feedforward-Netzes vs ESTOI-Lücke von Conv-TasNet | -10% vs -17% | Gonzalez et al., IEEE/ACM TASLP 2023 |
| PESQ von ROSE-CD auf VoiceBank-DEMAND vs domänenfremd auf TIMIT+NOISE92 | 3,49 vs 2,62 | Xu et al., ROSE-CD-Paper, WASPAA 2025 |
| PESQ von SGMSE+ (Diffusionsmodell) auf VoiceBank-DEMAND vs domänenfremd auf TIMIT+NOISE92 | 2,93 vs 2,08 | Xu et al., ROSE-CD-Paper, WASPAA 2025 |
| Blindtest in Track 1 der ICASSP 2021 DNS Challenge: echte Aufnahmen vs synthetische Clips | 650 echte vs 50 synthetische (700 Clips) | Microsoft, Paper zur ICASSP 2021 DNS Challenge |
Hinweis zum Kontext: Die Generalisierungslücke wird gegen ein auf der Testbedingung trainiertes Referenzmodell gemessen, ist also eine relative Zahl und kein absoluter Rückgang des ESTOI- oder PESQ-Werts. Die rohen Einbrüche von ROSE-CD und SGMSE+ hingegen vermischen ungesehene Daten mit der Schwierigkeit der Aufgabe, also genau die beiden Effekte, die die Referenzmodell-Methode trennen soll. Die DNS-Organisatoren bauten ihren Blindtest überwiegend aus echten Aufnahmen und beurteilten ihn mit Hörern, mit dem Hinweis, dass sich objektive Maße wie PESQ, SDR und POLQA als schlecht mit der subjektiven Qualität bei Hintergrundrauschen korreliert erwiesen haben.
7. Wie Challenges und Standards die Bewertung verändern
Die aktuelle Antwort auf Metrik-Manipulation ist ein breiteres Bewertungsraster. Bei URGENT 2024 landete das im DNSMOS erstplatzierte Team (3,26) im Hörer-MOS (3,05) nur auf Platz 18, bei einer Wortgenauigkeit von nur 40,73%, während das Spitzenteam einen MOS von 3,52 mit 73,57% Wortgenauigkeit verband. Wortgenauigkeit bedeutet hier, wie viele Wörter ein Spracherkenner nach der Verbesserung noch richtig erkennt, eine direkte Kontrolle, dass das Modell keine Sprache erfunden oder gelöscht hat; unsere Statistiken zu Halluzinationen in der Spracherkennung behandeln diesen Fehler von der Erkennerseite.
Hybride und generative Enhancer verschärfen das Problem. Eine Challenge zur Sprachwiederherstellung von 2025 maß für hybride Systeme eine Rangkorrelation von -0,8 zwischen weit verbreiteten referenzfreien Metriken und dem Hörer-MOS, das heißt, die Rangfolge nach Metrik verlief weitgehend entgegengesetzt zur menschlichen. Auch die Normungsgremien haben sich bewegt: PESQ ist keine ITU-T-Empfehlung mehr. Quellen: Rückblick zu CCF AATC 2025, Überblick zu URGENT 2025, Überblick zu URGENT der ICASSP 2026, ITU-T-Seite P.862, ITU-T-Seite P.863.
| Metrik | Wert | Quelle |
|---|---|---|
| URGENT 2024 Blindtest und Hör-Teilmenge | 500 simulierte plus 500 echte Aufnahmen; MOS-Teilmenge mit 300 Proben, 8 Hörer pro Probe; 21 Teams | Zhang, Saijo et al., Paper zu den Erkenntnissen aus URGENT 2024, Interspeech 2025 |
| URGENT-2024-Trainingsdaten mit abweichender deklarierter und tatsächlicher Bandbreite | rund 25% von LibriTTS; rund 100% von DNS5-LibriVox und CommonVoice 11.0 | Zhang, Saijo et al., Paper zu den Erkenntnissen aus URGENT 2024, Interspeech 2025 |
| CCF AATC 2025: Rangkorrelation zwischen referenzfreien Metriken und Hörer-MOS für hybride Systeme | -0,8 (25 in der Challenge analysierte Systeme) | Zhang et al., Rückblick zu CCF AATC 2025, arXiv 2025 |
| Evaluationssuite von URGENT 2025 | 14 Metriken in 5 Kategorien; 7 Verzerrungsarten; 5 Trainingssprachen | Saijo et al., Überblick zu URGENT 2025, Interspeech 2025 |
| URGENT-Trainingsdaten Track 1 der ICASSP 2026 | kuratierte Teilmenge von 700 Stunden aus dem 2.500-Stunden-Satz von URGENT 2025 | Überblick zur ICASSP 2026 URGENT Challenge |
| Status von PESQ bei der ITU-T | P.862 und die Teile P.862.1 bis P.862.3 am 5. Januar 2024 gestrichen | Empfehlungsseite ITU-T P.862 |
| Status von POLQA bei der ITU-T | P.863 (März 2018) in Kraft, mit Änderung 1 (April 2020) | Empfehlungsseite ITU-T P.863 |
Hinweis zum Kontext: URGENT 2024 markierte außerdem rund 2.000 Sprachlabels in seinen als hochwertig eingestuften Trainingskorpora mit negativen WADA-SNR-Werten, einer blinden SNR-Schätzung, sodass Label-Rauschen in den sauberen Referenzen steckt, gegen die intrusive Metriken wie PESQ vergleichen.
Zusammenfassung: PESQ- und STOI-Benchmarks zur Sprachverbesserung in Zahlen
| Metrik | Wert | Quelle |
|---|---|---|
| VoiceBank-DEMAND-PESQ: SEGAN (2017) vs CMGAN (2022) | 2,16 vs 3,41 | Cao et al., CMGAN-Paper, Interspeech 2022 |
| VoiceBank-DEMAND-PESQ: SEMamba ohne vs mit perzeptiver Kontrastdehnung | 3,55 vs 3,69 | Chao et al., IEEE SLT 2024 |
| VoiceBank-DEMAND-PESQ und Größe von PrimeK-Net | 3,61; 1,41 Mio. Parameter | PrimeK-Net-Paper, ICASSP 2025 |
| STOI: verrauschte Eingabe vs CMGAN-Ausgabe | 0,91 vs 0,96 | Cao et al., CMGAN-Paper, Interspeech 2022 |
| PESQetarian: PESQ, SI-SDR und POLQA (verrauschte Eingabe in Klammern) | 3,82, -19,8 dB, 1,46 (1,97, 8,4 dB, 3,11) | de Oliveira et al., Interspeech 2024 |
| PESQ-Verlust-Variante von ROSE-CD: PESQ vs SI-SDR | 3,99 vs 0,40 dB | Xu et al., WASPAA 2025 |
| Korrelation von STOI mit der gemessenen Verständlichkeit: Mittel über 13 Datensätze (eSTOI-Mittel in Klammern) vs Datensatz mit moduliertem Rauschen | 0,62 (0,88) vs -0,77 | Edraki et al., IEEE/ACM TASLP 2020 |
| PCC des Sprachwerts von DNSMOS P.835: pro Modell vs pro Clip | 0,94 vs 0,71 | Reddy et al., Microsoft, DNSMOS-P.835-Paper 2021 |
| ESTOI-Generalisierungslücke bei ungesehenem Sprachkorpus (Conv-TasNet) | -68% | Gonzalez et al., IEEE/ACM TASLP 2023 |
| PESQ-Generalisierungslücke bei ungesehenem Sprachkorpus (MANNER, 1 Trainingsdatenbank) | -50% | Gonzalez et al., IEEE/ACM TASLP 2023 |
| PESQ von ROSE-CD in der Domäne vs außerhalb der Domäne | 3,49 vs 2,62 | Xu et al., WASPAA 2025 |
| URGENT 2024: DNSMOS-Rang vs Hörer-MOS-Rang desselben Teams | 1. vs 18. | Zhang, Saijo et al., Interspeech 2025 |
| PESQ nach Hinzufügen eines einzelnen festen Klicks zu jeder verrauschten Testdatei, ohne jede Entrauschung | 3,46 | de Oliveira et al., Interspeech 2024 |
| Referenzfreie Metriken vs Hörer-MOS für hybride Systeme (Rangkorrelation) | -0,8 | Zhang et al., Rückblick zu CCF AATC 2025 |
| PESQ von der ITU-T gestrichen | 5. Januar 2024 | Empfehlungsseite ITU-T P.862 |
Methodik und Quellen
- ITU-T, Empfehlungsseite P.862 (PESQ), Status aktualisiert am 9. Januar 2024, und Empfehlungsseite P.863 (POLQA), abgerufen im Oktober 2026.
- Taal et al., An Algorithm for Intelligibility Prediction of Time-Frequency Weighted Noisy Speech, IEEE TASLP 2011 (Abstract über den OpenAlex-Eintrag gelesen; Zitierzahl aus OpenAlex).
- Edraki, Chan, Jensen und Fogerty, Speech Intelligibility Prediction using Spectro-Temporal Modulation Analysis, IEEE/ACM TASLP 2020.
- Cao, Abdulatif und Yang, CMGAN: Conformer-based Metric GAN for Speech Enhancement, Interspeech 2022 (Quelle der Zahlen zu SEGAN, DEMUCS und zum Datensatz).
- MetricGAN+, Interspeech 2021; MP-SENet, Interspeech 2023; Chao et al., SEMamba, IEEE SLT 2024; PrimeK-Net, ICASSP 2025.
- de Oliveira, Welker, Richter und Gerkmann, The PESQetarian: On the Relevance of Goodhart’s Law for Speech Enhancement, Interspeech 2024.
- Xu, Yan und Kleijn, Robust One-step Speech Enhancement via Consistency Distillation (ROSE-CD), WASPAA 2025.
- Gonzalez, Alstrøm und May, Assessing the Generalization Gap of Learning-Based Speech Enhancement Systems, IEEE/ACM TASLP 2023.
- Forschungspapiere von Microsoft: Reddy, Gopal und Cutler, DNSMOS (2020) und DNSMOS P.835 (2021); Papiere zur ICASSP 2021 DNS Challenge und zur ICASSP 2022 DNS Challenge.
- Mittag, Naderi, Chehadi und Möller, NISQA, Interspeech 2021.
- Zhang, Saijo et al., Lessons Learned from the URGENT 2024 Speech Enhancement Challenge, Interspeech 2025; Saijo et al., Interspeech 2025 URGENT Challenge; ICASSP 2026 URGENT Challenge overview (2026).
- Zhang, Zhu, Xu, Bu, Ling und Wu, The CCF AATC 2025 Speech Restoration Challenge: A Retrospective, arXiv 2025.
- Daten-Hinweis: Die VoiceBank-DEMAND-Werte hier sind die jeweils vom Paper selbst gemeldeten, und Zahlen zu einem System können sich zwischen Papers unterscheiden (MetricGAN+ hat 3,15 im eigenen Paper und 3,13 in der ROSE-CD-Tabelle). Das ROSE-CD-Paper ist in sich widersprüchlich: Seine Ergebnistabelle gibt dem finalen Modell einen PESQ von 3,49, während sein Fazit 3,99 nennt, was zur reinen PESQ-Verlust-Variante passt; wir weisen 3,49 als das finale Modell aus. Die Zitierzahlen des STOI-Papers unterscheiden sich je nach Quelle (2.265 in OpenAlex, 2.499 in Semantic Scholar, beide am 31. Oktober 2026 abgerufen). Die Korrelationen der Verständlichkeitsmetriken stammen aus einer Studie von 2020 und sind der jüngste Vergleich über mehrere Datensätze, den wir gefunden haben. Die ITU-T hat im Juli 2026 eine neue Ausgabe von P.835 veröffentlicht, der Hörtestmethode hinter DNSMOS P.835, und das URGENT-Paper der ICASSP 2026 gibt die Korrelationen seiner Qualitätsprädiktoren noch nicht im Text an.
Zuletzt aktualisiert: 31. Oktober 2026. Wir aktualisieren diese Zusammenstellung vierteljährlich, und die nächste Aktualisierung wird erwartet, sobald die Tagungsbände der ICASSP 2026 URGENT Challenge ihre Korrelationen der Qualitätsprädiktoren für Track 2 veröffentlichen.