Die Deep Noise Suppression (DNS) Challenges von 2021 begrenzten die gesamte algorithmische Latenz auf 40 ms, während eine Hearables-Studie von 2025 neuronale Rauschunterdrückung mit 1,25 ms algorithmischer Latenz und 3,35 ms Ende-zu-Ende auf einem stromsparenden DSP ausführte (Microsoft Research, Paper zur DNS Challenge von Interspeech 2021; Dementyev et al., arXiv 2025). Die Modellgrößen erstrecken sich über mehr als drei Größenordnungen: RNNoise nutzt 87.503 Gewichte und GTCRN gibt 23,7 Tsd. Parameter an, während das beste URGENT-System von Interspeech 2025 rund 102 Mio. nutzte. Hörtests decken weiterhin auf, was Labormetriken übersehen: Das vollständige PercepNet hatte einen niedrigeren PESQ als seine Variante ohne Nachfilter (2,54 vs. 2,73), aber ein höheres Hörer-MOS (4,05 vs. 3,91). Rauschunterdrückung ist nur die eine Hälfte der Geschichte der Sprachisolierung; die andere Hälfte, das Trennen eines Sprechers von anderen Sprechern, behandeln unsere Statistiken zu Sprachtrennung und Cocktailparty-Effekt, und die geschäftliche Seite dieser Werkzeuge findet sich in unseren Statistiken zu Unternehmenssoftware für Geräuschunterdrückung. Wir haben Daten aus den DNS-Challenge-Papern von Microsoft Research, von ITU-T, aus der RNNoise-Arbeit von Mozilla und Xiph.Org, aus den DeepFilterNet-Papern, von den Organisatoren der URGENT Challenge, aus der Maxine-Dokumentation von NVIDIA und von unabhängigen Forschenden an Universitäten und in der Industrie zusammengeführt.
TL;DR
- Ein neuronaler Rauschunterdrücker mit 1,25 ms lief auf einem stromsparenden DSP mit 3,35 ms Ende-zu-Ende-Latenz (Dementyev et al., Hearables-Paper im Submillisekundenbereich, arXiv 2025).
- RNNoise läuft mit 87.503 Gewichten, etwa 1,3% eines x86-Kerns (Mozilla, RNNoise-Paper, MMSP 2018).
- GTCRN gibt 23,7 Tsd. Parameter und 39,6 MMACs pro Sekunde an (Rong et al., GTCRN, ICASSP 2024).
- DeepFilterNet2 hat 2,306 M Parameter und einen Echtzeitfaktor von 0,42 selbst auf einem Raspberry Pi 4 (Schröter et al., DeepFilterNet2-Paper, 2022).
- Ein GPU-Denoiser braucht 0,410 ms (p95), um einen 10-ms-Frame auf einer Laptop-GPU zu verarbeiten (NVIDIA, Leistungsleitfaden zum Maxine AFX SDK, Herstellerangabe).
- PercepNet erzielte auf VCTK ein Hörer-MOS von 4,05 gegenüber 3,40 für die verrauschte Eingabe (Valin et al., PercepNet-Paper, Interspeech 2020).
- Der Gewinner von URGENT bei Interspeech 2025 nutzte rund 102 Mio. Parameter, etwa das 12-Fache der 8,5 Mio. der Baseline (Saijo et al., Paper zur URGENT 2025 Challenge).
- Vorausschauende Vorhersage, um 0 ms Latenz zu erreichen, senkte den SI-SDR von 2,8341 dB auf -3,6493 dB (Wang et al., IEEE/ACM TASLP 2022).
- ITU-T P.835, der Drei-Wertungen-Test für Rauschunterdrücker, hat eine neue Ausgabe, P.835 (07/26) (Seite der ITU-T-Empfehlung P.835, 2026).
- Die ICASSP 2026 URGENT Challenge verzeichnete 80 Anmeldungen für Track 1 und gültige Einreichungen von 29 Teilnehmerteams (Li et al., Paper zur ICASSP 2026 URGENT Challenge).
1. Latenzbudgets: Wie viel Verzögerung die Echtzeit-Rauschunterdrückung bekommt
Algorithmische Latenz ist die im Verfahren selbst eingebaute Verzögerung (die Länge des Analyse-Frames plus jede Vorausschau auf künftiges Audio), sodass eine schnellere CPU sie nicht beseitigen kann. Die Verarbeitungszeit ist davon getrennt: Ein Echtzeitsystem muss jeden Frame lediglich fertigstellen, bevor der nächste eintrifft. Die DNS Challenges von 2021 begrenzten die gesamte algorithmische Latenz auf 40 ms, was nach Hörgeräte-Maßstäben großzügig und für ein Modell, das künftiges Audio sehen will, knapp ist.
Diese 40 ms werden verbraucht, bevor das Audio den Computer überhaupt verlässt. In einem Gespräch addiert sich die Verzögerung des Rauschunterdrückers zu Echokompensation, Codecs und Netzwerk; die Echokontrolle hat ein eigenes Budget und eigene Benchmarks, die in unseren Statistiken zur akustischen Echokompensation behandelt werden. Die Regel ist im Paper zur DNS Challenge von Interspeech 2021 ausgeführt, und die Designzahlen stammen aus dem PercepNet-Paper und dem DeepFilterNet3-Paper.
| Metrik | Wert | Quelle |
|---|---|---|
| Echtzeitregel der DNS Challenge: gesamte algorithmische Latenz (Frame + Schrittweite + Vorausschau) und Verarbeitungszeit pro Frame | 40 ms oder weniger; unter der Schrittweitenzeit auf einem Intel Core i5 mit vier Kernen bei 2,4 GHz (ein 32-ms-Frame mit 16 ms Schrittweite, 48 ms, fällt durch) | Microsoft Research, Paper zur DNS Challenge von ICASSP 2021 und Interspeech 2021 |
| Analysefenster, Schrittweite und Vorausschau von RNNoise | 20-ms-Fenster, 10 ms Versatz; 10 ms Vorausschau | Mozilla, RNNoise-Paper, MMSP 2018; Xiph.Org, RNNoise-Demoseite, 2017 |
| Frame-Größe und Vorausschau von PercepNet | 10-ms-Frames, 40 ms Vorausschau | Valin et al., PercepNet-Paper, Interspeech 2020 |
| Algorithmische Latenz von DeepFilterNet3 | 40 ms (20-ms-Fenster, 10 ms Schrittweite, 2 Frames Vorausschau) | Schröter et al., DeepFilterNet3-Paper, Interspeech 2023 |
| STFT-Design mit sehr niedriger Latenz: Fenstergrößen und resultierende algorithmische Latenz | 16-ms-Eingangsfenster, 4-ms-Ausgangsfenster, 2 ms Schrittweite; 4 ms Latenz, oder 2 ms mit Vorhersage eines Frames im Voraus | Wang et al. (CMU, MERL), IEEE/ACM TASLP 2022 |
| Typische algorithmische Latenz von ML-Sprachverbesserung vs. Ziel für Hearables | 16 bis 32 ms vs. unter 2 ms Ende-zu-Ende (etwa 1 ms oder weniger algorithmisch) | Dementyev et al., Hearables-Paper im Submillisekundenbereich, arXiv 2025 |
| Denoiser-v2-GPU-Effekt: Frame-Größe und Freigabeschwelle pro Frame (Test des Herstellers selbst) | 10-ms-Frames (160 Samples bei 16 kHz); die p95-Frame-Zeit muss unter dem 10-ms-Budget bleiben | NVIDIA, Leistungsleitfaden zum Maxine AFX SDK für Windows (Herstellerangabe) |
Neueste verfügbare Daten zur Challenge-Regel: 2021; spätere DNS-Ausgaben verweisen für ihre Millisekundendefinitionen auf die Website der Challenge. Neueste verfügbare Daten zu RNNoise und PercepNet: Paper von 2018 und 2020.
2. Rechenaufwand und Modellgröße: Von 23,7 Tsd. Parametern bis 8 Millionen
GTCRN gibt 23,7 Tsd. Parameter an, während PercepNet 8 Mio. Gewichte und etwa 800 MMACS nutzt, grob 340-mal mehr Gewichte (8.000.000 / 23.700) für ein Modell, das ebenfalls in Echtzeit läuft. Der Echtzeitfaktor (RTF) ist die Verarbeitungszeit geteilt durch die Audiodauer, sodass ein RTF unter 1 bedeutet, dass das Modell mit Live-Audio mithält.
Die praktische Lesart: Rechenleistung ist nicht mehr das, was neuronale Rauschunterdrückung auf einem Laptop verhindert. RNNoise brauchte auf einer Laptop-CPU der Haswell-Generation etwa 1,3% eines Kerns und PercepNet weniger als 5% eines Kerns. Offen bleibt die Frage bei Smartphones, Ohrhörern und DSPs, wo ein RTF von 0,42 auf einem Raspberry Pi 4 noch wenig Spielraum lässt. Die Zahlen stammen aus dem RNNoise-Paper, dem DeepFilterNet2-Paper und der GTCRN-Paper-Seite.
| Metrik | Wert | Quelle |
|---|---|---|
| Größe und CPU-Last von RNNoise | 87.503 Gewichte; etwa 40 MFLOPS; etwa 1,3% eines Intel-i7-4800MQ-Kerns, etwa 14% eines Raspberry-Pi-3-Kerns | Mozilla, RNNoise-Paper, MMSP 2018 |
| RNNoise-Modelldatei mit 8-Bit-Gewichten vs. 32-Bit-Floats und Geschwindigkeit | 85 kB vs. 340 kB; etwa 60-mal schneller als Echtzeit auf x86, etwa 7-mal auf einem Raspberry Pi 3 | Xiph.Org, RNNoise-Demoseite, 2017 |
| Größe und CPU-Last von PercepNet | 8 Mio. Gewichte; etwa 800 MMACS; 5,2% eines Intel-i7-8565U-Kerns (10-ms-Frames), 4,1% (40-ms-Frames) | Valin et al., PercepNet-Paper, Interspeech 2020 |
| DeepFilterNet vs. DeepFilterNet2: Parameter, Rechenaufwand, RTF auf einem Core i5-8250U | 1,778 M vs. 2,306 M; 0,348 vs. 0,356 GMACs; RTF 0,11 vs. 0,04 (0,42 auf einem Raspberry Pi 4) | Schröter et al., DeepFilterNet2-Paper, 2022 |
| Größe und Rechenaufwand von GTCRN | 23,7 Tsd. Parameter; 39,6 MMACs pro Sekunde | Rong et al., GTCRN, ICASSP 2024 |
| Größe und Rechenaufwand von UL-UNAS | 169 Tsd. Parameter; 34 Mio. MACs pro Sekunde; 0 ms Vorausschau | Rong et al., UL-UNAS, Neural Networks 2025 |
| Denoiser v2 auf einer RTX-3500-Ada-Laptop-GPU (Messung des Herstellers selbst) | p95 0,410 ms pro 10-ms-Frame; p50-Durchsatz das 26,74-Fache der Echtzeit; 215 MiB GPU-Speicher | NVIDIA, Leistungsleitfaden zum Maxine AFX SDK für Windows (Herstellerangabe) |
Die Denoiser-Dokumentation von NVIDIA fügt eine eigene Einschränkung hinzu: Eingaben mit einem SNR unter 5 dB können verzerrte Ausgaben erzeugen.
3. Qualitätswerte in Benchmarks: PESQ und DNSMOS für benannte Modelle
PESQ vergleicht das verarbeitete Audio mit einer sauberen Referenz; DNSMOS ist ein neuronales Modell, das vorhersagt, was Hörer sagen würden, ohne eine Referenz zu benötigen. Auf dem gängigen Testset VoiceBank+DEMAND stieg der PESQ von 1,97 für unverarbeitete verrauschte Sprache auf 3,17 für DeepFilterNet3, wobei RNNoise am unteren Ende des neuronalen Feldes liegt.
Die DNSMOS-Zeile enthält die nützlichere Warnung. Auf dem Blind-Testset DNS4 senkte RNNoise den vorhergesagten Sprachwert (SIG) unter die verrauschte Eingabe und hob zugleich den Gesamtwert an, was der klassische Kompromiss ist: weniger Rauschen, leicht beschädigte Stimme. Das PercepNet-Paper selbst zeigt das umgekehrte Problem beim PESQ, bei dem die von den Hörern am meisten gemochte Version einen niedrigeren PESQ hatte. Daten aus dem DeepFilterNet3-Paper und dem UL-UNAS-Paper.
| Metrik | Wert | Quelle |
|---|---|---|
| VoiceBank+DEMAND-PESQ: verrauschte Eingabe vs. RNNoise vs. DeepFilterNet2 (mit Nachfilter) | 1,97 vs. 2,33 vs. 3,03 | Schröter et al., DeepFilterNet2-Paper, 2022 |
| VoiceBank+DEMAND-PESQ und -STOI von DeepFilterNet3 | 3,17 und 0,944 | Schröter et al., DeepFilterNet3-Paper, Interspeech 2023 |
| DNSMOS auf dem DNS4-Blind-Set, Sprache (SIG) und gesamt (OVRL): verrauscht vs. RNNoise vs. DeepFilterNet2 | SIG 4,144 vs. 3,884 vs. 4,196; OVRL 3,291 vs. 3,378 vs. 3,882 | Schröter et al., DeepFilterNet2-Paper, 2022 |
| VCTK-DEMAND-PESQ: GTCRN vs. UL-UNAS, trainiert mit PESQ-Verlust | 2,87 vs. 3,09 | Rong et al., UL-UNAS, Neural Networks 2025 |
| PESQ auf dem DNS3-Blind-Set und Vorausschau: GTCRN vs. LiSenNet vs. UL-UNAS | 2,10 (0 ms) vs. 2,23 (32 ms) vs. 2,28 (0 ms) | Rong et al., UL-UNAS, Neural Networks 2025 |
| PESQ-WB von PercepNet mit vs. ohne Nachfilter | 2,54 vs. 2,73 | Valin et al., PercepNet-Paper, Interspeech 2020 |
| P.808-Hörer-MOS auf VCTK 48 kHz: verrauscht vs. RNNoise vs. PercepNet | 3,40 vs. 3,70 vs. 4,05 | Valin et al., PercepNet-Paper, Interspeech 2020 |
Kontext: VoiceBank+DEMAND ist ein kleines, überwiegend synthetisches Testset, sodass diese Rangfolgen mehr über den relativen Fortschritt aussagen als über echte Gespräche. Die DNS3-Zeile sollten Leser, die sich für Latenz interessieren, beachten: Ein Modell ohne Vorausschau (2,28) erzielte beim PESQ mehr als ein Modell mit 32 ms Vorausschau (2,23).
4. Challenge-Ergebnisse: DNS 2021 bis 2023 und URGENT 2025 bis 2026
Die Challenge-Ergebnisse von 2020 bis 2026 zeigen, dass die gemessenen Verbesserungen gegenüber der verrauschten Eingabe selbst bei den Gewinnern klein bleiben. Bei der ICASSP 2021 lag das beste Modell nur 0,53 DMOS (Differenz der mittleren Meinungsnote) über der verrauschten Eingabe, die die Organisatoren bei einem absoluten MOS von 3,38 ansetzten, und nur die Hälfte der Einreichungen schlug die Baseline. Personalisierte Rauschunterdrückung, die Teams als Sprachisolierung ausliefert, erfasst eine Probe der Stimme des Nutzers und entfernt auch andere Sprecher; im personalisierten Track der ICASSP 2022 verbesserte kein Team den Sprachwert. In Teams ist die Sprachisolierung in der Administrationsrichtlinie standardmäßig aktiviert, und das Stimmprofil wird auf dem Gerät des Nutzers gespeichert (Microsoft Learn, Teams-Administrationsseite zur Sprachisolierung, aktualisiert 2026).
URGENT (“universelle” Sprachverbesserung) ist breiter angelegt als Rauschunterdrückung: Es ergänzt Nachhall, Clipping, Codec-Verluste, Paketverluste und Windgeräusche und akzeptiert Eingaben von 8 bis 48 kHz. Seine Ergebnisse von 2025 zeigen die Modellgröße in die entgegengesetzte Richtung wie in Abschnitt 2. Quellen: DNS-Paper der ICASSP 2021, DNS-Paper der ICASSP 2022, DNS-Paper der ICASSP 2023, URGENT-2025-Paper und URGENT-2026-Paper.
| Metrik | Wert | Quelle |
|---|---|---|
| Echtzeit-Track der DNS von Interspeech 2020: Platzierung von PercepNet und P.808-MOS vs. verrauscht und Baseline | 2. Platz; 3,52 vs. 3,01 vs. 3,03 | Valin et al., PercepNet-Paper, Interspeech 2020 |
| DNS Track 1 der ICASSP 2021: Teams und bestes Ergebnis vs. verrauschte Eingabe | 16 Teams; bestes Modell 0,53 DMOS besser als verrauscht (absoluter MOS 3,38); die Hälfte der Einreichungen schlug die Baseline | Microsoft Research, Paper zur DNS Challenge der ICASSP 2021 |
| DNS von Interspeech 2021: bester Gesamt-MOS vs. Obergrenze bei perfekter Rauschentfernung; Sprachwerte | Etwa 3,78 vs. 3,92; die meisten Teams außer den ersten beiden lagen beim Sprach-MOS unter dem verrauschten Wert | Microsoft Research, Paper zur DNS Challenge von Interspeech 2021 |
| Personalisierter Track (Sprachisolierung) der ICASSP 2022: Länge der Registrierung und Ergebnis vs. verrauscht | 2,5 Minuten pro Sprecher; kein Team verbesserte den SIG; Wortgenauigkeit 2% schlechter | Microsoft Research, Paper zur DNS Challenge der ICASSP 2022 |
| DNS der ICASSP 2023: Einreichungen und Score-Gewinn des Siegers gegenüber dem verrauschten Blind-Set, Headset vs. Freisprecheinrichtung | 11 und 11 Einreichungen; 0,145 vs. 0,141 | Microsoft Research, Paper zur DNS Challenge der ICASSP 2023 |
| URGENT von Interspeech 2025: Einreichungen und Größe des Siegersystems vs. Baseline | 32 Einreichungen; rund 102 Mio. vs. rund 8,5 Mio. Parameter | Saijo et al., Paper zur URGENT Challenge von Interspeech 2025 |
| URGENT von Interspeech 2025: MOS des rein generativen Systems, Gesamtplatz und Zeichengenauigkeit für Chinesisch und Japanisch | Höchster MOS (3,69), aber auf Platz 13; 20,1% und 36,8% | Saijo et al., Paper zur URGENT Challenge von Interspeech 2025 |
| URGENT der ICASSP 2026: Anmeldungen für Track 1, gültige Teams, Größe des Blind-Tests | 80 Anmeldungen; 29 Teams mit gültigen Einreichungen über beide Tracks; 840 Samples, darunter 5 ungesehene Sprachen | Li et al., Paper zur URGENT Challenge der ICASSP 2026 |
Die Obergrenze von 3,92 in der Zeile zu Interspeech 2021 ist eine eigene Berechnung der Organisatoren: Würde das Rauschen mit einer perfekten 5 bewertet und bliebe die Sprache so gut wie im verrauschten Clip, läge der Gesamt-MOS höchstens dort. Bis 2021 hatten die Gewinner den Großteil des Rauschens entfernt, und die verbleibende Lücke lag in der Sprachqualität. Der Score der ICASSP 2023 ist 0,5 x [WAcc + 0,25 x (OVRL - 1)], gewichtet also Wortgenauigkeit und Hörerqualität gleich.
5. Qualität messen: ITU-T P.835, P.808 und DNSMOS
ITU-T P.835 fragt die Hörer nach drei getrennten Wertungen: dem Sprachsignal (SIG), dem Hintergrundgeräusch (BAK) und der Gesamtqualität (OVRL). Diese Aufteilung ist für Rauschunterdrückung wichtig, weil ein Modell im selben Clip beim Rauschen gewinnen und bei der Stimme verlieren kann. DNSMOS folgte den menschlichen Bewertungen mit einem PCC von 0,93 pro Modell, gegenüber 0,78 beim PESQ und nur 0,23 beim SDR, weshalb die DNS-Organisatoren eine auf Hörerbewertungen trainierte Metrik einsetzten, statt sich auf PESQ zu verlassen.
Der Haken ist die Granularität. Die P.835-Version von DNSMOS ist bei einem einzelnen Clip weit schwächer als im Mittel über ein ganzes Modell, daher sollte man einen DNSMOS-Wert für einen einzelnen Clip als Hinweis und nicht als Urteil behandeln. Dieselbe Logik gilt für synthetische Stimmen, die in unseren Statistiken zum MOS der Natürlichkeit synthetischer Sprache behandelt werden. Quellen: ITU-T-P.835-Seite, ITU-T-P.808-Seite, DNSMOS-Paper und DNSMOS-P.835-Paper.
| Metrik | Wert | Quelle |
|---|---|---|
| Ausgaben von ITU-T P.835 | P.835 (07/26) gültig, vorveröffentlicht; P.835 (11/03) ersetzt | Seite der ITU-T-Empfehlung P.835, abgerufen im Oktober 2026 |
| Ausgaben von ITU-T P.808 | P.808 (06/21) gültig; P.808 (06/18) ersetzt | Seite der ITU-T-Empfehlung P.808, abgerufen im Oktober 2026 |
| Korrelation von DNSMOS mit Hörern pro Modell (PCC) vs. PESQ, POLQA, SDR; DNSMOS-P.835-OVRL, Modellebene vs. einzelner Clip | 0,93 vs. 0,78, 0,79, 0,23; 0,98 vs. 0,82 | Reddy et al., Microsoft, DNSMOS-Paper (2020) und DNSMOS-P.835-Paper (2021) |
| Hörtests von PercepNet: VCTK-Samples und Hörer pro Sample; Hörer pro Clip im DNS-Test | 824 Samples, je 8 Hörer (95-%-KI 0,04); je 10 Hörer (95-%-KI 0,02) | Valin et al., PercepNet-Paper, Interspeech 2020 |
| Methode und Umfang des subjektiven Tests von URGENT 2025 | ITU-T-P.808-Absolutkategorie-Bewertung auf Amazon Mechanical Turk; nur englische Daten | Saijo et al., Paper zur URGENT Challenge von Interspeech 2025 |
| Hörtests und MOS-Vorhersagedaten von URGENT der ICASSP 2026 | Die besten 6 Systeme mit P.808 ACR und CCR bewertet; 8.000 MOS-annotierte Samples von 16 Systemen | Li et al., Paper zur URGENT Challenge der ICASSP 2026 |
Die Überarbeitung von P.835 ist hier der neueste Punkt: Die Ausgabe von 2003 wurde durch P.835 (07/26) ersetzt, und ihr Titel umfasst jetzt Endgeräte, die “Funktionen zur Rauschunterdrückung bereitstellen”. Der vollständige Text war bei unserer Prüfung noch nicht öffentlich, daher spiegeln die obigen Zahlen etwaige Änderungen am Verfahren nicht wider.
6. Der Zielkonflikt zwischen Latenz und Qualität
Geringere Latenz kostet gleichzeitig Qualität und Rechenleistung. In einer Hearables-Studie von 2025 brauchte ein 1-ms-Modell 840 MIPS, während ein 16-ms-Overlap-Add-Modell 105 MIPS brauchte, und das 16-ms-Modell erzielte dennoch höhere Werte (DNSMOS OVRL 2,35 vs. 2,13 auf CHiME-2). Eine frühere Studie von CMU und MERL fand dasselbe Muster beim PESQ und zeigte, dass der Versuch, dem Audio vorauszusagen, um 0 ms zu erreichen, den SI-SDR einbrechen lässt.
Die Antwort der Hearables-Studie bestand darin, das Ausgabefilter zu ändern, statt das Fenster zu verkleinern: Ein minimalphasiges FIR-Design hielt den SI-SDR von 0,32 bis 1,25 ms ungefähr konstant und senkte die Ende-zu-Ende-Latenz von 7,1 ms auf 3,35 ms. Live-Chat toleriert Verzögerung weit besser als Hearables, aber die Latenz des Rauschunterdrückers addiert sich dennoch zu jeder anderen Stufe, zum Beispiel wenn Effekte in einer Kette mit einem Discord-Stimmverfremder gestapelt werden. Daten aus dem Hearables-Paper und dem Paper zu STFT mit sehr niedriger Latenz.
| Metrik | Wert | Quelle |
|---|---|---|
| DNSMOS OVRL auf CHiME-2: unverarbeitet vs. 1-ms- vs. 2-ms- vs. 4-ms- vs. 16-ms-Modell | 1,3 vs. 2,13 vs. 2,25 vs. 2,28 vs. 2,35 | Dementyev et al., Hearables-Paper im Submillisekundenbereich, arXiv 2025 |
| SI-SDR auf CHiME-2: 1-ms- vs. 2-ms- vs. 16-ms-Modell | 8,0 dB vs. 11,10 dB vs. 12,98 dB | Dementyev et al., Hearables-Paper im Submillisekundenbereich, arXiv 2025 |
| Rechenaufwand des 1-ms-Modells vs. des 16-ms-Overlap-Add-Modells | 840 MIPS vs. 105 MIPS | Dementyev et al., Hearables-Paper im Submillisekundenbereich, arXiv 2025 |
| Vorgeschlagenes 1,25-ms-Deep-FIR-Modell: Parameter, Rechenaufwand, Ende-zu-Ende-Latenz auf einem NXP i.MX RT600 | 626 Tsd. Parameter; 376 MIPS; 3,35 ms | Dementyev et al., Hearables-Paper im Submillisekundenbereich, arXiv 2025 |
| PESQ mit einem Mikrofon, System mit Rechteckfenster: unverarbeitet vs. 4 ms vs. 2 ms vs. 0 ms (vorausschauende Vorhersage) | 1,44 vs. 1,8997 vs. 1,84575 vs. 1,7138 | Wang et al. (CMU, MERL), IEEE/ACM TASLP 2022 |
| SI-SDR mit einem Mikrofon, System mit Rechteckfenster, bei 4 ms vs. 0 ms (vorausschauende Vorhersage) | 2,8341 dB vs. -3,6493 dB | Wang et al. (CMU, MERL), IEEE/ACM TASLP 2022 |
| PESQ mit sechs Mikrofonen bei 4 ms vs. 2 ms (dasselbe zweistufige System) | 2,698490 vs. 2,47482 | Wang et al. (CMU, MERL), IEEE/ACM TASLP 2022 |
| Fenstergrößentest von DeepFilterNet: ab wann komplexe Verhältnismasken an Qualität verlieren | FFT-Fenster von 20 ms oder weniger (Deep Filtering bleibt von 5 bis 30 ms stabil) | Schröter et al., DeepFilterNet-Paper, ICASSP 2022 |
Hinweis zu Ausreißern: Die Modelle mit 1 ms und kürzer in der Hearables-Studie konnten auf dem Ziel-DSP nicht in Echtzeit laufen, daher sind ihre Ende-zu-Ende-Werte Schätzungen der Autoren.
Zusammenfassung: Latenz bei neuronaler Rauschunterdrückung und KI-Sprachisolierung in Zahlen
| Metrik | Wert | Quelle |
|---|---|---|
| Deep-FIR-Hearables-Modell, das in Echtzeit auf einem stromsparenden DSP läuft | 1,25 ms algorithmisch, 3,35 ms Ende-zu-Ende | Dementyev et al., arXiv 2025 |
| Größe des Blind-Tests von URGENT der ICASSP 2026 | 840 Samples, darunter 5 ungesehene Sprachen | Li et al., Paper zur URGENT Challenge der ICASSP 2026 |
| Gewichte von RNNoise | 87.503 | Mozilla, RNNoise-Paper, MMSP 2018 |
| Parameter und Rechenaufwand von GTCRN | 23,7 Tsd.; 39,6 MMACs pro Sekunde | Rong et al., GTCRN, ICASSP 2024 |
| Parameter und Vorausschau von UL-UNAS | 169 Tsd.; 0 ms | Rong et al., UL-UNAS, Neural Networks 2025 |
| VoiceBank+DEMAND-PESQ, verrauscht vs. DeepFilterNet3 | 1,97 vs. 3,17 | Schröter et al., DeepFilterNet2- und DeepFilterNet3-Paper |
| p95-Zeit von Denoiser v2 pro 10-ms-Frame auf einer Laptop-GPU (Herstellerangabe) | 0,410 ms | NVIDIA, Leistungsleitfaden zum Maxine AFX SDK |
| Hörer-MOS von PercepNet vs. verrauscht auf VCTK | 4,05 vs. 3,40 | Valin et al., PercepNet-Paper, Interspeech 2020 |
| Größe des Gewinners von URGENT 2025 vs. Baseline | Etwa 102 Mio. vs. 8,5 Mio. Parameter | Saijo et al., Paper zur URGENT 2025 Challenge |
| Generatives System bei URGENT 2025: Hörer-MOS vs. Gesamtplatz | 3,69 (höchster) vs. 13. | Saijo et al., Paper zur URGENT 2025 Challenge |
| Gültige Teams bei URGENT der ICASSP 2026 | 29 | Li et al., Paper zur URGENT Challenge der ICASSP 2026 |
| PESQ mit einem Mikrofon bei 4 ms vs. 0 ms Latenz | 1,8997 vs. 1,7138 | Wang et al., IEEE/ACM TASLP 2022 |
| Neueste Ausgabe von ITU-T P.835 | P.835 (07/26), gültig (vorveröffentlicht) | Seite der ITU-T-Empfehlung P.835 |
| Gültige Ausgabe von ITU-T P.808 | P.808 (06/21) | Seite der ITU-T-Empfehlung P.808 |
| Größe des RNNoise-Modells mit 8-Bit-Gewichten | 85 kB | Xiph.Org, RNNoise-Demoseite, 2017 |
| Geschwindigkeit von RNNoise auf x86 | Etwa 60-mal schneller als Echtzeit | Xiph.Org, RNNoise-Demoseite, 2017 |
Methodik und Quellen
- Microsoft (Paper von Microsoft Research und Learn-Dokumentation): Paper zur DNS Challenge der ICASSP 2021 (2020), Paper zur DNS Challenge von Interspeech 2021 (2021), Paper zur DNS Challenge der ICASSP 2022 (2022), Paper zur DNS Challenge der ICASSP 2023 (2023), Reddy et al. DNSMOS (2020) und DNSMOS P.835 (2021) sowie die Teams-Administrationsseite zur Sprachisolierung (aktualisiert 2026).
- ITU-T, Empfehlung P.835 und Empfehlung P.808, abgerufen im Oktober 2026.
- Mozilla, RNNoise-Paper (MMSP 2018) und Xiph.Org, RNNoise-Demoseite (2017).
- Valin et al., PercepNet-Paper (Interspeech 2020).
- Schröter et al., DeepFilterNet (ICASSP 2022), DeepFilterNet2 (2022) und DeepFilterNet3 (Interspeech 2023).
- Rong et al., GTCRN (ICASSP 2024) und UL-UNAS (Neural Networks 2025).
- Wang et al. (CMU, MERL), STFT-Domain Neural Speech Enhancement with Very Low Algorithmic Latency (IEEE/ACM TASLP 2022).
- Dementyev et al., Towards Sub-millisecond Latency Real-Time Speech Enhancement Models on Hearables (arXiv v2, März 2025).
- Saijo et al., URGENT Challenge von Interspeech 2025 (2025) und Li et al., URGENT Challenge der ICASSP 2026 (2026).
- NVIDIA, Leistungsleitfaden zum Maxine AFX SDK und Seite zum Denoiser-Effekt (Herstellerdokumentation, als Herstellerangaben gekennzeichnet).
- Daten-Hinweis: Die meisten Daten der DNS Challenge stammen aus den Jahren 2020 bis 2023; das Paper der ICASSP 2023 ist der neueste Bericht zur DNS Challenge, den wir gefunden haben, und damit sind es die neuesten verfügbaren Daten für diese Benchmark-Reihe. Der RNNoise-PESQ auf VoiceBank+DEMAND beträgt in der Tabelle von DeepFilterNet2 2,33, in den Tabellen von PercepNet und UL-UNAS aber 2,29. GTCRN erscheint im Abstract der ICASSP 2024 mit 23,7 Tsd. Parametern und 39,6 MMACs, doch das UL-UNAS-Paper nennt aktualisierte Repository-Werte von 48 Tsd. Parametern und 34 MMACs. DeepFilterNet2 gibt einen RTF von 0,04 an und DeepFilterNet3 einen RTF von 0,19 (Single-Thread) auf demselben Core i5-8250U, sodass sich Threading- oder Messeinstellungen unterscheiden. Das Hearables-Paper nennt für die kürzeste Latenz 0,32 ms im Abstract und 0,34 ms in der Einleitung. Werte aus dem Low-Latency-Paper von CMU und MERL werden mit der in dessen Tabellen gedruckten Genauigkeit zitiert. Die GPU-Werte des Herstellers stammen von einer einzigen Laptop-GPU und sind keine Garantien. Die SIG-, BAK- und OVRL-Werte pro Team für die DNS-Ausgaben 2022 und 2023 existieren nur als Diagramme, weshalb wir sie nicht übertragen haben. Der vollständige Text von ITU-T P.835 (07/26) war noch nicht öffentlich.
Zuletzt aktualisiert: 25. Oktober 2026. Wir aktualisieren diese Zusammenstellung vierteljährlich, und die nächste Aktualisierung wird erwartet, sobald die Tagungsbände der ICASSP 2026 URGENT Challenge und der veröffentlichte Text von ITU-T P.835 (07/26) verfügbar sind.