Un modèle d’amélioration de la parole conçu exprès pour exploiter le PESQ a obtenu 3,82 sur le jeu de test VoiceBank-DEMAND, au-dessus des 3,69 annoncés par le meilleur système légitime de ce tour d’horizon, alors que son score POLQA s’est effondré à 1,46 contre 3,11 pour l’entrée bruitée intacte (de Oliveira et al., article PESQetarian, Interspeech 2024). La course légitime est bien réelle aussi : sur le même benchmark, le PESQ est passé de 2,16 pour SEGAN en 2017 à 3,61 pour PrimeK-Net en 2025. Pourtant, le STOI, la métrique d’intelligibilité souvent affichée à côté du PESQ, n’a obtenu en moyenne qu’une corrélation de 0,62 avec l’intelligibilité mesurée sur 13 jeux de données d’écoute (Edraki et al., IEEE/ACM TASLP 2020). Nous avons agrégé des données de l’ITU-T, d’articles évalués par les pairs à Interspeech, ICASSP, IEEE SLT et WASPAA, d’IEEE/ACM Transactions on Audio, Speech, and Language Processing, du Microsoft Deep Noise Suppression (DNS) Challenge, ainsi que des rapports des défis URGENT et CCF AATC. Pour la latence et le versant produit des mêmes modèles, consultez nos statistiques de latence de la suppression de bruit neuronale ; cette page porte sur les scores eux-mêmes et sur la confiance qu’on peut leur accorder.
TL;DR
- Le PESQ sur VoiceBank-DEMAND est passé de 2,16 (SEGAN, 2017) à 3,41 (CMGAN, 2022) (Cao et al., article CMGAN, Interspeech 2022).
- SEMamba a atteint 3,55 de PESQ, et 3,69 avec l’étirement perceptif du contraste (Chao et al., IEEE SLT 2024).
- PrimeK-Net a annoncé 3,61 de PESQ avec seulement 1,41 million de paramètres (article PrimeK-Net, ICASSP 2025).
- Le PESQetarian a atteint 3,82 de PESQ avec un SI-SDR de -19,8 dB, contre 8,4 dB pour l’entrée bruitée (de Oliveira et al., Interspeech 2024).
- Le STOI a obtenu en moyenne une corrélation de Pearson de 0,62 avec l’intelligibilité mesurée sur 13 jeux de données, l’eSTOI 0,88 (Edraki et al., IEEE/ACM TASLP 2020).
- La corrélation du DNSMOS P.835 avec la qualité de la parole est passée de 0,94 par modèle à 0,71 par extrait (Reddy et al., Microsoft, article DNSMOS P.835 2021).
- L’écart de généralisation ESTOI de Conv-TasNet sur un corpus de parole inédit était de -68% par rapport à un modèle de référence apparié (Gonzalez et al., IEEE/ACM TASLP 2023).
- Le PESQ de ROSE-CD est passé de 3,49 dans le domaine à 2,62 hors domaine (Xu et al., WASPAA 2025).
- Les métriques sans référence ont montré une corrélation de rang de -0,8 avec le MOS des auditeurs pour les systèmes hybrides (Zhang et al., rétrospective CCF AATC 2025).
- L’ITU-T a supprimé le PESQ (P.862) le 5 janvier 2024 (page de la recommandation ITU-T P.862).
1. La course au PESQ sur VoiceBank-DEMAND, de 2017 à 2025
Le PESQ (évaluation perceptive de la qualité de la parole) compare un enregistrement amélioré à son original propre et prédit la note qu’un auditeur donnerait. VoiceBank-DEMAND, un petit jeu de test en anglais composé de phrases lues mélangées à des bruits quotidiens enregistrés, est devenu l’endroit par défaut pour le rapporter. Le PESQ est passé de 2,16 pour SEGAN en 2017 à 3,69 pour SEMamba avec étirement perceptif du contraste en 2024, et le rythme de cette progression est en soi révélateur.
De SEGAN (2,16) à MetricGAN+ (3,15), le domaine a gagné 0,99 point de PESQ en quatre ans. De CMGAN (3,41, 2022) à PrimeK-Net (3,61, 2025), il en a gagné 0,20 en trois (notre soustraction à partir des chiffres publiés). Le benchmark est proche de la saturation : les gains restants sont donc assez faibles pour que des techniques complémentaires et un entraînement sensible à la métrique puissent décider du classement (voir la section 5). Sources : article CMGAN, article SEMamba, article PrimeK-Net.
| Métrique | Valeur | Source |
|---|---|---|
| PESQ : jeu de test bruité non traité contre SEGAN, un améliorateur à base de GAN (2017) | 1,97 contre 2,16 | Cao et al., article CMGAN, Interspeech 2022 |
| PESQ de MetricGAN+ (2021) et son gain par rapport à MetricGAN | 3,15 ; environ +0,3 | Article MetricGAN+, Interspeech 2021 |
| PESQ de CMGAN (2022) | 3,41 | Cao et al., article CMGAN, Interspeech 2022 |
| PESQ de MP-SENet, débruitage parallèle de l’amplitude et de la phase (2023) | 3,50 | Article MP-SENet, Interspeech 2023 |
| PESQ de SEMamba, non causal : sans étirement perceptif du contraste contre avec | 3,55 contre 3,69 | Chao et al., article SEMamba, IEEE SLT 2024 |
| PESQ de PrimeK-Net (2025) et sa taille de modèle | 3,61 ; 1,41 million de paramètres | Article PrimeK-Net, ICASSP 2025 |
Note de contexte : il s’agit des chiffres propres à chaque article sur le même jeu de test public, et non des résultats d’une réexécution indépendante unique de chaque système.
2. Ce que le benchmark mesure réellement
Le classement repose sur une base étroite. Le jeu de test VoiceBank-DEMAND compte 824 énoncés issus de seulement 2 locuteurs inédits, mélangés à 5 types de bruit avec des rapports signal/bruit (SNR, de combien la parole est plus forte que le bruit) assez doux, de 2,5 à 17,5 dB. Aucun extrait de test n’est mélangé en dessous de 2,5 dB : l’extrémité la plus difficile des appels réels n’est donc tout simplement pas échantillonnée.
L’intelligibilité ne laisse presque aucune marge. L’entrée bruitée obtient déjà 0,91 au STOI (intelligibilité objective à court terme, un prédicteur de la part de la parole qu’un auditeur comprendrait), et CMGAN atteint 0,96. La taille des modèles, elle, a diminué de plus d’un ordre de grandeur : SEGAN utilisait 97,47 millions de paramètres, CMGAN 1,83 million. Les benchmarks à locuteurs qui se chevauchent fonctionnent différemment, comme le montrent nos statistiques de séparation de la parole. Source : article CMGAN, sections jeu de données et résultats.
| Métrique | Valeur | Source |
|---|---|---|
| Jeu d’entraînement : taille et conditions de bruit | 11 572 énoncés de 28 locuteurs ; 8 types de bruit DEMAND plus 2 types de bruit artificiel, à des SNR de 0, 5, 10 et 15 dB | Cao et al., article CMGAN, Interspeech 2022 |
| Jeu de test : taille et conditions de bruit | 824 énoncés de 2 locuteurs inédits ; 5 types de bruit DEMAND inédits, à des SNR de 2,5, 7,5, 12,5 et 17,5 dB | Cao et al., article CMGAN, Interspeech 2022 |
| STOI : entrée bruitée contre sortie de CMGAN | 0,91 contre 0,96 | Cao et al., article CMGAN, Interspeech 2022 |
| Score composite du signal de parole (CSIG) et score global (COVL) : entrée bruitée contre sortie de CMGAN | 3,35 et 2,63 contre 4,63 et 4,12 | Cao et al., article CMGAN, Interspeech 2022 |
| Taille de modèle : SEGAN contre DEMUCS contre CMGAN | 97,47 millions contre 128 millions contre 1,83 million de paramètres | Cao et al., article CMGAN, Interspeech 2022 |
Note de contexte : CSIG et COVL sont des mesures composites construites à partir de plusieurs métriques objectives pour prédire les notes des auditeurs sur le signal de parole et sur la qualité globale. Elles héritent des angles morts des métriques qu’elles combinent.
3. Les métriques de qualité concordent-elles avec les auditeurs humains ?
La réponse dépend de la moyenne. La corrélation est ici mesurée par le PCC (corrélation de Pearson, accord en valeur), le SRCC (corrélation de rang de Spearman, accord en ordre) ou le KRCC (corrélation de rang de Kendall, un autre test d’ordre) ; 1,0 correspond à un accord parfait. Le DNSMOS P.835, un réseau de neurones qui prédit les notes des auditeurs sans référence propre, a atteint un PCC de 0,94 avec les notes de parole des auditeurs en moyenne par modèle, mais de 0,71 sur les extraits individuels.
Le côté humain est bruité lui aussi. Deux campagnes de notation P.808 distinctes sur les mêmes extraits ne concordaient qu’à un PCC d’environ 0,5 par extrait : le MOS d’un seul extrait (note moyenne d’opinion, la moyenne des notes des auditeurs) est donc lui-même un chiffre approximatif. C’est une raison de plus de comparer des systèmes plutôt que des fichiers, et de considérer une inversion de classement isolée comme une preuve faible. La même prudence par extrait s’applique aux voix synthétiques, traitées dans nos statistiques de MOS de naturel de la parole synthétique. Sources : article DNSMOS P.835, article DNSMOS, article ICASSP 2022 DNS Challenge, article NISQA.
| Métrique | Valeur | Source |
|---|---|---|
| Score de parole DNSMOS P.835 (SIG) et notes des auditeurs : PCC par modèle contre par extrait | 0,94 contre 0,71 | Reddy et al., Microsoft, article DNSMOS P.835 2021 |
| Score de bruit de fond DNSMOS P.835 (BAK) et notes des auditeurs : PCC par modèle contre par extrait | 0,98 contre 0,83 | Reddy et al., Microsoft, article DNSMOS P.835 2021 |
| Accord entre deux campagnes de notation humaine P.808 distinctes sur les mêmes extraits (PCC par extrait) | environ 0,5 | Reddy et al., Microsoft, article DNSMOS 2020 |
| DNSMOS P.835 et notes des auditeurs dans la piste 1 du ICASSP 2022 DNS Challenge, score de parole : PCC contre SRCC | 0,93 contre 0,78 | Microsoft, article ICASSP 2022 DNS Challenge |
| Corrélation de rang (SRCC) du DNSMOS d’origine entre les catégories du jeu en aveugle du DNS Challenge 2 : modèle à une étape contre modèle à plusieurs étapes | 0,65 contre 0,90 | Reddy et al., Microsoft, article DNSMOS 2020 |
| NISQA, un autre prédicteur neuronal de qualité : nouveaux fichiers de parole d’entraînement et de validation, et jeux de données utilisés pour l’entraînement et l’évaluation | plus de 13 000 fichiers ; 81 jeux de données | Mittag et al., article NISQA, Interspeech 2021 |
| URGENT 2024 : KRCC entre le score de classement global du défi et le rang de MOS des auditeurs | 0,73 | Zhang, Saijo et al., article sur les enseignements d’URGENT 2024, Interspeech 2025 |
Note de contexte : le DNSMOS P.835 a été entraîné sur environ 30 000 extraits notés (75 heures), le DNSMOS d’origine sur environ 120 000 extraits. Les corrélations par modèle ont été calculées avec 5 notes par extrait, et l’analyse au niveau de l’extrait avec 30 notes par extrait ; les deux chiffres de chaque ligne ne proviennent donc pas de configurations identiques.
4. Les métriques d’intelligibilité : le STOI et ses successeurs
Le STOI a été conçu pour répondre à une question plus étroite que le PESQ : non pas si la parole est agréable, mais combien de mots survivent. Sur 13 jeux de données d’écoute, le STOI a obtenu en moyenne une corrélation de Pearson de 0,62 avec l’intelligibilité mesurée, tandis que la version étendue eSTOI a obtenu en moyenne 0,88. Sur un jeu de données de parole dans un bruit très fluctuant, la corrélation du STOI était négative (-0,77) : la métrique évoluait dans le mauvais sens.
La lecture pratique est que le STOI fonctionne au mieux pour le bruit stationnaire et le masquage temps-fréquence autour desquels il a été conçu, et au pire pour la parole dans un bruit par rafales et modulé, du type que produisent des locuteurs concurrents et des salles bondées. Données les plus récentes disponibles : Edraki et al., IEEE/ACM TASLP 2020. Sources : Edraki et al. sur PubMed Central, Taal et al., IEEE TASLP 2011.
| Métrique | Valeur | Source |
|---|---|---|
| Longueur du segment d’analyse du STOI | 386 ms | Taal et al., IEEE TASLP 2011 |
| Validation du STOI dans son article d’origine | 3 expériences d’écoute ; meilleure corrélation que 5 modèles d’intelligibilité de référence | Taal et al., IEEE TASLP 2011 |
| Corrélation de Pearson moyenne avec l’intelligibilité mesurée sur 13 jeux de données, après mise en correspondance logistique : STOI, eSTOI, HASPI et wSTMI respectivement | 0,62 / 0,88 / 0,82 / 0,93 | Edraki et al., IEEE/ACM TASLP 2020 |
| Corrélation de rang de Spearman moyenne sur les mêmes 13 jeux de données : STOI contre eSTOI | 0,59 contre 0,82 | Edraki et al., IEEE/ACM TASLP 2020 |
| Corrélation de Pearson du STOI sur un jeu de données de parole dans un bruit modulé (ModN-Fogerty) | -0,77 | Edraki et al., IEEE/ACM TASLP 2020 |
| Corrélation de Pearson du STOI sur un jeu de données d’amélioration de l’écoute en champ proche (NELE-Taal) | 0,90 | Edraki et al., IEEE/ACM TASLP 2020 |
| Citations de l’article d’origine du STOI | 2 265 | Fiche OpenAlex, consultée le 31 octobre 2026 |
Note sur la valeur aberrante : wSTMI, le plus performant, a été entraîné et validé sur deux des 13 jeux de données ; sa moyenne n’est donc pas entièrement hors échantillon. HASPI est une métrique conçue en pensant aux auditeurs malentendants, et l’eSTOI abandonne l’hypothèse du STOI selon laquelle les bandes de fréquences sont indépendantes.
5. La loi de Goodhart : quand le PESQ cesse de mesurer la qualité
La loi de Goodhart dit qu’une mesure qui devient un objectif cesse d’être une bonne mesure. L’amélioration de la parole dispose désormais des données pour le prouver. Le PESQetarian, un modèle entraîné à maximiser le PESQ, a obtenu 3,82 sur VoiceBank-DEMAND alors que son SI-SDR (rapport signal/distorsion invariant à l’échelle, à quel point la forme d’onde est proche de l’original propre) est tombé à -19,8 dB, bien en dessous des 8,4 dB de l’entrée bruitée non traitée.
L’effet ne se limite pas à un seul article. Un modèle de diffusion en une étape de 2025 entraîné avec une perte PESQ a atteint 3,99 de PESQ mais seulement 0,40 dB de SI-SDR, alors que la version équilibrée des auteurs a obtenu 3,49 de PESQ et 17,8 dB de SI-SDR. Même des techniques légitimes déplacent le chiffre : l’étirement perceptif du contraste, qui renforce le contraste des caractéristiques cibles selon leur importance perceptive, a ajouté 0,14 de PESQ à SEMamba (3,55 à 3,69, notre soustraction). La leçon pour les acheteurs et les évaluateurs est simple : un record de PESQ sans test d’écoute correspondant est un signal d’alerte, pas un titre. Sources : article PESQetarian, article ROSE-CD.
| Métrique | Valeur | Source |
|---|---|---|
| PESQ : entrée bruitée, modèle simple entraîné au MSE et PESQetarian respectivement | 1,97 / 2,78 / 3,82 | de Oliveira et al., article PESQetarian, Interspeech 2024 |
| POLQA (le successeur du PESQ à l’ITU-T) : entrée bruitée, modèle MSE et PESQetarian respectivement | 3,11 / 3,87 / 1,46 | de Oliveira et al., article PESQetarian, Interspeech 2024 |
| Score global DNSMOS : entrée bruitée, modèle MSE et PESQetarian respectivement | 2,69 / 3,13 / 2,06 | de Oliveira et al., article PESQetarian, Interspeech 2024 |
| PESQ après ajout d’un clic fixe unique à chaque fichier de test bruité, sans aucun débruitage | 3,46 | de Oliveira et al., article PESQetarian, Interspeech 2024 |
| Optimisation directe sur six fichiers : PESQ avant et après, et POLQA avant et après | 1,91 à 3,76 ; 3,46 à 2,73 | de Oliveira et al., article PESQetarian, Interspeech 2024 |
| ROSE-CD entraîné avec une perte PESQ contre ROSE-CD final : PESQ, SI-SDR et WV-MOS (un prédicteur neuronal de note d’auditeur) | 3,99, 0,40 dB, 2,31 contre 3,49, 17,8 dB, 4,41 | Xu et al., article ROSE-CD, WASPAA 2025 |
| Gain de PESQ dû à l’étirement perceptif du contraste sur SEMamba | +0,14 (3,55 à 3,69) | Chao et al., article SEMamba, IEEE SLT 2024 |
Note de contexte : le test d’écoute du PESQetarian a fait noter par 10 experts audio 10 échantillons de test aléatoires sur une échelle de 0 à 100, et l’article ne présente les résultats par système que sous forme de figure. Le PESQetarian est un test de résistance délibéré, pas un produit.
6. Du benchmark aux enregistrements réels : l’écart de généralisation
Un modèle qui gagne sur 2 locuteurs de test n’a pas prouvé qu’il sait traiter les vôtres. Une étude de 2023 a entraîné 40 modèles par architecture sur cinq bases de données de parole, cinq de bruit et cinq d’acoustique de salle, puis a mesuré chaque modèle par rapport à un modèle de référence entraîné sur la condition de test elle-même. Lorsque la parole de test provenait d’un corpus inédit, Conv-TasNet a montré un écart de généralisation ESTOI de -68% par rapport à cette référence, et le décalage de parole nuisait davantage que le décalage de bruit ou de salle pour tous les modèles.
Le constat encourageant est que la généralisation au bruit se résout avec des données : l’entraînement sur quatre bases de données de bruit a maintenu l’écart d’amélioration du SNR à -5% ou mieux. Un test hors domaine dans un article de 2025 montre que les modèles génératifs plus récents perdent eux aussi du terrain. Sources : Gonzalez et al., article sur l’écart de généralisation, article ROSE-CD, article ICASSP 2021 DNS Challenge.
| Métrique | Valeur | Source |
|---|---|---|
| Écart de généralisation ESTOI en cas de décalage de corpus de parole, Conv-TasNet entraîné sur 1 base de données de parole | -68% | Gonzalez et al., IEEE/ACM TASLP 2023 |
| Écart de généralisation PESQ en cas de décalage de corpus de parole : MANNER entraîné sur 1 base de données contre Conv-TasNet entraîné sur 4 | -50% contre -35% | Gonzalez et al., IEEE/ACM TASLP 2023 |
| Écart d’amélioration du SNR en cas de décalage de bruit avec 4 bases de données de bruit d’entraînement (Conv-TasNet, DCCRN, MANNER) | -5% ou mieux | Gonzalez et al., IEEE/ACM TASLP 2023 |
| Décalage d’acoustique de salle avec 1 base de données d’entraînement : écart PESQ d’un réseau à propagation avant contre écart ESTOI de Conv-TasNet | -10% contre -17% | Gonzalez et al., IEEE/ACM TASLP 2023 |
| PESQ de ROSE-CD sur VoiceBank-DEMAND contre sur TIMIT+NOISE92 hors domaine | 3,49 contre 2,62 | Xu et al., article ROSE-CD, WASPAA 2025 |
| PESQ de SGMSE+ (modèle de diffusion) sur VoiceBank-DEMAND contre sur TIMIT+NOISE92 hors domaine | 2,93 contre 2,08 | Xu et al., article ROSE-CD, WASPAA 2025 |
| Test en aveugle de la piste 1 du ICASSP 2021 DNS Challenge : enregistrements réels contre extraits synthétiques | 650 réels contre 50 synthétiques (700 extraits) | Microsoft, article ICASSP 2021 DNS Challenge |
Note de contexte : l’écart de généralisation est mesuré par rapport à un modèle de référence entraîné sur la condition de test ; c’est donc un chiffre relatif, et non une baisse absolue du score ESTOI ou PESQ. Les baisses brutes de ROSE-CD et de SGMSE+, à l’inverse, mélangent données inédites et difficulté de la tâche, soit les deux effets que la méthode du modèle de référence est conçue pour séparer. Les organisateurs du DNS ont construit leur test en aveugle surtout à partir d’enregistrements réels et l’ont jugé avec des auditeurs, en notant que des mesures objectives comme le PESQ, le SDR et le POLQA se sont révélées peu corrélées à la qualité subjective en présence de bruit de fond.
7. Comment les défis et les normes font évoluer l’évaluation
La réponse actuelle au détournement des métriques est une grille d’évaluation plus large. À URGENT 2024, l’équipe classée première au DNSMOS (3,26) a fini 18e au MOS des auditeurs (3,05), avec une exactitude des mots de seulement 40,73%, alors que l’équipe en tête combinait un MOS de 3,52 et 73,57% d’exactitude des mots. L’exactitude des mots désigne ici la proportion de mots qu’un système de reconnaissance vocale restitue encore correctement après amélioration, un contrôle direct que le modèle n’a ni inventé ni effacé de parole ; nos statistiques d’hallucination de la reconnaissance vocale traitent cette défaillance du côté du système de reconnaissance.
Les améliorateurs hybrides et génératifs rendent le problème plus aigu. Un défi de restauration de la parole de 2025 a mesuré une corrélation de rang de -0,8 entre des métriques sans référence très utilisées et le MOS des auditeurs pour les systèmes hybrides, ce qui signifie que le classement par métrique allait en grande partie à l’opposé du classement humain. Les organismes de normalisation ont eux aussi bougé : le PESQ n’est plus une recommandation de l’ITU-T. Sources : rétrospective CCF AATC 2025, présentation d’URGENT 2025, présentation d’URGENT ICASSP 2026, page ITU-T P.862, page ITU-T P.863.
| Métrique | Valeur | Source |
|---|---|---|
| Test en aveugle d’URGENT 2024 et sous-ensemble d’écoute | 500 enregistrements simulés plus 500 réels ; sous-ensemble MOS de 300 échantillons, 8 auditeurs par échantillon ; 21 équipes | Zhang, Saijo et al., article sur les enseignements d’URGENT 2024, Interspeech 2025 |
| Données d’entraînement d’URGENT 2024 avec bande passante déclarée et effective discordantes | environ 25% de LibriTTS ; environ 100% de DNS5 LibriVox et de CommonVoice 11.0 | Zhang, Saijo et al., article sur les enseignements d’URGENT 2024, Interspeech 2025 |
| CCF AATC 2025 : corrélation de rang entre métriques sans référence et MOS des auditeurs pour les systèmes hybrides | -0,8 (25 systèmes analysés dans le défi) | Zhang et al., rétrospective CCF AATC 2025, arXiv 2025 |
| Suite d’évaluation d’URGENT 2025 | 14 métriques dans 5 catégories ; 7 types de distorsion ; 5 langues d’entraînement | Saijo et al., présentation d’URGENT 2025, Interspeech 2025 |
| Données d’entraînement de la piste 1 d’URGENT ICASSP 2026 | sous-ensemble sélectionné de 700 heures du jeu URGENT 2025 de 2 500 heures | Présentation du ICASSP 2026 URGENT Challenge |
| Statut du PESQ à l’ITU-T | P.862 et parties P.862.1 à P.862.3 supprimées le 5 janvier 2024 | Page de la recommandation ITU-T P.862 |
| Statut du POLQA à l’ITU-T | P.863 (mars 2018) en vigueur, avec l’amendement 1 (avril 2020) | Page de la recommandation ITU-T P.863 |
Note de contexte : URGENT 2024 a aussi signalé environ 2 000 étiquettes de parole dans ses corpus d’entraînement « haute qualité » avec des valeurs WADA-SNR négatives, une estimation aveugle du SNR ; du bruit d’étiquetage se trouve donc dans les références propres auxquelles se comparent les métriques intrusives comme le PESQ.
Résumé : les benchmarks PESQ et STOI d’amélioration de la parole en chiffres
| Métrique | Valeur | Source |
|---|---|---|
| PESQ VoiceBank-DEMAND : SEGAN (2017) contre CMGAN (2022) | 2,16 contre 3,41 | Cao et al., article CMGAN, Interspeech 2022 |
| PESQ VoiceBank-DEMAND : SEMamba sans étirement perceptif du contraste contre avec | 3,55 contre 3,69 | Chao et al., IEEE SLT 2024 |
| PESQ VoiceBank-DEMAND et taille de PrimeK-Net | 3,61 ; 1,41 million de paramètres | Article PrimeK-Net, ICASSP 2025 |
| STOI : entrée bruitée contre sortie de CMGAN | 0,91 contre 0,96 | Cao et al., article CMGAN, Interspeech 2022 |
| PESQetarian : PESQ, SI-SDR et POLQA (entrée bruitée entre parenthèses) | 3,82, -19,8 dB, 1,46 (1,97, 8,4 dB, 3,11) | de Oliveira et al., Interspeech 2024 |
| Variante de ROSE-CD à perte PESQ : PESQ contre SI-SDR | 3,99 contre 0,40 dB | Xu et al., WASPAA 2025 |
| Corrélation du STOI avec l’intelligibilité mesurée : moyenne sur 13 jeux de données (moyenne de l’eSTOI entre parenthèses) contre jeu de données à bruit modulé | 0,62 (0,88) contre -0,77 | Edraki et al., IEEE/ACM TASLP 2020 |
| PCC du score de parole DNSMOS P.835 : par modèle contre par extrait | 0,94 contre 0,71 | Reddy et al., Microsoft, article DNSMOS P.835 2021 |
| Écart de généralisation ESTOI avec un corpus de parole inédit (Conv-TasNet) | -68% | Gonzalez et al., IEEE/ACM TASLP 2023 |
| Écart de généralisation PESQ avec un corpus de parole inédit (MANNER, 1 base de données d’entraînement) | -50% | Gonzalez et al., IEEE/ACM TASLP 2023 |
| PESQ de ROSE-CD dans le domaine contre hors domaine | 3,49 contre 2,62 | Xu et al., WASPAA 2025 |
| URGENT 2024 : rang DNSMOS contre rang de MOS des auditeurs de la même équipe | 1re contre 18e | Zhang, Saijo et al., Interspeech 2025 |
| PESQ après ajout d’un clic fixe unique à chaque fichier de test bruité, sans aucun débruitage | 3,46 | de Oliveira et al., Interspeech 2024 |
| Métriques sans référence contre MOS des auditeurs pour les systèmes hybrides (corrélation de rang) | -0,8 | Zhang et al., rétrospective CCF AATC 2025 |
| PESQ supprimé par l’ITU-T | 5 janvier 2024 | Page de la recommandation ITU-T P.862 |
Méthodologie et sources
- ITU-T, page de la recommandation P.862 (PESQ), statut mis à jour le 9 janvier 2024, et page de la recommandation P.863 (POLQA), consultée en octobre 2026.
- Taal et al., An Algorithm for Intelligibility Prediction of Time-Frequency Weighted Noisy Speech, IEEE TASLP 2011 (résumé lu via la fiche OpenAlex ; nombre de citations d’après OpenAlex).
- Edraki, Chan, Jensen et Fogerty, Speech Intelligibility Prediction using Spectro-Temporal Modulation Analysis, IEEE/ACM TASLP 2020.
- Cao, Abdulatif et Yang, CMGAN: Conformer-based Metric GAN for Speech Enhancement, Interspeech 2022 (source des chiffres de SEGAN, DEMUCS et du jeu de données).
- MetricGAN+, Interspeech 2021 ; MP-SENet, Interspeech 2023 ; Chao et al., SEMamba, IEEE SLT 2024 ; PrimeK-Net, ICASSP 2025.
- de Oliveira, Welker, Richter et Gerkmann, The PESQetarian: On the Relevance of Goodhart’s Law for Speech Enhancement, Interspeech 2024.
- Xu, Yan et Kleijn, Robust One-step Speech Enhancement via Consistency Distillation (ROSE-CD), WASPAA 2025.
- Gonzalez, Alstrøm et May, Assessing the Generalization Gap of Learning-Based Speech Enhancement Systems, IEEE/ACM TASLP 2023.
- Articles de recherche de Microsoft : Reddy, Gopal et Cutler, DNSMOS (2020) et DNSMOS P.835 (2021) ; articles ICASSP 2021 DNS Challenge et ICASSP 2022 DNS Challenge.
- Mittag, Naderi, Chehadi et Möller, NISQA, Interspeech 2021.
- Zhang, Saijo et al., Lessons Learned from the URGENT 2024 Speech Enhancement Challenge, Interspeech 2025 ; Saijo et al., Interspeech 2025 URGENT Challenge ; présentation du ICASSP 2026 URGENT Challenge (2026).
- Zhang, Zhu, Xu, Bu, Ling et Wu, The CCF AATC 2025 Speech Restoration Challenge: A Retrospective, arXiv 2025.
- Note sur les données : les scores VoiceBank-DEMAND présentés ici sont les chiffres propres à chaque article, et les valeurs d’un même système peuvent différer d’un article à l’autre (MetricGAN+ est à 3,15 dans son propre article et à 3,13 dans le tableau de ROSE-CD). L’article ROSE-CD est incohérent en interne : son tableau de résultats donne au modèle final un PESQ de 3,49, tandis que sa conclusion indique 3,99, ce qui correspond à la seule variante à perte PESQ ; nous retenons 3,49 pour le modèle final. Le nombre de citations de l’article sur le STOI diffère selon la source (2 265 dans OpenAlex, 2 499 dans Semantic Scholar, lus tous deux le 31 octobre 2026). Les corrélations des métriques d’intelligibilité proviennent d’une étude de 2020 et constituent la comparaison multi-jeux de données la plus récente que nous ayons trouvée. L’ITU-T a publié en juillet 2026 une nouvelle édition de la P.835, la méthode de test d’écoute à l’origine du DNSMOS P.835, et l’article URGENT ICASSP 2026 ne reproduit pas encore dans son texte les corrélations de ses prédicteurs de qualité.
Dernière mise à jour : 31 octobre 2026. Nous actualisons ce tour d’horizon chaque trimestre, et la prochaine révision est attendue lorsque les actes du ICASSP 2026 URGENT Challenge publieront les corrélations des prédicteurs de qualité de leur piste 2.