Модель улучшения речи, намеренно созданная для эксплуатации PESQ, набрала 3,82 на тестовом наборе VoiceBank-DEMAND, выше 3,69 у лучшей добросовестной системы в этом обзоре, тогда как её результат POLQA рухнул до 1,46 против 3,11 у необработанного зашумлённого входа (de Oliveira и др., статья о PESQetarian, Interspeech 2024). Добросовестная гонка тоже реальна: PESQ на том же бенчмарке вырос с 2,16 у SEGAN в 2017 году до 3,61 у PrimeK-Net в 2025 году. Тем не менее STOI, метрика разборчивости, которую часто приводят рядом с PESQ, показал в среднем корреляцию всего 0,62 с измеренной разборчивостью на 13 наборах данных прослушивания (Edraki и др., IEEE/ACM TASLP 2020). Мы собрали данные МСЭ-Т, рецензируемых статей конференций Interspeech, ICASSP, IEEE SLT и WASPAA, журнала IEEE/ACM Transactions on Audio, Speech, and Language Processing, конкурса Microsoft Deep Noise Suppression (DNS) Challenge, а также отчётов конкурсов URGENT и CCF AATC. О задержках и продуктовой стороне тех же моделей читайте в нашей статистике задержек нейросетевого шумоподавления; эта страница посвящена самим оценкам и тому, насколько им можно доверять.
Кратко (TL;DR)
- PESQ на VoiceBank-DEMAND вырос с 2,16 (SEGAN, 2017) до 3,41 (CMGAN, 2022) (Cao и др., статья о CMGAN, Interspeech 2022).
- SEMamba достиг 3,55 по PESQ и 3,69 с добавленным перцептивным растяжением контраста (Chao и др., IEEE SLT 2024).
- PrimeK-Net показал 3,61 по PESQ всего при 1,41 млн параметров (статья о PrimeK-Net, ICASSP 2025).
- PESQetarian набрал 3,82 по PESQ при SI-SDR -19,8 дБ против 8,4 дБ у зашумлённого входа (de Oliveira и др., Interspeech 2024).
- STOI в среднем показал корреляцию Пирсона 0,62 с измеренной разборчивостью на 13 наборах данных, eSTOI - 0,88 (Edraki и др., IEEE/ACM TASLP 2020).
- Корреляция DNSMOS P.835 с качеством речи упала с 0,94 по моделям до 0,71 по клипам (Reddy и др., Microsoft, статья о DNSMOS P.835, 2021).
- Разрыв обобщения ESTOI у Conv-TasNet на невиданном речевом корпусе составил -68% относительно эталонной модели, обученной в тех же условиях (Gonzalez и др., IEEE/ACM TASLP 2023).
- PESQ у ROSE-CD упал с 3,49 в домене обучения до 2,62 вне домена (Xu и др., WASPAA 2025).
- Безэталонные метрики показали ранговую корреляцию -0,8 с MOS слушателей для гибридных систем (Zhang и др., ретроспектива CCF AATC 2025).
- МСЭ-Т аннулировал PESQ (P.862) 5 января 2024 года (страница рекомендации МСЭ-Т P.862).
1. Гонка PESQ на VoiceBank-DEMAND, с 2017 по 2025 год
PESQ (перцептивная оценка качества речи) сравнивает улучшенную запись с её чистым оригиналом и предсказывает оценку, которую поставил бы слушатель. VoiceBank-DEMAND, небольшой англоязычный тестовый набор из прочитанных предложений, смешанных с записанными бытовыми шумами, стал стандартным местом для публикации этого показателя. PESQ вырос с 2,16 у SEGAN в 2017 году до 3,69 у SEMamba с перцептивным растяжением контраста в 2024 году, и сам темп многое говорит.
От SEGAN (2,16) до MetricGAN+ (3,15) область добавила 0,99 пункта PESQ за четыре года. От CMGAN (3,41, 2022) до PrimeK-Net (3,61, 2025) она добавила 0,20 за три (вычитание наше, на основе опубликованных значений). Бенчмарк близок к насыщению, поэтому оставшиеся приросты настолько малы, что итоговый рейтинг могут решать дополнительные приёмы и обучение с учётом метрики (см. раздел 5). Источники: статья о CMGAN, статья о SEMamba, статья о PrimeK-Net.
| Показатель | Значение | Источник |
|---|---|---|
| PESQ: необработанный зашумлённый тестовый набор против SEGAN, модели улучшения на основе GAN (2017) | 1,97 против 2,16 | Cao и др., статья о CMGAN, Interspeech 2022 |
| PESQ у MetricGAN+ (2021) и его прирост относительно MetricGAN | 3,15; около +0,3 | статья о MetricGAN+, Interspeech 2021 |
| PESQ у CMGAN (2022) | 3,41 | Cao и др., статья о CMGAN, Interspeech 2022 |
| PESQ у MP-SENet, параллельное подавление шума по амплитуде и фазе (2023) | 3,50 | статья о MP-SENet, Interspeech 2023 |
| PESQ у SEMamba, некаузальной модели: без перцептивного растяжения контраста против с ним | 3,55 против 3,69 | Chao и др., статья о SEMamba, IEEE SLT 2024 |
| PESQ у PrimeK-Net (2025) и размер его модели | 3,61; 1,41 млн параметров | статья о PrimeK-Net, ICASSP 2025 |
Примечание о контексте: это значения, которые сообщает сама каждая статья на одном и том же публичном тестовом наборе, а не результаты единого независимого перезапуска всех систем.
2. Что на самом деле измеряет бенчмарк
Рейтинг опирается на узкую базу. В тестовом наборе VoiceBank-DEMAND 824 фразы всего от 2 невиданных дикторов, смешанные с 5 типами шума при довольно мягких отношениях сигнал/шум (SNR, насколько речь громче шума) от 2,5 до 17,5 дБ. Ни один тестовый клип не смешан ниже 2,5 дБ, поэтому самая трудная область реальных звонков просто не охвачена.
У разборчивости почти не осталось запаса. Зашумлённый вход уже даёт 0,91 по STOI (кратковременная объективная разборчивость, предсказатель того, какую долю речи поймёт слушатель), а CMGAN доходит до 0,96. Размер моделей при этом уменьшился более чем на порядок: у SEGAN 97,47 млн параметров, у CMGAN 1,83 млн. Бенчмарки с перекрывающимися дикторами устроены иначе, как показывает наша статистика разделения речи. Источник: статья о CMGAN, разделы о наборе данных и результатах.
| Показатель | Значение | Источник |
|---|---|---|
| Обучающий набор: размер и условия шума | 11 572 фразы от 28 дикторов; 8 типов шума DEMAND плюс 2 типа искусственного шума, при SNR 0, 5, 10 и 15 дБ | Cao и др., статья о CMGAN, Interspeech 2022 |
| Тестовый набор: размер и условия шума | 824 фразы от 2 невиданных дикторов; 5 невиданных типов шума DEMAND, при SNR 2,5, 7,5, 12,5 и 17,5 дБ | Cao и др., статья о CMGAN, Interspeech 2022 |
| STOI: зашумлённый вход против выхода CMGAN | 0,91 против 0,96 | Cao и др., статья о CMGAN, Interspeech 2022 |
| Составная оценка речевого сигнала (CSIG) и общая оценка (COVL): зашумлённый вход против выхода CMGAN | 3,35 и 2,63 против 4,63 и 4,12 | Cao и др., статья о CMGAN, Interspeech 2022 |
| Размер модели: SEGAN против DEMUCS против CMGAN | 97,47 млн против 128 млн против 1,83 млн параметров | Cao и др., статья о CMGAN, Interspeech 2022 |
Примечание о контексте: CSIG и COVL - составные показатели, построенные из нескольких объективных метрик для предсказания оценок слушателей по речевому сигналу и по общему качеству. Они наследуют слепые зоны тех метрик, которые объединяют.
3. Согласуются ли метрики качества с живыми слушателями?
Ответ зависит от того, усредняют ли оценки. Корреляция здесь измеряется с помощью PCC (корреляция Пирсона, согласие по значению), SRCC (ранговая корреляция Спирмена, согласие по порядку) или KRCC (ранговая корреляция Кендалла, ещё один тест порядка); 1,0 означает идеальное согласие. DNSMOS P.835, нейросеть, предсказывающая оценки слушателей без чистого эталона, достиг PCC 0,94 с оценками речи слушателями при усреднении по моделям, но лишь 0,71 на отдельных клипах.
Человеческая сторона тоже шумная. Два независимых раунда оценки по P.808 на одних и тех же клипах совпали с PCC всего около 0,5 на клип, поэтому MOS отдельного клипа (средняя оценка слушателей) сам по себе является грубой величиной. Это ещё одна причина сравнивать системы, а не файлы, и считать единичную перестановку в рейтинге слабым доказательством. Та же осторожность на уровне клипа относится к синтетическим голосам, о которых речь в нашей статистике MOS естественности синтетической речи. Источники: статья о DNSMOS P.835, статья о DNSMOS, статья о ICASSP 2022 DNS Challenge, статья о NISQA.
| Показатель | Значение | Источник |
|---|---|---|
| Оценка речи DNSMOS P.835 (SIG) против оценок слушателей: PCC по моделям против по клипам | 0,94 против 0,71 | Reddy и др., Microsoft, статья о DNSMOS P.835, 2021 |
| Оценка фонового шума DNSMOS P.835 (BAK) против оценок слушателей: PCC по моделям против по клипам | 0,98 против 0,83 | Reddy и др., Microsoft, статья о DNSMOS P.835, 2021 |
| Согласие между двумя независимыми раундами человеческой оценки P.808 на одних и тех же клипах (PCC по клипам) | около 0,5 | Reddy и др., Microsoft, статья о DNSMOS, 2020 |
| DNSMOS P.835 против оценок слушателей в треке 1 ICASSP 2022 DNS Challenge, оценка речи: PCC против SRCC | 0,93 против 0,78 | Microsoft, статья о ICASSP 2022 DNS Challenge |
| Ранговая корреляция (SRCC) исходного DNSMOS по категориям слепого набора DNS Challenge 2: одноэтапная против многоэтапной модели | 0,65 против 0,90 | Reddy и др., Microsoft, статья о DNSMOS, 2020 |
| NISQA, ещё один нейросетевой предсказатель качества: новые речевые файлы для обучения и валидации и наборы данных, использованные для обучения и оценки | более 13 000 файлов; 81 набор данных | Mittag и др., статья о NISQA, Interspeech 2021 |
| URGENT 2024: KRCC между общим рейтинговым баллом конкурса и рангом по MOS слушателей | 0,73 | Zhang, Saijo и др., статья об уроках URGENT 2024, Interspeech 2025 |
Примечание о контексте: DNSMOS P.835 обучали примерно на 30 000 оценённых клипов (75 часов), а исходный DNSMOS - примерно на 120 000 клипов. Корреляции по моделям считали по 5 оценкам на клип, а анализ на уровне клипов использовал 30 оценок на клип, поэтому два значения в каждой строке получены не в одинаковых условиях.
4. Метрики разборчивости: STOI и его преемники
STOI создавали для более узкого вопроса, чем PESQ: не насколько приятно звучит речь, а сколько слов уцелело. На 13 наборах данных прослушивания STOI в среднем показал корреляцию Пирсона 0,62 с измеренной разборчивостью, тогда как расширенная версия eSTOI показала в среднем 0,88. На одном наборе данных с речью в сильно флуктуирующем шуме корреляция STOI была отрицательной (-0,77): метрика двигалась в неверную сторону.
Практический вывод таков: STOI лучше всего работает со стационарным шумом и частотно-временным маскированием, под которые его проектировали, и хуже всего с речью в импульсном, модулированном шуме, который создают конкурирующие дикторы и переполненные помещения. Самые свежие доступные данные: Edraki и др., IEEE/ACM TASLP 2020. Источники: Edraki и др. в PubMed Central, Taal и др., IEEE TASLP 2011.
| Показатель | Значение | Источник |
|---|---|---|
| Длина сегмента анализа STOI | 386 мс | Taal и др., IEEE TASLP 2011 |
| Валидация STOI в исходной статье | 3 эксперимента по прослушиванию; корреляция лучше, чем у 5 эталонных моделей разборчивости | Taal и др., IEEE TASLP 2011 |
| Средняя корреляция Пирсона с измеренной разборчивостью на 13 наборах данных после логистического отображения: STOI против eSTOI против HASPI против wSTMI | 0,62 против 0,88 против 0,82 против 0,93 | Edraki и др., IEEE/ACM TASLP 2020 |
| Средняя ранговая корреляция Спирмена на тех же 13 наборах данных: STOI против eSTOI | 0,59 против 0,82 | Edraki и др., IEEE/ACM TASLP 2020 |
| Корреляция Пирсона STOI на наборе данных с речью в модулированном шуме (ModN-Fogerty) | -0,77 | Edraki и др., IEEE/ACM TASLP 2020 |
| Корреляция Пирсона STOI на наборе данных по улучшению восприятия на стороне слушателя (NELE-Taal) | 0,90 | Edraki и др., IEEE/ACM TASLP 2020 |
| Цитирования исходной статьи о STOI | 2 265 | запись OpenAlex, по состоянию на 31 октября 2026 года |
Примечание о выбросах: wSTMI, показавший лучший результат, обучали и проверяли на двух из 13 наборов данных, поэтому его среднее не полностью независимо от обучения. HASPI - метрика, разработанная с учётом слушателей с нарушениями слуха, а eSTOI отказывается от допущения STOI о независимости частотных полос.
5. Закон Гудхарта: когда PESQ перестаёт измерять качество
Закон Гудхарта гласит: мера, ставшая целью, перестаёт быть хорошей мерой. В области улучшения речи теперь есть данные, подтверждающие это. PESQetarian, модель, обученная максимизировать PESQ, набрала 3,82 на VoiceBank-DEMAND, тогда как её SI-SDR (масштабно-инвариантное отношение сигнал/искажение, показывающее, насколько форма сигнала близка к чистому оригиналу) упал до -19,8 дБ, намного ниже 8,4 дБ у необработанного зашумлённого входа.
Эффект не ограничен одной статьёй. Одношаговая диффузионная модель 2025 года, обученная с функцией потерь по PESQ, достигла 3,99 по PESQ, но лишь 0,40 дБ по SI-SDR, тогда как сбалансированная версия авторов показала 3,49 по PESQ и 17,8 дБ по SI-SDR. Даже добросовестные приёмы сдвигают показатель: перцептивное растяжение контраста, усиливающее контраст целевых признаков по их перцептивной важности, добавило SEMamba 0,14 по PESQ (с 3,55 до 3,69, вычитание наше). Урок для покупателей и рецензентов прост: рекорд PESQ без соответствующего теста прослушивания - тревожный сигнал, а не заголовок. Источники: статья о PESQetarian, статья о ROSE-CD.
| Показатель | Значение | Источник |
|---|---|---|
| PESQ: зашумлённый вход против модели, обученной только на MSE, против PESQetarian | 1,97 против 2,78 против 3,82 | de Oliveira и др., статья о PESQetarian, Interspeech 2024 |
| POLQA (преемник PESQ в МСЭ-Т): зашумлённый вход против модели MSE против PESQetarian | 3,11 против 3,87 против 1,46 | de Oliveira и др., статья о PESQetarian, Interspeech 2024 |
| Общая оценка DNSMOS: зашумлённый вход против модели MSE против PESQetarian | 2,69 против 3,13 против 2,06 | de Oliveira и др., статья о PESQetarian, Interspeech 2024 |
| PESQ после добавления одного фиксированного щелчка в каждый зашумлённый тестовый файл, без какого-либо шумоподавления | 3,46 | de Oliveira и др., статья о PESQetarian, Interspeech 2024 |
| Прямая оптимизация на шести файлах: PESQ до против после и POLQA до против после | с 1,91 до 3,76; с 3,46 до 2,73 | de Oliveira и др., статья о PESQetarian, Interspeech 2024 |
| ROSE-CD, обученный с потерями по PESQ, против итогового ROSE-CD: PESQ, SI-SDR и WV-MOS (нейросетевой предсказатель оценок слушателей) | 3,99, 0,40 дБ, 2,31 против 3,49, 17,8 дБ, 4,41 | Xu и др., статья о ROSE-CD, WASPAA 2025 |
| Прирост PESQ от перцептивного растяжения контраста у SEMamba | +0,14 (с 3,55 до 3,69) | Chao и др., статья о SEMamba, IEEE SLT 2024 |
Примечание о контексте: в тесте прослушивания PESQetarian участвовали 10 специалистов по звуку, оценивавших 10 случайных тестовых образцов по шкале от 0 до 100, а результаты по системам статья приводит только на рисунке. PESQetarian - намеренный стресс-тест, а не продукт.
6. От бенчмарка к реальным записям: разрыв обобщения
Модель, выигравшая на 2 тестовых дикторах, не доказала, что справится с вашими. В исследовании 2023 года обучили по 40 моделей каждой архитектуры на пяти речевых, пяти шумовых и пяти акустических базах помещений, а затем сравнили каждую модель с эталонной, обученной на самом тестовом условии. Когда тестовая речь происходила из невиданного корпуса, Conv-TasNet показал разрыв обобщения ESTOI -68% относительно этого эталона, причём рассогласование по речи вредило сильнее, чем рассогласование по шуму или помещению, у всех моделей.
Обнадёживающий вывод: обобщение на шум решается данными. Обучение на четырёх базах шума удерживало разрыв по улучшению SNR на уровне -5% или лучше. Тест вне домена в статье 2025 года показывает, что и новые генеративные модели теряют позиции. Источники: Gonzalez и др., статья о разрыве обобщения, статья о ROSE-CD, статья о ICASSP 2021 DNS Challenge.
| Показатель | Значение | Источник |
|---|---|---|
| Разрыв обобщения ESTOI при рассогласовании речевого корпуса, Conv-TasNet, обученный на 1 речевой базе | -68% | Gonzalez и др., IEEE/ACM TASLP 2023 |
| Разрыв обобщения PESQ при рассогласовании речевого корпуса: MANNER, обученный на 1 базе, против Conv-TasNet, обученного на 4 | -50% против -35% | Gonzalez и др., IEEE/ACM TASLP 2023 |
| Разрыв по улучшению SNR при рассогласовании шума с 4 обучающими базами шума (Conv-TasNet, DCCRN, MANNER) | -5% или лучше | Gonzalez и др., IEEE/ACM TASLP 2023 |
| Рассогласование акустики помещения при 1 обучающей базе: разрыв PESQ у сети прямого распространения против разрыва ESTOI у Conv-TasNet | -10% против -17% | Gonzalez и др., IEEE/ACM TASLP 2023 |
| PESQ у ROSE-CD на VoiceBank-DEMAND против вне домена на TIMIT+NOISE92 | 3,49 против 2,62 | Xu и др., статья о ROSE-CD, WASPAA 2025 |
| PESQ у SGMSE+ (диффузионная модель) на VoiceBank-DEMAND против вне домена на TIMIT+NOISE92 | 2,93 против 2,08 | Xu и др., статья о ROSE-CD, WASPAA 2025 |
| Слепой тест трека 1 ICASSP 2021 DNS Challenge: реальные записи против синтетических клипов | 650 реальных против 50 синтетических (700 клипов) | Microsoft, статья о ICASSP 2021 DNS Challenge |
Примечание о контексте: разрыв обобщения измеряется относительно эталонной модели, обученной на тестовом условии, поэтому это относительная величина, а не абсолютное падение оценки ESTOI или PESQ. Сырые падения ROSE-CD и SGMSE+, напротив, смешивают невиданные данные со сложностью задачи, то есть два эффекта, которые метод эталонной модели призван разделять. Организаторы DNS построили свой слепой тест в основном из реальных записей и оценивали его слушателями, отметив, что объективные меры, такие как PESQ, SDR и POLQA, как показано, плохо коррелируют с субъективным качеством при наличии фонового шума.
7. Как конкурсы и стандарты меняют оценку
Нынешний ответ на подгонку под метрики - более широкий набор оценок. На URGENT 2024 команда, занявшая первое место по DNSMOS (3,26), заняла лишь 18-е место по MOS слушателей (3,05) при точности распознавания слов всего 40,73%, тогда как лидирующая команда сочетала MOS 3,52 с точностью слов 73,57%. Точность слов здесь означает, сколько слов система распознавания речи по-прежнему узнаёт верно после улучшения, то есть прямую проверку того, что модель не выдумала и не стёрла речь; наша статистика галлюцинаций распознавания речи рассматривает этот сбой со стороны распознавателя.
Гибридные и генеративные модели улучшения обостряют проблему. Конкурс по восстановлению речи 2025 года измерил ранговую корреляцию -0,8 между широко используемыми безэталонными метриками и MOS слушателей для гибридных систем, то есть рейтинг по метрикам в основном шёл в противоположную сторону от человеческого. Изменились и органы стандартизации: PESQ больше не является рекомендацией МСЭ-Т. Источники: ретроспектива CCF AATC 2025, обзор URGENT 2025, обзор URGENT ICASSP 2026, страница МСЭ-Т P.862, страница МСЭ-Т P.863.
| Показатель | Значение | Источник |
|---|---|---|
| Слепой тест URGENT 2024 и подвыборка для прослушивания | 500 смоделированных плюс 500 реальных записей; подвыборка MOS из 300 образцов, 8 слушателей на образец; 21 команда | Zhang, Saijo и др., статья об уроках URGENT 2024, Interspeech 2025 |
| Обучающие данные URGENT 2024 с несовпадением заявленной и фактической полосы частот | около 25% LibriTTS; около 100% LibriVox из DNS5 и CommonVoice 11.0 | Zhang, Saijo и др., статья об уроках URGENT 2024, Interspeech 2025 |
| CCF AATC 2025: ранговая корреляция между безэталонными метриками и MOS слушателей для гибридных систем | -0,8 (25 систем, проанализированных в конкурсе) | Zhang и др., ретроспектива CCF AATC 2025, arXiv 2025 |
| Набор оценок URGENT 2025 | 14 метрик в 5 категориях; 7 типов искажений; 5 обучающих языков | Saijo и др., обзор URGENT 2025, Interspeech 2025 |
| Обучающие данные трека 1 URGENT ICASSP 2026 | отобранная подвыборка в 700 часов из набора URGENT 2025 в 2 500 часов | обзор ICASSP 2026 URGENT Challenge |
| Статус PESQ в МСЭ-Т | P.862 и части с P.862.1 по P.862.3 аннулированы 5 января 2024 года | страница рекомендации МСЭ-Т P.862 |
| Статус POLQA в МСЭ-Т | P.863 (март 2018) действует, с Поправкой 1 (апрель 2020) | страница рекомендации МСЭ-Т P.863 |
Примечание о контексте: URGENT 2024 также выявил около 2 000 речевых меток в своих «высококачественных» обучающих корпусах с отрицательными значениями WADA-SNR, слепой оценки SNR, поэтому шум разметки присутствует внутри чистых эталонов, с которыми сравнивают метрики, требующие эталона, такие как PESQ.
Итоги: бенчмарки PESQ и STOI для улучшения речи в цифрах
| Показатель | Значение | Источник |
|---|---|---|
| PESQ на VoiceBank-DEMAND: SEGAN (2017) против CMGAN (2022) | 2,16 против 3,41 | Cao и др., статья о CMGAN, Interspeech 2022 |
| PESQ на VoiceBank-DEMAND: SEMamba без перцептивного растяжения контраста против с ним | 3,55 против 3,69 | Chao и др., IEEE SLT 2024 |
| PESQ на VoiceBank-DEMAND и размер PrimeK-Net | 3,61; 1,41 млн параметров | статья о PrimeK-Net, ICASSP 2025 |
| STOI: зашумлённый вход против выхода CMGAN | 0,91 против 0,96 | Cao и др., статья о CMGAN, Interspeech 2022 |
| PESQetarian: PESQ, SI-SDR и POLQA (зашумлённый вход в скобках) | 3,82, -19,8 дБ, 1,46 (1,97, 8,4 дБ, 3,11) | de Oliveira и др., Interspeech 2024 |
| Вариант ROSE-CD с потерями по PESQ: PESQ против SI-SDR | 3,99 против 0,40 дБ | Xu и др., WASPAA 2025 |
| Корреляция STOI с измеренной разборчивостью: среднее по 13 наборам данных (среднее eSTOI в скобках) против набора с модулированным шумом | 0,62 (0,88) против -0,77 | Edraki и др., IEEE/ACM TASLP 2020 |
| PCC оценки речи DNSMOS P.835: по моделям против по клипам | 0,94 против 0,71 | Reddy и др., Microsoft, статья о DNSMOS P.835, 2021 |
| Разрыв обобщения ESTOI на невиданном речевом корпусе (Conv-TasNet) | -68% | Gonzalez и др., IEEE/ACM TASLP 2023 |
| Разрыв обобщения PESQ на невиданном речевом корпусе (MANNER, 1 обучающая база) | -50% | Gonzalez и др., IEEE/ACM TASLP 2023 |
| PESQ у ROSE-CD в домене против вне домена | 3,49 против 2,62 | Xu и др., WASPAA 2025 |
| URGENT 2024: ранг по DNSMOS против ранга по MOS слушателей у одной и той же команды | 1-е против 18-го | Zhang, Saijo и др., Interspeech 2025 |
| PESQ после добавления одного фиксированного щелчка в каждый зашумлённый тестовый файл, без какого-либо шумоподавления | 3,46 | de Oliveira и др., Interspeech 2024 |
| Безэталонные метрики против MOS слушателей для гибридных систем (ранговая корреляция) | -0,8 | Zhang и др., ретроспектива CCF AATC 2025 |
| PESQ аннулирован МСЭ-Т | 5 января 2024 года | страница рекомендации МСЭ-Т P.862 |
Методология и источники
- МСЭ-Т, страница рекомендации P.862 (PESQ), статус обновлён 9 января 2024 года, и страница рекомендации P.863 (POLQA), по состоянию на октябрь 2026 года.
- Taal и др., An Algorithm for Intelligibility Prediction of Time-Frequency Weighted Noisy Speech, IEEE TASLP 2011 (аннотация прочитана через запись OpenAlex; число цитирований из OpenAlex).
- Edraki, Chan, Jensen и Fogerty, Speech Intelligibility Prediction using Spectro-Temporal Modulation Analysis, IEEE/ACM TASLP 2020.
- Cao, Abdulatif и Yang, CMGAN: Conformer-based Metric GAN for Speech Enhancement, Interspeech 2022 (источник данных о SEGAN, DEMUCS и наборе данных).
- MetricGAN+, Interspeech 2021; MP-SENet, Interspeech 2023; Chao и др., SEMamba, IEEE SLT 2024; PrimeK-Net, ICASSP 2025.
- de Oliveira, Welker, Richter и Gerkmann, The PESQetarian: On the Relevance of Goodhart’s Law for Speech Enhancement, Interspeech 2024.
- Xu, Yan и Kleijn, Robust One-step Speech Enhancement via Consistency Distillation (ROSE-CD), WASPAA 2025.
- Gonzalez, Alstrøm и May, Assessing the Generalization Gap of Learning-Based Speech Enhancement Systems, IEEE/ACM TASLP 2023.
- Исследовательские статьи Microsoft: Reddy, Gopal и Cutler, DNSMOS (2020) и DNSMOS P.835 (2021); статьи о ICASSP 2021 DNS Challenge и ICASSP 2022 DNS Challenge.
- Mittag, Naderi, Chehadi и Möller, NISQA, Interspeech 2021.
- Zhang, Saijo и др., Lessons Learned from the URGENT 2024 Speech Enhancement Challenge, Interspeech 2025; Saijo и др., Interspeech 2025 URGENT Challenge; ICASSP 2026 URGENT Challenge overview (2026).
- Zhang, Zhu, Xu, Bu, Ling и Wu, The CCF AATC 2025 Speech Restoration Challenge: A Retrospective, arXiv 2025.
- Наблюдение по данным: значения VoiceBank-DEMAND здесь - это то, что сообщает сама каждая статья, и цифры для одной системы могут различаться между статьями (у MetricGAN+ 3,15 в собственной статье и 3,13 в таблице ROSE-CD). Статья о ROSE-CD внутренне противоречива: в таблице результатов итоговой модели приписан PESQ 3,49, а в выводах указано 3,99, что соответствует варианту только с потерями по PESQ; мы приводим 3,49 как значение итоговой модели. Число цитирований статьи о STOI различается по источникам (2 265 в OpenAlex, 2 499 в Semantic Scholar, оба на 31 октября 2026 года). Корреляции метрик разборчивости взяты из исследования 2020 года и являются самым свежим сравнением на нескольких наборах данных из найденных нами. МСЭ-Т опубликовал в июле 2026 года новую редакцию P.835, метода тестирования прослушиванием, на котором основан DNSMOS P.835, а статья об URGENT ICASSP 2026 пока не приводит в тексте корреляции своих предсказателей качества.
Последнее обновление: 31 октября 2026 года. Мы обновляем этот обзор ежеквартально, и следующее обновление ожидается, когда материалы ICASSP 2026 URGENT Challenge опубликуют корреляции предсказателей качества для трека 2.