Разделение речи двух дикторов на бенчмарке WSJ0-2mix улучшилось с примерно 6 дБ прироста сигнала при глубокой кластеризации в 2015 году до 25,1 дБ SI-SNRi в 2024 году (Hershey и др., arXiv 2015; SepReformer, NeurIPS 2024), и этот скачок превратил «проблему коктейльной вечеринки» из лабораторного курьёза в функции, которые уже поставляются в слуховых аппаратах и гарнитурах. Подвох в том, что чистые бенчмарки льстят моделям: Conv-TasNet падает с 15,3 дБ на чистых смесях до 8,3 дБ, когда добавляются шум и реверберация (статья о MossFormer2, arXiv 2312.11825, таблицы сравнения). Спрос огромен: 430 миллионов человек нуждаются в реабилитации из-за инвалидизирующей потери слуха (информационный бюллетень ВОЗ, март 2026). Мы собрали данные из рецензируемых статей на arXiv, IEEE ICASSP, Interspeech и NeurIPS, из конкурсов Microsoft DNS и NOTSOFAR-1, а также от Google Research, MERL, ВОЗ, FDA, MarkeTrak 2025 и исследовательских групп Вашингтонского и Колумбийского университетов. О потребительской стороне той же технологии читайте в нашей статистике ИИ-разделителей аудио.
Кратко (TL;DR)
- Лучший результат для двух дикторов на WSJ0-2mix: 25,1 дБ SI-SNRi (SepReformer-L с динамическим смешиванием, NeurIPS 2024; TF-Locoformer L, MERL 2024).
- Глубокая кластеризация дала около 6 дБ улучшения на смесях дикторов в 2015 году (Hershey и др., arXiv 1508.04306).
- Conv-TasNet достигла 15,3 дБ SI-SNRi при 5,1 млн параметров и минимальной задержке 2 мс (Luo и Mesgarani, IEEE/ACM TASLP 2019).
- SepReformer-B достигает 23,8 дБ при 39,8 GMACs/с против 23,5 дБ при 460,8 GMACs/с у TF-GridNet (SepReformer, NeurIPS 2024).
- SepFormer требует 35,3 ГБ пиковой памяти при обучении против 2,0 ГБ у SepMamba (S) (статья о SepMamba, 2024).
- Conv-TasNet показывает 15,3 дБ на чистом звуке, 12,7 дБ с шумом (WHAM!) и 8,3 дБ с шумом и реверберацией (WHAMR!) (статья о MossFormer2, 2024).
- Разделение снизило частоту ошибок по словам на LibriCSS при 40% перекрытия с 43,3% до 21,7% (Chen и др., Microsoft, 2020).
- Лучшая многоканальная система NOTSOFAR-1: tcpWER 10,8% против 28,3% у базовой системы (обзор NOTSOFAR-1, 2025).
- Модель VoiceFilter-Lite размером 2,2 МБ, работающая на самом устройстве, улучшила WER на перекрывающейся речи на 25,1% (Google Research, 2020).
- 430 миллионов человек нуждаются в реабилитации из-за инвалидизирующей потери слуха, к 2050 году их число превысит 700 миллионов (ВОЗ, март 2026).
- Доля использования слуховых аппаратов среди американцев с трудностями со слухом достигла 51,3% против 46,9% в 2022 году (MarkeTrak 2025).
- UW Target Speech Hearing: 21 испытуемый оценил зарегистрированный голос как почти вдвое более чёткий, чем нефильтрованный звук (Вашингтонский университет, CHI 2024).
1. Десятилетие прогресса на бенчмарке WSJ0-2mix
Бенчмарк WSJ0-2mix сделал для разделения речи то же, что ImageNet для компьютерного зрения: зафиксированная цель, благодаря которой десятилетие прогресса стало измеримым. Лучший результат для двух дикторов вырос с примерно 6 дБ улучшения сигнала в 2015 году до 25,1 дБ SI-SNRi в 2024 году, а шкала децибел логарифмическая, поэтому каждые дополнительные 3 дБ примерно вдвое снижают остаточную энергию помех. Самый важный скачок произошёл в 2018 году, когда Conv-TasNet отказалась от масок на спектрограммах и стала работать с сырыми волновыми формами. Это была первая система, превзошедшая идеальные время-частотные маски, которые долго считались практическим потолком (Conv-TasNet, Luo и Mesgarani).
С тех пор кривая выровнялась. Прирост в 2021-2024 годах шёл шагами примерно по 1 дБ, а две лучшие модели 2024 года делят результат на уровне 25,1 дБ. Область фактически исчерпала собственный бенчмарк, и поэтому новые статьи соревнуются в эффективности и устойчивости (разделы 2 и 3).
| Показатель | Значение | Источник |
|---|---|---|
| Глубокая кластеризация, смеси дикторов (2015) | Около 6 дБ улучшения | Hershey и др., глубокая кластеризация, arXiv 2015 |
| Улучшенная глубокая кластеризация, два диктора (2016) | Улучшение SDR на 10,3 дБ (базовый уровень 6,0 дБ) | Isik и др., arXiv 1607.02173, 2016 |
| Conv-TasNet (2018) | 15,3 дБ SI-SNRi, 15,6 дБ SDRi | Luo и Mesgarani, IEEE/ACM TASLP 2019 |
| DPRNN (2019) | 18,8 дБ SI-SDRi | Luo, Chen и Yoshioka, ICASSP 2020 |
| SepFormer с динамическим смешиванием (2020) | 22,3 дБ SI-SNRi | Subakan и др., ICASSP 2021 |
| TF-GridNet, без аугментации данных (2022) | 23,5 дБ SI-SDRi | статья о TF-GridNet, arXiv 2211.12433 |
| MossFormer2 (2023) | 24,1 дБ SI-SDRi | статья о MossFormer2, arXiv 2312.11825 |
| SepReformer-L и TF-Locoformer (L), обе с динамическим смешиванием (2024) | 25,1 дБ SI-SNRi | SepReformer, NeurIPS 2024; Saijo и др., MERL 2024 |
Сравнение с идеальными масками - то, что сделало Conv-TasNet вехой. На том же тестовом наборе идеальная бинарная маска дала 13,0 дБ SI-SNRi, идеальная маска отношения 12,2 дБ, а маска, подобная фильтру Винера, 13,4 дБ, и все они ниже 15,3 дБ у Conv-TasNet. Слушатели-люди согласились: выход Conv-TasNet получил среднюю оценку мнения (MOS) 4,03 против 3,51 у идеальной маски отношения.
| Показатель | Значение | Источник |
|---|---|---|
| Идеальная бинарная маска (IBM) | 13,0 дБ SI-SNRi | статья о Conv-TasNet, 2019 |
| Идеальная маска отношения (IRM) | 12,2 дБ SI-SNRi | статья о Conv-TasNet, 2019 |
| Маска, подобная фильтру Винера (WFM) | 13,4 дБ SI-SNRi | статья о Conv-TasNet, 2019 |
| MOS слушателей: Conv-TasNet против IRM | 4,03 против 3,51 | статья о Conv-TasNet, 2019 |
| Размер WSJ0-2mix | 30 ч обучение, 10 ч валидация, 5 ч тест | статья о Conv-TasNet, 2019 |
| Диапазон смешивания | Случайный SNR от -5 до 5 дБ | статья о Conv-TasNet, 2019 |
Примечание о контексте: «динамическое смешивание» (DM) создаёт новые обучающие смеси непосредственно в процессе обучения и добавляет около 1-2 дБ. SepFormer показывает 22,3 дБ с DM и 20,4 дБ без него, поэтому при сравнении разных статей сначала нужно проверять этот параметр (SepFormer, arXiv 2010.13154). Самые свежие доступные данные по базовым уровням 2015-2019 годов взяты из оригинальных статей.
2. Эффективность: параметры, вычисления, память и задержка
Точность застопорилась, поэтому гонка вооружений переместилась на стоимость. SepReformer-B достигает 23,8 дБ SI-SNRi при 39,8 GMACs на секунду звука, тогда как TF-GridNet нужно 460,8 GMACs/с ради 23,5 дБ, то есть вычислений более чем в одиннадцать раз больше при чуть лучшем результате (SepReformer, NeurIPS 2024). Число параметров рассказывает похожую историю: DPRNN в 2019 году сравнялась с передовым уровнем при модели в 20 раз меньше предыдущей лучшей системы.
Память - скрытая стоимость, которая решает, кто вообще может обучать такие модели. SepFormer достигает пика в 35,3 ГБ памяти против 2,0 ГБ у SepMamba (S), которая всё равно показывает 21,2 дБ (SepMamba, Технический университет Дании и WS Audiology, 2024). Для всего, что работает на телефоне, гарнитуре или слуховом аппарате, эта разница решает, можно ли выпускать такую конструкцию.
| Показатель | Значение | Источник |
|---|---|---|
| SepReformer-T | 22,4 дБ при 3,7 млн параметров, 10,4 GMACs/с | SepReformer, NeurIPS 2024 |
| SepReformer-B | 23,8 дБ при 14,2 млн параметров, 39,8 GMACs/с | SepReformer, NeurIPS 2024 |
| SepReformer-L с DM | 25,1 дБ при 55,3 млн параметров, 155,5 GMACs/с | SepReformer, NeurIPS 2024 |
| TF-GridNet | 23,5 дБ при 14,5 млн параметров, 460,8 GMACs/с | SepReformer, NeurIPS 2024 (таблица сравнения) |
| QDPN | 200,0 млн параметров | статья о TF-GridNet, 2022 |
| MossFormer2 | 55,7 млн параметров, коэффициент реального времени 0,053 | статья о MossFormer2, 2023 |
| DPRNN | 2,6 млн параметров, в 20 раз меньше предыдущей лучшей | Luo и др., ICASSP 2020 |
| Минимальная задержка Conv-TasNet | 2 мс (против окна STFT 32 мс) | статья о Conv-TasNet, 2019 |
| Показатель | Значение | Источник |
|---|---|---|
| Пиковая память SepFormer | 35,30 ГБ | статья о SepMamba, 2024 |
| Пиковая память MossFormer2 с DM | 12,30 ГБ | статья о SepMamba, 2024 |
| SepMamba (S) | 21,2 дБ, 7,2 млн параметров, 2,00 ГБ пиковой памяти | статья о SepMamba, 2024 |
| SepMamba (M) | 22,7 дБ, 22 млн параметров, 3,04 ГБ пиковой памяти | статья о SepMamba, 2024 |
| EConv-TasNet (сентябрь 2026) | 18,4 дБ при 3,8 млн параметров | Liu, Novatek, arXiv 2609.11342 |
| EConv-TasNet против Conv-TasNet | на 22,4% меньше, вывод на 18,9% быстрее | Liu, arXiv 2609.11342 |
Примечание о выбросе: новейшая статья в этом обзоре, EConv-TasNet от производителя чипов Novatek (сентябрь 2026), вообще не гонится за рекордом в 25 дБ. Она нацелена на развёртывание на периферийных устройствах и добавляет к Conv-TasNet 3,1 дБ при меньшем числе параметров (EConv-TasNet). Это хороший сигнал о том, где сосредоточен коммерческий интерес.
3. Устойчивость в реальных условиях: шум, реверберация и больше дикторов
Чистая студийная речь, смешанная при контролируемых уровнях, - это не ресторан. Conv-TasNet теряет 7 дБ, когда в её тестовые смеси добавляются реальный фоновый шум и реверберация: 15,3 дБ на WSJ0-2mix, 12,7 дБ на WHAM! и 8,3 дБ на WHAMR! (таблицы сравнения из статьи о MossFormer2). WHAM! добавляет шум, записанный в кофейнях, ресторанах и барах района залива Сан-Франциско, а его авторы отмечают, что большинство исследований разделения использовало ограниченную постановку с низкими частотами дискретизации и без фонового шума (WHAM!, Interspeech 2019).
Новые модели закрывают значительную часть этого разрыва, но не весь. Лучшие результаты с реверберацией лежат на уровне 17-18,5 дБ, что всё ещё на 6-7 дБ ниже чистого бенчмарка. Третий диктор стоит той же модели ещё 1,9-2,8 дБ (MossFormer2: с 24,1 до 22,2 дБ; SepFormer: с 22,3 до 19,5 дБ), а авторы LibriMix показали, что модели, обученные на WSJ0-2mix, заметно теряют в качестве на похожих наборах данных, и поэтому LibriMix был построен из речи LibriSpeech плюс шума WHAM! (LibriMix, Interspeech 2020).
| Показатель | Значение | Источник |
|---|---|---|
| Conv-TasNet: WSJ0-2mix / WHAM! / WHAMR! | 15,3 / 12,7 / 8,3 дБ SI-SDRi | статья о MossFormer2, 2023 |
| SepFormer: WHAM! / WHAMR! | 16,4 / 14,0 дБ | статья о MossFormer2, 2023 |
| MossFormer2: WHAM! / WHAMR! | 18,1 / 17,0 дБ | статья о MossFormer2, 2023 |
| SepReformer-L с DM: WHAM! / WHAMR! | 18,5 / 17,2 дБ | SepReformer, NeurIPS 2024 |
| TF-Locoformer (M): WHAMR! | 18,5 дБ | Saijo и др., MERL 2024 |
| TF-GridNet, 6-канальный SMS-WSJ (полный конвейер) | 22,8 дБ SI-SDR, PESQ 4,08 | статья о TF-GridNet, 2022 |
| Показатель | Значение | Источник |
|---|---|---|
| Три диктора, Conv-TasNet (WSJ0-3mix) | 12,7 дБ SI-SNRi | статья о Conv-TasNet, 2019 |
| Три диктора, SepFormer (WSJ0-3mix) | 19,5 дБ SI-SNRi | статья о SepFormer, 2020 |
| Три диктора, MossFormer2 (WSJ0-3mix) | 22,2 дБ SI-SDRi | статья о MossFormer2, 2023 |
| Три диктора, улучшенная глубокая кластеризация (2016) | Улучшение SDR на 7,1 дБ | Isik и др., 2016 |
| Libri2Mix: Conv-TasNet / SepFormer / MossFormer2 | 14,7 / 19,2 / 21,7 дБ | статья о MossFormer2, 2023 |
| Libri2Mix: SepReformer-M / TF-Locoformer (M) | 22,1 / 22,1 дБ | SepReformer, 2024; Saijo и др., 2024 |
Оговорка: у самого бенчмарка есть изъян. Исследование 2025 года, принятое на IEEE ASRU, показало, что шум в эталонных сигналах WSJ0-2mix ограничивает достижимый SI-SDR и что SI-SDR отрицательно коррелировал с воспринимаемой зашумлённостью на разных тестовых наборах (Jepsen и др., arXiv 2508.14623). Часть последнего децибела «прогресса» может объясняться тем, что модели учатся воспроизводить зашумлённые эталоны.
4. Разделение для встреч и распознавания речи
Для расшифровки децибелы важны меньше, чем слова. На наборе данных Microsoft LibriCSS запуск разделения перед распознаванием снизил частоту ошибок по словам при 40% перекрытия дикторов с 43,3% до 21,7%, почти не изменив результаты на звуке без перекрытия (с 11,8% до 8,4%) (Chen и др., непрерывное разделение речи, 2020). Те же авторы предупреждают, что метрики на уровне сигнала лишь слабо коррелируют с точностью ASR или воспринимаемым качеством, поэтому бенчмарки встреч оценивают слова, а не SI-SNR. Наша статистика ИИ-ассистентов для встреч показывает, как быстро растёт рынок, зависящий от этой точности.
| Показатель | Значение | Источник |
|---|---|---|
| Размер LibriCSS | 10 часов, 10 сессий, перекрытие от 0% до 40% | Chen и др., Microsoft, 2020 |
| WER при 10% перекрытия: без разделения против с разделением | 18,8% против 11,6% | Chen и др., 2020 (по высказываниям, 7 каналов) |
| WER при 20% перекрытия | 27,2% против 15,8% | Chen и др., 2020 |
| WER при 30% перекрытия | 35,6% против 18,7% | Chen и др., 2020 |
| WER при 40% перекрытия | 43,3% против 21,7% | Chen и др., 2020 |
| WER при 40% перекрытия, непрерывный вход | 40,5% против 21,9% | Chen и др., 2020 |
| ASR с глубокой кластеризацией на смесях двух дикторов | WER снижен с 89,1% до 30,8% | Isik и др., 2016 |
Реальные встречи сложнее смоделированных. Конкурс Microsoft NOTSOFAR-1, проведённый в рамках CHiME-8, записал встречи с 4-8 участниками в 30 помещениях. Победившая одноканальная система всё равно ошибалась в 22,2% слов (tcpWER с ограничением по времени) против 10,8% у лучшей многоканальной (обзор NOTSOFAR-1, arXiv 2501.17304). Микрофонные решётки остаются самым мощным отдельным рычагом, а организаторы выяснили, что направляемое разделение источников по-прежнему доминирует среди методов разделения в победивших конвейерах.
| Показатель | Значение | Источник |
|---|---|---|
| Записанные встречи NOTSOFAR-1 | 315 уникальных встреч на английском, 30 помещений, 4-8 участников | обзор NOTSOFAR-1, 2025 |
| Смоделированные обучающие данные | Около 1 000 часов, 15 000 реальных акустических передаточных функций | обзор NOTSOFAR-1, 2025 |
| Одноканальная система: лучший против базового tcpWER | 22,2% против 41,4% | обзор NOTSOFAR-1, 2025 |
| Многоканальная система: лучший против базового tcpWER | 10,8% против 28,3% | обзор NOTSOFAR-1, 2025 |
| Заявки: одноканальный / многоканальный трек | 9 / 5 | обзор NOTSOFAR-1, 2025 |
| Размер модели VoiceFilter-Lite на устройстве | 2,2 МБ (квантованная) | Google Research, ноябрь 2020 |
| Улучшение WER у VoiceFilter-Lite, перекрывающаяся речь | 25,1% (14,7% с реверберацией) | Google Research, ноябрь 2020 |
Примечание о контексте: результаты Google VoiceFilter-Lite (2020) - самые свежие доступные публичные цифры для работы на устройстве от крупной платформы. Системы, выпущенные с тех пор, редко публикуют бенчмарки на уровне слов.
5. Что поставлено на карту для слухового здоровья
Проблема коктейльной вечеринки не академическая для людей, которые с ней живут. ВОЗ оценивает, что 430 миллионов человек, более 5% населения мира, нуждаются в реабилитации из-за инвалидизирующей потери слуха, и прогнозирует более 700 миллионов к 2050 году (информационный бюллетень ВОЗ о глухоте и потере слуха, март 2026). Одно лишь усиление поднимает всех говорящих в переполненной комнате одновременно, и поэтому разделение на основе DNN сегодня - главная функция слуховых аппаратов премиум-класса. Наша статистика слуховых аппаратов охватывает сам рынок устройств.
| Показатель | Значение | Источник |
|---|---|---|
| Люди, нуждающиеся в реабилитации из-за инвалидизирующей потери слуха | 430 миллионов (более 5% населения мира) | информационный бюллетень ВОЗ, март 2026 |
| Дети с инвалидизирующей потерей слуха | 34 миллиона | информационный бюллетень ВОЗ, март 2026 |
| Люди с той или иной потерей слуха к 2050 году | Почти 2,5 миллиарда | информационный бюллетень ВОЗ, март 2026 |
| Люди, нуждающиеся в реабилитации к 2050 году | Более 700 миллионов (1 из 10) | информационный бюллетень ВОЗ, март 2026 |
| Инвалидизирующая потеря слуха среди людей старше 60 лет | Более 25% | информационный бюллетень ВОЗ, март 2026 |
| Ежегодные глобальные расходы из-за нелеченой потери слуха | Почти 1 трлн долл. США | информационный бюллетень ВОЗ, март 2026 |
| Доля живущих в странах с низким и средним доходом | Почти 80% | информационный бюллетень ВОЗ, март 2026 |
Использование растёт. MarkeTrak 2025, основанный на опросе 16 148 домохозяйств и 42 982 человек в США в октябре и ноябре 2024 года, показал, что доля использования слуховых аппаратов среди людей с самостоятельно заявленными трудностями со слухом достигла 51,3% против 46,9% в 2022 году, при общей удовлетворённости устройствами в 83% (MarkeTrak 2025, Seminars in Hearing). Потребительские наушники тоже входят в эту категорию: в сентябре 2024 года FDA разрешило первое программное обеспечение слухового аппарата безрецептурной продажи, функцию Hearing Aid от Apple для AirPods Pro (пресс-релиз FDA).
| Показатель | Значение | Источник |
|---|---|---|
| Использование слуховых аппаратов в США, люди с трудностями со слухом | 51,3% (46,9% в 2022 году) | MarkeTrak 2025 |
| Самостоятельно заявленные трудности со слухом, США | 9,1% | MarkeTrak 2025 |
| Удовлетворённость владельцев слуховых аппаратов | 83% | MarkeTrak 2025 |
| Клиническое исследование FDA ПО слухового аппарата безрецептурной продажи | 118 участников, лёгкая и умеренная потеря слуха | FDA, 12 сентября 2024 года |
| Phonak Spheric Speech Clarity 2.0 (DNN) | Улучшение SNR на 10,2 дБ в реальных сценариях | экспертная статья AudiologyOnline, 2026 |
| Phonak Spheric Speech Clarity 2.0 | До 37% меньше усилий при слушании, на 30% эффективнее | экспертная статья AudiologyOnline, 2026 |
| Исследование Mayo Clinic и Sonova, шумоподавление на DNN при SNR 10 дБ | +23 и +32 процентных пункта в распознавании речи | Audiology Research, 2024 |
| То же исследование, выигрыш SNR в программе для сильного шума | 4,8-5,0 дБ | Audiology Research, 2024 |
Оговорка: заявления производителей о SNR основаны на тестах, проведённых самими поставщиками, а в независимом исследовании Mayo Clinic и Sonova участвовало всего 10 человек. Данные Phonak приводятся в экспертной сессии вопросов и ответов на AudiologyOnline, а не в рецензируемой статье.
6. Передний край: выбор голоса, который нужно услышать
Разделить все голоса - лишь половина задачи; устройству ещё нужно знать, какой из них хочет слышать пользователь. Прототип Target Speech Hearing Вашингтонского университета регистрирует диктора после того, как владелец смотрит на него 3-5 секунд, и 21 испытуемый оценил чёткость этого голоса почти вдвое выше, чем у нефильтрованного звука (UW News, май 2024). Продолжение работы в декабре 2025 года отказалось от взгляда: его «проактивный слуховой ассистент» определяет собеседников по ритму смены реплик в 2-4 секундах звука (UW News, декабрь 2025).
Проверяются и другие сигналы. Модель Google Looking to Listen 2018 года использовала движения губ и обучалась на фрагментах из 100 000 видео YouTube (блог Google Research). Подход Колумбийского университета, управляемый мозгом, сравнивает разделённые голоса с нейронными сигналами: версия 2019 года была испытана на трёх нейрохирургических пациентах (Science Advances, 2019), а исследование в Nature Neuroscience в мае 2026 года сообщило о первых испытаниях системы реального времени на людях (Институт Цукермана Колумбийского университета через EurekAlert). Персонализированная регистрация стала стандартом и в связи: пятый конкурс Microsoft Deep Noise Suppression Challenge предложил моделям подавлять соседних дикторов по регистрационному фрагменту длиной 10-30 секунд (конкурс DNS на ICASSP 2023). Та же очистка с учётом диктора помогает сохранять разборчивость голосового чата Discord, когда на фоне говорит сосед по комнате.
| Показатель | Значение | Источник |
|---|---|---|
| UW Target Speech Hearing: время регистрации | 3-5 секунд взгляда на диктора | Вашингтонский университет, CHI 2024 |
| UW Target Speech Hearing: испытуемые и оценка чёткости | 21 испытуемый, почти в 2 раза чётче нефильтрованного звука | Вашингтонский университет, CHI 2024 |
| UW Target Speech Hearing: допуск по направлению | Погрешность 16 градусов | Вашингтонский университет, 2024 |
| Проактивный слуховой ассистент UW: необходимый звук | 2-4 секунды | Вашингтонский университет, EMNLP 2025 |
| Проактивный слуховой ассистент UW: собеседники и тестировщики | 1-4 собеседника; 11 участников оценили его более чем в 2 раза выше | Вашингтонский университет, декабрь 2025 |
| Проактивный слуховой ассистент UW: языки обучения | Английский, мандаринский, японский | Вашингтонский университет, декабрь 2025 |
| Google Looking to Listen: источник обучения | 100 000 видео, около 2 000 часов чистых фрагментов | блог Google Research, апрель 2018 |
| Слух под управлением мозга, Колумбийский университет (2019) | 3 нейрохирургических пациента | Han и др., Science Advances, 2019 |
| Показатель | Значение | Источник |
|---|---|---|
| Выпуск DNS Challenge на ICASSP 2023 | 5-й | Dubey и др., Microsoft, 2023 |
| Аудиоформат DNS 2023 | Полнополосный, 48 кГц | Dubey и др., 2023 |
| Регистрационный фрагмент DNS 2023 | 10-30 секунд основного диктора | Dubey и др., 2023 |
| Прирост результата победителя DNS 2023 относительно зашумлённого входа | 0,145 (гарнитура) и 0,141 (громкая связь) | Dubey и др., 2023 |
| TF-Locoformer (M) на улучшении речи DNS 2020 | 23,3 дБ SI-SNR, STOI 98,8, PESQ-WB 3,72 | Saijo и др., MERL 2024 |
Примечание о выбросе: команда UW говорит, что проактивная система хуже всего справляется, когда разговоры становятся динамичными и участники перебивают друг друга, а это как раз случай коктейльной вечеринки. Интерес к наушникам с шумоподавлением даёт этим функциям готовую аппаратную базу.
Итоги: разделение речи и проблема коктейльной вечеринки в цифрах
| Показатель | Значение | Источник |
|---|---|---|
| Лучший результат на WSJ0-2mix | 25,1 дБ SI-SNRi | SepReformer-L, NeurIPS 2024; TF-Locoformer (L), MERL 2024 |
| Глубокая кластеризация, 2015 | Около 6 дБ улучшения | Hershey и др., 2015 |
| Conv-TasNet, 2018 | 15,3 дБ SI-SNRi, 5,1 млн параметров | Luo и Mesgarani, 2019 |
| SepFormer с динамическим смешиванием / без него | 22,3 / 20,4 дБ | SepFormer, 2021; TF-GridNet, 2022 |
| MossFormer2 | 24,1 дБ, 55,7 млн параметров | MossFormer2, 2023 |
| Минимальная задержка Conv-TasNet | 2 мс | статья о Conv-TasNet, 2019 |
| Вычисления TF-GridNet против SepReformer-B | 460,8 против 39,8 GMACs/с | SepReformer, NeurIPS 2024 |
| Пиковая память SepFormer против SepMamba (S) | 35,3 ГБ против 2,0 ГБ | SepMamba, 2024 |
| Conv-TasNet: чистый звук / шум / реверберация | 15,3 / 12,7 / 8,3 дБ | MossFormer2, 2023 |
| Лучший результат на WHAMR! (шум и реверберация) | 18,5 дБ | TF-Locoformer (M), MERL 2024 |
| WSJ0-3mix, MossFormer2 | 22,2 дБ | MossFormer2, 2023 |
| WER на LibriCSS при 40% перекрытия, без разделения против с разделением | 43,3% против 21,7% | Microsoft, Chen и др., 2020 |
| Лучший многоканальный tcpWER на NOTSOFAR-1 | 10,8% (базовый уровень 28,3%) | обзор NOTSOFAR-1, 2025 |
| Лучший одноканальный tcpWER на NOTSOFAR-1 | 22,2% (базовый уровень 41,4%) | обзор NOTSOFAR-1, 2025 |
| Улучшение WER у VoiceFilter-Lite на перекрывающейся речи | 25,1% при 2,2 МБ | Google Research, 2020 |
| Люди, нуждающиеся в слуховой реабилитации | 430 миллионов, более 700 миллионов к 2050 году | ВОЗ, март 2026 |
| Использование слуховых аппаратов в США среди людей с трудностями | 51,3% | MarkeTrak 2025 |
| Улучшение SNR у DNN Phonak | 10,2 дБ | AudiologyOnline, 2026 |
| Регистрация в UW Target Speech Hearing | 3-5 секунд, 21 испытуемый | Вашингтонский университет, 2024 |
| Периферийная модель EConv-TasNet | 18,4 дБ при 3,8 млн параметров | Novatek, сентябрь 2026 |
Методология и источники
Каждый показатель бенчмарков выше взят из статьи, которая его сообщила, или, где это указано, из таблицы сравнения более поздней статьи. Мы исключили цифры, которые встречались только в поисковых фрагментах, вторичных пересказах или маркетинговых материалах поставщиков, которые мы не смогли открыть. Агрегаторы лидербордов использовались только для проверки того, что более высокий результат на WSJ0-2mix не публиковался.
- Hershey, Chen, Le Roux, Watanabe: глубокая кластеризация (Deep Clustering), arXiv 1508.04306 (2015)
- Isik, Le Roux, Chen, Watanabe, Hershey: одноканальное разделение нескольких дикторов с помощью глубокой кластеризации (2016)
- Luo и Mesgarani: Conv-TasNet, IEEE/ACM TASLP (2019); таблицы из полного текста прочитаны через ar5iv
- Luo, Chen, Yoshioka: двухпутевая рекуррентная сеть (Dual-path RNN), ICASSP 2020
- Subakan и др.: механизм внимания в разделении речи (SepFormer), ICASSP 2021
- TF-GridNet: объединение полнополосного и субполосного моделирования для разделения речи (2022)
- MossFormer2 (декабрь 2023)
- Разделение и реконструкция: асимметричный кодер-декодер для разделения речи (SepReformer), NeurIPS 2024
- Saijo, Wichern, Germain, Pan, Le Roux (MERL): TF-Locoformer (2024)
- Avenstrup и др. (DTU, WS Audiology): SepMamba (2024)
- Liu (Novatek): EConv-TasNet (сентябрь 2026)
- Wichern и др.: WHAM!, Interspeech 2019
- Cosentino и др.: LibriMix, Interspeech 2020
- Jepsen, Christensen, Jensen: SI-SDR при зашумлённых эталонах, IEEE ASRU 2025
- Chen и др. (Microsoft): непрерывное разделение речи: набор данных и анализ (LibriCSS) (2020)
- Abramovski и др. (Microsoft): обзор конкурса NOTSOFAR-1 (2025); Cornell и др.: конкурс CHiME-8 DASR (2024)
- Google Research: VoiceFilter-Lite (2020) и Looking to Listen (2018)
- Dubey и др. (Microsoft): конкурс Deep Noise Suppression на ICASSP 2023
- ВОЗ: информационный бюллетень о глухоте и потере слуха (март 2026)
- Dobyan и Kihm: MarkeTrak 2025, Seminars in Hearing
- FDA: разрешение первого ПО слухового аппарата безрецептурной продажи (сентябрь 2024)
- Saoji и др. (Mayo Clinic, Sonova): шумоподавление на DNN и показания к кохлеарной имплантации, Audiology Research 2024
- AudiologyOnline: как развивался ИИ в устройствах Phonak Infinio
- Вашингтонский университет: Target Speech Hearing (2024) и проактивный слуховой ассистент (2025)
- Колумбийский университет: Han и др., Science Advances (2019) и релиз об исследовании в Nature Neuroscience через EurekAlert (май 2026)
- Наблюдение по данным: статьи расходятся в цифрах базового уровня. QDPN указана с 22,1 дБ в статье о TF-GridNet, но с 23,6 дБ в статье о MossFormer2; Conv-TasNet на Libri2Mix приводится как 14,7 дБ (MossFormer2) и 12,1 дБ (EConv-TasNet); объём вычислений SepFormer указан как 86,9 GMACs/с (SepReformer) и 257,94 GMACs/с (SepMamba), а число параметров как 25,7 млн или 26,0 млн. Разные статьи используют разную длину входа, частоты дискретизации и инструменты подсчёта, поэтому сравнивайте цифры внутри одной таблицы, а не между таблицами. SI-SNRi и SI-SDRi в этой литературе используются как взаимозаменяемые; цифры глубокой кластеризации 2015 и 2016 годов основаны на обычном улучшении SDR и напрямую несопоставимы с более поздними результатами SI-SNRi. В аннотации NOTSOFAR-1 указано 280 записанных встреч, тогда как основной текст статьи описывает 315 уникальных встреч, разделённых на обучающую, отладочную и оценочную выборки. Достоверной публичной оценки размера рынка именно для разделения речи найти не удалось, поэтому она не включена. Цифры Conv-TasNet, глубокой кластеризации, Looking to Listen и VoiceFilter-Lite старше трёх лет и показаны как самые свежие доступные данные. Релиз Колумбийского университета 2026 года не содержит количественных результатов; мы ссылаемся на него лишь ради факта его существования и издания.
Последнее обновление: 3 октября 2026 года. Мы обновляем этот обзор ежеквартально, и следующее обновление ожидается, когда будут опубликованы принятые статьи ICASSP 2027 и результаты следующего конкурса CHiME.