Лучшая нейросетевая система маскирования потерь пакетов в Audio Deep PLC Challenge конференции INTERSPEECH 2022 от Microsoft набрала PLCMOS 4,28 по шкале от 1 до 5 против 2,90 при простой вставке тишины и 4,51 у чистого оригинала (Microsoft, статья INTERSPEECH 2022 Audio Deep PLC Challenge). Два года спустя, когда тот же конкурс перешёл на полнополосный звук и всплески потерь до 3 секунд, совместные победители смогли поднять общее качество лишь с 2,37 до 3,49, что по-прежнему заметно ниже 4,01 у чистой речи (Microsoft, статья ICASSP 2024 Audio Deep PLC Challenge). Проблема не редкая: Google сообщила, что 99% звонков Duo приходилось справляться с потерей пакетов, джиттером или задержкой, а каждый десятый звонок терял более 8% звука (Google Research, блог WaveNetEQ, 2020). Маскирование - это тихий слой под деловыми трендами в нашей статистике VoIP и UCaaS, и оно дополняет картину со стороны операторов в нашей статистике качества голоса в сотовых сетях (MOS). Мы собрали данные из статей конкурсов Microsoft Research, IETF и ITU-T, W3C, Google Research, разработчиков Opus из Xiph.Org, Meta Engineering, документации Microsoft Learn и Twilio, а также из рецензируемых исследований PLC, перечисленных в разделе о методологии.
Кратко (TL;DR)
- 99% звонков Google Duo приходилось справляться с потерей пакетов, джиттером или задержкой; 10% теряли более 8% общего звука (Google Research, блог WaveNetEQ, 2020).
- Microsoft Teams помечает аудиопоток как «Poor», когда средняя потеря пакетов превышает 0,1, то есть 10% (Microsoft Learn, CQD Stream Classification, 2026).
- У G.711 с маскированием из Приложения I коэффициент устойчивости к потере пакетов равен 25,1 против 4,3 без маскирования (ITU-T G.113, 09/2024).
- Победитель среди нейросетевых PLC: PLCMOS 4,28 против 2,90 у заполнения нулями и 4,51 у чистой речи (Microsoft, статья INTERSPEECH 2022 Deep PLC Challenge).
- Гибридный PLC команды Opus занял первое место по точности распознавания слов (0,882) и второе в общем зачёте конкурса 2022 года (Valin et al., Real-Time PLC with Mixed Generative and Predictive Model, 2022).
- При всплесках потерь до 3 секунд 2 из 8 допущенных систем показали общее качество P.804 ниже необработанного звука с потерями (Microsoft, статья ICASSP 2024 Deep PLC Challenge).
- PLCMOS достигает корреляции Пирсона на уровне моделей около 0,97 с оценками людей; на данных, выровненных по эталону, PESQ показывает 0,52 (Diener et al., статья о PLCMOS, 2023).
- Внутриполосный FEC LBRR в Opus покрывает 1 кадр при примерно 2/3 обычного битрейта; DRED покрывает до 1 секунды при примерно 1/50 (IETF draft-ietf-mlcodec-opus-dred-07, август 2026).
- Opus требует не менее 19 кбит/с, чтобы кодировать внутриполосный FEC при 10% потерь пакетов, согласно собственному сравнению Meta с MLow (Meta Engineering, MLow, 2024).
- Opus 1.6 уменьшил свои модели DRED примерно в 3 раза, до 600 кБ с 1 800 кБ (Xiph.Org, демонстрация Opus 1.6, декабрь 2025).
1. Сколько звука теряется и где платформы проводят границу
Пакет в этом контексте - небольшой фрагмент звука (часто в 20 мс), отправляемый по сети. Если он приходит слишком поздно или не приходит вовсе, у приёмника два варианта: проиграть тишину или замаскировать провал, синтезировав нечто, звучащее как недостающая речь. Данные самой Google показали, что 99% звонков Duo приходилось справляться с потерей пакетов, джиттером или задержкой (Google Research, Improving Audio Quality in Duo with WaveNetEQ, 2020). Поэтому маскирование - не крайний случай: оно работает почти в каждом звонке.
Платформы расходятся во мнениях о том, где потери перестают быть фоновым шумом и становятся проблемой. Microsoft Teams проводит границу «Poor» на уровне 10% средних потерь, Twilio - на уровне 5%, а Microsoft прямо предупреждает, что метка «Poor» не означает, что пользователи действительно заметили проблему с качеством, потому что её медиастек компенсирует потери (Microsoft Learn, Stream Classification in CQD, 2026). Эта оговорка и есть главный довод в пользу лучшего маскирования: чем дальше дотягивается PLC, тем выше платформа может поднять порог тревоги.
| Показатель | Значение | Источник |
|---|---|---|
| Доля звонков Google Duo, которым приходится справляться с потерей пакетов, джиттером или задержкой | 99% | Google Research, блог WaveNetEQ, 2020 |
| Доля звонков Duo, теряющих более 3% общей длительности звука | 20% | Google Research, блог WaveNetEQ, 2020 |
| Доля звонков Duo, теряющих более 8% общей длительности звука | 10% | Google Research, блог WaveNetEQ, 2020 |
| Средняя доля потерянных пакетов, выше которой Teams относит аудиопоток к «Poor» | Выше 0,1 (10%), применяется только к потокам более чем из 500 пакетов | Microsoft Learn, CQD Stream Classification, 2026 |
| Уровень потери пакетов, при котором Twilio присваивает звонку тег high_packet_loss | Выше 5% | Twilio Voice Insights, Details: Call Tags |
| Оценочный MOS, ниже которого Twilio помечает звонок из браузера или мобильного SDK тегом low_mos | Ниже 3,5 | Twilio Voice Insights, Details: Call Tags |
| Средняя доля потерь в тестовом наборе Deep PLC Challenge, использованном для оценки Opus DRED | 18,4%, всплески до одной секунды | Valin et al., статья о DRED (arXiv 2212.04453 v3, 2024) |
Самые свежие доступные данные: Google Research, 2020. Ни одна крупная платформа не опубликовала более нового распределения потерь по звонкам. Teams сообщает по каждому потоку родственный показатель «Ratio Concealed Samples Avg», где 0,1 означает, что 10% аудиокадров содержали замаскированные отсчёты (Microsoft Learn, CQD dimensions and measures, 2026), но Microsoft не публикует значений по всему парку звонков. Браузерные аналоги, concealedSamples и concealmentEvents, определены в API статистики WebRTC от W3C (черновик кандидата в рекомендации, 25 сентября 2025 года).
2. Классическое маскирование в кодеках по E-модели ITU-T
До нейросетей маскирование означало повтор или экстраполяцию последнего хорошего периода основного тона. Плановая модель ITU-T (E-модель) оценивает, насколько хорошо кодек переносит потери, с помощью коэффициента устойчивости к потере пакетов Bpl: простого числа, где большее значение означает более медленное падение качества по мере исчезновения пакетов. У G.711 с алгоритмом маскирования из Приложения I значение Bpl равно 25,1, почти в шесть раз больше 4,3 у G.711 без маскирования (ITU-T G.113, 09/2024, таблица I.4).
Что означает эта разница на практике, яснее видно на цифрах. По уравнению 7-29 из ITU-T G.107 (06/2015), Ie-eff = Ie + (95 - Ie) × Ppl / (Ppl/BurstR + Bpl), для G.711 (Ie = 0) при 5% случайных потерь (BurstR = 1) получаем 95 × 5 / (5 + 4,3) = 51,1 пункта искажений без маскирования и 95 × 5 / (5 + 25,1) = 15,8 с ним. Если вычесть это из рейтинга по умолчанию R = 93,2, получится R 42,1 против R 77,4, что формула из Приложения B к G.107 переводит в оценочный MOS около 2,2 против 3,9 (наш расчёт; все остальные входные параметры E-модели оставлены по умолчанию). Одно лишь маскирование переводит звонок с 5% потерь из плохого в приемлемый.
| Показатель | Значение | Источник |
|---|---|---|
| G.711 (64 кбит/с, пакеты по 10 мс) без маскирования: коэффициент устойчивости к потере пакетов Bpl при случайных потерях | 4,3 | ITU-T G.113 (09/2024), таблица I.4 |
| G.711 с алгоритмом маскирования из Приложения I к G.711: Bpl при случайных потерях | 25,1 | ITU-T G.113 (09/2024), таблица I.4 |
| G.729, Приложение A, с детектором речевой активности (8 кбит/с, пакеты по 20 мс, собственное маскирование): Ie и Bpl | Ie 11, Bpl 19,0 | ITU-T G.113 (09/2024), таблица I.4 |
| G.711 с пакетами по 20 мс, 8 пакетов потеряны одним всплеском при 2% потерь (коэффициент всплесков 7,84): эффективные искажения Ie-eff | 10 | ITU-T G.113 (09/2024), таблица I.6 |
| G.722 на 64 кбит/с с высококачественным маскированием из Приложения III к G.722: широкополосный Bpl (прослушивание обоими ушами) | 7,1 | ITU-T G.113 (09/2024), Приложение IV |
| EVS в сверхширокополосном режиме на 24,4 кбит/с: полнополосный Bpl | 11,4 | ITU-T G.113 (09/2024), Приложение V |
| Рейтинговый фактор E-модели R, когда все входные параметры имеют значения по умолчанию | 93,2 | ITU-T G.107 (06/2015) |
Контекст: значения Bpl сопоставимы только в пределах одной шкалы (узкополосной, широкополосной или полнополосной). В G.113 вообще нет значений для Opus, поэтому аудио WebRTC на основе Opus приходится оценивать другими средствами (см. раздел 5).
3. Нейросетевое маскирование против тишины: Deep PLC Challenge 2022 года
Конкурс INTERSPEECH 2022 сравнивал нейросетевой PLC на реальных паттернах потерь, используя трассы, записанные в звонках Microsoft Teams, и жёсткое правило реального времени: суммарная алгоритмическая задержка не более 20 мс. Главный его результат - размер разрыва между победителем и отсутствием обработки. Система-победитель набрала -0,55 по шкале сравнения (CMOS, где 0 означает неотличимость от чистого оригинала) против -1,23 у заполнения нулями (Microsoft, статья INTERSPEECH 2022 Audio Deep PLC Challenge).
Разборчивость рассказывает более скромную историю. Точность распознавания слов, измеренная как 1 минус коэффициент ошибок по словам у системы распознавания речи, выросла лишь с 0,86 при тишине до 0,88 у победителя против 0,97 у чистой речи. Слушатели воспринимают маскирование как большое улучшение, но система распознавания всё равно пропускала 12% слов с системой-победителем против 3% на чистой речи, и этот паттерн стоит держать в уме рядом с нашей статистикой коэффициента ошибок по словам при распознавании речи.
| Показатель | Значение | Источник |
|---|---|---|
| Чистая эталонная речь: PLCMOS (от 1 до 5) и точность распознавания слов | 4,51 и 0,97 | Microsoft, статья INTERSPEECH 2022 Deep PLC Challenge |
| Базовый уровень с заполнением нулями (тишина вместо потерянных пакетов): PLCMOS, CMOS и точность распознавания слов | 2,90, -1,23 и 0,86 | Microsoft, статья INTERSPEECH 2022 Deep PLC Challenge |
| Система-победитель (команда №12, U-Net во временной области, около 2,36 млн параметров): PLCMOS, CMOS и точность распознавания слов | 4,28, -0,55 и 0,88 | Microsoft, статья INTERSPEECH 2022 Deep PLC Challenge |
| Допущенная система с самым низким местом (команда №6) против базового уровня с заполнением нулями: CMOS | -1,31 против -1,23 | Microsoft, статья INTERSPEECH 2022 Deep PLC Challenge |
| Гибридный генеративно-предиктивный PLC команды Opus: точность распознавания слов и место по этому показателю | 0,882, первое место; второе по CMOS и в общем зачёте | Valin et al., Real-Time PLC with Mixed Generative and Predictive Model, 2022 |
| Та же система: вычислительные затраты на 10 мс речи на процессоре ноутбука (Intel i7-10810U) | 1,3-1,4 мс, около 13-14% одного ядра | Valin et al., 2022 |
Замечание о выбросе: одна из ранжированных систем показала по CMOS результат ниже базового уровня с тишиной, что напоминает: плохо настроенный генератор может звучать хуже, чем провал. Слепой тестовый набор был смещён в сторону коротких всплесков: у 504 из 966 его фрагментов максимальный всплеск не превышал 120 мс. Показатели гибридной системы взяты из работы Valin et al., чьё маскирование позже вошло в Opus 1.5 (см. раздел 7).
4. Длинные всплески: где маскирование всё ещё не справляется (ICASSP 2024)
Выпуск 2024 года намеренно усложнил задачу: полнополосный звук 48 кГц, оценка по многомерному методу ITU-T P.804 (Microsoft Research, ICASSP 2024 Audio Deep PLC Challenge) и всплески потерь до 3 секунд. Даже лучшая система закрыла лишь около двух третей расстояния между звуком с потерями и чистым звуком: общее качество выросло с 2,37 до 3,49 против 4,01 у чистой речи ((3,49 - 2,37) / (4,01 - 2,37) = 68%) (Microsoft, статья ICASSP 2024 Audio Deep PLC Challenge).
Самый показательный столбец - прерывистость: оценка P.804 за слышимые разрывы и сбои (чем выше, тем плавнее). У лучшей системы она выросла с 2,47 до 3,90, и это больший скачок, чем по любому другому измерению. Маскирование устраняет в первую очередь те провалы, которые слушатели замечают сразу, тогда как синтезированная речь по-прежнему стоит естественности. Точность распознавания слов показывает тот же компромисс: один из совместных победителей распознал 0,81 слов, чуть ниже 0,83 у нетронутого звука с потерями, что намекает: выдуманная речь может сбить систему распознавания сильнее, чем тишина.
| Показатель | Значение | Источник |
|---|---|---|
| Общее качество P.804 (от 1 до 5): чистая речь против необработанного звука с потерями против совместных победителей (1024K и NWPU & ByteAudio) | 4,01 против 2,37 против 3,49 и 3,44 | Microsoft, статья ICASSP 2024 Deep PLC Challenge |
| Оценка прерывистости P.804: чистый звук против звука с потерями против лучшей системы (1024K) | 4,55 против 2,47 против 3,90 | Microsoft, статья ICASSP 2024 Deep PLC Challenge |
| Точность распознавания слов: чистый звук против звука с потерями против 1024K против NWPU & ByteAudio | 0,98 против 0,83 против 0,81 против 0,84 | Microsoft, статья ICASSP 2024 Deep PLC Challenge |
| Допущенные системы с результатом ниже необработанного звука с потерями по общему качеству P.804 | 2 из 8 (2,11 и 2,17) | Microsoft, статья ICASSP 2024 Deep PLC Challenge |
| Полоса звука и метод прослушивания в выпуске 2024 года | Полнополосный, 48 000 Гц; многомерная оценка ITU-T P.804 плюс коэффициент ошибок по словам | Microsoft Research, страница ICASSP 2024 Deep PLC Challenge |
Контекст: девятая система набрала в общей оценке 2,91, но не уложилась в лимит задержки и была указана как не завершившая участие. Организаторы отмечают, что системы времён 2022 года «могут плохо справляться с более длинными последовательностями потерь», и именно там эстафету принимает избыточное кодирование (раздел 6).
5. Оценка маскирования: почему универсальные метрики качества его не улавливают
Ошибки маскирования короткие, прерывистые и часто правдоподобные, а именно такие общие метрики качества не предназначены улавливать. На данных, выровненных по эталону, PESQ показал корреляцию Пирсона на уровне моделей лишь 0,52 с оценками людей для систем PLC, а STOI - всего 0,21, тогда как PLCMOS показал 0,98 (Diener et al., статья о PLCMOS, Microsoft, Interspeech 2023). Метрика, неверно ранжирующая системы, способна направить целую область исследований не в ту сторону.
PLCMOS работает без чистого эталона, и это важно для реальных звонков, где исходный звук у приёмника недоступен. Его слабость - точность на уровне файлов: 0,85 на фрагмент против 0,97 на систему, поэтому он гораздо лучше ранжирует алгоритмы, чем оценивает отдельный звонок. Та же проблема проходит через оценку синтетической речи, которую мы разбираем в нашей статистике MOS естественности синтетической речи.
| Показатель | Значение | Источник |
|---|---|---|
| PLCMOS против оценок людей: корреляция Пирсона на уровне моделей и ранговая корреляция | Около 0,97 и около 0,95 | Diener et al., статья о PLCMOS, 2023 |
| DNSMOS (общая метрика шумоподавления): корреляция Пирсона на уровне файлов против уровня моделей | 0,52 против 0,85 | Diener et al., статья о PLCMOS, 2023 |
| PESQ против PLCMOS на данных, выровненных по эталону: корреляция Пирсона на уровне моделей | 0,52 против 0,98 | Diener et al., статья о PLCMOS, 2023 |
| STOI (метрика разборчивости): корреляция Пирсона на уровне моделей | 0,21 | Diener et al., статья о PLCMOS, 2023 |
| Оценок людей в основном обучающем наборе PLCMOS (LibriSpeech Basic) | 333 740 | Diener et al., статья о PLCMOS, 2023 |
| Тестовых файлов в наборе тестов прослушивания IETF для кодеков на основе машинного обучения | 100 чистой речи, 90 с шумом или реверберацией, 20 с перекрывающимися говорящими | IETF draft-ietf-mlcodec-test-battery-00, июнь 2026 |
Контекст: оценки, собранные краудсорсингом, коррелировали с экспертными примерно на уровне 0,83 PCC (95% ДИ: [0,78; 0,87]) в предварительном исследовании разметки PLCMOS. Черновик набора тестов IETF по-прежнему указывает сценарии потери пакетов как «Details TBD», поэтому стандартного теста потерь для нейросетевых кодеков пока нет.
6. Избыточное кодирование: платить битами, чтобы избежать маскирования
Маскирование угадывает; избыточность отправляет запасную копию. Прямая коррекция ошибок (FEC) означает добавление копии прежнего звука худшего качества к последующим пакетам, чтобы потерянный пакет можно было восстановить, а не выдумать. Компромисс - полоса пропускания. Классический внутриполосный FEC в Opus (LBRR) покрывает всего один кадр при примерно 2/3 обычного битрейта, тогда как Deep REDundancy (DRED) несёт до секунды и более при примерно 1/50 обычного битрейта (IETF draft-ietf-mlcodec-opus-dred-07, август 2026).
Более старый подход RED показывает масштаб эффекта. В тесте в Chrome при 20% потерь отправка одного предыдущего кадра в каждом пакете снизила долю замаскированного звука с 18% до 4%, а два предыдущих кадра снизили её до 0,7% (webrtcHacks, RED: Improving Audio Quality with Redundancy, 2020). Цена: звук вырос примерно с 30 кбит/с до 60 кбит/с с одной копией и до 90 кбит/с с двумя. DRED существует, чтобы получить сходную защиту без удвоения битрейта.
| Показатель | Значение | Источник |
|---|---|---|
| Внутриполосный FEC LBRR в Opus: глубина избыточности и затраты битрейта | 1 кадр; около 2/3 обычного битрейта Opus | IETF draft-ietf-mlcodec-opus-dred-07, 2026 |
| Opus DRED: глубина избыточности и затраты битрейта | До секунды и более на пакет; около 1/50 обычного битрейта | IETF draft-ietf-mlcodec-opus-dred-07, 2026 |
| Оценка DRED: избыточность на пакет и число отправок каждого кадра | 1,04 секунды; 52 копии | Valin et al., статья о DRED (arXiv 2212.04453 v3, 2024) |
| Битрейт тестового условия LBRR в оценке DRED (базовые 24 кбит/с плюс LBRR) | 40 кбит/с в сумме, LBRR в среднем около 16 кбит/с | Valin et al., статья о DRED, 2024 |
| Доля замаскированного звука при 20% потерь в Chrome: без RED против одного предыдущего кадра против двух предыдущих кадров | 18% против 4% против 0,7% | webrtcHacks, тест RED от Hancke, 2020 |
| Доля замаскированного звука при 60% случайных потерь: без RED против одного против двух предыдущих кадров | 60% против 32% против 18% | webrtcHacks, тест RED от Hancke, 2020 |
| Минимальный битрейт Opus для кодирования внутриполосного FEC при 10% потерь пакетов | 19 кбит/с (собственное сравнение поставщика) | Meta Engineering, блог о кодеке MLow, 2024 |
| Битрейт образцов MLow от Meta при 30% потерь пакетов на стороне приёмника | 14 кбит/с (собственное заявление поставщика) | Meta Engineering, блог о кодеке MLow, 2024 |
Контекст: цифры webrtcHacks получены в лабораторном тесте одного автора 2020 года (самое свежее доступное публичное измерение RED в Chrome). Цифры Meta взяты из её собственного анонса MLow и не были независимо воспроизведены. Все различия DRED в тесте прослушивания P.808 из статьи (966 реплик, по 10 слушателей на каждую) были заявлены как значимые при p < 0,05.
7. Внедрение маскирования: вычисления, размер и стандарты
Модель маскирования имеет значение, только если она умещается на самом дешёвом телефоне в звонке. Deep PLC в Opus 1.5 стоит около 1% одного ядра процессора ноутбука при высоких уровнях потерь и добавляет к библиотеке около 1 МБ (Xiph.Org, демонстрация Opus 1.5, март 2024, собственные цифры разработчиков). Работа той же команды для конкурса 2022 года требовала 13-14% ядра (раздел 3), хотя эти две цифры измерялись по-разному и не являются строгим сравнением в равных условиях.
Слой стандартов, напротив, почти не движется. Правила WebRTC для звука (RFC 7874, 2016) обязывают поддерживать Opus и G.711, но не устанавливают требований к маскированию или FEC, оставляя качество при потерях целиком на усмотрение каждой реализации. Opus 1.6 продолжил уменьшать модели: его сети DRED примерно в 3 раза меньше, чем в 1.5 (Xiph.Org, демонстрация Opus 1.6, декабрь 2025).
| Показатель | Значение | Источник |
|---|---|---|
| Deep PLC в Opus 1.5: добавленный размер библиотеки и нагрузка на процессор | Около 1 МБ; около 1% ядра ноутбука при высоких потерях; требуется сложность декодера 5 или выше | Xiph.Org, демонстрация Opus 1.5, 2024 (собственные цифры разработчиков) |
| DRED в Opus 1.5: добавленный размер библиотеки, затраты во время работы и накладные расходы битрейта | Около 2 МБ; около 1%; около 12-32 кбит/с | Xiph.Org, демонстрация Opus 1.5, 2024 (собственные цифры разработчиков) |
| Нейросетевой вокодер FARGAN для синтеза замаскированной и избыточной речи: сложность | 600 MFLOPS, 1/5 от LPCNet | Xiph.Org, демонстрация Opus 1.5, 2024 |
| Уровни потерь в тестах WebRTC для Opus 1.5 (PLCMOS v2) | От 0% до 90% с шагом 10%; DRED, по сообщениям, сохраняет качество при 90% потерь | Xiph.Org, демонстрация Opus 1.5, 2024 (собственное заявление разработчиков) |
| Размер модели DRED в Opus 1.6 против Opus 1.5 | 600 кБ против 1 800 кБ | Xiph.Org, демонстрация Opus 1.6, декабрь 2025 |
| Размеры кадров Opus, длительность пакета и диапазон битрейта | Кадры от 2,5 до 60 мс; пакеты до 120 мс; от 6 до 510 кбит/с | IETF RFC 6716 (2012) |
| Алгоритмическая задержка Opus | От 5 мс до 65,2 мс | IETF RFC 6716 (2012) |
| Кодеки, которые должны поддерживать конечные точки WebRTC | Opus и G.711 (PCMA и PCMU); требований к PLC и FEC нет | IETF RFC 7874 (2016) |
Контекст: RFC 6716 и RFC 7874 старше трёх лет, но остаются действующими стандартами (RFC 6716, RFC 7874). Черновик DRED, если его утвердят, обновит RFC 6716 нейросетевым слоем избыточности.
Итоги: маскирование потерь пакетов в аудио WebRTC в цифрах
| Показатель | Значение | Источник |
|---|---|---|
| Звонки Google Duo, которым приходится справляться с потерей пакетов, джиттером или задержкой | 99% | Google Research, блог WaveNetEQ, 2020 |
| Звонки Duo, теряющие более 8% звука | 10% | Google Research, блог WaveNetEQ, 2020 |
| Порог «Poor» в Teams для средней потери аудиопакетов | Выше 0,1 (10%) | Microsoft Learn, CQD Stream Classification, 2026 |
| Порог тега high_packet_loss в Twilio | Выше 5% | Twilio Voice Insights, Details: Call Tags |
| Коэффициент устойчивости Bpl у G.711: без маскирования против маскирования из Приложения I | 4,3 против 25,1 | ITU-T G.113 (09/2024) |
| G.729, Приложение A, с детектором речевой активности: Bpl | 19,0 | ITU-T G.113 (09/2024) |
| PLCMOS конкурса 2022 года: заполнение нулями против победителя против чистой речи | 2,90 против 4,28 против 4,51 | Microsoft, статья INTERSPEECH 2022 Deep PLC Challenge |
| Точность распознавания слов в конкурсе 2022 года: заполнение нулями против победителя против чистой речи | 0,86 против 0,88 против 0,97 | Microsoft, статья INTERSPEECH 2022 Deep PLC Challenge |
| Вычислительные затраты гибридного PLC команды Opus на 10 мс речи | 1,3-1,4 мс (13-14% одного ядра) | Valin et al., 2022 |
| Общее качество P.804 в конкурсе 2024 года: с потерями против лучшей системы против чистой речи | 2,37 против 3,49 против 4,01 | Microsoft, статья ICASSP 2024 Deep PLC Challenge |
| Системы конкурса 2024 года с результатом ниже необработанного звука с потерями | 2 из 8 | Microsoft, статья ICASSP 2024 Deep PLC Challenge |
| Корреляция Пирсона на уровне моделей у PLCMOS с оценками людей | Около 0,97 | Diener et al., статья о PLCMOS, 2023 |
| Корреляция Пирсона на уровне моделей: PESQ против STOI на системах PLC | 0,52 против 0,21 | Diener et al., статья о PLCMOS, 2023 |
| Глубина избыточности LBRR против DRED | 1 кадр против до секунды и более | IETF draft-ietf-mlcodec-opus-dred-07, 2026 |
| Битрейт избыточности DRED относительно обычного Opus | Около 1/50 | IETF draft-ietf-mlcodec-opus-dred-07, 2026 |
| Замаскированный звук при 20% потерь: без RED против RED с двумя кадрами | 18% против 0,7% | webrtcHacks, тест RED от Hancke, 2020 |
| Минимальный битрейт внутриполосного FEC в Opus при 10% потерь | 19 кбит/с (собственное сравнение поставщика) | Meta Engineering, блог о кодеке MLow, 2024 |
| Нагрузка на процессор у Deep PLC в Opus 1.5 | Около 1% ядра ноутбука | Xiph.Org, демонстрация Opus 1.5, 2024 |
| Размер модели DRED в Opus 1.6 против 1.5 | 600 кБ против 1 800 кБ | Xiph.Org, демонстрация Opus 1.6, 2025 |
Методология и источники
- Microsoft Research, статья INTERSPEECH 2022 Audio Deep Packet Loss Concealment Challenge (Diener et al., 2022): arxiv.org/pdf/2204.05222
- Microsoft Research, статья ICASSP 2024 Audio Deep Packet Loss Concealment Challenge (2024): arxiv.org/html/2402.16927v1
- Microsoft Research, страница программы ICASSP 2024 Audio Deep PLC Challenge: microsoft.com
- Diener et al., PLCMOS: a data-driven non-intrusive metric for the evaluation of packet loss concealment algorithms (Interspeech 2023): arxiv.org/pdf/2305.15127
- Valin et al., Real-Time Packet Loss Concealment With Mixed Generative and Predictive Model (2022): arxiv.org/pdf/2205.05785
- Valin et al., DRED: Deep REDundancy Coding of Speech Using a Rate-Distortion-Optimized Variational Autoencoder (arXiv v3, 2024): arxiv.org/pdf/2212.04453
- IETF, Deep Audio Redundancy (DRED) Extension for the Opus Codec, draft-ietf-mlcodec-opus-dred-07 (август 2026): ietf.org
- IETF, ML codec listening test battery, draft-ietf-mlcodec-test-battery-00 (июнь 2026): ietf.org
- IETF RFC 6716, Definition of the Opus Audio Codec (2012): rfc-editor.org
- IETF RFC 7874, WebRTC Audio Codec and Processing Requirements (2016): rfc-editor.org
- W3C, Identifiers for WebRTC’s Statistics API (черновик кандидата в рекомендации, 25 сентября 2025 года): w3.org
- ITU-T G.113 (09/2024), Transmission impairments due to speech processing: itu.int
- ITU-T G.107 (06/2015), The E-model: itu.int
- Google Research, Improving Audio Quality in Duo with WaveNetEQ (апрель 2020 года): research.google
- Microsoft Learn, Stream Classification in Call Quality Dashboard (обновлено в июне 2026 года): learn.microsoft.com
- Microsoft Learn, Dimensions and measures available in Call Quality Dashboard (обновлено в июле 2026 года): learn.microsoft.com
- Twilio, Voice Insights Details: Call Tags: twilio.com
- Meta Engineering, MLow: Meta’s low bitrate audio codec (июнь 2024 года): engineering.fb.com
- Xiph.Org, демонстрация Opus 1.5 (март 2024 года) и демонстрация Opus 1.6 (декабрь 2025 года): opus-codec.org/demo/opus-1.5, opus-codec.org/demo/opus-1.6
- webrtcHacks, RED: Improving Audio Quality with Redundancy (Philipp Hancke, август 2020 года): webrtchacks.com
- Наблюдение по данным: единственное распределение потерь по звонкам от крупной платформы - это цифра Google по Duo за 2020 год, а измерения маскирования с RED - тест одного автора 2020 года, поэтому обе отмечены как самые свежие доступные данные. Пример E-модели в разделе 2 - наш собственный расчёт по уравнению 7-29 и Приложению B к ITU-T G.107 со значениями Bpl из G.113, при котором все остальные входные параметры оставлены по умолчанию; это оценка, а не измерение. Результаты конкурсов несопоставимы между выпусками: в 2022 году использовались широкополосный звук, PLCMOS и CMOS со всплесками до 1 секунды, а в 2024 году - полнополосный звук, P.804 и всплески до 3 секунд. В статье 2022 года PLCMOS коррелировал с CMOS на уровне около 0,95 по Пирсону, тогда как более поздний выпуск PLCMOS сообщает около 0,97 на другом оценочном наборе. Цифры Xiph.Org и Meta - собственные заявления разработчиков. Пороги Teams (10%) и Twilio (5%) расходятся по замыслу, потому что каждый поставщик настраивает их под свой медиастек. Черновик DRED (срок действия истекает в феврале 2027 года) и черновик набора тестов IETF, сценарии потери пакетов в котором всё ещё не определены, могут измениться до публикации в виде RFC.
Последнее обновление: 24 октября 2026 года. Мы обновляем этот обзор ежеквартально, и следующее обновление ожидается, когда рабочая группа IETF mlcodec опубликует следующую редакцию черновика Opus DRED и сценариев потери пакетов в наборе тестов.