При 6 кбит/с нейросетевой кодек EnCodec от Meta набрал 83,1 по шкале прослушивания MUSHRA на чистой речи, тогда как Opus при тех же 6 кбит/с набрал 30,1, а скрытый оригинал 95,5 (Meta AI, статья об EnCodec, TMLR 2023). Этот разрыв - вся история нейросетевого кодирования аудио в одной строке: те же биты, оценка выше на 53 пункта (83,1 минус 30,1). SoundStream от Google при 3 кбит/с показал качество, для достижения которого EVS требовалось не менее 9,6 кбит/с, а Opus не менее 12 кбит/с (Google, статья о SoundStream 2021), а исследовательские кодеки теперь доводят пригодную для использования речь до значений ниже 1 кбит/с, вплоть до 0,16 кбит/с (Della Libera et al., FocalCodec, NeurIPS 2025). Классические кодеки отвечают собственными нейросетевыми надстройками: Opus 1.5 сделал речь “полностью пригодной вплоть до 6 кбит/с” с помощью модуля улучшения на 400 MFLOPS (Xiph.Org, релиз Opus 1.5 2024), и это важно для всех, кто настраивает качество звонков вместе с буферами джиттера и оценками POLQA. Мы собрали данные Google, Meta AI, Descript, Kyutai, Xiph.Org, IETF, 3GPP, ITU и рецензируемых бенчмарков, таких как Codec-SUPERB, DASB, WavTokenizer, TAAE и FocalCodec.
Кратко (TL;DR)
- EnCodec при 6 кбит/с набрал 83,1 MUSHRA на чистой речи против 30,1 у Opus при 6 кбит/с (Meta AI, статья об EnCodec 2023).
- SoundStream при 3 кбит/с показал качество, для которого EVS требовалось не менее 9,6 кбит/с, а Opus 12 кбит/с (Google, статья о SoundStream 2021).
- Lyra V2 при 3,2 кбит/с в тестах MUSHRA оценили наравне с Opus при 10 кбит/с (Google Open Source Blog, Lyra V2 2022).
- Descript Audio Codec сжимает аудио 44,1 кГц примерно в 90 раз в токены на 8 кбит/с (Descript, статья о DAC, NeurIPS 2023).
- FocalCodec при 0,16 кбит/с достиг UTMOS 4,22 против 4,09 у несжатого эталона (Della Libera et al., NeurIPS 2025).
- Кодек TAAE показал PESQ 2,96 при 400 бит/с, близко к 3,01 у Mimi при 1 100 бит/с (Parker et al., ICLR 2025).
- VALL-E научился синтезу речи по короткому образцу голоса без дообучения на 60 тыс. часов английской речи, закодированной в токены нейросетевого кодека, и ему нужен лишь образец голоса в 3 секунды (Microsoft, статья о VALL-E 2023).
- Модуль улучшения NoLACE в Opus 1.5 при 9 кбит/с обошёл Opus без улучшения при 12 кбит/с при нагрузке около 0,75% CPU (Xiph.Org, релиз Opus 1.5 2024).
- Mimi от Kyutai кодирует речь с частотой 12,5 Гц и 1,1 кбит/с, что позволяет диалоговой модели иметь практическую задержку 200 мс (Kyutai, статья о Moshi 2024).
- EnCodec при 1,5 кбит/с более чем втрое увеличил долю ошибочных слов ASR, с 2,96% до 9,21% (Wu et al., Codec-SUPERB 2024).
1. Сколько бит нужно, чтобы сравняться с классическими кодеками в тестах прослушивания
Главным результатом первого поколения нейросетевых кодеков стало не “лучшее звучание”, а “то же звучание за долю бит”. SoundStream при 3 кбит/с достиг уровня качества, для которого EVS требовалось не менее 9,6 кбит/с, а Opus не менее 12 кбит/с, что составляет 3,2× и 4× по числу бит (9,6 / 3 = 3,2; 12 / 3 = 4) (Google, статья о SoundStream). С ростом бюджета преимущество сокращается: при средних и высоких битрейтах классическим кодекам требовалось в 2,2-2,6 раза, а затем лишь в 1,3-1,6 раза больше бит.
MUSHRA, тест прослушивания, используемый в большинстве этих статей, определён в ITU-R BS.1534-3: слушатели оценивают рядом несколько закодированных версий фрагмента вместе со скрытой копией оригинала, поэтому оценку кодека лучше читать относительно оценки скрытого оригинала в том же тесте. Картина устойчива у всех производителей: чем ниже битрейт, тем больше нейросетевое преимущество, отчасти потому, что Opus при 6 кбит/с переходит на узкополосное аудио.
| Показатель | Значение | Источник |
|---|---|---|
| Битрейт Opus и EVS, необходимый, чтобы сравняться с SoundStream при 3 кбит/с | Opus не менее 12 кбит/с, EVS не менее 9,6 кбит/с | Google, статья о SoundStream (arXiv 2021) |
| Дополнительные биты, которые нужны EVS и Opus, чтобы сравняться с SoundStream при среднем битрейте (6 кбит/с) | В 2,2-2,6 раза больше | Google, статья о SoundStream (arXiv 2021) |
| Битрейт Opus, оценённый наравне с Lyra V2 при 3,2, 6 и 9,2 кбит/с (MUSHRA) | 10, 13 и 14 кбит/с | Google Open Source Blog, Lyra V2 (2022) |
| MUSHRA, чистая речь: EnCodec при 6 кбит/с против Opus при 6 кбит/с против скрытого оригинала | 83,1 против 30,1 против 95,5 | Meta AI, статья об EnCodec (TMLR 2023) |
| MUSHRA, музыкальный набор 1: EnCodec при 3 кбит/с против Opus при 12 кбит/с | 89,6 против 77,8 | Meta AI, статья об EnCodec (TMLR 2023) |
| POLQA MOS при 6 кбит/с, широкая полоса, MLow против Opus (собственное заявление производителя) | 3,9 против 1,89 | Meta Engineering, блог о MLow (2024) |
Самые свежие доступные данные: SoundStream (2021), Lyra V2 (2022) и EnCodec (препринт 2022 года, журнал 2023 года). Это по-прежнему эталонные сравнения, на которые ссылаются новые статьи, но они предшествуют нейросетевым улучшениям Opus 1.5 (см. раздел 7), поэтому базовые уровни классических кодеков старше нынешнего libopus. Цифры MLow взяты из инженерного блога Meta, где отмечено, что при 6 кбит/с Opus работает в узкополосном режиме (от 0 до 4 кГц); это собственное заявление производителя о кодеке для звонков в промышленной эксплуатации, включённое как точка отсчёта, а не как независимое измерение.
2. Степень сжатия и где качество перестаёт расти
Степень сжатия - то место, где нейросетевые кодеки выглядят эффектнее всего. Descript Audio Codec (DAC) сжимает аудио 44,1 кГц примерно в 90 раз в токены при 8 кбит/с, используя одну универсальную модель для речи, музыки и фоновых звуков (Descript, статья о DAC, NeurIPS 2023). На стереомузыке 48 кГц EnCodec при 6 кбит/с (сжатие в 256 раз) набрал 82,9 MUSHRA, то есть попал в тот же диапазон воспринимаемого качества, что и MP3 при 64 кбит/с (сжатие в 24 раза, 82,7).
Для инженеров полезнее другая находка - насыщение. Стереомодель EnCodec набрала 88,0 при 12 кбит/с и 87,5 при 24 кбит/с, то есть удвоение битрейта не дало ничего измеримого. Второй рычаг - энтропийное кодирование: небольшая языковая модель поверх токенов экономит от 25% до 40% полосы без изменения качества, но ценой скорости.
| Показатель | Значение | Источник |
|---|---|---|
| Сжатие аудио 44,1 кГц кодеком DAC при 8 кбит/с | Около 90× | Descript, статья о DAC (NeurIPS 2023) |
| ViSQOL при 44 кГц: DAC при 8 кбит/с против EnCodec при 24 кбит/с против Opus при 24 кбит/с | 4,18 против 3,16 против 4,15 | Descript, статья о DAC (NeurIPS 2023) |
| ViSQOL при 44 кГц: DAC при 1,78 кбит/с против Opus при 8 кбит/с | 3,76 против 2,06 | Descript, статья о DAC (NeurIPS 2023) |
| MUSHRA, стереомузыка 48 кГц: EnCodec при 6 кбит/с (256×) против 12 кбит/с против 24 кбит/с против MP3 при 64 кбит/с (24×) | 82,9 против 88,0 против 87,5 против 82,7 | Meta AI, статья об EnCodec (TMLR 2023) |
| Полоса, сэкономленная языковой моделью в роли энтропийного кодера для токенов EnCodec | Около 25-40% | Meta AI, статья об EnCodec (TMLR 2023) |
| Потенциальная экономия скорости при энтропийном кодировании токенов SoundStream | 7-20% | Google, статья о SoundStream (arXiv 2021) |
ViSQOL - объективная модель, предсказывающая воспринимаемое качество по сигналу; собственные оценки MUSHRA для DAC опубликованы только в виде графиков, поэтому в таблице использованы напечатанные значения ViSQOL. Оговорка о сравнении с Opus: в статье о DAC Opus при 8 кбит/с кодировался лишь с 4 кГц полосы звука, тогда как DAC сохранил все 22,05 кГц, так что часть разрыва объясняется полосой, а не эффективностью.
3. Граница ниже 1 кбит/с для речи
Исследовательские кодеки 2025 года сместили борьбу с “обойти Opus” к вопросу “сколько минимум бит может нести разборчивую и естественную речь”. FocalCodec при 0,16 кбит/с набрал UTMOS 4,22 на чистой речи LibriSpeech, выше, чем 4,09 у несжатого эталона (Della Libera et al., FocalCodec, NeurIPS 2025). UTMOS - нейросетевая модель, предсказывающая среднюю оценку слушателя (MOS), поэтому кодек может “обойти” оригинал по ней, просто выдавая очень чисто звучащий результат.
Разборчивость показывает вторую половину картины. В той же таблице приведён dWER - дополнительная доля ошибочных слов, которую допускает система ASR на пересинтезированной речи: настройка FocalCodec на 0,16 кбит/с дала 7,94, а на 0,65 кбит/с - 2,18. Естественное звучание теперь дёшево; сохранить каждое слово и личность говорящего по-прежнему стоит бит.
| Показатель | Значение | Источник |
|---|---|---|
| UTMOS: FocalCodec при 0,16 кбит/с против несжатого эталона (LibriSpeech, чистая часть) | 4,22 против 4,09 | Della Libera et al., статья о FocalCodec (NeurIPS 2025) |
| dWER: FocalCodec при 0,65 кбит/с против 0,16 кбит/с | 2,18 против 7,94 | Della Libera et al., статья о FocalCodec (NeurIPS 2025) |
| UTMOS и dWER: BigCodec при 1,04 кбит/с | 4,11 и 2,55 | Della Libera et al., статья о FocalCodec (NeurIPS 2025) |
| UTMOS и dWER: EnCodec при 1,5 кбит/с | 1,58 и 8,08 | Della Libera et al., статья о FocalCodec (NeurIPS 2025) |
| PESQ: TAAE при 400 бит/с против Mimi при 1 100 бит/с | 2,96 против 3,01 | Parker et al., статья о TAAE (ICLR 2025) |
| PESQ и SI-SDR: TAAE при 700 бит/с | 3,09 и 4,73 дБ | Parker et al., статья о TAAE (ICLR 2025) |
| UTMOS: WavTokenizer при 0,9 кбит/с (75 токенов в секунду) против DAC при 9 кбит/с против эталона | 4,0486 против 3,9097 против 4,0562 | Ji et al., статья о WavTokenizer (ICLR 2025) |
Сравнение TAAE стоит прочитать дважды: при 400 бит/с он примерно достиг PESQ кодека Mimi при 1 100 бит/с, который и сам существует всего несколько лет (Parker et al., статья о TAAE). Учтите, что все цифры этого раздела измерены на чистой читаемой речи LibriSpeech или LibriTTS, поэтому их следует считать наилучшим случаем.
4. Задержка и вычислительные затраты
Битрейт - лишь один из бюджетов; у кодека для живых звонков или потоковой передачи есть ещё бюджет задержки и бюджет CPU. Lyra V2 кодирует и декодирует кадр 20 мс за 0,57 мс на Pixel 6 Pro, что в 35 раз быстрее реального времени, при задержке 20 мс против 100 мс у Lyra V1 (Google Open Source Blog, Lyra V2). Потоковые нейросетевые кодеки, работающие с кадрами по 20 мс, укладываются в диапазон задержки, который стандарт Opus уже допускает для классического кодирования (см. таблицу).
Именно по размеру модели поколения расходятся. Кодеки для телефонов остаются небольшими и быстрыми, а исследовательские кодеки ниже 1 кбит/с обменивают вычисления на биты: у TAAE около 950 млн параметров, а SemantiCodec работает медленнее реального времени.
| Показатель | Значение | Источник |
|---|---|---|
| Задержка: Lyra V2 против Lyra V1 | 20 мс против 100 мс | Google Open Source Blog, Lyra V2 (2022) |
| Коэффициент реального времени на одном потоке CPU MacBook Pro 2019 при 6 кбит/с, кодер и декодер (выше 1 = быстрее реального времени): EnCodec 24 кГц против Lyra v2 | 9,8 и 10,4 против 27,4 и 67,2 | Meta AI, статья об EnCodec (TMLR 2023) |
| Диапазон алгоритмической задержки Opus и размеры кадров | от 5 до 65,2 мс; кадры от 2,5 до 60 мс | IETF, RFC 6716 (2012) |
| Параметры модели: DAC (кодер плюс декодер) | 76 млн (22 млн кодер, 54 млн декодер) | Descript, статья о DAC (NeurIPS 2023) |
| Параметры модели: TAAE против Mimi против EnCodec | 950 млн против 80 млн против 14 млн | Parker et al., статья о TAAE (ICLR 2025) |
| Коэффициент реального времени (выше 1 = быстрее реального времени): FocalCodec при 0,16 кбит/с против BigCodec против SemantiCodec | 208 против 22 против 0,62 | Della Libera et al., статья о FocalCodec (NeurIPS 2025) |
Коэффициент реального времени в разных статьях приводится по-разному: EnCodec и FocalCodec используют “во сколько раз быстрее реального времени” (чем выше, тем лучше), поэтому значения из разных статей нельзя сравнивать построчно. Диапазон Opus взят из RFC 6716 от IETF - стандарта 2012 года, который по-прежнему определяет битовый поток Opus; самые свежие доступные данные для этого базового уровня - RFC 2012 года, дополненный релизами libopus 2024 и 2025 годов, о которых речь в разделе 7.
5. Токены кодеков в речевых и аудиоязыковых моделях
У нейросетевых кодеков теперь вторая карьера: они служат токенизаторами, благодаря которым языковые модели говорят. Mimi от Kyutai кодирует речь 24 кГц в токены с частотой 12,5 Гц и 1,1 кбит/с, используя 8 кодовых книг по 2 048 записей, а построенная на нём диалоговая модель Moshi сообщает о теоретической задержке 160 мс и 200 мс на практике (Kyutai, статья о Moshi). Авторегрессионная модель, как правило, делает один шаг на кадр токенов, так что частота кадров напрямую превращается в скорость - эту тему мы разбираем со стороны агентов в нашей статистике времени до первого байта аудио.
Поэтому целью проектирования стала не только битрейт, но и частота кадров. Low Frame-rate Speech Codec от NVIDIA работает на 21,5 кадра в секунду и 1,89 кбит/с и, по словам авторов, ускоряет вывод синтеза речи на основе LLM примерно в три раза. Голосовые продукты на основе ПО для клонирования голоса и синтеза речи напрямую наследуют эти компромиссы.
| Показатель | Значение | Источник |
|---|---|---|
| Частота токенов, битрейт и частота дискретизации аудио в Mimi | 12,5 Гц, 1,1 кбит/с, 24 кГц | Kyutai, статья о Moshi (arXiv 2024) |
| MUSHRA: Mimi при 1,1 кбит/с против SpeechTokenizer при 4,0 кбит/с против SemantiCodec при 1,3 кбит/с | 81,0 против 74,3 против 64,8 | Kyutai, статья о Moshi (arXiv 2024) |
| Диалоговая задержка Moshi, теоретическая против практической | 160 мс против 200 мс | Kyutai, статья о Moshi (arXiv 2024) |
| Частота кадров и битрейт Low Frame-rate Speech Codec от NVIDIA | 21,5 кадра в секунду, 1,89 кбит/с | NVIDIA, статья о Low Frame-rate Speech Codec (arXiv 2024) |
| Ускорение вывода синтеза речи на основе LLM с этим кодеком с низкой частотой кадров | Примерно в 3 раза быстрее | NVIDIA, статья о Low Frame-rate Speech Codec (arXiv 2024) |
| Токенов в секунду аудио 24 кГц при едином квантователе WavTokenizer | 40 или 75 | Ji et al., статья о WavTokenizer (ICLR 2025) |
| Обучающие данные и образец голоса для VALL-E, модели синтеза речи, обученной на кодах нейросетевого кодека | 60 тыс. часов английской речи; образец 3 секунды | Microsoft, статья о VALL-E (arXiv 2023) |
| Токенизатор MusicGen: EnCodec при 32 кГц, кодовые книги, частота токенов, обучающая музыка | 4 кодовые книги по 2 048, 50 Гц, 20 тыс. часов | Copet et al., статья о MusicGen (arXiv 2023) |
Самые свежие доступные данные по VALL-E и MusicGen: 2023 год. Оговорка к строке MUSHRA: 81,0 у Mimi относится к варианту, обученному только с состязательными потерями; вариант, обученный без них, набрал 58,8, так что схема обучения токенизатора влияет на воспринимаемое качество не меньше, чем его битрейт.
6. Что кодеки сохраняют для прикладных задач
Оценки прослушивания не говорят, продолжают ли работать движок транскрипции, проверка говорящего или классификатор эмоций на декодированном аудио. В Codec-SUPERB EnCodec при 1,5 кбит/с поднял долю ошибочных слов ASR с 2,96% до 9,21%, а равный коэффициент ошибок (EER) верификации говорящего с 0,86% до 13,88%, тогда как DAC при 24 кбит/с сохранил долю ошибочных слов ровно на исходных 2,96% (Wu et al., Codec-SUPERB). Эти сдвиги важны для всех, кто следит за галлюцинациями и долей ошибок распознавания речи в конвейерах со сжатием.
Личность говорящего и эмоции первыми страдают при низких битрейтах: содержание речи сохраняется дольше, чем паралингвистический слой. Бенчмарк DASB делает более резкий вывод для токенов кодеков, используемых как входы моделей: “Во всех доменах и задачах непрерывные представления превосходят дискретные токены”, причём лучше всего работали средние битрейты (Mousavi et al., DASB).
| Показатель | Значение | Источник |
|---|---|---|
| Модели кодеков и семейства моделей, оценённые в Codec-SUPERB | 19 вариантов из 6 семейств | Wu et al., статья о Codec-SUPERB (arXiv 2024) |
| Доля ошибочных слов ASR: исходное аудио против EnCodec при 1,5 кбит/с | 2,96% против 9,21% | Wu et al., статья о Codec-SUPERB (arXiv 2024) |
| Равный коэффициент ошибок верификации говорящего: исходное аудио против EnCodec при 1,5 кбит/с | 0,86% против 13,88% | Wu et al., статья о Codec-SUPERB (arXiv 2024) |
| Точность распознавания эмоций: исходное аудио против EnCodec при 1,5 кбит/с | 69,84% против 58,84% | Wu et al., статья о Codec-SUPERB (arXiv 2024) |
| Доля ошибочных слов ASR: DAC при 6 кбит/с против DAC при 24 кбит/с | 3,26% против 2,96% | Wu et al., статья о Codec-SUPERB (arXiv 2024) |
| Корреляция PESQ с общей оценкой речи | 0,97 | Wu et al., статья о Codec-SUPERB (arXiv 2024) |
| Формула битрейта DASB для токенизаторов | log2(размер словаря) × кодовые книги × частота токенов | Mousavi et al., бенчмарк DASB (arXiv 2024) |
Примечание к контексту: равный коэффициент ошибок (EER) - это точка, в которой система верификации говорящего ошибочно принимает и ошибочно отклоняет с одинаковой частотой, поэтому скачок с 0,86% до 13,88% означает, что декодированный голос гораздо труднее сопоставить с владельцем. Корреляция PESQ в Codec-SUPERB также подсказывает практический короткий путь: для речи давно известная метрика PESQ по-прежнему близко следует общему вердикту бенчмарка.
7. Классические кодеки становятся нейросетевыми: Opus, EVS и путь стандартизации
Классические кодеки не стояли на месте. Opus 1.5 (4 марта 2024 года) показал, что его модуль улучшения NoLACE делает речь при 9 кбит/с лучше, чем речь без улучшения при 12 кбит/с, при вычислительных затратах около 0,75% CPU (Xiph.Org, релиз Opus 1.5). Функция Deep Redundancy (DRED), теперь находящаяся на пути стандартизации IETF, упаковывает в каждый пакет до одной секунды резервного аудио, так что “каждый 20-миллисекундный пакет фактически передаётся 50 раз”, а в примечаниях к релизу сказано, что она “хорошо работает даже при 90% потерь” (здесь “потеря пакетов” означает отброшенные в сети пакеты данных, а не утерянные аудиофайлы).
Вывод: разрыв, измеренный в разделе 1 относительно более старых сборок Opus, сокращается со стороны классики. Opus 1.6 (15 декабря 2025 года) пошёл дальше, уменьшив модель DRED и добавив нейросетевое расширение полосы, так что речь при 9 кбит/с достигает качества Opus 1.4 в полнополосном режиме при 18 кбит/с.
| Показатель | Значение | Источник |
|---|---|---|
| Диапазон битрейта Opus, определённый стандартом | от 6 кбит/с до 510 кбит/с | IETF, RFC 6716 (2012) |
| Диапазон битрейта EVS и максимальная полоса аудио | от 5,9 до 128 кбит/с, до 20 кГц | 3GPP, пресс-релиз о кодеке EVS (2014) |
| Минимальный битрейт Opus 1.5, при котором речь “полностью пригодна” с NoLACE | 6 кбит/с | Xiph.Org, релиз Opus 1.5 (2024) |
| Сложность модулей улучшения NoLACE и LACE и нейросетевого вокодера FARGAN в Opus 1.5 | NoLACE 400 MFLOPS (около 0,75% CPU); LACE 100 MFLOPS (около 0,15% CPU); FARGAN 600 MFLOPS (1/5 от LPCNet) | Xiph.Org, релиз Opus 1.5 (2024) |
| Размер модели DRED: Opus 1.6 против Opus 1.5 | 600 кБ против 1 800 кБ | Xiph.Org, релиз Opus 1.6 (2025) |
| Расширение полосы Opus 1.6 с NoLACE при 9 кбит/с соответствует | Opus 1.4 в полнополосном режиме при 18 кбит/с | Xiph.Org, релиз Opus 1.6 (2025) |
| Битрейт избыточности DRED против обычного битрейта Opus, а также внутриполосное LBRR для сравнения | Около 1/50 (DRED) против около 2/3 (LBRR) | IETF, draft-ietf-mlcodec-opus-dred-07 (4 августа 2026 года) |
Спецификация DRED пока остаётся черновиком Internet-Draft (рабочая группа mlcodec IETF), пересмотренным 4 августа 2026 года; в примечаниях к Opus 1.5 предупреждали, что “версия, включённая в Opus 1.5, не будет совместима с окончательной версией”. Цифры EVS взяты из объявления 3GPP Release 12; самые свежие доступные данные: 3GPP, 2014 год.
Итоги: битрейт и качество нейросетевых аудиокодеков в цифрах
| Показатель | Значение | Источник |
|---|---|---|
| MUSHRA, чистая речь: EnCodec при 6 кбит/с против Opus при 6 кбит/с | 83,1 против 30,1 | Meta AI, статья об EnCodec (TMLR 2023) |
| Битрейт Opus и EVS, необходимый, чтобы сравняться с SoundStream при 3 кбит/с | Opus не менее 12 кбит/с, EVS не менее 9,6 кбит/с | Google, статья о SoundStream (arXiv 2021) |
| Диапазон битрейта Opus, определённый стандартом | от 6 до 510 кбит/с | IETF, RFC 6716 (2012) |
| Сжатие аудио 44,1 кГц кодеком DAC при 8 кбит/с | Около 90× | Descript, статья о DAC (NeurIPS 2023) |
| ViSQOL: DAC при 8 кбит/с против EnCodec при 24 кбит/с | 4,18 против 3,16 | Descript, статья о DAC (NeurIPS 2023) |
| dWER: FocalCodec при 0,65 кбит/с против 0,16 кбит/с | 2,18 против 7,94 | Della Libera et al., статья о FocalCodec (NeurIPS 2025) |
| UTMOS: FocalCodec при 0,16 кбит/с против эталона | 4,22 против 4,09 | Della Libera et al., статья о FocalCodec (NeurIPS 2025) |
| PESQ: TAAE при 400 бит/с против Mimi при 1 100 бит/с | 2,96 против 3,01 | Parker et al., статья о TAAE (ICLR 2025) |
| UTMOS: WavTokenizer при 0,9 кбит/с против DAC при 9 кбит/с | 4,0486 против 3,9097 | Ji et al., статья о WavTokenizer (ICLR 2025) |
| Точность распознавания эмоций: оригинал против EnCodec при 1,5 кбит/с | 69,84% против 58,84% | Wu et al., статья о Codec-SUPERB (arXiv 2024) |
| Параметры модели: TAAE против EnCodec | 950 млн против 14 млн | Parker et al., статья о TAAE (ICLR 2025) |
| Частота токенов и битрейт Mimi | 12,5 Гц, 1,1 кбит/с | Kyutai, статья о Moshi (arXiv 2024) |
| Диалоговая задержка Moshi на практике | 200 мс | Kyutai, статья о Moshi (arXiv 2024) |
| Ускорение синтеза речи на основе LLM от кодека с частотой 21,5 кадра в секунду | Примерно в 3 раза | NVIDIA, статья о Low Frame-rate Speech Codec (arXiv 2024) |
| Доля ошибочных слов ASR: оригинал против EnCodec при 1,5 кбит/с | 2,96% против 9,21% | Wu et al., статья о Codec-SUPERB (arXiv 2024) |
| MUSHRA: Mimi при 1,1 кбит/с против SpeechTokenizer при 4,0 кбит/с | 81,0 против 74,3 | Kyutai, статья о Moshi (arXiv 2024) |
| Opus с NoLACE при 9 кбит/с в сравнении с Opus без улучшения | Лучше, чем при 12 кбит/с | Xiph.Org, релиз Opus 1.5 (2024) |
| Размер модели DRED, Opus 1.6 против Opus 1.5 | 600 кБ против 1 800 кБ | Xiph.Org, релиз Opus 1.6 (2025) |
Методология и источники
- Google, SoundStream: An End-to-End Neural Audio Codec (arXiv 2107.03312, 2021; IEEE/ACM TASLP): соотношения битрейта в MUSHRA относительно Opus и EVS, размер кадра, экономия от энтропийного кодирования.
- Google Open Source Blog, Lyra V2 (сентябрь 2022 года): эквивалентность Opus, задержка, замеры времени на Pixel 6 Pro.
- Meta AI, High Fidelity Neural Audio Compression (EnCodec), TMLR 2023 (arXiv 2210.13438): таблицы MUSHRA, степени сжатия, коэффициенты реального времени, энтропийное кодирование.
- Meta Engineering, MLow: Meta’s low bitrate audio codec (13 июня 2024 года): сравнение POLQA с Opus, выполненное самим производителем.
- Copet et al., Simple and Controllable Music Generation (MusicGen), arXiv 2023: конфигурация токенизатора EnCodec и часы обучения.
- Descript, High-Fidelity Audio Compression with Improved RVQGAN (DAC), NeurIPS 2023: коэффициент сжатия, таблица ViSQOL, число параметров.
- Kyutai, Moshi: a speech-text foundation model for real-time dialogue (arXiv 2410.00037, 2024): спецификация кодека Mimi, MUSHRA в сравнении с семантическими токенизаторами, диалоговая задержка.
- NVIDIA, Low Frame-rate Speech Codec (arXiv 2409.12117, 2024): частота кадров, битрейт, ускорение вывода синтеза речи.
- Microsoft, VALL-E: Neural Codec Language Models are Zero-Shot Text to Speech Synthesizers (arXiv 2301.02111, 2023): часы обучения и длина образца голоса.
- Ji et al., WavTokenizer (ICLR 2025, arXiv 2408.16532): частоты токенов при едином квантователе и UTMOS.
- Parker et al., Scaling Transformers for Low-Bitrate High-Quality Speech Coding (TAAE), ICLR 2025: результаты при 400 и 700 бит/с, число параметров.
- Della Libera et al., FocalCodec (NeurIPS 2025, arXiv 2502.04465): таблица бенчмарка ниже 1 кбит/с с UTMOS, dWER и коэффициентами реального времени.
- Wu et al., Codec-SUPERB: An In-Depth Analysis of Sound Codec Models (arXiv 2402.13071, 2024): результаты прикладных задач ASR, верификации говорящего и распознавания эмоций.
- Mousavi et al., DASB: Discrete Audio and Speech Benchmark (arXiv 2406.14294, пересмотрено 21 апреля 2026 года): выводы о дискретных и непрерывных представлениях.
- Xiph.Org, Opus 1.5 release notes (4 марта 2024 года) и Opus 1.6 release notes (15 декабря 2025 года): LACE, NoLACE, DRED, FARGAN, расширение полосы.
- IETF, RFC 6716: Definition of the Opus Audio Codec (сентябрь 2012 года) и IETF, draft-ietf-mlcodec-opus-dred: диапазоны битрейта и задержки Opus, накладные расходы DRED.
- 3GPP, Enhanced Voice Services codec for LTE (Release 12, 7 ноября 2014 года): диапазон битрейта и полоса EVS.
- ITU-R BS.1534-3 (MUSHRA), октябрь 2015 года и ITU-T P.808 crowdsourced speech quality, июнь 2021 года: методики тестов прослушивания, стоящие за оценками MUSHRA и краудсорсинговыми оценками MOS.
- Наблюдение по данным: (1) MUSHRA, MOS, ViSQOL, UTMOS и PESQ не взаимозаменяемы, и оценка имеет смысл только относительно эталона и базовых уровней в том же тесте; UTMOS, в частности, может оценить кодек выше оригинала (FocalCodec 4,22 против 4,09). (2) В блоге о MLow от Meta напечатано “POLQA MOS 1,89 против 3,9” без указания, какая оценка относится к какому кодеку; контекст статьи подразумевает Opus 1,89 и MLow 3,9, а использованная версия Opus не указана. (3) В тексте Codec-SUPERB сказано, что точность распознавания эмоций у DAC при 24 кбит/с падает “на 0,38%”, но значения в таблице (с 69,84% до 69,56%) дают 0,28 пункта, а число наборов данных в статье колеблется между 20 и 21; мы приводим только значения из таблицы. (4) Настройка WavTokenizer на 40 токенов напечатана как 0,5 кбит/с в таблице и как 0,48 кбит/с в тексте. (5) На странице EnCodec в arXiv по-прежнему указано “Preprint”, тогда как запись TMLR 2023 подтверждает публикацию в журнале; Google относит SoundStream к IEEE/ACM TASLP с датой 2021 года, тогда как другие индексы указывают 2022 год. (6) Число параметров одного и того же кодека зависит от источника: у Mimi указано 80 млн в статье о TAAE, 82 млн в статье о FocalCodec и 96,2 млн в карточке модели Kyutai на Hugging Face, вероятно, в зависимости от того, какие компоненты учтены. Определения коэффициента реального времени также различаются между статьями, поэтому строки скорости из разных статей напрямую несопоставимы. (7) Большинство прямых сравнений с Opus предшествуют нейросетевым функциям Opus 1.5 и 1.6, а данные о размере рынка не включены, поскольку рыночных данных первого уровня (Tier 1) по нейросетевым кодекам найти не удалось.
- Последнее обновление: 31 октября 2026 года. Мы обновляем этот обзор ежеквартально, и следующее обновление ожидается, когда рабочая группа mlcodec IETF продвинет draft-ietf-mlcodec-opus-dred к публикации в виде RFC.