A 6 kbps, el códec neuronal EnCodec de Meta obtuvo 83,1 en la escala de escucha MUSHRA para voz limpia, mientras que Opus a los mismos 6 kbps obtuvo 30,1 y el original oculto obtuvo 95,5 (Meta AI, artículo de EnCodec, TMLR 2023). Esa brecha resume toda la historia de la codificación de audio neuronal en una fila: los mismos bits, una puntuación 53 puntos más alta (83,1 menos 30,1). SoundStream, de Google, a 3 kbps igualó una calidad que EVS necesitaba al menos 9,6 kbps y Opus al menos 12 kbps para alcanzar (Google, artículo de SoundStream 2021), y los códecs de investigación ya llevan la voz utilizable por debajo de 1 kbps, hasta 0,16 kbps (Della Libera et al., FocalCodec, NeurIPS 2025). Los códecs clásicos responden con complementos neuronales propios: Opus 1.5 dejó la voz “perfectamente utilizable hasta 6 kb/s” con un mejorador (enhancer) de 400 MFLOPS (Xiph.Org, lanzamiento de Opus 1.5 2024), algo que importa a quien ajusta la calidad de las llamadas junto con los jitter buffers y las puntuaciones POLQA. Reunimos datos de Google, Meta AI, Descript, Kyutai, Xiph.Org, la IETF, 3GPP, la ITU y benchmarks revisados por pares como Codec-SUPERB, DASB, WavTokenizer, TAAE y FocalCodec.
TL;DR
- EnCodec a 6 kbps obtuvo 83,1 MUSHRA en voz limpia vs 30,1 de Opus a 6 kbps (Meta AI, artículo de EnCodec 2023).
- SoundStream a 3 kbps igualó una calidad que requería al menos 9,6 kbps en EVS y 12 kbps en Opus (Google, artículo de SoundStream 2021).
- Lyra V2 a 3,2 kbps fue valorado a la par de Opus a 10 kbps en pruebas MUSHRA (Google Open Source Blog, Lyra V2 2022).
- El Descript Audio Codec comprime audio de 44,1 kHz unas 90x en tokens de 8 kbps (Descript, artículo de DAC, NeurIPS 2023).
- FocalCodec a 0,16 kbps alcanzó un UTMOS de 4,22 frente a 4,09 de la referencia sin comprimir (Della Libera et al., NeurIPS 2025).
- El códec TAAE entregó un PESQ de 2,96 a 400 bps, cerca del 3,01 de Mimi a 1.100 bps (Parker et al., ICLR 2025).
- VALL-E aprendió TTS zero-shot a partir de 60K horas de voz en inglés codificada como tokens de códec neuronal, y solo necesita un prompt de voz de 3 segundos (Microsoft, artículo de VALL-E 2023).
- El mejorador NoLACE de Opus 1.5 a 9 kb/s superó a Opus sin mejorador a 12 kb/s, con cerca de 0,75% de CPU (Xiph.Org, lanzamiento de Opus 1.5 2024).
- Mimi, de Kyutai, codifica voz a 12,5 Hz y 1,1 kbps, lo que permite un modelo de diálogo con una latencia práctica de 200 ms (Kyutai, artículo de Moshi 2024).
- EnCodec a 1,5 kbps más que triplicó la tasa de error de palabras del ASR, de 2,96% a 9,21% (Wu et al., Codec-SUPERB 2024).
1. Bits Necesarios para Igualar a los Códecs Clásicos en Pruebas de Escucha
El resultado principal de la primera generación de códecs neuronales no fue “mejor sonido”, sino “el mismo sonido con una fracción de los bits”. SoundStream a 3 kbps alcanzó un nivel de calidad que EVS necesitaba al menos 9,6 kbps y Opus al menos 12 kbps para igualar, lo que equivale a 3,2x y 4x los bits (9,6 / 3 = 3,2; 12 / 3 = 4) (Google, artículo de SoundStream). La ventaja se estrecha a medida que crece el presupuesto: con bitrates medios y altos, los códecs clásicos necesitaron entre 2,2x y 2,6x y luego solo entre 1,3x y 1,6x más bits.
MUSHRA, la prueba de escucha usada en la mayoría de estos artículos, está definida en la ITU-R BS.1534-3: los oyentes puntúan varias versiones codificadas de un fragmento junto con una copia oculta del original, de modo que la puntuación de un códec se interpreta mejor frente a la que obtuvo el original oculto en la misma prueba. El patrón es consistente entre fabricantes: cuanto menor el bitrate, mayor la ventaja neuronal, en parte porque Opus a 6 kbps recurre a audio de banda estrecha.
| Métrica | Valor | Fuente |
|---|---|---|
| Bitrate de Opus y EVS necesario para igualar a SoundStream a 3 kbps | Opus al menos 12 kbps, EVS al menos 9,6 kbps | Google, artículo de SoundStream (arXiv 2021) |
| Bits adicionales que EVS y Opus necesitan para igualar a SoundStream con bitrate medio (6 kbps) | Entre 2,2x y 2,6x más | Google, artículo de SoundStream (arXiv 2021) |
| Bitrate de Opus valorado a la par de Lyra V2 a 3,2, 6 y 9,2 kbps (MUSHRA) | 10, 13 y 14 kbps | Google Open Source Blog, Lyra V2 (2022) |
| MUSHRA, voz limpia: EnCodec a 6 kbps vs Opus a 6 kbps vs original oculto | 83,1 vs 30,1 vs 95,5 | Meta AI, artículo de EnCodec (TMLR 2023) |
| MUSHRA, conjunto de música 1: EnCodec a 3 kbps vs Opus a 12 kbps | 89,6 vs 77,8 | Meta AI, artículo de EnCodec (TMLR 2023) |
| POLQA MOS a 6 kbps en banda ancha, MLow vs Opus (afirmación del propio fabricante) | 3,9 vs 1,89 | Meta Engineering, blog de MLow (2024) |
Datos más recientes disponibles: SoundStream (2021), Lyra V2 (2022) y EnCodec (preprint de 2022, revista en 2023). Siguen siendo las comparaciones de referencia que citan los artículos nuevos, pero son anteriores a las mejoras neuronales de Opus 1.5 (véase la sección 7), así que los baselines de códecs clásicos son más antiguos que el libopus actual. Las cifras de MLow provienen del blog de ingeniería de Meta, que señala que Opus funciona en modo de banda estrecha (0 a 4 kHz) a 6 kbps; es una afirmación del propio fabricante sobre un códec de llamadas en producción, incluida como punto de referencia y no como medición independiente.
2. Tasas de Compresión y Dónde Deja de Mejorar la Calidad
La tasa de compresión es donde los códecs neuronales lucen más espectaculares. El Descript Audio Codec (DAC) comprime audio de 44,1 kHz unas 90x en tokens a 8 kbps con un único modelo universal para voz, música y sonido ambiental (Descript, artículo de DAC, NeurIPS 2023). En música estéreo de 48 kHz, EnCodec a 6 kbps (compresión de 256x) obtuvo 82,9 MUSHRA, la misma banda de calidad percibida que MP3 a 64 kbps (compresión de 24x, 82,7).
El hallazgo más útil para los ingenieros es la saturación. El modelo estéreo de EnCodec obtuvo 88,0 a 12 kbps y 87,5 a 24 kbps, de modo que duplicar el bitrate no aportó nada medible. Una segunda palanca es la codificación entrópica: un pequeño modelo de lenguaje sobre los tokens recorta entre 25% y 40% del ancho de banda sin cambios de calidad, a costa de velocidad.
| Métrica | Valor | Fuente |
|---|---|---|
| Compresión de audio de 44,1 kHz por DAC a 8 kbps | Unas 90x | Descript, artículo de DAC (NeurIPS 2023) |
| ViSQOL a 44 kHz: DAC a 8 kbps vs EnCodec a 24 kbps vs Opus a 24 kbps | 4,18 vs 3,16 vs 4,15 | Descript, artículo de DAC (NeurIPS 2023) |
| ViSQOL a 44 kHz: DAC a 1,78 kbps vs Opus a 8 kbps | 3,76 vs 2,06 | Descript, artículo de DAC (NeurIPS 2023) |
| MUSHRA, música estéreo de 48 kHz: EnCodec a 6 kbps (256x) vs 12 kbps vs 24 kbps vs MP3 a 64 kbps (24x) | 82,9 vs 88,0 vs 87,5 vs 82,7 | Meta AI, artículo de EnCodec (TMLR 2023) |
| Ancho de banda ahorrado por un modelo de lenguaje usado como codificador entrópico sobre los tokens de EnCodec | Entre 25% y 40% aprox. | Meta AI, artículo de EnCodec (TMLR 2023) |
| Ahorro potencial de tasa al aplicar codificación entrópica a los tokens de SoundStream | 7% a 20% | Google, artículo de SoundStream (arXiv 2021) |
ViSQOL es un modelo objetivo que predice la calidad percibida a partir de la señal; las puntuaciones MUSHRA del propio DAC solo se publican como gráficas, por lo que la tabla usa sus cifras de ViSQOL impresas. Una salvedad sobre la comparación con Opus: en el artículo de DAC, Opus a 8 kbps se codificó con solo 4 kHz de ancho de banda de audio, mientras que DAC conservó los 22,05 kHz completos, así que parte de la brecha es ancho de banda y no eficiencia.
3. La Frontera por Debajo de 1 kbps para la Voz
La generación de códecs de investigación de 2025 desplazó la disputa de “superar a Opus” a “cuántos bits mínimos pueden transportar voz inteligible y natural”. FocalCodec a 0,16 kbps obtuvo un UTMOS de 4,22 en LibriSpeech limpio, por encima del 4,09 de la referencia sin comprimir (Della Libera et al., FocalCodec, NeurIPS 2025). UTMOS es un modelo neuronal que predice la puntuación media de opinión de un oyente, así que un códec puede “superar” al original en esa métrica simplemente por producir una salida de sonido muy limpio.
La inteligibilidad cuenta la otra mitad. La misma tabla informa el dWER, la tasa de error de palabras adicional que comete un sistema de ASR sobre la voz resintetizada: la configuración de 0,16 kbps de FocalCodec llegó a 7,94, mientras que la de 0,65 kbps se mantuvo en 2,18. El sonido natural ya es barato; conservar cada palabra y la identidad del hablante todavía cuesta bits.
| Métrica | Valor | Fuente |
|---|---|---|
| UTMOS: FocalCodec a 0,16 kbps vs referencia sin comprimir (LibriSpeech limpio) | 4,22 vs 4,09 | Della Libera et al., artículo de FocalCodec (NeurIPS 2025) |
| dWER: FocalCodec a 0,65 kbps vs a 0,16 kbps | 2,18 vs 7,94 | Della Libera et al., artículo de FocalCodec (NeurIPS 2025) |
| UTMOS y dWER: BigCodec a 1,04 kbps | 4,11 y 2,55 | Della Libera et al., artículo de FocalCodec (NeurIPS 2025) |
| UTMOS y dWER: EnCodec a 1,5 kbps | 1,58 y 8,08 | Della Libera et al., artículo de FocalCodec (NeurIPS 2025) |
| PESQ: TAAE a 400 bps vs Mimi a 1.100 bps | 2,96 vs 3,01 | Parker et al., artículo de TAAE (ICLR 2025) |
| PESQ y SI-SDR: TAAE a 700 bps | 3,09 y 4,73 dB | Parker et al., artículo de TAAE (ICLR 2025) |
| UTMOS: WavTokenizer a 0,9 kbps (75 tokens por segundo) vs DAC a 9 kbps vs referencia real | 4,0486 vs 3,9097 vs 4,0562 | Ji et al., artículo de WavTokenizer (ICLR 2025) |
La comparación de TAAE merece leerse dos veces: a 400 bps alcanzó aproximadamente el PESQ de Mimi a 1.100 bps, un códec que a su vez tiene apenas unos años (Parker et al., artículo de TAAE). Tenga en cuenta que todas las cifras de esta sección se midieron sobre voz leída limpia de LibriSpeech o LibriTTS, así que conviene tratarlas como el mejor caso.
4. Latencia y Costo de Cómputo
El bitrate es solo uno de los presupuestos; un códec para llamadas en vivo o streaming también tiene un presupuesto de retardo y un presupuesto de CPU. Lyra V2 codifica y decodifica una trama de 20 ms en 0,57 ms en un Pixel 6 Pro, 35 veces más rápido que el tiempo real, con 20 ms de latencia frente a 100 ms de Lyra V1 (Google Open Source Blog, Lyra V2). Los códecs neuronales de streaming que trabajan con tramas de 20 ms caben dentro del rango de retardo que el estándar Opus ya permite para la codificación clásica (véase la tabla).
El tamaño del modelo es donde divergen las generaciones. Los códecs pensados para teléfonos siguen siendo pequeños y rápidos, mientras que los códecs de investigación por debajo de 1 kbps cambian cómputo por bits: TAAE tiene cerca de 950M de parámetros, y SemantiCodec funciona más lento que el tiempo real.
| Métrica | Valor | Fuente |
|---|---|---|
| Latencia: Lyra V2 vs Lyra V1 | 20 ms vs 100 ms | Google Open Source Blog, Lyra V2 (2022) |
| Factor de tiempo real en un hilo de CPU de un MacBook Pro 2019 a 6 kbps, codificador y decodificador (por encima de 1 = más rápido que el tiempo real): EnCodec 24 kHz vs Lyra v2 | 9,8 y 10,4 vs 27,4 y 67,2 | Meta AI, artículo de EnCodec (TMLR 2023) |
| Rango de retardo algorítmico de Opus y tamaños de trama | 5 a 65,2 ms; tramas de 2,5 a 60 ms | IETF, RFC 6716 (2012) |
| Parámetros del modelo: DAC (codificador más decodificador) | 76M (22M codificador, 54M decodificador) | Descript, artículo de DAC (NeurIPS 2023) |
| Parámetros del modelo: TAAE vs Mimi vs EnCodec | 950M vs 80M vs 14M | Parker et al., artículo de TAAE (ICLR 2025) |
| Factor de tiempo real (por encima de 1 = más rápido que el tiempo real): FocalCodec a 0,16 kbps vs BigCodec vs SemantiCodec | 208 vs 22 vs 0,62 | Della Libera et al., artículo de FocalCodec (NeurIPS 2025) |
El factor de tiempo real se informa de manera distinta entre artículos: EnCodec y FocalCodec usan “veces más rápido que el tiempo real” (más alto es mejor), por lo que los valores de distintos artículos no deben compararse fila a fila. El rango de Opus proviene de la RFC 6716 de la IETF, el estándar de 2012 que aún define el bitstream de Opus; los datos más recientes disponibles para ese baseline son la RFC de 2012, ampliada por las versiones de libopus de 2024 y 2025 que se tratan en la sección 7.
5. Tokens de Códec en Modelos de Lenguaje de Voz y Audio
Los códecs neuronales tienen ahora una segunda carrera: son los tokenizadores que permiten hablar a los modelos de lenguaje. Mimi, de Kyutai, codifica voz de 24 kHz en tokens a 12,5 Hz y 1,1 kbps, con 8 libros de códigos (codebooks) de 2.048 entradas, y el modelo de diálogo Moshi construido sobre él informa una latencia teórica de 160 ms y de 200 ms en la práctica (Kyutai, artículo de Moshi). Un modelo autorregresivo normalmente ejecuta un paso por trama de tokens, así que la tasa de tramas se traduce directamente en velocidad, un tema que tratamos desde el lado de los agentes en nuestras estadísticas de tiempo hasta el primer byte de audio.
Por eso la tasa de tramas, y no solo el bitrate, pasó a ser el objetivo de diseño. El Low Frame-rate Speech Codec de NVIDIA funciona a 21,5 tramas por segundo y 1,89 kbps y, según sus autores, hace que la inferencia de text-to-speech basada en LLM sea unas tres veces más rápida. Los productos de voz construidos sobre software de clonación de voz y TTS heredan directamente estos compromisos.
| Métrica | Valor | Fuente |
|---|---|---|
| Tasa de tokens, bitrate y frecuencia de muestreo de Mimi | 12,5 Hz, 1,1 kbps, 24 kHz | Kyutai, artículo de Moshi (arXiv 2024) |
| MUSHRA: Mimi a 1,1 kbps vs SpeechTokenizer a 4,0 kbps vs SemantiCodec a 1,3 kbps | 81,0 vs 74,3 vs 64,8 | Kyutai, artículo de Moshi (arXiv 2024) |
| Latencia de diálogo de Moshi, teórica vs en la práctica | 160 ms vs 200 ms | Kyutai, artículo de Moshi (arXiv 2024) |
| Tasa de tramas y bitrate del Low Frame-rate Speech Codec de NVIDIA | 21,5 tramas por segundo, 1,89 kbps | NVIDIA, artículo del Low Frame-rate Speech Codec (arXiv 2024) |
| Aceleración de la inferencia de text-to-speech con LLM usando ese códec de baja tasa de tramas | Unas 3x más rápida | NVIDIA, artículo del Low Frame-rate Speech Codec (arXiv 2024) |
| Tokens por segundo de audio de 24 kHz con el cuantificador único de WavTokenizer | 40 o 75 | Ji et al., artículo de WavTokenizer (ICLR 2025) |
| Datos de entrenamiento y prompt de voz de VALL-E, un modelo de TTS entrenado con códigos de códec neuronal | 60K horas de voz en inglés; prompt de 3 segundos | Microsoft, artículo de VALL-E (arXiv 2023) |
| Tokenizador de MusicGen: EnCodec a 32 kHz, libros de códigos, tasa de tokens, música de entrenamiento | 4 libros de códigos de 2.048, 50 Hz, 20K horas | Copet et al., artículo de MusicGen (arXiv 2023) |
Datos más recientes disponibles para VALL-E y MusicGen: 2023. Una salvedad sobre la fila de MUSHRA: el 81,0 de Mimi corresponde a la variante entrenada solo con pérdidas adversariales; la variante entrenada sin ellas obtuvo 58,8, de modo que la receta de entrenamiento del tokenizador mueve la calidad percibida tanto como su bitrate.
6. Qué Conservan los Códecs para las Tareas Posteriores
Las puntuaciones de escucha no dicen si un motor de transcripción, una verificación de hablante o un clasificador de emociones siguen funcionando sobre el audio decodificado. En Codec-SUPERB, EnCodec a 1,5 kbps elevó la tasa de error de palabras del ASR de 2,96% a 9,21% y la tasa de error igual (equal error rate) de la verificación de hablante de 0,86% a 13,88%, mientras que DAC a 24 kbps mantuvo la tasa de error de palabras exactamente en el 2,96% original (Wu et al., Codec-SUPERB). Esos cambios en las tasas de error importan para quien sigue las alucinaciones y tasas de error del reconocimiento de voz en pipelines comprimidos.
La identidad del hablante y la emoción son las primeras víctimas de los bitrates bajos: el contenido del habla sobrevive más que la capa paralingüística. El benchmark DASB llega a una conclusión más tajante para los tokens de códec usados como entradas de modelos: “En todos los dominios y tareas, las representaciones continuas superan a los tokens discretos”, y los bitrates medios funcionaron mejor (Mousavi et al., DASB).
| Métrica | Valor | Fuente |
|---|---|---|
| Modelos de códec y familias de modelos evaluados en Codec-SUPERB | 19 variantes de 6 familias | Wu et al., artículo de Codec-SUPERB (arXiv 2024) |
| Tasa de error de palabras del ASR: audio original vs EnCodec a 1,5 kbps | 2,96% vs 9,21% | Wu et al., artículo de Codec-SUPERB (arXiv 2024) |
| Tasa de error igual de la verificación de hablante: audio original vs EnCodec a 1,5 kbps | 0,86% vs 13,88% | Wu et al., artículo de Codec-SUPERB (arXiv 2024) |
| Precisión del reconocimiento de emociones: audio original vs EnCodec a 1,5 kbps | 69,84% vs 58,84% | Wu et al., artículo de Codec-SUPERB (arXiv 2024) |
| Tasa de error de palabras del ASR: DAC a 6 kbps vs DAC a 24 kbps | 3,26% vs 2,96% | Wu et al., artículo de Codec-SUPERB (arXiv 2024) |
| Correlación de PESQ con la puntuación global de voz | 0,97 | Wu et al., artículo de Codec-SUPERB (arXiv 2024) |
| Fórmula de bitrate de DASB para tokenizadores | log2(tamaño del vocabulario) x libros de códigos x tasa de tokens | Mousavi et al., benchmark DASB (arXiv 2024) |
Nota de contexto: la tasa de error igual (equal error rate) es el punto en el que un sistema de verificación de hablante acepta erróneamente y rechaza erróneamente a la misma tasa, de modo que un salto de 0,86% a 13,88% significa que la voz decodificada es mucho más difícil de asociar a su dueño. La correlación de PESQ en Codec-SUPERB también sugiere un atajo práctico: para la voz, la veterana métrica PESQ sigue de cerca el veredicto global del benchmark.
7. Los Códecs Clásicos Se Vuelven Neuronales: Opus, EVS y la Vía de los Estándares
Los códecs clásicos no se han quedado quietos. Opus 1.5 (4 de marzo de 2024) demostró que su mejorador NoLACE hace que la voz a 9 kb/s sea mejor que la de 12 kb/s sin mejorador, con un costo de ejecución de cerca de 0,75% de CPU (Xiph.Org, lanzamiento de Opus 1.5). Su función Deep Redundancy (DRED), ahora en la vía de estándares de la IETF, empaqueta hasta un segundo de audio de respaldo en cada paquete, de modo que “cada paquete de 20 ms se transmite efectivamente 50 veces”, y las notas de la versión dicen que “sigue funcionando bien incluso con 90% de pérdida” (aquí “pérdida de paquetes” significa paquetes de datos descartados en la red, no archivos de audio perdidos).
La conclusión: la brecha medida en la sección 1 frente a versiones anteriores de Opus se está estrechando desde el lado clásico. Opus 1.6 (15 de diciembre de 2025) fue más allá, reduciendo el modelo DRED y añadiendo extensión neuronal de ancho de banda, de modo que la voz a 9 kb/s alcanza la calidad de Opus 1.4 fullband a 18 kb/s.
| Métrica | Valor | Fuente |
|---|---|---|
| Rango de bitrate de Opus definido por el estándar | 6 kbit/s a 510 kbit/s | IETF, RFC 6716 (2012) |
| Rango de bitrate de EVS y ancho de banda máximo de audio | 5,9 a 128 kbps, hasta 20 kHz | 3GPP, comunicado de noticias del códec EVS (2014) |
| Bitrate más bajo de Opus 1.5 con el que la voz es “perfectamente utilizable” con NoLACE | 6 kb/s | Xiph.Org, lanzamiento de Opus 1.5 (2024) |
| Complejidad de los mejoradores NoLACE y LACE y del vocoder neuronal FARGAN en Opus 1.5 | NoLACE 400 MFLOPS (cerca de 0,75% de CPU); LACE 100 MFLOPS (cerca de 0,15% de CPU); FARGAN 600 MFLOPS (1/5 de LPCNet) | Xiph.Org, lanzamiento de Opus 1.5 (2024) |
| Tamaño del modelo DRED: Opus 1.6 vs Opus 1.5 | 600 kB vs 1.800 kB | Xiph.Org, lanzamiento de Opus 1.6 (2025) |
| La extensión de ancho de banda de Opus 1.6 con NoLACE a 9 kb/s equivale a | Opus 1.4 fullband a 18 kb/s | Xiph.Org, lanzamiento de Opus 1.6 (2025) |
| Bitrate de redundancia de DRED vs bitrate regular de Opus, y LBRR in-band como comparación | Cerca de 1/50 (DRED) vs cerca de 2/3 (LBRR) | IETF, draft-ietf-mlcodec-opus-dred-07 (4 de agosto de 2026) |
La especificación de DRED sigue siendo un Internet-Draft (grupo de trabajo mlcodec de la IETF), revisado el 4 de agosto de 2026; las notas de Opus 1.5 advertían que “la versión incluida en Opus 1.5 no será compatible con la versión final”. Las cifras de EVS provienen del anuncio de 3GPP Release 12; datos más recientes disponibles: 3GPP, 2014.
Resumen: Bitrate vs Calidad en Códecs de Audio Neuronales en Cifras
| Métrica | Valor | Fuente |
|---|---|---|
| MUSHRA, voz limpia: EnCodec a 6 kbps vs Opus a 6 kbps | 83,1 vs 30,1 | Meta AI, artículo de EnCodec (TMLR 2023) |
| Bitrate de Opus y EVS necesario para igualar a SoundStream a 3 kbps | Opus al menos 12 kbps, EVS al menos 9,6 kbps | Google, artículo de SoundStream (arXiv 2021) |
| Rango de bitrate de Opus definido por el estándar | 6 a 510 kbit/s | IETF, RFC 6716 (2012) |
| Compresión de DAC de audio de 44,1 kHz a 8 kbps | Unas 90x | Descript, artículo de DAC (NeurIPS 2023) |
| ViSQOL: DAC a 8 kbps vs EnCodec a 24 kbps | 4,18 vs 3,16 | Descript, artículo de DAC (NeurIPS 2023) |
| dWER: FocalCodec a 0,65 kbps vs a 0,16 kbps | 2,18 vs 7,94 | Della Libera et al., artículo de FocalCodec (NeurIPS 2025) |
| UTMOS: FocalCodec a 0,16 kbps vs referencia | 4,22 vs 4,09 | Della Libera et al., artículo de FocalCodec (NeurIPS 2025) |
| PESQ: TAAE a 400 bps vs Mimi a 1.100 bps | 2,96 vs 3,01 | Parker et al., artículo de TAAE (ICLR 2025) |
| UTMOS: WavTokenizer a 0,9 kbps vs DAC a 9 kbps | 4,0486 vs 3,9097 | Ji et al., artículo de WavTokenizer (ICLR 2025) |
| Precisión del reconocimiento de emociones: original vs EnCodec a 1,5 kbps | 69,84% vs 58,84% | Wu et al., artículo de Codec-SUPERB (arXiv 2024) |
| Parámetros del modelo: TAAE vs EnCodec | 950M vs 14M | Parker et al., artículo de TAAE (ICLR 2025) |
| Tasa de tokens y bitrate de Mimi | 12,5 Hz, 1,1 kbps | Kyutai, artículo de Moshi (arXiv 2024) |
| Latencia de diálogo de Moshi en la práctica | 200 ms | Kyutai, artículo de Moshi (arXiv 2024) |
| Aceleración del text-to-speech con LLM gracias a un códec de 21,5 tramas por segundo | Unas 3x | NVIDIA, artículo del Low Frame-rate Speech Codec (arXiv 2024) |
| Tasa de error de palabras del ASR: original vs EnCodec a 1,5 kbps | 2,96% vs 9,21% | Wu et al., artículo de Codec-SUPERB (arXiv 2024) |
| MUSHRA: Mimi a 1,1 kbps vs SpeechTokenizer a 4,0 kbps | 81,0 vs 74,3 | Kyutai, artículo de Moshi (arXiv 2024) |
| Opus con NoLACE a 9 kb/s comparado con Opus sin mejorador | Mejor que 12 kb/s | Xiph.Org, lanzamiento de Opus 1.5 (2024) |
| Tamaño del modelo DRED, Opus 1.6 vs Opus 1.5 | 600 kB vs 1.800 kB | Xiph.Org, lanzamiento de Opus 1.6 (2025) |
Metodología y Fuentes
- Google, SoundStream: An End-to-End Neural Audio Codec (arXiv 2107.03312, 2021; IEEE/ACM TASLP): razones de bitrate en MUSHRA frente a Opus y EVS, tamaño de trama, ahorros por codificación entrópica.
- Google Open Source Blog, Lyra V2 (septiembre de 2022): equivalencia con Opus, latencia, tiempos en el Pixel 6 Pro.
- Meta AI, High Fidelity Neural Audio Compression (EnCodec), TMLR 2023 (arXiv 2210.13438): tablas de MUSHRA, tasas de compresión, factores de tiempo real, codificación entrópica.
- Meta Engineering, MLow: Meta’s low bitrate audio codec (13 de junio de 2024): comparación POLQA con Opus hecha por el propio fabricante.
- Copet et al., Simple and Controllable Music Generation (MusicGen), arXiv 2023: configuración del tokenizador EnCodec y horas de entrenamiento.
- Descript, High-Fidelity Audio Compression with Improved RVQGAN (DAC), NeurIPS 2023: factor de compresión, tabla de ViSQOL, número de parámetros.
- Kyutai, Moshi: a speech-text foundation model for real-time dialogue (arXiv 2410.00037, 2024): especificación del códec Mimi, MUSHRA frente a tokenizadores semánticos, latencia de diálogo.
- NVIDIA, Low Frame-rate Speech Codec (arXiv 2409.12117, 2024): tasa de tramas, bitrate, aceleración de la inferencia de TTS.
- Microsoft, VALL-E: Neural Codec Language Models are Zero-Shot Text to Speech Synthesizers (arXiv 2301.02111, 2023): horas de entrenamiento y duración del prompt.
- Ji et al., WavTokenizer (ICLR 2025, arXiv 2408.16532): tasas de tokens con cuantificador único y UTMOS.
- Parker et al., Scaling Transformers for Low-Bitrate High-Quality Speech Coding (TAAE), ICLR 2025: resultados a 400 y 700 bps, número de parámetros.
- Della Libera et al., FocalCodec (NeurIPS 2025, arXiv 2502.04465): tabla de benchmark por debajo de 1 kbps con UTMOS, dWER y factores de tiempo real.
- Wu et al., Codec-SUPERB: An In-Depth Analysis of Sound Codec Models (arXiv 2402.13071, 2024): resultados posteriores de ASR, hablante y emoción.
- Mousavi et al., DASB: Discrete Audio and Speech Benchmark (arXiv 2406.14294, revisado el 21 de abril de 2026): hallazgos sobre representaciones discretas frente a continuas.
- Xiph.Org, Opus 1.5 release notes (4 de marzo de 2024) y Opus 1.6 release notes (15 de diciembre de 2025): LACE, NoLACE, DRED, FARGAN, extensión de ancho de banda.
- IETF, RFC 6716: Definition of the Opus Audio Codec (septiembre de 2012) y IETF, draft-ietf-mlcodec-opus-dred: rangos de bitrate y retardo de Opus, sobrecarga de DRED.
- 3GPP, Enhanced Voice Services codec for LTE (Release 12, 7 de noviembre de 2014): rango de bitrate y ancho de banda de EVS.
- ITU-R BS.1534-3 (MUSHRA), octubre de 2015 y ITU-T P.808 crowdsourced speech quality, junio de 2021: los métodos de prueba de escucha detrás de las cifras de MUSHRA y de MOS por crowdsourcing.
- Aviso sobre los datos: (1) MUSHRA, MOS, ViSQOL, UTMOS y PESQ no son intercambiables, y una puntuación solo tiene sentido frente a la referencia y los baselines de la misma prueba; UTMOS en particular puede calificar a un códec por encima del original (FocalCodec 4,22 vs 4,09). (2) El blog de MLow de Meta imprime “POLQA MOS 1,89 vs 3,9” sin indicar qué puntuación corresponde a cada códec; el contexto del artículo sugiere Opus 1,89 y MLow 3,9, y no se indica la versión de Opus utilizada. (3) El texto de Codec-SUPERB dice que la precisión de emoción de DAC a 24 kbps baja “en 0,38%”, pero los valores de su tabla (69,84% a 69,56%) dan 0,28 puntos, y el número de conjuntos de datos del artículo varía entre 20 y 21; informamos solo los valores de la tabla. (4) El ajuste de 40 tokens de WavTokenizer aparece como 0,5 kbps en su tabla y 0,48 kbps en su texto. (5) La página de EnCodec en arXiv aún dice “Preprint”, mientras que el listado de TMLR 2023 confirma la publicación en revista; Google lista SoundStream en IEEE/ACM TASLP con fecha de 2021, mientras que otros índices indican 2022. (6) El número de parámetros de un mismo códec varía según la fuente: Mimi figura con 80M en el artículo de TAAE, 82M en el de FocalCodec y 96,2M en la model card de Kyutai en Hugging Face, probablemente según los componentes que se cuenten. Las definiciones del factor de tiempo real también difieren entre artículos, por lo que las filas de velocidad de distintos artículos no son directamente comparables. (7) La mayoría de las comparaciones directas con Opus son anteriores a las funciones neuronales de Opus 1.5 y 1.6, y no se incluyen cifras de tamaño de mercado porque no se encontraron datos de mercado de Tier 1 para códecs neuronales.
- Última actualización: 31 de octubre de 2026. Actualizamos este informe trimestralmente, y la próxima revisión se espera cuando el grupo de trabajo mlcodec de la IETF avance el draft-ietf-mlcodec-opus-dred hacia su publicación como RFC.