A 6 kbps, o codec neural EnCodec, da Meta, obteve 83,1 na escala de audição MUSHRA para fala limpa, enquanto o Opus aos mesmos 6 kbps obteve 30,1 e o original oculto obteve 95,5 (Meta AI, artigo do EnCodec, TMLR 2023). Essa diferença resume toda a história da codificação de áudio neural em uma linha: os mesmos bits, uma nota 53 pontos maior (83,1 menos 30,1). O SoundStream, do Google, a 3 kbps igualou uma qualidade que o EVS precisava de pelo menos 9,6 kbps e o Opus de pelo menos 12 kbps para alcançar (Google, artigo do SoundStream 2021), e os codecs de pesquisa agora levam a fala utilizável abaixo de 1 kbps, até 0,16 kbps (Della Libera et al., FocalCodec, NeurIPS 2025). Os codecs clássicos respondem com complementos neurais próprios: o Opus 1.5 deixou a fala “perfeitamente utilizável até 6 kb/s” com um enhancer de 400 MFLOPS (Xiph.Org, lançamento do Opus 1.5 2024), o que importa para quem ajusta a qualidade de chamadas junto com jitter buffers e pontuações POLQA. Reunimos dados do Google, Meta AI, Descript, Kyutai, Xiph.Org, IETF, 3GPP, ITU e de benchmarks revisados por pares como Codec-SUPERB, DASB, WavTokenizer, TAAE e FocalCodec.
TL;DR
- O EnCodec a 6 kbps obteve 83,1 MUSHRA em fala limpa vs 30,1 do Opus a 6 kbps (Meta AI, artigo do EnCodec 2023).
- O SoundStream a 3 kbps igualou uma qualidade que exigia pelo menos 9,6 kbps no EVS e 12 kbps no Opus (Google, artigo do SoundStream 2021).
- O Lyra V2 a 3,2 kbps foi avaliado em paridade com o Opus a 10 kbps em testes MUSHRA (Google Open Source Blog, Lyra V2 2022).
- O Descript Audio Codec comprime áudio de 44,1 kHz cerca de 90x em tokens de 8 kbps (Descript, artigo do DAC, NeurIPS 2023).
- O FocalCodec a 0,16 kbps alcançou um UTMOS de 4,22 contra 4,09 da referência não comprimida (Della Libera et al., NeurIPS 2025).
- O codec TAAE entregou um PESQ de 2,96 a 400 bps, próximo dos 3,01 do Mimi a 1.100 bps (Parker et al., ICLR 2025).
- O VALL-E aprendeu TTS zero-shot a partir de 60K horas de fala em inglês codificada como tokens de codec neural, exigindo apenas um prompt de voz de 3 segundos (Microsoft, artigo do VALL-E 2023).
- O enhancer NoLACE do Opus 1.5 a 9 kb/s superou o Opus sem enhancer a 12 kb/s, com cerca de 0,75% de CPU (Xiph.Org, lançamento do Opus 1.5 2024).
- O Mimi, da Kyutai, codifica fala a 12,5 Hz e 1,1 kbps, viabilizando um modelo de diálogo com latência prática de 200 ms (Kyutai, artigo do Moshi 2024).
- O EnCodec a 1,5 kbps mais que triplicou a taxa de erro de palavras do ASR, de 2,96% para 9,21% (Wu et al., Codec-SUPERB 2024).
1. Bits Necessários para Igualar Codecs Clássicos em Testes de Audição
O resultado principal da primeira geração de codecs neurais não foi “som melhor”, foi “o mesmo som com uma fração dos bits”. O SoundStream a 3 kbps atingiu um nível de qualidade que o EVS precisava de pelo menos 9,6 kbps e o Opus de pelo menos 12 kbps para igualar, o que dá 3,2x e 4x os bits (9,6 / 3 = 3,2; 12 / 3 = 4) (Google, artigo do SoundStream). A vantagem diminui conforme o orçamento cresce: em bitrates médios e altos, os codecs clássicos precisaram de 2,2x a 2,6x e depois de apenas 1,3x a 1,6x mais bits.
O MUSHRA, o teste de audição usado na maioria desses artigos, é definido na ITU-R BS.1534-3: os ouvintes avaliam lado a lado várias versões codificadas de um trecho junto com uma cópia oculta do original, de modo que a nota de um codec deve ser lida em relação à nota do original oculto no mesmo teste. O padrão é consistente entre fornecedores: quanto menor o bitrate, maior a liderança neural, em parte porque o Opus a 6 kbps recua para áudio de banda estreita.
| Métrica | Valor | Fonte |
|---|---|---|
| Bitrate de Opus e EVS necessário para igualar o SoundStream a 3 kbps | Opus pelo menos 12 kbps, EVS pelo menos 9,6 kbps | Google, artigo do SoundStream (arXiv 2021) |
| Bits extras que EVS e Opus precisam para igualar o SoundStream em bitrate médio (6 kbps) | 2,2x a 2,6x mais | Google, artigo do SoundStream (arXiv 2021) |
| Bitrate do Opus avaliado em paridade com o Lyra V2 a 3,2, 6 e 9,2 kbps (MUSHRA) | 10, 13 e 14 kbps | Google Open Source Blog, Lyra V2 (2022) |
| MUSHRA, fala limpa: EnCodec a 6 kbps vs Opus a 6 kbps vs original oculto | 83,1 vs 30,1 vs 95,5 | Meta AI, artigo do EnCodec (TMLR 2023) |
| MUSHRA, conjunto de música 1: EnCodec a 3 kbps vs Opus a 12 kbps | 89,6 vs 77,8 | Meta AI, artigo do EnCodec (TMLR 2023) |
| POLQA MOS a 6 kbps em banda larga, MLow vs Opus (alegação do próprio fornecedor) | 3,9 vs 1,89 | Meta Engineering, blog do MLow (2024) |
Dados mais recentes disponíveis: SoundStream (2021), Lyra V2 (2022) e EnCodec (preprint de 2022, periódico em 2023). Continuam sendo as comparações de referência citadas por artigos mais novos, mas antecedem as melhorias neurais do Opus 1.5 (ver seção 7), portanto os baselines de codecs clássicos são mais antigos que o libopus de hoje. Os números do MLow vêm do blog de engenharia da Meta, que observa que o Opus opera em modo de banda estreita (0 a 4 kHz) a 6 kbps; é uma alegação do próprio fornecedor sobre um codec de chamadas em produção, incluída como ponto de referência e não como medição independente.
2. Taxas de Compressão e Onde a Qualidade Para de Melhorar
A taxa de compressão é onde os codecs neurais parecem mais dramáticos. O Descript Audio Codec (DAC) comprime áudio de 44,1 kHz cerca de 90x em tokens a 8 kbps com um único modelo universal para fala, música e sons ambientais (Descript, artigo do DAC, NeurIPS 2023). Em música estéreo de 48 kHz, o EnCodec a 6 kbps (compressão de 256x) obteve 82,9 MUSHRA, na mesma faixa de qualidade percebida do MP3 a 64 kbps (compressão de 24x, 82,7).
A descoberta mais útil para engenheiros é a saturação. O modelo estéreo do EnCodec obteve 88,0 a 12 kbps e 87,5 a 24 kbps, de modo que dobrar o bitrate não trouxe nada mensurável. Uma segunda alavanca é a codificação de entropia: um pequeno modelo de linguagem sobre os tokens corta de 25% a 40% da largura de banda sem mudança de qualidade, ao custo de velocidade.
| Métrica | Valor | Fonte |
|---|---|---|
| Compressão de áudio de 44,1 kHz pelo DAC a 8 kbps | Cerca de 90x | Descript, artigo do DAC (NeurIPS 2023) |
| ViSQOL a 44 kHz: DAC a 8 kbps vs EnCodec a 24 kbps vs Opus a 24 kbps | 4,18 vs 3,16 vs 4,15 | Descript, artigo do DAC (NeurIPS 2023) |
| ViSQOL a 44 kHz: DAC a 1,78 kbps vs Opus a 8 kbps | 3,76 vs 2,06 | Descript, artigo do DAC (NeurIPS 2023) |
| MUSHRA, música estéreo de 48 kHz: EnCodec a 6 kbps (256x) vs 12 kbps vs 24 kbps vs MP3 a 64 kbps (24x) | 82,9 vs 88,0 vs 87,5 vs 82,7 | Meta AI, artigo do EnCodec (TMLR 2023) |
| Largura de banda economizada por um modelo de linguagem usado como codificador de entropia nos tokens do EnCodec | Cerca de 25% a 40% | Meta AI, artigo do EnCodec (TMLR 2023) |
| Economia potencial de taxa com codificação de entropia dos tokens do SoundStream | 7% a 20% | Google, artigo do SoundStream (arXiv 2021) |
O ViSQOL é um modelo objetivo que prevê a qualidade percebida a partir do sinal; as notas MUSHRA do próprio DAC são publicadas apenas em gráficos, por isso a tabela usa seus números de ViSQOL impressos. Uma ressalva sobre a comparação com o Opus: no artigo do DAC, o Opus a 8 kbps foi codificado com apenas 4 kHz de largura de banda de áudio, enquanto o DAC manteve os 22,05 kHz completos, então parte da diferença é largura de banda, não eficiência.
3. A Fronteira Abaixo de 1 kbps para Fala
A geração de codecs de pesquisa de 2025 mudou a disputa de “superar o Opus” para “quão poucos bits conseguem carregar fala inteligível e natural”. O FocalCodec a 0,16 kbps obteve um UTMOS de 4,22 no LibriSpeech limpo, acima dos 4,09 da referência não comprimida (Della Libera et al., FocalCodec, NeurIPS 2025). O UTMOS é um modelo neural que prevê a nota média de opinião de um ouvinte, então um codec pode “superar” o original nele simplesmente por produzir uma saída de som muito limpo.
A inteligibilidade conta a outra metade. A mesma tabela relata o dWER, a taxa de erro de palavras adicional que um sistema de ASR comete sobre a fala ressintetizada: a configuração de 0,16 kbps do FocalCodec chegou a 7,94, enquanto a de 0,65 kbps ficou em 2,18. Som natural agora é barato; preservar cada palavra e a identidade do falante ainda custa bits.
| Métrica | Valor | Fonte |
|---|---|---|
| UTMOS: FocalCodec a 0,16 kbps vs referência não comprimida (LibriSpeech limpo) | 4,22 vs 4,09 | Della Libera et al., artigo do FocalCodec (NeurIPS 2025) |
| dWER: FocalCodec a 0,65 kbps vs a 0,16 kbps | 2,18 vs 7,94 | Della Libera et al., artigo do FocalCodec (NeurIPS 2025) |
| UTMOS e dWER: BigCodec a 1,04 kbps | 4,11 e 2,55 | Della Libera et al., artigo do FocalCodec (NeurIPS 2025) |
| UTMOS e dWER: EnCodec a 1,5 kbps | 1,58 e 8,08 | Della Libera et al., artigo do FocalCodec (NeurIPS 2025) |
| PESQ: TAAE a 400 bps vs Mimi a 1.100 bps | 2,96 vs 3,01 | Parker et al., artigo do TAAE (ICLR 2025) |
| PESQ e SI-SDR: TAAE a 700 bps | 3,09 e 4,73 dB | Parker et al., artigo do TAAE (ICLR 2025) |
| UTMOS: WavTokenizer a 0,9 kbps (75 tokens por segundo) vs DAC a 9 kbps vs referência real | 4,0486 vs 3,9097 vs 4,0562 | Ji et al., artigo do WavTokenizer (ICLR 2025) |
A comparação do TAAE merece ser lida duas vezes: a 400 bps ele alcançou aproximadamente o PESQ do Mimi a 1.100 bps, um codec que também tem apenas alguns anos (Parker et al., artigo do TAAE). Note que todos os números desta seção foram medidos em fala lida limpa do LibriSpeech ou LibriTTS, então devem ser tratados como o melhor cenário.
4. Latência e Custo de Computação
O bitrate é apenas um dos orçamentos; um codec para chamadas ao vivo ou streaming também tem um orçamento de atraso e um orçamento de CPU. O Lyra V2 codifica e decodifica um quadro de 20 ms em 0,57 ms em um Pixel 6 Pro, 35 vezes mais rápido que o tempo real, com 20 ms de latência contra 100 ms do Lyra V1 (Google Open Source Blog, Lyra V2). Codecs neurais de streaming que trabalham com quadros de 20 ms cabem na faixa de atraso que o padrão Opus já permite para a codificação clássica (ver a tabela).
O tamanho do modelo é onde as gerações divergem. Os codecs voltados a celulares permanecem pequenos e rápidos, enquanto os codecs de pesquisa abaixo de 1 kbps trocam computação por bits: o TAAE tem cerca de 950M de parâmetros, e o SemantiCodec roda mais devagar que o tempo real.
| Métrica | Valor | Fonte |
|---|---|---|
| Latência: Lyra V2 vs Lyra V1 | 20 ms vs 100 ms | Google Open Source Blog, Lyra V2 (2022) |
| Fator de tempo real em uma thread de CPU de um MacBook Pro 2019 a 6 kbps, codificador e decodificador (acima de 1 = mais rápido que o tempo real): EnCodec 24 kHz vs Lyra v2 | 9,8 e 10,4 vs 27,4 e 67,2 | Meta AI, artigo do EnCodec (TMLR 2023) |
| Faixa de atraso algorítmico do Opus e tamanhos de quadro | 5 a 65,2 ms; quadros de 2,5 a 60 ms | IETF, RFC 6716 (2012) |
| Parâmetros do modelo: DAC (codificador mais decodificador) | 76M (22M codificador, 54M decodificador) | Descript, artigo do DAC (NeurIPS 2023) |
| Parâmetros do modelo: TAAE vs Mimi vs EnCodec | 950M vs 80M vs 14M | Parker et al., artigo do TAAE (ICLR 2025) |
| Fator de tempo real (acima de 1 = mais rápido que o tempo real): FocalCodec a 0,16 kbps vs BigCodec vs SemantiCodec | 208 vs 22 vs 0,62 | Della Libera et al., artigo do FocalCodec (NeurIPS 2025) |
O fator de tempo real é relatado de formas diferentes entre os artigos: EnCodec e FocalCodec usam “vezes mais rápido que o tempo real” (maior é melhor), então valores de artigos diferentes não devem ser comparados linha a linha. A faixa do Opus vem da RFC 6716 da IETF, o padrão de 2012 que ainda define o bitstream do Opus; os dados mais recentes disponíveis para esse baseline são a RFC de 2012, ampliada pelas versões 2024 e 2025 do libopus tratadas na seção 7.
5. Tokens de Codec em Modelos de Linguagem de Fala e Áudio
Os codecs neurais agora têm uma segunda carreira: são os tokenizadores que permitem aos modelos de linguagem falar. O Mimi, da Kyutai, codifica fala de 24 kHz em tokens a 12,5 Hz e 1,1 kbps, usando 8 codebooks de 2.048 entradas, e o modelo de diálogo Moshi construído sobre ele relata latência teórica de 160 ms e de 200 ms na prática (Kyutai, artigo do Moshi). Um modelo autorregressivo geralmente executa um passo por quadro de tokens, então a taxa de quadros se traduz diretamente em velocidade, tema tratado do lado dos agentes em nossas estatísticas de tempo até o primeiro byte de áudio.
É por isso que a taxa de quadros, e não só o bitrate, virou o alvo de projeto. O Low Frame-rate Speech Codec da NVIDIA roda a 21,5 quadros por segundo e 1,89 kbps e, segundo seus autores, deixa a inferência de text-to-speech baseada em LLM cerca de três vezes mais rápida. Produtos de voz construídos sobre software de clonagem de voz e TTS herdam diretamente esses trade-offs.
| Métrica | Valor | Fonte |
|---|---|---|
| Taxa de tokens, bitrate e taxa de amostragem do Mimi | 12,5 Hz, 1,1 kbps, 24 kHz | Kyutai, artigo do Moshi (arXiv 2024) |
| MUSHRA: Mimi a 1,1 kbps vs SpeechTokenizer a 4,0 kbps vs SemantiCodec a 1,3 kbps | 81,0 vs 74,3 vs 64,8 | Kyutai, artigo do Moshi (arXiv 2024) |
| Latência de diálogo do Moshi, teórica vs na prática | 160 ms vs 200 ms | Kyutai, artigo do Moshi (arXiv 2024) |
| Taxa de quadros e bitrate do Low Frame-rate Speech Codec da NVIDIA | 21,5 quadros por segundo, 1,89 kbps | NVIDIA, artigo do Low Frame-rate Speech Codec (arXiv 2024) |
| Aceleração da inferência de text-to-speech com LLM usando esse codec de baixa taxa de quadros | Cerca de 3x mais rápido | NVIDIA, artigo do Low Frame-rate Speech Codec (arXiv 2024) |
| Tokens por segundo de áudio de 24 kHz com o quantizador único do WavTokenizer | 40 ou 75 | Ji et al., artigo do WavTokenizer (ICLR 2025) |
| Dados de treinamento e prompt de voz do VALL-E, um modelo de TTS treinado em códigos de codec neural | 60K horas de fala em inglês; prompt de 3 segundos | Microsoft, artigo do VALL-E (arXiv 2023) |
| Tokenizador do MusicGen: EnCodec a 32 kHz, codebooks, taxa de tokens, música de treinamento | 4 codebooks de 2.048, 50 Hz, 20K horas | Copet et al., artigo do MusicGen (arXiv 2023) |
Dados mais recentes disponíveis para VALL-E e MusicGen: 2023. Uma ressalva sobre a linha do MUSHRA: os 81,0 do Mimi são da variante treinada apenas com perdas adversariais; a variante treinada sem elas obteve 58,8, de modo que a receita de treinamento do tokenizador move a qualidade percebida tanto quanto seu bitrate.
6. O Que os Codecs Preservam para Tarefas Posteriores
As notas de audição não dizem se um motor de transcrição, uma verificação de locutor ou um classificador de emoções ainda funciona sobre o áudio decodificado. No Codec-SUPERB, o EnCodec a 1,5 kbps elevou a taxa de erro de palavras do ASR de 2,96% para 9,21% e a taxa de erro igual (equal error rate) da verificação de locutor de 0,86% para 13,88%, enquanto o DAC a 24 kbps manteve a taxa de erro de palavras exatamente nos 2,96% originais (Wu et al., Codec-SUPERB). Essas variações de taxa de erro importam para quem acompanha alucinação e taxas de erro em reconhecimento de fala em pipelines comprimidos.
Identidade do locutor e emoção são as primeiras vítimas dos bitrates baixos: o conteúdo da fala sobrevive por mais tempo que a camada paralinguística. O benchmark DASB chega a uma conclusão mais direta para tokens de codec usados como entradas de modelos: “Em todos os domínios e tarefas, as representações contínuas superam os tokens discretos”, e os bitrates médios funcionaram melhor (Mousavi et al., DASB).
| Métrica | Valor | Fonte |
|---|---|---|
| Modelos de codec e famílias de modelos avaliados no Codec-SUPERB | 19 variantes de 6 famílias | Wu et al., artigo do Codec-SUPERB (arXiv 2024) |
| Taxa de erro de palavras do ASR: áudio original vs EnCodec a 1,5 kbps | 2,96% vs 9,21% | Wu et al., artigo do Codec-SUPERB (arXiv 2024) |
| Taxa de erro igual da verificação de locutor: áudio original vs EnCodec a 1,5 kbps | 0,86% vs 13,88% | Wu et al., artigo do Codec-SUPERB (arXiv 2024) |
| Acurácia do reconhecimento de emoções: áudio original vs EnCodec a 1,5 kbps | 69,84% vs 58,84% | Wu et al., artigo do Codec-SUPERB (arXiv 2024) |
| Taxa de erro de palavras do ASR: DAC a 6 kbps vs DAC a 24 kbps | 3,26% vs 2,96% | Wu et al., artigo do Codec-SUPERB (arXiv 2024) |
| Correlação do PESQ com a nota geral de fala | 0,97 | Wu et al., artigo do Codec-SUPERB (arXiv 2024) |
| Fórmula de bitrate do DASB para tokenizadores | log2(tamanho do vocabulário) x codebooks x taxa de tokens | Mousavi et al., benchmark DASB (arXiv 2024) |
Nota de contexto: a taxa de erro igual (equal error rate) é o ponto em que um sistema de verificação de locutor aceita indevidamente e rejeita indevidamente na mesma proporção, de modo que um salto de 0,86% para 13,88% significa que a voz decodificada é muito mais difícil de associar ao seu dono. A correlação do PESQ no Codec-SUPERB também sugere um atalho prático: para fala, a métrica PESQ, consolidada há muito tempo, ainda acompanha de perto o veredito geral do benchmark.
7. Codecs Clássicos Ficam Neurais: Opus, EVS e a Trilha de Padronização
Os codecs clássicos não ficaram parados. O Opus 1.5 (4 de março de 2024) mostrou que seu enhancer NoLACE deixa a fala a 9 kb/s melhor que a de 12 kb/s sem enhancer, a um custo de execução de cerca de 0,75% de CPU (Xiph.Org, lançamento do Opus 1.5). Seu recurso Deep Redundancy (DRED), agora na trilha de padrões da IETF, empacota até um segundo de áudio de reserva em cada pacote, de modo que “cada pacote de 20 ms é efetivamente transmitido 50 vezes”, e as notas de lançamento dizem que ele “ainda funciona bem mesmo com 90% de perda” (aqui “perda de pacotes” significa pacotes de dados descartados na rede, não arquivos de áudio perdidos).
O resultado: a diferença medida na seção 1 contra versões mais antigas do Opus está diminuindo pelo lado clássico. O Opus 1.6 (15 de dezembro de 2025) foi além, reduzindo o modelo DRED e adicionando extensão de largura de banda neural, de modo que a fala a 9 kb/s alcança a qualidade do Opus 1.4 fullband a 18 kb/s.
| Métrica | Valor | Fonte |
|---|---|---|
| Faixa de bitrate do Opus definida pelo padrão | 6 kbit/s a 510 kbit/s | IETF, RFC 6716 (2012) |
| Faixa de bitrate do EVS e largura de banda máxima de áudio | 5,9 a 128 kbps, até 20 kHz | 3GPP, comunicado de notícias do codec EVS (2014) |
| Menor bitrate do Opus 1.5 em que a fala é “perfeitamente utilizável” com NoLACE | 6 kb/s | Xiph.Org, lançamento do Opus 1.5 (2024) |
| Complexidade dos enhancers NoLACE e LACE e do vocoder neural FARGAN no Opus 1.5 | NoLACE 400 MFLOPS (cerca de 0,75% de CPU); LACE 100 MFLOPS (cerca de 0,15% de CPU); FARGAN 600 MFLOPS (1/5 do LPCNet) | Xiph.Org, lançamento do Opus 1.5 (2024) |
| Tamanho do modelo DRED: Opus 1.6 vs Opus 1.5 | 600 kB vs 1.800 kB | Xiph.Org, lançamento do Opus 1.6 (2025) |
| A extensão de largura de banda do Opus 1.6 com NoLACE a 9 kb/s equivale a | Opus 1.4 fullband a 18 kb/s | Xiph.Org, lançamento do Opus 1.6 (2025) |
| Bitrate de redundância do DRED vs bitrate regular do Opus, e LBRR in-band para comparação | Cerca de 1/50 (DRED) vs cerca de 2/3 (LBRR) | IETF, draft-ietf-mlcodec-opus-dred-07 (4 de agosto de 2026) |
A especificação do DRED ainda é um Internet-Draft (grupo de trabalho mlcodec da IETF), revisado em 4 de agosto de 2026; as notas do Opus 1.5 avisavam que “a versão incluída no Opus 1.5 não será compatível com a versão final”. Os números do EVS vêm do anúncio do 3GPP Release 12; dados mais recentes disponíveis: 3GPP, 2014.
Resumo: Bitrate vs Qualidade em Codecs de Áudio Neurais em Números
| Métrica | Valor | Fonte |
|---|---|---|
| MUSHRA, fala limpa: EnCodec a 6 kbps vs Opus a 6 kbps | 83,1 vs 30,1 | Meta AI, artigo do EnCodec (TMLR 2023) |
| Bitrate de Opus e EVS necessário para igualar o SoundStream a 3 kbps | Opus pelo menos 12 kbps, EVS pelo menos 9,6 kbps | Google, artigo do SoundStream (arXiv 2021) |
| Faixa de bitrate do Opus definida pelo padrão | 6 a 510 kbit/s | IETF, RFC 6716 (2012) |
| Compressão do DAC para áudio de 44,1 kHz a 8 kbps | Cerca de 90x | Descript, artigo do DAC (NeurIPS 2023) |
| ViSQOL: DAC a 8 kbps vs EnCodec a 24 kbps | 4,18 vs 3,16 | Descript, artigo do DAC (NeurIPS 2023) |
| dWER: FocalCodec a 0,65 kbps vs a 0,16 kbps | 2,18 vs 7,94 | Della Libera et al., artigo do FocalCodec (NeurIPS 2025) |
| UTMOS: FocalCodec a 0,16 kbps vs referência | 4,22 vs 4,09 | Della Libera et al., artigo do FocalCodec (NeurIPS 2025) |
| PESQ: TAAE a 400 bps vs Mimi a 1.100 bps | 2,96 vs 3,01 | Parker et al., artigo do TAAE (ICLR 2025) |
| UTMOS: WavTokenizer a 0,9 kbps vs DAC a 9 kbps | 4,0486 vs 3,9097 | Ji et al., artigo do WavTokenizer (ICLR 2025) |
| Acurácia do reconhecimento de emoções: original vs EnCodec a 1,5 kbps | 69,84% vs 58,84% | Wu et al., artigo do Codec-SUPERB (arXiv 2024) |
| Parâmetros do modelo: TAAE vs EnCodec | 950M vs 14M | Parker et al., artigo do TAAE (ICLR 2025) |
| Taxa de tokens e bitrate do Mimi | 12,5 Hz, 1,1 kbps | Kyutai, artigo do Moshi (arXiv 2024) |
| Latência de diálogo do Moshi na prática | 200 ms | Kyutai, artigo do Moshi (arXiv 2024) |
| Aceleração do text-to-speech com LLM por um codec de 21,5 quadros por segundo | Cerca de 3x | NVIDIA, artigo do Low Frame-rate Speech Codec (arXiv 2024) |
| Taxa de erro de palavras do ASR: original vs EnCodec a 1,5 kbps | 2,96% vs 9,21% | Wu et al., artigo do Codec-SUPERB (arXiv 2024) |
| MUSHRA: Mimi a 1,1 kbps vs SpeechTokenizer a 4,0 kbps | 81,0 vs 74,3 | Kyutai, artigo do Moshi (arXiv 2024) |
| Opus com NoLACE a 9 kb/s comparado ao Opus sem enhancer | Melhor que 12 kb/s | Xiph.Org, lançamento do Opus 1.5 (2024) |
| Tamanho do modelo DRED, Opus 1.6 vs Opus 1.5 | 600 kB vs 1.800 kB | Xiph.Org, lançamento do Opus 1.6 (2025) |
Metodologia e Fontes
- Google, SoundStream: An End-to-End Neural Audio Codec (arXiv 2107.03312, 2021; IEEE/ACM TASLP): razões de bitrate no MUSHRA vs Opus e EVS, tamanho de quadro, economia com codificação de entropia.
- Google Open Source Blog, Lyra V2 (setembro de 2022): equivalência com o Opus, latência, tempo no Pixel 6 Pro.
- Meta AI, High Fidelity Neural Audio Compression (EnCodec), TMLR 2023 (arXiv 2210.13438): tabelas de MUSHRA, taxas de compressão, fatores de tempo real, codificação de entropia.
- Meta Engineering, MLow: Meta’s low bitrate audio codec (13 de junho de 2024): comparação POLQA com o Opus feita pelo próprio fornecedor.
- Copet et al., Simple and Controllable Music Generation (MusicGen), arXiv 2023: configuração do tokenizador EnCodec e horas de treinamento.
- Descript, High-Fidelity Audio Compression with Improved RVQGAN (DAC), NeurIPS 2023: fator de compressão, tabela de ViSQOL, contagem de parâmetros.
- Kyutai, Moshi: a speech-text foundation model for real-time dialogue (arXiv 2410.00037, 2024): especificação do codec Mimi, MUSHRA vs tokenizadores semânticos, latência de diálogo.
- NVIDIA, Low Frame-rate Speech Codec (arXiv 2409.12117, 2024): taxa de quadros, bitrate, aceleração da inferência de TTS.
- Microsoft, VALL-E: Neural Codec Language Models are Zero-Shot Text to Speech Synthesizers (arXiv 2301.02111, 2023): horas de treinamento e duração do prompt.
- Ji et al., WavTokenizer (ICLR 2025, arXiv 2408.16532): taxas de tokens com quantizador único e UTMOS.
- Parker et al., Scaling Transformers for Low-Bitrate High-Quality Speech Coding (TAAE), ICLR 2025: resultados a 400 e 700 bps, contagem de parâmetros.
- Della Libera et al., FocalCodec (NeurIPS 2025, arXiv 2502.04465): tabela de benchmark abaixo de 1 kbps com UTMOS, dWER e fatores de tempo real.
- Wu et al., Codec-SUPERB: An In-Depth Analysis of Sound Codec Models (arXiv 2402.13071, 2024): resultados posteriores de ASR, locutor e emoção.
- Mousavi et al., DASB: Discrete Audio and Speech Benchmark (arXiv 2406.14294, revisado em 21 de abril de 2026): conclusões sobre representações discretas vs contínuas.
- Xiph.Org, Opus 1.5 release notes (4 de março de 2024) e Opus 1.6 release notes (15 de dezembro de 2025): LACE, NoLACE, DRED, FARGAN, extensão de largura de banda.
- IETF, RFC 6716: Definition of the Opus Audio Codec (setembro de 2012) e IETF, draft-ietf-mlcodec-opus-dred: faixas de bitrate e atraso do Opus, overhead do DRED.
- 3GPP, Enhanced Voice Services codec for LTE (Release 12, 7 de novembro de 2014): faixa de bitrate e largura de banda do EVS.
- ITU-R BS.1534-3 (MUSHRA), outubro de 2015 e ITU-T P.808 crowdsourced speech quality, junho de 2021: os métodos de teste de audição por trás das notas MUSHRA e MOS por crowdsourcing.
- Nota sobre os dados: (1) MUSHRA, MOS, ViSQOL, UTMOS e PESQ não são intercambiáveis, e uma nota só tem significado em relação à referência e aos baselines do mesmo teste; o UTMOS em particular pode avaliar um codec acima do original (FocalCodec 4,22 vs 4,09). (2) O blog do MLow, da Meta, imprime “POLQA MOS 1,89 vs 3,9” sem indicar qual nota pertence a qual codec; o contexto do artigo sugere Opus 1,89 e MLow 3,9, e a versão do Opus usada não é informada. (3) O texto do Codec-SUPERB diz que a acurácia de emoção do DAC a 24 kbps cai “em 0,38%”, mas os valores de sua tabela (69,84% para 69,56%) dão 0,28 ponto, e a contagem de conjuntos de dados do artigo varia entre 20 e 21; reportamos apenas os valores da tabela. (4) A configuração de 40 tokens do WavTokenizer aparece como 0,5 kbps em sua tabela e 0,48 kbps em seu texto. (5) A página do EnCodec no arXiv ainda diz “Preprint”, enquanto a listagem do TMLR 2023 confirma a publicação em periódico; o Google lista o SoundStream no IEEE/ACM TASLP com data de 2021, enquanto outros índices indicam 2022. (6) A contagem de parâmetros do mesmo codec varia conforme a fonte: o Mimi aparece com 80M no artigo do TAAE, 82M no artigo do FocalCodec e 96,2M no model card da Kyutai no Hugging Face, provavelmente conforme os componentes contados. As definições de fator de tempo real também diferem entre os artigos, então as linhas de velocidade entre artigos não são diretamente comparáveis. (7) A maioria das comparações diretas com o Opus antecede os recursos neurais do Opus 1.5 e 1.6, e nenhum número de tamanho de mercado foi incluído porque não se encontraram dados de mercado de Tier 1 para codecs neurais.
- Última atualização: 31 de outubro de 2026. Atualizamos este levantamento trimestralmente, e a próxima revisão é esperada quando o grupo de trabalho mlcodec da IETF avançar o draft-ietf-mlcodec-opus-dred rumo à publicação como RFC.