À 6 kbps, le codec neuronal EnCodec de Meta a obtenu 83,1 sur l’échelle d’écoute MUSHRA pour la parole propre, alors qu’Opus au même débit de 6 kbps a obtenu 30,1 et que l’original caché a obtenu 95,5 (Meta AI, article EnCodec, TMLR 2023). Cet écart résume à lui seul le codage audio neuronal : les mêmes bits, un score supérieur de 53 points (83,1 moins 30,1). SoundStream de Google à 3 kbps égalait une qualité pour laquelle EVS avait besoin d’au moins 9,6 kbps et Opus d’au moins 12 kbps (Google, article SoundStream 2021), et les codecs de recherche permettent désormais une parole exploitable sous 1 kbps, jusqu’à 0,16 kbps (Della Libera et al., FocalCodec, NeurIPS 2025). Les codecs classiques répondent avec leurs propres ajouts neuronaux : Opus 1.5 a rendu la parole « parfaitement utilisable jusqu’à 6 kb/s » grâce à un module d’amélioration de 400 MFLOPS (Xiph.Org, version Opus 1.5 2024), ce qui compte pour quiconque règle la qualité d’appel en parallèle des tampons de gigue et des scores POLQA. Nous avons agrégé des données de Google, Meta AI, Descript, Kyutai, Xiph.Org, l’IETF, le 3GPP, l’UIT et des benchmarks évalués par les pairs tels que Codec-SUPERB, DASB, WavTokenizer, TAAE et FocalCodec.
TL;DR
- EnCodec à 6 kbps a obtenu 83,1 MUSHRA sur la parole propre contre 30,1 pour Opus à 6 kbps (Meta AI, article EnCodec 2023).
- SoundStream à 3 kbps égalait une qualité qui exigeait au moins 9,6 kbps pour EVS et 12 kbps pour Opus (Google, article SoundStream 2021).
- Lyra V2 à 3,2 kbps a été jugé équivalent à Opus à 10 kbps dans des tests MUSHRA (Google Open Source Blog, Lyra V2 2022).
- Le Descript Audio Codec compresse l’audio 44,1 kHz environ 90 fois en jetons de 8 kbps (Descript, article DAC, NeurIPS 2023).
- FocalCodec à 0,16 kbps a atteint un UTMOS de 4,22, contre 4,09 pour la référence non compressée (Della Libera et al., NeurIPS 2025).
- Le codec TAAE a produit un PESQ de 2,96 à 400 bps, proche des 3,01 de Mimi à 1 100 bps (Parker et al., ICLR 2025).
- VALL-E a appris la synthèse vocale zero-shot à partir de 60K heures de parole anglaise codée en jetons de codec neuronal, avec seulement 3 secondes de voix comme invite (Microsoft, article VALL-E 2023).
- Le module d’amélioration NoLACE d’Opus 1.5 à 9 kb/s a surpassé Opus non amélioré à 12 kb/s, pour environ 0,75% de CPU (Xiph.Org, version Opus 1.5 2024).
- Mimi de Kyutai code la parole à 12,5 Hz et 1,1 kbps, ce qui permet un modèle de dialogue avec une latence pratique de 200 ms (Kyutai, article Moshi 2024).
- EnCodec à 1,5 kbps a plus que triplé le taux d’erreur sur les mots de l’ASR, de 2,96% à 9,21% (Wu et al., Codec-SUPERB 2024).
1. Bits nécessaires pour égaler les codecs classiques dans les tests d’écoute
Le résultat phare de la première génération de codecs neuronaux n’était pas un « meilleur son », mais « le même son pour une fraction des bits ». SoundStream à 3 kbps a atteint un niveau de qualité qu’EVS devait atteindre avec au moins 9,6 kbps et Opus avec au moins 12 kbps, ce qui revient à 3,2 et 4 fois plus de bits (9,6 / 3 = 3,2 ; 12 / 3 = 4) (Google, article SoundStream). L’avantage se réduit à mesure que le budget augmente : à débit moyen et élevé, les codecs classiques avaient besoin de 2,2 à 2,6 fois, puis seulement de 1,3 à 1,6 fois plus de bits.
MUSHRA, le test d’écoute utilisé dans la plupart de ces articles, est défini dans l’UIT-R BS.1534-3 : des auditeurs notent côte à côte plusieurs versions codées d’un extrait avec une copie cachée de l’original, si bien que le score d’un codec se lit au mieux par rapport à celui de l’original caché dans le même test. Le schéma est constant d’un fournisseur à l’autre : plus le débit est bas, plus l’avance du neuronal est grande, en partie parce qu’Opus à 6 kbps retombe en bande étroite.
| Métrique | Valeur | Source |
|---|---|---|
| Débit d’Opus et d’EVS nécessaire pour égaler SoundStream à 3 kbps | Opus au moins 12 kbps, EVS au moins 9,6 kbps | Google, article SoundStream (arXiv 2021) |
| Bits supplémentaires dont EVS et Opus ont besoin pour égaler SoundStream à débit moyen (6 kbps) | 2,2 à 2,6 fois plus | Google, article SoundStream (arXiv 2021) |
| Débit d’Opus jugé équivalent à Lyra V2 à 3,2, 6 et 9,2 kbps (MUSHRA) | 10, 13 et 14 kbps | Google Open Source Blog, Lyra V2 (2022) |
| MUSHRA, parole propre : EnCodec à 6 kbps, Opus à 6 kbps et original caché | 83,1, 30,1 et 95,5 | Meta AI, article EnCodec (TMLR 2023) |
| MUSHRA, jeu de musique 1 : EnCodec à 3 kbps et Opus à 12 kbps | 89,6 et 77,8 | Meta AI, article EnCodec (TMLR 2023) |
| POLQA MOS à 6 kbps large bande, MLow et Opus (affirmation du fournisseur lui-même) | 3,9 et 1,89 | Meta Engineering, blog MLow (2024) |
Données les plus récentes disponibles : SoundStream (2021), Lyra V2 (2022) et EnCodec (préimpression 2022, publication en revue 2023). Ce sont toujours les comparaisons de référence citées par les articles plus récents, mais elles précèdent les améliorations neuronales d’Opus 1.5 (voir la section 7) ; les références de codecs classiques sont donc plus anciennes que le libopus actuel. Les chiffres de MLow viennent du blog d’ingénierie de Meta, qui note qu’Opus fonctionne en mode bande étroite (0 à 4 kHz) à 6 kbps ; il s’agit d’une affirmation du fournisseur, issue d’un codec d’appel en production, incluse comme point de repère et non comme mesure indépendante.
2. Taux de compression et point où la qualité cesse de progresser
Le taux de compression est l’endroit où les codecs neuronaux paraissent les plus spectaculaires. Le Descript Audio Codec (DAC) compresse l’audio 44,1 kHz environ 90 fois en jetons à 8 kbps, avec un seul modèle universel pour la parole, la musique et les sons d’environnement (Descript, article DAC, NeurIPS 2023). Sur de la musique stéréo 48 kHz, EnCodec à 6 kbps (une compression de 256 fois) a obtenu 82,9 MUSHRA, soit la même bande de qualité perçue que le MP3 à 64 kbps (compression de 24 fois, 82,7).
La conclusion la plus utile pour les ingénieurs est la saturation. Le modèle stéréo d’EnCodec a obtenu 88,0 à 12 kbps et 87,5 à 24 kbps : doubler le débit n’a rien apporté de mesurable. Un second levier est le codage entropique : un petit modèle de langage appliqué aux jetons réduit de 25% à 40% la bande passante sans changement de qualité, au prix de la vitesse.
| Métrique | Valeur | Source |
|---|---|---|
| Compression de l’audio 44,1 kHz par DAC à 8 kbps | Environ 90 fois | Descript, article DAC (NeurIPS 2023) |
| ViSQOL à 44 kHz : DAC à 8 kbps, EnCodec à 24 kbps et Opus à 24 kbps | 4,18, 3,16 et 4,15 | Descript, article DAC (NeurIPS 2023) |
| ViSQOL à 44 kHz : DAC à 1,78 kbps et Opus à 8 kbps | 3,76 et 2,06 | Descript, article DAC (NeurIPS 2023) |
| MUSHRA, musique stéréo 48 kHz : EnCodec à 6 kbps (256 fois), à 12 kbps, à 24 kbps et MP3 à 64 kbps (24 fois) | 82,9, 88,0, 87,5 et 82,7 | Meta AI, article EnCodec (TMLR 2023) |
| Bande passante économisée par un modèle de langage utilisé comme codeur entropique sur les jetons d’EnCodec | Environ 25% à 40% | Meta AI, article EnCodec (TMLR 2023) |
| Économie de débit potentielle du codage entropique des jetons de SoundStream | 7% à 20% | Google, article SoundStream (arXiv 2021) |
ViSQOL est un modèle objectif qui prédit la qualité perçue à partir du signal ; les scores MUSHRA propres à DAC ne sont publiés que sous forme de graphiques, c’est pourquoi le tableau reprend ses chiffres ViSQOL imprimés. Une réserve sur la comparaison avec Opus : dans l’article DAC, Opus à 8 kbps a été codé avec seulement 4 kHz de bande passante audio, alors que DAC a conservé les 22,05 kHz complets ; une partie de l’écart tient donc à la bande passante et non à l’efficacité.
3. La frontière sous 1 kbps pour la parole
La génération 2025 de codecs de recherche a déplacé le combat de « battre Opus » vers « combien de bits faut-il pour transporter une parole intelligible et naturelle ». FocalCodec à 0,16 kbps a obtenu un UTMOS de 4,22 sur LibriSpeech propre, au-dessus des 4,09 de la référence non compressée (Della Libera et al., FocalCodec, NeurIPS 2025). UTMOS est un modèle neuronal qui prédit la note moyenne d’opinion (MOS) d’un auditeur ; un codec peut donc « battre » l’original sur cette échelle simplement en produisant un rendu au son très propre.
L’intelligibilité raconte l’autre moitié. Le même tableau rapporte le dWER, le taux d’erreur sur les mots supplémentaire qu’un système d’ASR commet sur la parole resynthétisée : le réglage à 0,16 kbps de FocalCodec a atteint 7,94, tandis que celui à 0,65 kbps est resté à 2,18. Un son naturel est désormais bon marché ; conserver chaque mot et l’identité du locuteur coûte encore des bits.
| Métrique | Valeur | Source |
|---|---|---|
| UTMOS : FocalCodec à 0,16 kbps et référence non compressée (LibriSpeech propre) | 4,22 et 4,09 | Della Libera et al., article FocalCodec (NeurIPS 2025) |
| dWER : FocalCodec à 0,65 kbps et à 0,16 kbps | 2,18 et 7,94 | Della Libera et al., article FocalCodec (NeurIPS 2025) |
| UTMOS et dWER : BigCodec à 1,04 kbps | 4,11 et 2,55 | Della Libera et al., article FocalCodec (NeurIPS 2025) |
| UTMOS et dWER : EnCodec à 1,5 kbps | 1,58 et 8,08 | Della Libera et al., article FocalCodec (NeurIPS 2025) |
| PESQ : TAAE à 400 bps et Mimi à 1 100 bps | 2,96 et 3,01 | Parker et al., article TAAE (ICLR 2025) |
| PESQ et SI-SDR : TAAE à 700 bps | 3,09 et 4,73 dB | Parker et al., article TAAE (ICLR 2025) |
| UTMOS : WavTokenizer à 0,9 kbps (75 jetons par seconde), DAC à 9 kbps et référence réelle (ground truth) | 4,0486, 3,9097 et 4,0562 | Ji et al., article WavTokenizer (ICLR 2025) |
La comparaison TAAE mérite une double lecture : à 400 bps, il a atteint à peu près le PESQ de Mimi à 1 100 bps, un codec qui n’a lui-même que quelques années (Parker et al., article TAAE). Notez que chaque chiffre de cette section est mesuré sur de la parole lue propre de LibriSpeech ou LibriTTS : considérez-le comme un meilleur cas.
4. Latence et coût de calcul
Le débit n’est qu’un budget parmi d’autres ; un codec destiné aux appels en direct ou au streaming a aussi un budget de délai et un budget de CPU. Lyra V2 encode et décode une trame de 20 ms en 0,57 ms sur un Pixel 6 Pro, soit 35 fois plus vite que le temps réel, avec 20 ms de latence contre 100 ms pour Lyra V1 (Google Open Source Blog, Lyra V2). Les codecs neuronaux en flux continu qui travaillent par trames de 20 ms tiennent dans la plage de délai que la norme Opus autorise déjà pour le codage classique (voir le tableau).
La taille du modèle est le point où les générations divergent. Les codecs destinés aux téléphones restent petits et rapides, tandis que les codecs de recherche sous 1 kbps échangent du calcul contre des bits : TAAE compte environ 950M de paramètres, et SemantiCodec tourne plus lentement que le temps réel.
| Métrique | Valeur | Source |
|---|---|---|
| Latence : Lyra V2 et Lyra V1 | 20 ms et 100 ms | Google Open Source Blog, Lyra V2 (2022) |
| Facteur temps réel sur un thread CPU de MacBook Pro 2019 à 6 kbps, encodeur et décodeur (au-dessus de 1 = plus rapide que le temps réel) : EnCodec 24 kHz et Lyra v2 | 9,8 et 10,4 ; 27,4 et 67,2 | Meta AI, article EnCodec (TMLR 2023) |
| Plage du délai algorithmique d’Opus et tailles de trame | 5 à 65,2 ms ; trames de 2,5 à 60 ms | IETF, RFC 6716 (2012) |
| Paramètres du modèle : DAC (encodeur plus décodeur) | 76M (22M encodeur, 54M décodeur) | Descript, article DAC (NeurIPS 2023) |
| Paramètres du modèle : TAAE, Mimi et EnCodec | 950M, 80M et 14M | Parker et al., article TAAE (ICLR 2025) |
| Facteur temps réel (au-dessus de 1 = plus rapide que le temps réel) : FocalCodec à 0,16 kbps, BigCodec et SemantiCodec | 208, 22 et 0,62 | Della Libera et al., article FocalCodec (NeurIPS 2025) |
Le facteur temps réel est rapporté différemment selon les articles : EnCodec et FocalCodec utilisent « combien de fois plus rapide que le temps réel » (plus c’est élevé, mieux c’est), si bien que les valeurs d’articles différents ne doivent pas être comparées ligne à ligne. La plage d’Opus provient de la RFC 6716 de l’IETF, la norme de 2012 qui définit toujours le flux binaire d’Opus ; les données les plus récentes disponibles pour cette référence sont la RFC de 2012, complétée par les versions 2024 et 2025 de libopus traitées en section 7.
5. Jetons de codec dans les modèles de langage vocaux et audio
Les codecs neuronaux ont désormais une seconde carrière : ce sont les tokeniseurs qui permettent aux modèles de langage de parler. Mimi de Kyutai code la parole 24 kHz en jetons à 12,5 Hz et 1,1 kbps, avec 8 dictionnaires de codes de 2 048 entrées, et le modèle de dialogue Moshi construit dessus rapporte une latence théorique de 160 ms et de 200 ms en pratique (Kyutai, article Moshi). Un modèle autorégressif exécute généralement une étape par trame de jetons ; la fréquence de trames se traduit donc directement en vitesse, un thème traité du côté des agents dans nos statistiques de délai avant le premier octet audio.
C’est pourquoi la fréquence de trames, et pas seulement le débit, est devenue la cible de conception. Le Low Frame-rate Speech Codec de NVIDIA fonctionne à 21,5 trames par seconde et 1,89 kbps et, selon ses auteurs, rend l’inférence de synthèse vocale par LLM environ trois fois plus rapide. Les produits vocaux construits sur des logiciels de clonage vocal et de la synthèse vocale héritent directement de ces compromis.
| Métrique | Valeur | Source |
|---|---|---|
| Fréquence de jetons, débit et fréquence d’échantillonnage audio de Mimi | 12,5 Hz, 1,1 kbps, 24 kHz | Kyutai, article Moshi (arXiv 2024) |
| MUSHRA : Mimi à 1,1 kbps, SpeechTokenizer à 4,0 kbps et SemantiCodec à 1,3 kbps | 81,0, 74,3 et 64,8 | Kyutai, article Moshi (arXiv 2024) |
| Latence de dialogue de Moshi, théorique et en pratique | 160 ms et 200 ms | Kyutai, article Moshi (arXiv 2024) |
| Fréquence de trames et débit du Low Frame-rate Speech Codec de NVIDIA | 21,5 trames par seconde, 1,89 kbps | NVIDIA, article Low Frame-rate Speech Codec (arXiv 2024) |
| Accélération de l’inférence de synthèse vocale par LLM avec ce codec à basse fréquence de trames | Environ 3 fois plus rapide | NVIDIA, article Low Frame-rate Speech Codec (arXiv 2024) |
| Jetons par seconde d’audio 24 kHz avec le quantificateur unique de WavTokenizer | 40 ou 75 | Ji et al., article WavTokenizer (ICLR 2025) |
| Données d’entraînement et invite vocale de VALL-E, un modèle de synthèse vocale entraîné sur des codes de codec neuronal | 60K heures de parole anglaise ; invite de 3 secondes | Microsoft, article VALL-E (arXiv 2023) |
| Tokeniseur de MusicGen : EnCodec à 32 kHz, dictionnaires de codes, fréquence de jetons, musique d’entraînement | 4 dictionnaires de 2 048, 50 Hz, 20K heures | Copet et al., article MusicGen (arXiv 2023) |
Données les plus récentes disponibles pour VALL-E et MusicGen : 2023. Une réserve pour la ligne MUSHRA : les 81,0 de Mimi correspondent à la variante entraînée uniquement avec des pertes adversariales ; la variante entraînée sans elles a obtenu 58,8, si bien que la recette d’entraînement du tokeniseur fait autant bouger la qualité perçue que son débit.
6. Ce que les codecs préservent pour les tâches en aval
Les scores d’écoute ne disent pas si un moteur de transcription, une vérification du locuteur ou un classifieur d’émotions fonctionne encore sur l’audio décodé. Dans Codec-SUPERB, EnCodec à 1,5 kbps a fait passer le taux d’erreur sur les mots de l’ASR de 2,96% à 9,21% et le taux d’égale erreur de la vérification du locuteur de 0,86% à 13,88%, tandis que DAC à 24 kbps a maintenu le taux d’erreur sur les mots exactement au niveau d’origine, 2,96% (Wu et al., Codec-SUPERB). Ces variations de taux d’erreur comptent pour quiconque suit les hallucinations et taux d’erreur de la reconnaissance vocale dans des chaînes compressées.
L’identité du locuteur et l’émotion sont les premières victimes des bas débits : le contenu de la parole survit plus longtemps que la couche paralinguistique. Le benchmark DASB aboutit à une conclusion plus tranchée pour les jetons de codec utilisés comme entrées de modèle : « Dans tous les domaines et toutes les tâches, les représentations continues surpassent les jetons discrets », et les débits moyens ont donné les meilleurs résultats (Mousavi et al., DASB).
| Métrique | Valeur | Source |
|---|---|---|
| Modèles de codec et familles de modèles évalués dans Codec-SUPERB | 19 variantes issues de 6 familles | Wu et al., article Codec-SUPERB (arXiv 2024) |
| Taux d’erreur sur les mots de l’ASR : audio d’origine et EnCodec à 1,5 kbps | 2,96% et 9,21% | Wu et al., article Codec-SUPERB (arXiv 2024) |
| Taux d’égale erreur de la vérification du locuteur : audio d’origine et EnCodec à 1,5 kbps | 0,86% et 13,88% | Wu et al., article Codec-SUPERB (arXiv 2024) |
| Précision de la reconnaissance des émotions : audio d’origine et EnCodec à 1,5 kbps | 69,84% et 58,84% | Wu et al., article Codec-SUPERB (arXiv 2024) |
| Taux d’erreur sur les mots de l’ASR : DAC à 6 kbps et DAC à 24 kbps | 3,26% et 2,96% | Wu et al., article Codec-SUPERB (arXiv 2024) |
| Corrélation du PESQ avec le score vocal global | 0,97 | Wu et al., article Codec-SUPERB (arXiv 2024) |
| Formule de débit DASB pour les tokeniseurs | log2(taille du vocabulaire) x dictionnaires de codes x fréquence de jetons | Mousavi et al., benchmark DASB (arXiv 2024) |
Note de contexte : le taux d’égale erreur est le point auquel un système de vérification du locuteur accepte à tort et rejette à tort au même taux ; un saut de 0,86% à 13,88% signifie donc que la voix décodée est bien plus difficile à rattacher à son propriétaire. La corrélation du PESQ dans Codec-SUPERB suggère aussi un raccourci pratique : pour la parole, la métrique PESQ, établie de longue date, suit encore de près le verdict global du benchmark.
7. Les codecs classiques passent au neuronal : Opus, EVS et la voie de la normalisation
Les codecs classiques n’ont pas fait du surplace. Opus 1.5 (4 mars 2024) a montré que son module d’amélioration NoLACE rend la parole à 9 kb/s meilleure que celle non améliorée à 12 kb/s, pour un coût d’exécution d’environ 0,75% de CPU (Xiph.Org, version Opus 1.5). Sa fonction Deep Redundancy (DRED), désormais sur la voie de normalisation de l’IETF, place jusqu’à une seconde d’audio de secours dans chaque paquet, de sorte que « chaque paquet de 20 ms est en pratique transmis 50 fois », et les notes de version indiquent qu’elle « fonctionne encore bien même avec 90% de perte » (ici, « perte de paquets » désigne des paquets de données abandonnés sur le réseau, et non des fichiers audio perdus).
Conséquence : l’écart mesuré en section 1 face aux anciennes versions d’Opus se resserre du côté classique. Opus 1.6 (15 décembre 2025) est allé plus loin, en réduisant le modèle DRED et en ajoutant une extension de bande passante neuronale, de sorte que la parole à 9 kb/s atteint la qualité d’Opus 1.4 en bande complète à 18 kb/s.
| Métrique | Valeur | Source |
|---|---|---|
| Plage de débit d’Opus définie par la norme | 6 kbit/s à 510 kbit/s | IETF, RFC 6716 (2012) |
| Plage de débit d’EVS et bande passante audio maximale | 5,9 à 128 kbps, jusqu’à 20 kHz | 3GPP, communiqué sur le codec EVS (2014) |
| Débit le plus bas d’Opus 1.5 auquel la parole est « parfaitement utilisable » avec NoLACE | 6 kb/s | Xiph.Org, version Opus 1.5 (2024) |
| Complexité des modules d’amélioration NoLACE et LACE et du vocodeur neuronal FARGAN dans Opus 1.5 | NoLACE 400 MFLOPS (environ 0,75% de CPU) ; LACE 100 MFLOPS (environ 0,15% de CPU) ; FARGAN 600 MFLOPS (1/5 de LPCNet) | Xiph.Org, version Opus 1.5 (2024) |
| Taille du modèle DRED : Opus 1.6 et Opus 1.5 | 600 kB et 1 800 kB | Xiph.Org, version Opus 1.6 (2025) |
| L’extension de bande passante d’Opus 1.6 avec NoLACE à 9 kb/s égale | Opus 1.4 en bande complète à 18 kb/s | Xiph.Org, version Opus 1.6 (2025) |
| Débit de redondance DRED par rapport au débit Opus normal, et LBRR intrabande pour comparaison | Environ 1/50 (DRED) et environ 2/3 (LBRR) | IETF, draft-ietf-mlcodec-opus-dred-07 (4 août 2026) |
La spécification DRED est toujours un Internet-Draft (groupe de travail mlcodec de l’IETF), révisé le 4 août 2026 ; les notes d’Opus 1.5 avertissaient que « la version incluse dans Opus 1.5 ne sera pas compatible avec la version finale ». Les chiffres d’EVS proviennent de l’annonce de la version 12 du 3GPP ; données les plus récentes disponibles : 3GPP, 2014.
Résumé : débit et qualité des codecs audio neuronaux en chiffres
| Métrique | Valeur | Source |
|---|---|---|
| MUSHRA, parole propre : EnCodec à 6 kbps et Opus à 6 kbps | 83,1 et 30,1 | Meta AI, article EnCodec (TMLR 2023) |
| Débit d’Opus et d’EVS nécessaire pour égaler SoundStream à 3 kbps | Opus au moins 12 kbps, EVS au moins 9,6 kbps | Google, article SoundStream (arXiv 2021) |
| Plage de débit d’Opus définie par la norme | 6 à 510 kbit/s | IETF, RFC 6716 (2012) |
| Compression de l’audio 44,1 kHz par DAC à 8 kbps | Environ 90 fois | Descript, article DAC (NeurIPS 2023) |
| ViSQOL : DAC à 8 kbps et EnCodec à 24 kbps | 4,18 et 3,16 | Descript, article DAC (NeurIPS 2023) |
| dWER : FocalCodec à 0,65 kbps et à 0,16 kbps | 2,18 et 7,94 | Della Libera et al., article FocalCodec (NeurIPS 2025) |
| UTMOS : FocalCodec à 0,16 kbps et référence | 4,22 et 4,09 | Della Libera et al., article FocalCodec (NeurIPS 2025) |
| PESQ : TAAE à 400 bps et Mimi à 1 100 bps | 2,96 et 3,01 | Parker et al., article TAAE (ICLR 2025) |
| UTMOS : WavTokenizer à 0,9 kbps et DAC à 9 kbps | 4,0486 et 3,9097 | Ji et al., article WavTokenizer (ICLR 2025) |
| Précision de la reconnaissance des émotions : original et EnCodec à 1,5 kbps | 69,84% et 58,84% | Wu et al., article Codec-SUPERB (arXiv 2024) |
| Paramètres du modèle : TAAE et EnCodec | 950M et 14M | Parker et al., article TAAE (ICLR 2025) |
| Fréquence de jetons et débit de Mimi | 12,5 Hz, 1,1 kbps | Kyutai, article Moshi (arXiv 2024) |
| Latence de dialogue de Moshi en pratique | 200 ms | Kyutai, article Moshi (arXiv 2024) |
| Accélération de la synthèse vocale par LLM grâce à un codec à 21,5 trames par seconde | Environ 3 fois | NVIDIA, article Low Frame-rate Speech Codec (arXiv 2024) |
| Taux d’erreur sur les mots de l’ASR : original et EnCodec à 1,5 kbps | 2,96% et 9,21% | Wu et al., article Codec-SUPERB (arXiv 2024) |
| MUSHRA : Mimi à 1,1 kbps et SpeechTokenizer à 4,0 kbps | 81,0 et 74,3 | Kyutai, article Moshi (arXiv 2024) |
| Opus amélioré par NoLACE à 9 kb/s comparé à Opus non amélioré | Meilleur que 12 kb/s | Xiph.Org, version Opus 1.5 (2024) |
| Taille du modèle DRED, Opus 1.6 et Opus 1.5 | 600 kB et 1 800 kB | Xiph.Org, version Opus 1.6 (2025) |
Méthodologie et sources
- Google, SoundStream: An End-to-End Neural Audio Codec (arXiv 2107.03312, 2021; IEEE/ACM TASLP) : rapports de débit MUSHRA face à Opus et EVS, taille de trame, économies du codage entropique.
- Google Open Source Blog, Lyra V2 (septembre 2022) : équivalence avec Opus, latence, mesure du temps sur Pixel 6 Pro.
- Meta AI, High Fidelity Neural Audio Compression (EnCodec), TMLR 2023 (arXiv 2210.13438) : tableaux MUSHRA, taux de compression, facteurs temps réel, codage entropique.
- Meta Engineering, MLow: Meta’s low bitrate audio codec (13 juin 2024) : comparaison POLQA du fournisseur lui-même avec Opus.
- Copet et al., Simple and Controllable Music Generation (MusicGen), arXiv 2023 : configuration du tokeniseur EnCodec et heures d’entraînement.
- Descript, High-Fidelity Audio Compression with Improved RVQGAN (DAC), NeurIPS 2023 : facteur de compression, tableau ViSQOL, nombre de paramètres.
- Kyutai, Moshi: a speech-text foundation model for real-time dialogue (arXiv 2410.00037, 2024) : spécification du codec Mimi, MUSHRA face aux tokeniseurs sémantiques, latence de dialogue.
- NVIDIA, Low Frame-rate Speech Codec (arXiv 2409.12117, 2024) : fréquence de trames, débit, accélération de l’inférence de synthèse vocale.
- Microsoft, VALL-E: Neural Codec Language Models are Zero-Shot Text to Speech Synthesizers (arXiv 2301.02111, 2023) : heures d’entraînement et durée de l’invite.
- Ji et al., WavTokenizer (ICLR 2025, arXiv 2408.16532) : fréquences de jetons à quantificateur unique et UTMOS.
- Parker et al., Scaling Transformers for Low-Bitrate High-Quality Speech Coding (TAAE), ICLR 2025 : résultats à 400 et 700 bps, nombres de paramètres.
- Della Libera et al., FocalCodec (NeurIPS 2025, arXiv 2502.04465) : tableau de benchmark sous 1 kbps avec UTMOS, dWER et facteurs temps réel.
- Wu et al., Codec-SUPERB: An In-Depth Analysis of Sound Codec Models (arXiv 2402.13071, 2024) : résultats en aval pour l’ASR, le locuteur et l’émotion.
- Mousavi et al., DASB: Discrete Audio and Speech Benchmark (arXiv 2406.14294, révisé le 21 avril 2026) : conclusions sur les représentations discrètes et continues.
- Xiph.Org, notes de version d’Opus 1.5 (4 mars 2024) et notes de version d’Opus 1.6 (15 décembre 2025) : LACE, NoLACE, DRED, FARGAN, extension de bande passante.
- IETF, RFC 6716: Definition of the Opus Audio Codec (septembre 2012) et IETF, draft-ietf-mlcodec-opus-dred : plages de débit et de délai d’Opus, surcoût de DRED.
- 3GPP, Enhanced Voice Services codec for LTE (version 12, 7 novembre 2014) : plage de débit et bande passante d’EVS.
- ITU-R BS.1534-3 (MUSHRA), octobre 2015 et ITU-T P.808 crowdsourced speech quality, juin 2021 : méthodes de test d’écoute derrière les chiffres MUSHRA et MOS participatifs.
- Note sur les données : (1) MUSHRA, MOS, ViSQOL, UTMOS et PESQ ne sont pas interchangeables, et un score n’a de sens que par rapport à la référence et aux points de comparaison du même test ; UTMOS en particulier peut noter un codec au-dessus de l’original (FocalCodec 4,22 contre 4,09). (2) Le blog MLow de Meta imprime « POLQA MOS 1,89 contre 3,9 » sans préciser quel score appartient à quel codec ; le contexte de l’article laisse entendre Opus 1,89 et MLow 3,9, et la version d’Opus utilisée n’est pas indiquée. (3) Le texte de Codec-SUPERB dit que la précision d’émotion de DAC à 24 kbps baisse « de 0,38% », mais les valeurs de son tableau (69,84% à 69,56%) donnent 0,28 point, et le nombre de jeux de données de l’article varie entre 20 et 21 ; nous ne reportons que les valeurs du tableau. (4) Le réglage à 40 jetons de WavTokenizer est imprimé comme 0,5 kbps dans son tableau et 0,48 kbps dans son texte. (5) La page arXiv d’EnCodec indique encore « Préimpression » alors que la fiche TMLR 2023 confirme la publication en revue ; Google référence SoundStream dans IEEE/ACM TASLP avec une date de 2021, tandis que d’autres index donnent 2022. (6) Les nombres de paramètres d’un même codec varient selon la source : Mimi est indiqué à 80M dans l’article TAAE, 82M dans l’article FocalCodec et 96,2M sur la fiche de modèle Hugging Face de Kyutai, probablement selon les composants comptés. Les définitions du facteur temps réel diffèrent aussi d’un article à l’autre, si bien que les lignes de vitesse issues d’articles différents ne sont pas directement comparables. (7) La plupart des comparaisons directes avec Opus précèdent les fonctions neuronales d’Opus 1.5 et 1.6, et aucun chiffre de taille de marché n’est inclus car aucune donnée de marché de niveau 1 sur les codecs neuronaux n’a été trouvée.
- Dernière mise à jour : 31 octobre 2026. Nous actualisons ce tour d’horizon chaque trimestre, et la prochaine révision est attendue lorsque le groupe de travail mlcodec de l’IETF fera avancer draft-ietf-mlcodec-opus-dred vers la publication en RFC.