Bei 6 kbps erzielte Metas neuronaler Codec EnCodec auf der MUSHRA-Hörskala für saubere Sprache 83,1, während Opus bei denselben 6 kbps 30,1 erzielte und das verdeckte Original 95,5 (Meta AI, EnCodec-Paper, TMLR 2023). Diese Lücke erzählt die ganze Geschichte der neuronalen Audiocodierung in einer Zeile: dieselben Bits, ein um 53 Punkte höherer Wert (83,1 minus 30,1). Googles SoundStream erreichte bei 3 kbps eine Qualität, für die EVS mindestens 9,6 kbps und Opus mindestens 12 kbps benötigten (Google, SoundStream-Paper 2021), und Forschungs-Codecs bringen brauchbare Sprache inzwischen unter 1 kbps, bis hinunter zu 0,16 kbps (Della Libera et al., FocalCodec, NeurIPS 2025). Die klassischen Codecs antworten mit eigenen neuronalen Erweiterungen: Opus 1.5 machte Sprache “perfekt nutzbar bis hinunter zu 6 kb/s” mit einem Enhancer (Verbesserungsmodul) von 400 MFLOPS (Xiph.Org, Opus-1.5-Release 2024), was für alle relevant ist, die die Anrufqualität zusammen mit Jitter-Buffern und POLQA-Werten abstimmen. Wir haben Daten von Google, Meta AI, Descript, Kyutai, Xiph.Org, der IETF, 3GPP, der ITU und aus begutachteten Benchmarks wie Codec-SUPERB, DASB, WavTokenizer, TAAE und FocalCodec zusammengetragen.
TL;DR
- EnCodec erzielte bei 6 kbps 83,1 MUSHRA bei sauberer Sprache vs 30,1 für Opus bei 6 kbps (Meta AI, EnCodec-Paper 2023).
- SoundStream erreichte bei 3 kbps eine Qualität, für die EVS mindestens 9,6 kbps und Opus 12 kbps benötigten (Google, SoundStream-Paper 2021).
- Lyra V2 bei 3,2 kbps wurde in MUSHRA-Tests als gleichwertig zu Opus bei 10 kbps bewertet (Google Open Source Blog, Lyra V2 2022).
- Der Descript Audio Codec komprimiert 44,1-kHz-Audio um etwa das 90-Fache in Tokens mit 8 kbps (Descript, DAC-Paper, NeurIPS 2023).
- FocalCodec erreichte bei 0,16 kbps einen UTMOS von 4,22 gegenüber 4,09 für die unkomprimierte Referenz (Della Libera et al., NeurIPS 2025).
- Der TAAE-Codec lieferte bei 400 bps einen PESQ von 2,96, nahe an Mimis 3,01 bei 1.100 bps (Parker et al., ICLR 2025).
- VALL-E lernte Zero-Shot-TTS aus 60K Stunden englischer Sprache, codiert als neuronale Codec-Tokens, und braucht nur einen Stimm-Prompt von 3 Sekunden (Microsoft, VALL-E-Paper 2023).
- Der NoLACE-Enhancer von Opus 1.5 schlug bei 9 kb/s nicht verbessertes Opus bei 12 kb/s, bei etwa 0,75% CPU (Xiph.Org, Opus-1.5-Release 2024).
- Kyutais Mimi codiert Sprache mit 12,5 Hz und 1,1 kbps und ermöglicht damit ein Dialogmodell mit 200 ms praktischer Latenz (Kyutai, Moshi-Paper 2024).
- EnCodec bei 1,5 kbps mehr als verdreifachte die ASR-Wortfehlerrate, von 2,96% auf 9,21% (Wu et al., Codec-SUPERB 2024).
1. Benötigte Bits, um klassische Codecs in Hörtests einzuholen
Das Kernergebnis der ersten Generation neuronaler Codecs war nicht “besserer Klang”, sondern “derselbe Klang für einen Bruchteil der Bits”. SoundStream erreichte bei 3 kbps ein Qualitätsniveau, für dessen Erreichen EVS mindestens 9,6 kbps und Opus mindestens 12 kbps benötigten, was dem 3,2-Fachen bzw. 4-Fachen der Bits entspricht (9,6 / 3 = 3,2; 12 / 3 = 4) (Google, SoundStream-Paper). Der Vorsprung schrumpft mit wachsendem Budget: Bei mittleren und hohen Bitraten brauchten die klassischen Codecs das 2,2- bis 2,6-Fache und dann nur noch das 1,3- bis 1,6-Fache an Bits.
MUSHRA, der in den meisten dieser Papers verwendete Hörtest, ist in ITU-R BS.1534-3 definiert: Hörer bewerten mehrere codierte Versionen eines Ausschnitts nebeneinander mit einer verdeckten Kopie des Originals, sodass der Wert eines Codecs am besten im Verhältnis zum Wert des verdeckten Originals im selben Test zu lesen ist. Das Muster ist über alle Anbieter hinweg konsistent: Je niedriger die Bitrate, desto größer der neuronale Vorsprung, teils weil Opus bei 6 kbps auf Schmalband-Audio zurückfällt.
| Metrik | Wert | Quelle |
|---|---|---|
| Bitrate von Opus und EVS, um SoundStream bei 3 kbps zu erreichen | Opus mindestens 12 kbps, EVS mindestens 9,6 kbps | Google, SoundStream-Paper (arXiv 2021) |
| Zusätzliche Bits, die EVS und Opus brauchen, um SoundStream bei mittlerer Bitrate (6 kbps) zu erreichen | 2,2x bis 2,6x mehr | Google, SoundStream-Paper (arXiv 2021) |
| Opus-Bitrate, die bei 3,2, 6 und 9,2 kbps als gleichwertig zu Lyra V2 bewertet wurde (MUSHRA) | 10, 13 und 14 kbps | Google Open Source Blog, Lyra V2 (2022) |
| MUSHRA, saubere Sprache: EnCodec bei 6 kbps vs Opus bei 6 kbps vs verdecktes Original | 83,1 vs 30,1 vs 95,5 | Meta AI, EnCodec-Paper (TMLR 2023) |
| MUSHRA, Musikset 1: EnCodec bei 3 kbps vs Opus bei 12 kbps | 89,6 vs 77,8 | Meta AI, EnCodec-Paper (TMLR 2023) |
| POLQA MOS bei 6 kbps Breitband, MLow vs Opus (Eigenangabe des Anbieters) | 3,9 vs 1,89 | Meta Engineering, MLow-Blog (2024) |
Neueste verfügbare Daten: SoundStream (2021), Lyra V2 (2022) und EnCodec (Preprint 2022, Fachzeitschrift 2023). Sie sind weiterhin die Referenzvergleiche, die neuere Papers zitieren, liegen aber vor den neuronalen Verbesserungen von Opus 1.5 (siehe Abschnitt 7), sodass die Baselines klassischer Codecs älter sind als das heutige libopus. Die MLow-Zahlen stammen aus Metas Engineering-Blog, der festhält, dass Opus bei 6 kbps im Schmalbandmodus (0 bis 4 kHz) läuft; es ist eine Eigenangabe des Anbieters zu einem produktiv eingesetzten Telefonie-Codec und als Referenzpunkt aufgenommen, nicht als unabhängige Messung.
2. Kompressionsraten und wo die Qualität nicht mehr steigt
Bei der Kompressionsrate wirken neuronale Codecs am dramatischsten. Der Descript Audio Codec (DAC) komprimiert 44,1-kHz-Audio um etwa das 90-Fache in Tokens bei 8 kbps, mit einem einzigen universellen Modell für Sprache, Musik und Umgebungsgeräusche (Descript, DAC-Paper, NeurIPS 2023). Bei 48-kHz-Stereomusik erzielte EnCodec bei 6 kbps (256-fache Kompression) 82,9 MUSHRA, im selben wahrgenommenen Qualitätsband wie MP3 bei 64 kbps (24-fache Kompression, 82,7).
Der für Ingenieure nützlichere Befund ist die Sättigung. EnCodecs Stereomodell erzielte 88,0 bei 12 kbps und 87,5 bei 24 kbps, die Verdopplung der Bitrate brachte also nichts Messbares. Ein zweiter Hebel ist die Entropiecodierung: Ein kleines Sprachmodell über den Tokens spart 25% bis 40% der Bandbreite ohne Qualitätsänderung, auf Kosten der Geschwindigkeit.
| Metrik | Wert | Quelle |
|---|---|---|
| Kompression von 44,1-kHz-Audio durch DAC bei 8 kbps | Etwa 90x | Descript, DAC-Paper (NeurIPS 2023) |
| ViSQOL bei 44 kHz: DAC bei 8 kbps vs EnCodec bei 24 kbps vs Opus bei 24 kbps | 4,18 vs 3,16 vs 4,15 | Descript, DAC-Paper (NeurIPS 2023) |
| ViSQOL bei 44 kHz: DAC bei 1,78 kbps vs Opus bei 8 kbps | 3,76 vs 2,06 | Descript, DAC-Paper (NeurIPS 2023) |
| MUSHRA, 48-kHz-Stereomusik: EnCodec bei 6 kbps (256x) vs 12 kbps vs 24 kbps vs MP3 bei 64 kbps (24x) | 82,9 vs 88,0 vs 87,5 vs 82,7 | Meta AI, EnCodec-Paper (TMLR 2023) |
| Durch ein als Entropiecodierer genutztes Sprachmodell eingesparte Bandbreite bei EnCodec-Tokens | Etwa 25% bis 40% | Meta AI, EnCodec-Paper (TMLR 2023) |
| Mögliche Ratenersparnis durch Entropiecodierung der SoundStream-Tokens | 7% bis 20% | Google, SoundStream-Paper (arXiv 2021) |
ViSQOL ist ein objektives Modell, das die wahrgenommene Qualität aus dem Signal vorhersagt; die MUSHRA-Werte des DAC selbst werden nur als Diagramme veröffentlicht, daher nutzt die Tabelle dessen gedruckte ViSQOL-Zahlen. Eine Einschränkung zum Opus-Vergleich: Im DAC-Paper wurde Opus bei 8 kbps mit nur 4 kHz Audiobandbreite codiert, während DAC die vollen 22,05 kHz behielt, sodass ein Teil der Lücke auf Bandbreite und nicht auf Effizienz beruht.
3. Die Grenze unter 1 kbps für Sprache
Die Forschungs-Codecs von 2025 verlagerten den Wettbewerb von “Opus schlagen” zu “wie wenige Bits können verständliche, natürliche Sprache tragen”. FocalCodec erzielte bei 0,16 kbps auf sauberem LibriSpeech einen UTMOS von 4,22, über den 4,09 der unkomprimierten Referenz (Della Libera et al., FocalCodec, NeurIPS 2025). UTMOS ist ein neuronales Modell, das die mittlere Hörerbewertung (Mean Opinion Score) vorhersagt, sodass ein Codec das Original darin schlagen kann, weil er sehr sauber klingende Ausgaben erzeugt.
Die Verständlichkeit zeigt die andere Hälfte. Dieselbe Tabelle weist den dWER aus, die zusätzliche Wortfehlerrate, die ein ASR-System bei der resynthetisierten Sprache macht: FocalCodecs Einstellung mit 0,16 kbps erreichte 7,94, die mit 0,65 kbps blieb bei 2,18. Natürlicher Klang ist heute billig; jedes Wort und die Identität des Sprechers zu erhalten, kostet weiterhin Bits.
| Metrik | Wert | Quelle |
|---|---|---|
| UTMOS: FocalCodec bei 0,16 kbps vs unkomprimierte Referenz (LibriSpeech clean) | 4,22 vs 4,09 | Della Libera et al., FocalCodec-Paper (NeurIPS 2025) |
| dWER: FocalCodec bei 0,65 kbps vs bei 0,16 kbps | 2,18 vs 7,94 | Della Libera et al., FocalCodec-Paper (NeurIPS 2025) |
| UTMOS und dWER: BigCodec bei 1,04 kbps | 4,11 und 2,55 | Della Libera et al., FocalCodec-Paper (NeurIPS 2025) |
| UTMOS und dWER: EnCodec bei 1,5 kbps | 1,58 und 8,08 | Della Libera et al., FocalCodec-Paper (NeurIPS 2025) |
| PESQ: TAAE bei 400 bps vs Mimi bei 1.100 bps | 2,96 vs 3,01 | Parker et al., TAAE-Paper (ICLR 2025) |
| PESQ und SI-SDR: TAAE bei 700 bps | 3,09 und 4,73 dB | Parker et al., TAAE-Paper (ICLR 2025) |
| UTMOS: WavTokenizer bei 0,9 kbps (75 Tokens pro Sekunde) vs DAC bei 9 kbps vs Ground Truth | 4,0486 vs 3,9097 vs 4,0562 | Ji et al., WavTokenizer-Paper (ICLR 2025) |
Der TAAE-Vergleich verdient ein zweites Lesen: Bei 400 bps erreichte er ungefähr Mimis PESQ bei 1.100 bps, einem Codec, der selbst erst wenige Jahre alt ist (Parker et al., TAAE-Paper). Beachten Sie, dass jede Zahl in diesem Abschnitt an sauberer, vorgelesener Sprache aus LibriSpeech oder LibriTTS gemessen wurde und daher als Bestfall zu verstehen ist.
4. Latenz und Rechenaufwand
Die Bitrate ist nur ein Budget; ein Codec für Live-Gespräche oder Streaming hat auch ein Verzögerungsbudget und ein CPU-Budget. Lyra V2 codiert und decodiert einen 20-ms-Frame in 0,57 ms auf einem Pixel 6 Pro, 35-mal schneller als in Echtzeit, bei 20 ms Latenz gegenüber 100 ms bei Lyra V1 (Google Open Source Blog, Lyra V2). Neuronale Streaming-Codecs, die mit 20-ms-Frames arbeiten, passen in den Verzögerungsbereich, den der Opus-Standard für die klassische Codierung bereits erlaubt (siehe Tabelle).
Bei der Modellgröße gehen die Generationen auseinander. Die auf Smartphones zielenden Codecs bleiben klein und schnell, während die Forschungs-Codecs unter 1 kbps Rechenaufwand gegen Bits tauschen: TAAE hat rund 950M Parameter, und SemantiCodec läuft langsamer als in Echtzeit.
| Metrik | Wert | Quelle |
|---|---|---|
| Latenz: Lyra V2 vs Lyra V1 | 20 ms vs 100 ms | Google Open Source Blog, Lyra V2 (2022) |
| Echtzeitfaktor auf einem CPU-Thread eines MacBook Pro 2019 bei 6 kbps, Encoder und Decoder (über 1 = schneller als in Echtzeit): EnCodec 24 kHz vs Lyra v2 | 9,8 und 10,4 vs 27,4 und 67,2 | Meta AI, EnCodec-Paper (TMLR 2023) |
| Bereich der algorithmischen Verzögerung von Opus und Frame-Größen | 5 bis 65,2 ms; Frames von 2,5 bis 60 ms | IETF, RFC 6716 (2012) |
| Modellparameter: DAC (Encoder plus Decoder) | 76M (22M Encoder, 54M Decoder) | Descript, DAC-Paper (NeurIPS 2023) |
| Modellparameter: TAAE vs Mimi vs EnCodec | 950M vs 80M vs 14M | Parker et al., TAAE-Paper (ICLR 2025) |
| Echtzeitfaktor (über 1 = schneller als in Echtzeit): FocalCodec bei 0,16 kbps vs BigCodec vs SemantiCodec | 208 vs 22 vs 0,62 | Della Libera et al., FocalCodec-Paper (NeurIPS 2025) |
Der Echtzeitfaktor wird in den Papers unterschiedlich angegeben: EnCodec und FocalCodec verwenden “mal schneller als in Echtzeit” (höher ist besser), weshalb Werte aus verschiedenen Papers nicht Zeile für Zeile verglichen werden sollten. Der Opus-Bereich stammt aus der RFC 6716 der IETF, dem Standard von 2012, der den Opus-Bitstream bis heute definiert; die neuesten verfügbaren Daten für diese Baseline sind die RFC von 2012, ergänzt durch die in Abschnitt 7 behandelten libopus-Releases von 2024 und 2025.
5. Codec-Tokens in Sprach- und Audio-Sprachmodellen
Neuronale Codecs haben inzwischen eine zweite Karriere: Sie sind die Tokenizer, mit denen Sprachmodelle sprechen können. Kyutais Mimi codiert 24-kHz-Sprache in Tokens mit 12,5 Hz und 1,1 kbps, mit 8 Codebüchern (Codebooks) zu je 2.048 Einträgen, und das darauf aufbauende Dialogmodell Moshi meldet eine theoretische Latenz von 160 ms und 200 ms in der Praxis (Kyutai, Moshi-Paper). Ein autoregressives Modell führt im Allgemeinen einen Schritt pro Token-Frame aus, die Framerate schlägt sich also direkt in Geschwindigkeit nieder, ein Thema, das wir aus Sicht der Agenten in unseren Statistiken zum Time-to-First-Audio-Byte behandeln.
Deshalb wurde die Framerate, nicht nur die Bitrate, zum Designziel. NVIDIAs Low Frame-rate Speech Codec läuft mit 21,5 Frames pro Sekunde und 1,89 kbps und macht laut seinen Autoren die LLM-basierte Text-to-Speech-Inferenz rund dreimal schneller. Stimmprodukte, die auf Software zum Klonen von Stimmen und TTS aufbauen, erben diese Abwägungen unmittelbar.
| Metrik | Wert | Quelle |
|---|---|---|
| Token-Rate, Bitrate und Audio-Abtastrate von Mimi | 12,5 Hz, 1,1 kbps, 24 kHz | Kyutai, Moshi-Paper (arXiv 2024) |
| MUSHRA: Mimi bei 1,1 kbps vs SpeechTokenizer bei 4,0 kbps vs SemantiCodec bei 1,3 kbps | 81,0 vs 74,3 vs 64,8 | Kyutai, Moshi-Paper (arXiv 2024) |
| Dialoglatenz von Moshi, theoretisch vs in der Praxis | 160 ms vs 200 ms | Kyutai, Moshi-Paper (arXiv 2024) |
| Framerate und Bitrate von NVIDIAs Low Frame-rate Speech Codec | 21,5 Frames pro Sekunde, 1,89 kbps | NVIDIA, Paper zum Low Frame-rate Speech Codec (arXiv 2024) |
| Beschleunigung der LLM-Text-to-Speech-Inferenz mit diesem Codec mit niedriger Framerate | Etwa 3x schneller | NVIDIA, Paper zum Low Frame-rate Speech Codec (arXiv 2024) |
| Tokens pro Sekunde 24-kHz-Audio mit dem einzelnen Quantisierer von WavTokenizer | 40 oder 75 | Ji et al., WavTokenizer-Paper (ICLR 2025) |
| Trainingsdaten und Stimm-Prompt von VALL-E, einem auf neuronalen Codec-Codes trainierten TTS-Modell | 60K Stunden englische Sprache; 3-Sekunden-Prompt | Microsoft, VALL-E-Paper (arXiv 2023) |
| MusicGen-Tokenizer: EnCodec bei 32 kHz, Codebücher, Token-Rate, Trainingsmusik | 4 Codebücher mit 2.048, 50 Hz, 20K Stunden | Copet et al., MusicGen-Paper (arXiv 2023) |
Neueste verfügbare Daten für VALL-E und MusicGen: 2023. Eine Einschränkung zur MUSHRA-Zeile: Mimis 81,0 stammt von der Variante, die nur mit adversarialen Verlusten trainiert wurde; die Variante ohne diese erzielte 58,8, sodass das Trainingsrezept des Tokenizers die wahrgenommene Qualität ebenso stark verändert wie seine Bitrate.
6. Was Codecs für nachgelagerte Aufgaben erhalten
Hörwerte sagen nicht, ob eine Transkriptions-Engine, eine Sprecherprüfung oder ein Emotionsklassifikator auf dem decodierten Audio noch funktioniert. In Codec-SUPERB hob EnCodec bei 1,5 kbps die ASR-Wortfehlerrate von 2,96% auf 9,21% und die Equal Error Rate der Sprecherverifikation von 0,86% auf 13,88%, während DAC bei 24 kbps die Wortfehlerrate exakt auf den ursprünglichen 2,96% hielt (Wu et al., Codec-SUPERB). Diese Verschiebungen der Fehlerraten sind wichtig für alle, die Halluzinationen und Fehlerraten der Spracherkennung in komprimierten Pipelines verfolgen.
Sprecheridentität und Emotion sind die ersten Opfer niedriger Bitraten: Der Sprachinhalt überlebt länger als die paralinguistische Ebene. Der DASB-Benchmark kommt für Codec-Tokens als Modelleingaben zu einem schärferen Schluss: “Über alle Domänen und Aufgaben hinweg übertreffen kontinuierliche Repräsentationen diskrete Tokens”, und mittlere Bitraten funktionierten am besten (Mousavi et al., DASB).
| Metrik | Wert | Quelle |
|---|---|---|
| In Codec-SUPERB bewertete Codec-Modelle und Modellfamilien | 19 Varianten aus 6 Familien | Wu et al., Codec-SUPERB-Paper (arXiv 2024) |
| ASR-Wortfehlerrate: Originalaudio vs EnCodec bei 1,5 kbps | 2,96% vs 9,21% | Wu et al., Codec-SUPERB-Paper (arXiv 2024) |
| Equal Error Rate der Sprecherverifikation: Originalaudio vs EnCodec bei 1,5 kbps | 0,86% vs 13,88% | Wu et al., Codec-SUPERB-Paper (arXiv 2024) |
| Genauigkeit der Emotionserkennung: Originalaudio vs EnCodec bei 1,5 kbps | 69,84% vs 58,84% | Wu et al., Codec-SUPERB-Paper (arXiv 2024) |
| ASR-Wortfehlerrate: DAC bei 6 kbps vs DAC bei 24 kbps | 3,26% vs 2,96% | Wu et al., Codec-SUPERB-Paper (arXiv 2024) |
| Korrelation von PESQ mit dem Gesamt-Sprachwert | 0,97 | Wu et al., Codec-SUPERB-Paper (arXiv 2024) |
| DASB-Bitratenformel für Tokenizer | log2(Vokabulargröße) x Codebücher x Token-Rate | Mousavi et al., DASB-Benchmark (arXiv 2024) |
Hinweis zum Kontext: Die Equal Error Rate ist der Punkt, an dem ein Sprecherverifikationssystem mit gleicher Rate fälschlich akzeptiert und fälschlich ablehnt, sodass ein Sprung von 0,86% auf 13,88% bedeutet, dass die decodierte Stimme deutlich schwerer ihrem Besitzer zuzuordnen ist. Die PESQ-Korrelation in Codec-SUPERB legt auch eine praktische Abkürzung nahe: Für Sprache folgt die lange etablierte PESQ-Metrik dem Gesamturteil des Benchmarks weiterhin eng.
7. Klassische Codecs werden neuronal: Opus, EVS und der Standardisierungsweg
Die klassischen Codecs standen nicht still. Opus 1.5 (4. März 2024) zeigte, dass sein NoLACE-Enhancer Sprache bei 9 kb/s besser macht als nicht verbesserte Sprache bei 12 kb/s, bei Laufzeitkosten von etwa 0,75% CPU (Xiph.Org, Opus-1.5-Release). Das Feature Deep Redundancy (DRED), inzwischen auf dem Standardisierungsweg der IETF, packt bis zu eine Sekunde Backup-Audio in jedes Paket, sodass “jedes 20-ms-Paket effektiv 50-mal übertragen wird”, und die Release Notes sagen, es “funktioniert auch bei 90% Verlust noch gut” (hier bedeutet “Paketverlust” im Netzwerk verworfene Datenpakete, nicht verlorene Audiodateien).
Das Fazit: Die in Abschnitt 1 gemessene Lücke gegenüber älteren Opus-Builds schrumpft von der klassischen Seite her. Opus 1.6 (15. Dezember 2025) ging weiter, verkleinerte das DRED-Modell und fügte eine neuronale Bandbreitenerweiterung hinzu, sodass Sprache bei 9 kb/s die Qualität von Opus 1.4 Fullband bei 18 kb/s erreicht.
| Metrik | Wert | Quelle |
|---|---|---|
| Vom Standard definierter Bitratenbereich von Opus | 6 kbit/s bis 510 kbit/s | IETF, RFC 6716 (2012) |
| Bitratenbereich von EVS und maximale Audiobandbreite | 5,9 bis 128 kbps, bis zu 20 kHz | 3GPP, Pressemitteilung zum EVS-Codec (2014) |
| Niedrigste Opus-1.5-Bitrate, bei der Sprache mit NoLACE “perfekt nutzbar” ist | 6 kb/s | Xiph.Org, Opus-1.5-Release (2024) |
| Komplexität der Enhancer NoLACE und LACE und des neuronalen Vocoders FARGAN in Opus 1.5 | NoLACE 400 MFLOPS (etwa 0,75% CPU); LACE 100 MFLOPS (etwa 0,15% CPU); FARGAN 600 MFLOPS (1/5 von LPCNet) | Xiph.Org, Opus-1.5-Release (2024) |
| Größe des DRED-Modells: Opus 1.6 vs Opus 1.5 | 600 kB vs 1.800 kB | Xiph.Org, Opus-1.6-Release (2025) |
| Die Bandbreitenerweiterung von Opus 1.6 mit NoLACE bei 9 kb/s entspricht | Opus 1.4 Fullband bei 18 kb/s | Xiph.Org, Opus-1.6-Release (2025) |
| Redundanz-Bitrate von DRED vs reguläre Opus-Bitrate, und In-Band-LBRR zum Vergleich | Etwa 1/50 (DRED) vs etwa 2/3 (LBRR) | IETF, draft-ietf-mlcodec-opus-dred-07 (4. August 2026) |
Die DRED-Spezifikation ist weiterhin ein Internet-Draft (IETF-Arbeitsgruppe mlcodec), überarbeitet am 4. August 2026; die Opus-1.5-Hinweise warnten, dass “die in Opus 1.5 enthaltene Version nicht mit der endgültigen Version kompatibel sein wird”. Die EVS-Zahlen stammen aus der Ankündigung zu 3GPP Release 12; neueste verfügbare Daten: 3GPP, 2014.
Zusammenfassung: Bitrate und Qualität neuronaler Audio-Codecs in Zahlen
| Metrik | Wert | Quelle |
|---|---|---|
| MUSHRA, saubere Sprache: EnCodec bei 6 kbps vs Opus bei 6 kbps | 83,1 vs 30,1 | Meta AI, EnCodec-Paper (TMLR 2023) |
| Bitrate von Opus und EVS, um SoundStream bei 3 kbps zu erreichen | Opus mindestens 12 kbps, EVS mindestens 9,6 kbps | Google, SoundStream-Paper (arXiv 2021) |
| Vom Standard definierter Bitratenbereich von Opus | 6 bis 510 kbit/s | IETF, RFC 6716 (2012) |
| DAC-Kompression von 44,1-kHz-Audio bei 8 kbps | Etwa 90x | Descript, DAC-Paper (NeurIPS 2023) |
| ViSQOL: DAC bei 8 kbps vs EnCodec bei 24 kbps | 4,18 vs 3,16 | Descript, DAC-Paper (NeurIPS 2023) |
| dWER: FocalCodec bei 0,65 kbps vs bei 0,16 kbps | 2,18 vs 7,94 | Della Libera et al., FocalCodec-Paper (NeurIPS 2025) |
| UTMOS: FocalCodec bei 0,16 kbps vs Referenz | 4,22 vs 4,09 | Della Libera et al., FocalCodec-Paper (NeurIPS 2025) |
| PESQ: TAAE bei 400 bps vs Mimi bei 1.100 bps | 2,96 vs 3,01 | Parker et al., TAAE-Paper (ICLR 2025) |
| UTMOS: WavTokenizer bei 0,9 kbps vs DAC bei 9 kbps | 4,0486 vs 3,9097 | Ji et al., WavTokenizer-Paper (ICLR 2025) |
| Genauigkeit der Emotionserkennung: Original vs EnCodec bei 1,5 kbps | 69,84% vs 58,84% | Wu et al., Codec-SUPERB-Paper (arXiv 2024) |
| Modellparameter: TAAE vs EnCodec | 950M vs 14M | Parker et al., TAAE-Paper (ICLR 2025) |
| Token-Rate und Bitrate von Mimi | 12,5 Hz, 1,1 kbps | Kyutai, Moshi-Paper (arXiv 2024) |
| Dialoglatenz von Moshi in der Praxis | 200 ms | Kyutai, Moshi-Paper (arXiv 2024) |
| Beschleunigung der LLM-Text-to-Speech durch einen Codec mit 21,5 Frames pro Sekunde | Etwa 3x | NVIDIA, Paper zum Low Frame-rate Speech Codec (arXiv 2024) |
| ASR-Wortfehlerrate: Original vs EnCodec bei 1,5 kbps | 2,96% vs 9,21% | Wu et al., Codec-SUPERB-Paper (arXiv 2024) |
| MUSHRA: Mimi bei 1,1 kbps vs SpeechTokenizer bei 4,0 kbps | 81,0 vs 74,3 | Kyutai, Moshi-Paper (arXiv 2024) |
| Opus mit NoLACE bei 9 kb/s im Vergleich zu nicht verbessertem Opus | Besser als 12 kb/s | Xiph.Org, Opus-1.5-Release (2024) |
| Größe des DRED-Modells, Opus 1.6 vs Opus 1.5 | 600 kB vs 1.800 kB | Xiph.Org, Opus-1.6-Release (2025) |
Methodik und Quellen
- Google, SoundStream: An End-to-End Neural Audio Codec (arXiv 2107.03312, 2021; IEEE/ACM TASLP): MUSHRA-Bitratenverhältnisse gegenüber Opus und EVS, Frame-Größe, Einsparungen durch Entropiecodierung.
- Google Open Source Blog, Lyra V2 (September 2022): Opus-Äquivalenz, Latenz, Messzeiten auf dem Pixel 6 Pro.
- Meta AI, High Fidelity Neural Audio Compression (EnCodec), TMLR 2023 (arXiv 2210.13438): MUSHRA-Tabellen, Kompressionsraten, Echtzeitfaktoren, Entropiecodierung.
- Meta Engineering, MLow: Meta’s low bitrate audio codec (13. Juni 2024): POLQA-Vergleich mit Opus durch den Anbieter selbst.
- Copet et al., Simple and Controllable Music Generation (MusicGen), arXiv 2023: Konfiguration des EnCodec-Tokenizers und Trainingsstunden.
- Descript, High-Fidelity Audio Compression with Improved RVQGAN (DAC), NeurIPS 2023: Kompressionsfaktor, ViSQOL-Tabelle, Parameterzahl.
- Kyutai, Moshi: a speech-text foundation model for real-time dialogue (arXiv 2410.00037, 2024): Spezifikation des Mimi-Codecs, MUSHRA gegenüber semantischen Tokenizern, Dialoglatenz.
- NVIDIA, Low Frame-rate Speech Codec (arXiv 2409.12117, 2024): Framerate, Bitrate, Beschleunigung der TTS-Inferenz.
- Microsoft, VALL-E: Neural Codec Language Models are Zero-Shot Text to Speech Synthesizers (arXiv 2301.02111, 2023): Trainingsstunden und Länge des Prompts.
- Ji et al., WavTokenizer (ICLR 2025, arXiv 2408.16532): Token-Raten mit einem Quantisierer und UTMOS.
- Parker et al., Scaling Transformers for Low-Bitrate High-Quality Speech Coding (TAAE), ICLR 2025: Ergebnisse bei 400 und 700 bps, Parameterzahlen.
- Della Libera et al., FocalCodec (NeurIPS 2025, arXiv 2502.04465): Benchmark-Tabelle unter 1 kbps mit UTMOS, dWER und Echtzeitfaktoren.
- Wu et al., Codec-SUPERB: An In-Depth Analysis of Sound Codec Models (arXiv 2402.13071, 2024): nachgelagerte Ergebnisse zu ASR, Sprecher und Emotion.
- Mousavi et al., DASB: Discrete Audio and Speech Benchmark (arXiv 2406.14294, überarbeitet am 21. April 2026): Befunde zu diskreten gegenüber kontinuierlichen Repräsentationen.
- Xiph.Org, Opus 1.5 release notes (4. März 2024) und Opus 1.6 release notes (15. Dezember 2025): LACE, NoLACE, DRED, FARGAN, Bandbreitenerweiterung.
- IETF, RFC 6716: Definition of the Opus Audio Codec (September 2012) und IETF, draft-ietf-mlcodec-opus-dred: Bitraten- und Verzögerungsbereiche von Opus, DRED-Overhead.
- 3GPP, Enhanced Voice Services codec for LTE (Release 12, 7. November 2014): Bitratenbereich und Bandbreite von EVS.
- ITU-R BS.1534-3 (MUSHRA), Oktober 2015 und ITU-T P.808 crowdsourced speech quality, Juni 2021: die Hörtestverfahren hinter den MUSHRA- und Crowdsourcing-MOS-Werten.
- Daten-Hinweis: (1) MUSHRA, MOS, ViSQOL, UTMOS und PESQ sind nicht austauschbar, und ein Wert ist nur im Verhältnis zur Referenz und zu den Baselines desselben Tests aussagekräftig; besonders UTMOS kann einen Codec über dem Original einstufen (FocalCodec 4,22 vs 4,09). (2) Metas MLow-Blog druckt “POLQA MOS 1,89 vs 3,9”, ohne zu kennzeichnen, welcher Wert zu welchem Codec gehört; der Artikelkontext legt Opus 1,89 und MLow 3,9 nahe, und die verwendete Opus-Version wird nicht genannt. (3) Der Text von Codec-SUPERB sagt, die Emotionsgenauigkeit von DAC bei 24 kbps sinke “um 0,38%”, aber die Tabellenwerte (69,84% auf 69,56%) ergeben 0,28 Punkte, und die Zahl der Datensätze im Paper schwankt zwischen 20 und 21; wir geben nur die Tabellenwerte an. (4) Die 40-Token-Einstellung von WavTokenizer ist in der Tabelle als 0,5 kbps und im Text als 0,48 kbps gedruckt. (5) Die arXiv-Seite von EnCodec nennt weiterhin “Preprint”, während der TMLR-Eintrag 2023 die Veröffentlichung in der Fachzeitschrift bestätigt; Google führt SoundStream in IEEE/ACM TASLP mit Datum 2021, andere Indizes nennen 2022. (6) Parameterzahlen desselben Codecs unterscheiden sich je nach Quelle: Mimi steht im TAAE-Paper mit 80M, im FocalCodec-Paper mit 82M und auf Kyutais Hugging-Face-Model-Card mit 96,2M, vermutlich je nachdem, welche Komponenten mitgezählt werden. Auch die Definitionen des Echtzeitfaktors unterscheiden sich zwischen den Papers, daher sind Geschwindigkeitszeilen aus verschiedenen Papers nicht direkt vergleichbar. (7) Die meisten direkten Vergleiche mit Opus liegen vor den neuronalen Funktionen von Opus 1.5 und 1.6, und Marktgrößenangaben sind nicht enthalten, weil keine Tier-1-Marktdaten für neuronale Codecs gefunden wurden.
- Zuletzt aktualisiert: 31. Oktober 2026. Wir aktualisieren diese Zusammenstellung vierteljährlich, und die nächste Aktualisierung wird erwartet, wenn die IETF-Arbeitsgruppe mlcodec den draft-ietf-mlcodec-opus-dred in Richtung RFC-Veröffentlichung weiterführt.