Pada 6 kbps, codec neural EnCodec milik Meta meraih 83,1 pada skala dengar MUSHRA untuk ucapan bersih, sementara Opus pada bitrate 6 kbps yang sama meraih 30,1 dan rekaman asli tersembunyi meraih 95,5 (Meta AI, makalah EnCodec, TMLR 2023). Kesenjangan itu merangkum seluruh cerita pengodean audio neural dalam satu baris: bit yang sama, skor 53 poin lebih tinggi (83,1 dikurangi 30,1). SoundStream dari Google pada 3 kbps menyamai kualitas yang untuk dicapai membutuhkan setidaknya 9,6 kbps pada EVS dan setidaknya 12 kbps pada Opus (Google, makalah SoundStream 2021), dan codec riset kini mendorong ucapan yang masih layak pakai hingga di bawah 1 kbps, turun sampai 0,16 kbps (Della Libera dkk., FocalCodec, NeurIPS 2025). Codec klasik membalas dengan tambahan neural mereka sendiri: Opus 1.5 membuat ucapan “sepenuhnya layak pakai hingga 6 kb/s” dengan penyempurna (enhancer) 400 MFLOPS (Xiph.Org, rilis Opus 1.5 2024), yang penting bagi siapa pun yang menyetel kualitas panggilan bersama buffer jitter dan skor POLQA. Kami menghimpun data dari Google, Meta AI, Descript, Kyutai, Xiph.Org, IETF, 3GPP, ITU, dan tolok ukur yang telah ditelaah sejawat seperti Codec-SUPERB, DASB, WavTokenizer, TAAE, dan FocalCodec.
TL;DR
- EnCodec pada 6 kbps meraih 83,1 MUSHRA pada ucapan bersih dibanding 30,1 untuk Opus pada 6 kbps (Meta AI, makalah EnCodec 2023).
- SoundStream pada 3 kbps menyamai kualitas yang membutuhkan setidaknya 9,6 kbps untuk EVS dan 12 kbps untuk Opus (Google, makalah SoundStream 2021).
- Lyra V2 pada 3,2 kbps dinilai setara dengan Opus pada 10 kbps dalam uji MUSHRA (Google Open Source Blog, Lyra V2 2022).
- Descript Audio Codec memampatkan audio 44,1 kHz sekitar 90 kali menjadi token 8 kbps (Descript, makalah DAC, NeurIPS 2023).
- FocalCodec pada 0,16 kbps mencapai UTMOS 4,22, dibanding 4,09 untuk referensi tanpa kompresi (Della Libera dkk., NeurIPS 2025).
- Codec TAAE menghasilkan PESQ 2,96 pada 400 bps, mendekati 3,01 milik Mimi pada 1.100 bps (Parker dkk., ICLR 2025).
- VALL-E mempelajari TTS zero-shot dari 60K jam ucapan bahasa Inggris yang dikodekan sebagai token codec neural, hanya membutuhkan prompt suara 3 detik (Microsoft, makalah VALL-E 2023).
- Penyempurna NoLACE pada Opus 1.5 di 9 kb/s mengungguli Opus tanpa penyempurna di 12 kb/s, dengan sekitar 0,75% CPU (Xiph.Org, rilis Opus 1.5 2024).
- Mimi dari Kyutai mengodekan ucapan pada 12,5 Hz dan 1,1 kbps, memungkinkan model dialog dengan latensi praktis 200 ms (Kyutai, makalah Moshi 2024).
- EnCodec pada 1,5 kbps lebih dari melipattigakan tingkat kesalahan kata ASR, dari 2,96% menjadi 9,21% (Wu dkk., Codec-SUPERB 2024).
1. Bit yang Dibutuhkan untuk Menyamai Codec Klasik dalam Uji Dengar
Hasil utama dari generasi pertama codec neural bukanlah “suara yang lebih baik”, melainkan “suara yang sama dengan sebagian kecil dari jumlah bit”. SoundStream pada 3 kbps mencapai tingkat kualitas yang untuk disamai membutuhkan setidaknya 9,6 kbps pada EVS dan setidaknya 12 kbps pada Opus, yang berarti 3,2 dan 4 kali lipat jumlah bit (9,6 / 3 = 3,2; 12 / 3 = 4) (Google, makalah SoundStream). Keunggulan itu menyempit seiring bertambahnya anggaran bit: pada bitrate menengah dan tinggi, codec klasik membutuhkan 2,2 hingga 2,6 kali lalu hanya 1,3 hingga 1,6 kali lebih banyak bit.
MUSHRA, uji dengar yang dipakai di sebagian besar makalah ini, didefinisikan dalam ITU-R BS.1534-3: pendengar menilai beberapa versi terkodekan dari sebuah klip secara berdampingan dengan salinan tersembunyi dari rekaman aslinya, sehingga skor sebuah codec paling baik dibaca terhadap skor rekaman asli tersembunyi dalam uji yang sama. Polanya konsisten di antara berbagai vendor: semakin rendah bitrate, semakin besar keunggulan neural, sebagian karena Opus pada 6 kbps jatuh kembali ke audio pita sempit.
| Metrik | Nilai | Sumber |
|---|---|---|
| Bitrate Opus dan EVS yang dibutuhkan untuk menyamai SoundStream pada 3 kbps | Opus setidaknya 12 kbps, EVS setidaknya 9,6 kbps | Google, makalah SoundStream (arXiv 2021) |
| Tambahan bit yang dibutuhkan EVS dan Opus untuk menyamai SoundStream pada bitrate menengah (6 kbps) | 2,2 hingga 2,6 kali lebih banyak | Google, makalah SoundStream (arXiv 2021) |
| Bitrate Opus yang dinilai setara dengan Lyra V2 pada 3,2, 6, dan 9,2 kbps (MUSHRA) | 10, 13, dan 14 kbps | Google Open Source Blog, Lyra V2 (2022) |
| MUSHRA, ucapan bersih: EnCodec pada 6 kbps, Opus pada 6 kbps, dan rekaman asli tersembunyi | 83,1, 30,1, dan 95,5 | Meta AI, makalah EnCodec (TMLR 2023) |
| MUSHRA, set musik 1: EnCodec pada 3 kbps dan Opus pada 12 kbps | 89,6 dan 77,8 | Meta AI, makalah EnCodec (TMLR 2023) |
| POLQA MOS pada 6 kbps wideband, MLow dan Opus (klaim vendor sendiri) | 3,9 dan 1,89 | Meta Engineering, blog MLow (2024) |
Data terbaru yang tersedia: SoundStream (2021), Lyra V2 (2022), dan EnCodec (pracetak 2022, publikasi jurnal 2023). Ini masih menjadi perbandingan acuan yang dikutip makalah-makalah yang lebih baru, tetapi mendahului peningkatan neural pada Opus 1.5 (lihat bagian 7), sehingga garis dasar codec klasik di sini lebih tua daripada libopus saat ini. Angka MLow berasal dari blog teknik Meta, yang mencatat bahwa Opus berjalan dalam mode pita sempit (0 hingga 4 kHz) pada 6 kbps; ini adalah klaim vendor sendiri dari codec panggilan produksi, dimasukkan sebagai titik acuan, bukan sebagai pengukuran independen.
2. Rasio Kompresi dan Titik Berhentinya Peningkatan Kualitas
Rasio kompresi adalah bagian yang membuat codec neural tampak paling dramatis. Descript Audio Codec (DAC) memampatkan audio 44,1 kHz sekitar 90 kali menjadi token pada 8 kbps dengan satu model universal untuk ucapan, musik, dan suara lingkungan (Descript, makalah DAC, NeurIPS 2023). Pada musik stereo 48 kHz, EnCodec pada 6 kbps (kompresi 256 kali) meraih 82,9 MUSHRA, pada pita kualitas persepsi yang sama dengan MP3 pada 64 kbps (kompresi 24 kali, 82,7).
Temuan yang lebih berguna bagi para insinyur adalah kejenuhan. Model stereo EnCodec meraih 88,0 pada 12 kbps dan 87,5 pada 24 kbps, sehingga menggandakan bitrate tidak memberi apa pun yang terukur. Tuas kedua adalah pengodean entropi: model bahasa kecil di atas token memangkas 25% hingga 40% bandwidth tanpa perubahan kualitas, dengan harga kecepatan.
| Metrik | Nilai | Sumber |
|---|---|---|
| Kompresi audio 44,1 kHz oleh DAC pada 8 kbps | Sekitar 90 kali | Descript, makalah DAC (NeurIPS 2023) |
| ViSQOL pada 44 kHz: DAC pada 8 kbps, EnCodec pada 24 kbps, dan Opus pada 24 kbps | 4,18, 3,16, dan 4,15 | Descript, makalah DAC (NeurIPS 2023) |
| ViSQOL pada 44 kHz: DAC pada 1,78 kbps dan Opus pada 8 kbps | 3,76 dan 2,06 | Descript, makalah DAC (NeurIPS 2023) |
| MUSHRA, musik stereo 48 kHz: EnCodec pada 6 kbps (256 kali), pada 12 kbps, pada 24 kbps, dan MP3 pada 64 kbps (24 kali) | 82,9, 88,0, 87,5, dan 82,7 | Meta AI, makalah EnCodec (TMLR 2023) |
| Bandwidth yang dihemat model bahasa yang dipakai sebagai pengode entropi pada token EnCodec | Sekitar 25% hingga 40% | Meta AI, makalah EnCodec (TMLR 2023) |
| Potensi penghematan laju dari pengodean entropi token SoundStream | 7% hingga 20% | Google, makalah SoundStream (arXiv 2021) |
ViSQOL adalah model objektif yang memprediksi kualitas yang dipersepsikan dari sinyal; skor MUSHRA milik DAC sendiri hanya diterbitkan dalam bentuk grafik, sehingga tabel memakai angka ViSQOL yang dicetak. Satu catatan tentang perbandingan dengan Opus: dalam makalah DAC, Opus pada 8 kbps dikodekan hanya dengan bandwidth audio 4 kHz, sementara DAC mempertahankan seluruh 22,05 kHz, sehingga sebagian kesenjangan itu adalah soal bandwidth, bukan efisiensi.
3. Batas Sub-1 kbps untuk Ucapan
Generasi codec riset 2025 menggeser pertarungan dari “kalahkan Opus” menjadi “berapa sedikit bit yang cukup untuk membawa ucapan yang jelas dan alami”. FocalCodec pada 0,16 kbps meraih UTMOS 4,22 pada LibriSpeech bersih, di atas 4,09 milik referensi tanpa kompresi (Della Libera dkk., FocalCodec, NeurIPS 2025). UTMOS adalah model neural yang memprediksi skor opini rata-rata (MOS) pendengar, sehingga sebuah codec dapat “mengalahkan” rekaman asli pada skala ini hanya dengan menghasilkan keluaran yang terdengar sangat bersih.
Intelijibilitas menceritakan separuh lainnya. Tabel yang sama melaporkan dWER, tingkat kesalahan kata tambahan yang dibuat sistem ASR pada ucapan hasil resintesis: pengaturan 0,16 kbps FocalCodec mencapai 7,94, sedangkan pengaturan 0,65 kbps bertahan di 2,18. Suara alami kini murah; mempertahankan setiap kata dan identitas pembicara masih membutuhkan bit.
| Metrik | Nilai | Sumber |
|---|---|---|
| UTMOS: FocalCodec pada 0,16 kbps dan referensi tanpa kompresi (LibriSpeech bersih) | 4,22 dan 4,09 | Della Libera dkk., makalah FocalCodec (NeurIPS 2025) |
| dWER: FocalCodec pada 0,65 kbps dan pada 0,16 kbps | 2,18 dan 7,94 | Della Libera dkk., makalah FocalCodec (NeurIPS 2025) |
| UTMOS dan dWER: BigCodec pada 1,04 kbps | 4,11 dan 2,55 | Della Libera dkk., makalah FocalCodec (NeurIPS 2025) |
| UTMOS dan dWER: EnCodec pada 1,5 kbps | 1,58 dan 8,08 | Della Libera dkk., makalah FocalCodec (NeurIPS 2025) |
| PESQ: TAAE pada 400 bps dan Mimi pada 1.100 bps | 2,96 dan 3,01 | Parker dkk., makalah TAAE (ICLR 2025) |
| PESQ dan SI-SDR: TAAE pada 700 bps | 3,09 dan 4,73 dB | Parker dkk., makalah TAAE (ICLR 2025) |
| UTMOS: WavTokenizer pada 0,9 kbps (75 token per detik), DAC pada 9 kbps, dan rekaman kebenaran dasar (ground truth) | 4,0486, 3,9097, dan 4,0562 | Ji dkk., makalah WavTokenizer (ICLR 2025) |
Perbandingan TAAE layak dibaca dua kali: pada 400 bps, ia mencapai kira-kira PESQ milik Mimi pada 1.100 bps, sebuah codec yang usianya sendiri baru beberapa tahun (Parker dkk., makalah TAAE). Perhatikan bahwa setiap angka di bagian ini diukur pada ucapan bacaan LibriSpeech atau LibriTTS yang bersih, jadi anggaplah ini sebagai kasus terbaik.
4. Latensi dan Biaya Komputasi
Bitrate hanyalah salah satu anggaran; codec untuk panggilan langsung atau streaming juga memiliki anggaran penundaan dan anggaran CPU. Lyra V2 mengodekan dan mendekodekan satu frame 20 ms dalam 0,57 ms pada Pixel 6 Pro, 35 kali lebih cepat dari waktu nyata, dengan latensi 20 ms dibanding 100 ms untuk Lyra V1 (Google Open Source Blog, Lyra V2). Codec neural streaming yang bekerja dengan frame 20 ms muat dalam rentang penundaan yang sudah diizinkan standar Opus untuk pengodean klasik (lihat tabel).
Ukuran model adalah titik di mana generasi-generasi itu berpisah. Codec yang ditujukan untuk ponsel tetap kecil dan cepat, sedangkan codec riset sub-1 kbps menukar komputasi dengan bit: TAAE memiliki sekitar 950M parameter, dan SemantiCodec berjalan lebih lambat dari waktu nyata.
| Metrik | Nilai | Sumber |
|---|---|---|
| Latensi: Lyra V2 dan Lyra V1 | 20 ms dan 100 ms | Google Open Source Blog, Lyra V2 (2022) |
| Faktor waktu nyata pada satu thread CPU MacBook Pro 2019 di 6 kbps, enkoder dan dekoder (di atas 1 = lebih cepat dari waktu nyata): EnCodec 24 kHz dan Lyra v2 | 9,8 dan 10,4; 27,4 dan 67,2 | Meta AI, makalah EnCodec (TMLR 2023) |
| Rentang penundaan algoritmik Opus dan ukuran frame | 5 hingga 65,2 ms; frame 2,5 hingga 60 ms | IETF, RFC 6716 (2012) |
| Parameter model: DAC (enkoder plus dekoder) | 76M (22M enkoder, 54M dekoder) | Descript, makalah DAC (NeurIPS 2023) |
| Parameter model: TAAE, Mimi, dan EnCodec | 950M, 80M, dan 14M | Parker dkk., makalah TAAE (ICLR 2025) |
| Faktor waktu nyata (di atas 1 = lebih cepat dari waktu nyata): FocalCodec pada 0,16 kbps, BigCodec, dan SemantiCodec | 208, 22, dan 0,62 | Della Libera dkk., makalah FocalCodec (NeurIPS 2025) |
Faktor waktu nyata dilaporkan secara berbeda di berbagai makalah: EnCodec dan FocalCodec memakai “berapa kali lebih cepat dari waktu nyata” (makin tinggi makin baik), sehingga nilai dari makalah berbeda tidak boleh dibandingkan baris demi baris. Rentang Opus berasal dari RFC 6716 milik IETF, standar 2012 yang masih mendefinisikan bitstream Opus; data terbaru yang tersedia untuk garis dasar itu adalah RFC 2012, yang diperluas oleh rilis libopus 2024 dan 2025 yang dibahas pada bagian 7.
5. Token Codec dalam Model Bahasa Ucapan dan Audio
Codec neural kini memiliki karier kedua: mereka adalah tokenizer yang membuat model bahasa bisa berbicara. Mimi dari Kyutai mengodekan ucapan 24 kHz menjadi token pada 12,5 Hz dan 1,1 kbps, memakai 8 codebook masing-masing 2.048 entri, dan model dialog Moshi yang dibangun di atasnya melaporkan latensi teoretis 160 ms dan 200 ms dalam praktik (Kyutai, makalah Moshi). Model autoregresif umumnya menjalankan satu langkah per frame token, sehingga laju frame langsung berubah menjadi kecepatan, tema yang kami bahas dari sisi agen dalam statistik waktu hingga byte audio pertama kami.
Itulah sebabnya laju frame, bukan hanya bitrate, menjadi target desain. Low Frame-rate Speech Codec milik NVIDIA berjalan pada 21,5 frame per detik dan 1,89 kbps dan, menurut para penulisnya, membuat inferensi text-to-speech berbasis LLM sekitar tiga kali lebih cepat. Produk suara yang dibangun di atas perangkat lunak kloning suara dan TTS mewarisi pertukaran ini secara langsung.
| Metrik | Nilai | Sumber |
|---|---|---|
| Laju token, bitrate, dan laju sampel audio Mimi | 12,5 Hz, 1,1 kbps, 24 kHz | Kyutai, makalah Moshi (arXiv 2024) |
| MUSHRA: Mimi pada 1,1 kbps, SpeechTokenizer pada 4,0 kbps, dan SemantiCodec pada 1,3 kbps | 81,0, 74,3, dan 64,8 | Kyutai, makalah Moshi (arXiv 2024) |
| Latensi dialog Moshi, teoretis dan dalam praktik | 160 ms dan 200 ms | Kyutai, makalah Moshi (arXiv 2024) |
| Laju frame dan bitrate Low Frame-rate Speech Codec milik NVIDIA | 21,5 frame per detik, 1,89 kbps | NVIDIA, makalah Low Frame-rate Speech Codec (arXiv 2024) |
| Percepatan inferensi text-to-speech LLM dengan codec laju frame rendah tersebut | Sekitar 3 kali lebih cepat | NVIDIA, makalah Low Frame-rate Speech Codec (arXiv 2024) |
| Token per detik untuk audio 24 kHz dengan kuantizer tunggal WavTokenizer | 40 atau 75 | Ji dkk., makalah WavTokenizer (ICLR 2025) |
| Data pelatihan dan prompt suara untuk VALL-E, model TTS yang dilatih pada kode codec neural | 60K jam ucapan bahasa Inggris; prompt 3 detik | Microsoft, makalah VALL-E (arXiv 2023) |
| Tokenizer MusicGen: EnCodec pada 32 kHz, codebook, laju token, musik pelatihan | 4 codebook masing-masing 2.048, 50 Hz, 20K jam | Copet dkk., makalah MusicGen (arXiv 2023) |
Data terbaru yang tersedia untuk VALL-E dan MusicGen: 2023. Satu catatan untuk baris MUSHRA: 81,0 milik Mimi adalah varian yang dilatih hanya dengan kerugian adversarial; varian yang dilatih tanpa kerugian itu meraih 58,8, sehingga resep pelatihan tokenizer menggeser kualitas yang dipersepsikan sebanyak bitrate-nya.
6. Apa yang Dipertahankan Codec untuk Tugas Hilir
Skor dengar tidak memberi tahu apakah mesin transkripsi, pemeriksaan pembicara, atau pengklasifikasi emosi masih bekerja pada audio hasil dekode. Dalam Codec-SUPERB, EnCodec pada 1,5 kbps menaikkan tingkat kesalahan kata ASR dari 2,96% menjadi 9,21% dan tingkat kesalahan setara verifikasi pembicara dari 0,86% menjadi 13,88%, sementara DAC pada 24 kbps mempertahankan tingkat kesalahan kata tepat di angka asli 2,96% (Wu dkk., Codec-SUPERB). Pergeseran tingkat kesalahan itu penting bagi siapa pun yang memantau halusinasi dan tingkat kesalahan pengenalan ucapan dalam jalur data yang dikompresi.
Identitas pembicara dan emosi adalah korban pertama bitrate rendah: isi ucapan bertahan lebih lama daripada lapisan paralinguistik. Tolok ukur DASB sampai pada kesimpulan yang lebih tajam untuk token codec yang dipakai sebagai masukan model: “Di semua domain dan tugas, representasi kontinu mengungguli token diskret”, dan bitrate menengah bekerja paling baik (Mousavi dkk., DASB).
| Metrik | Nilai | Sumber |
|---|---|---|
| Model codec dan keluarga model yang dievaluasi dalam Codec-SUPERB | 19 varian dari 6 keluarga | Wu dkk., makalah Codec-SUPERB (arXiv 2024) |
| Tingkat kesalahan kata ASR: audio asli dan EnCodec pada 1,5 kbps | 2,96% dan 9,21% | Wu dkk., makalah Codec-SUPERB (arXiv 2024) |
| Tingkat kesalahan setara verifikasi pembicara: audio asli dan EnCodec pada 1,5 kbps | 0,86% dan 13,88% | Wu dkk., makalah Codec-SUPERB (arXiv 2024) |
| Akurasi pengenalan emosi: audio asli dan EnCodec pada 1,5 kbps | 69,84% dan 58,84% | Wu dkk., makalah Codec-SUPERB (arXiv 2024) |
| Tingkat kesalahan kata ASR: DAC pada 6 kbps dan DAC pada 24 kbps | 3,26% dan 2,96% | Wu dkk., makalah Codec-SUPERB (arXiv 2024) |
| Korelasi PESQ dengan skor ucapan keseluruhan | 0,97 | Wu dkk., makalah Codec-SUPERB (arXiv 2024) |
| Rumus bitrate DASB untuk tokenizer | log2(ukuran kosakata) x codebook x laju token | Mousavi dkk., tolok ukur DASB (arXiv 2024) |
Catatan konteks: tingkat kesalahan setara adalah titik di mana sistem verifikasi pembicara salah menerima dan salah menolak pada tingkat yang sama, sehingga lonjakan dari 0,86% menjadi 13,88% berarti suara hasil dekode jauh lebih sulit dicocokkan dengan pemiliknya. Korelasi PESQ pada Codec-SUPERB juga menyiratkan jalan pintas praktis: untuk ucapan, metrik PESQ yang sudah lama mapan masih mengikuti vonis keseluruhan tolok ukur itu dengan cermat.
7. Codec Klasik Menjadi Neural: Opus, EVS, dan Jalur Standar
Codec klasik tidak tinggal diam. Opus 1.5 (4 Maret 2024) menunjukkan bahwa penyempurna NoLACE membuat ucapan 9 kb/s lebih baik daripada 12 kb/s tanpa penyempurna, dengan biaya waktu jalan sekitar 0,75% CPU (Xiph.Org, rilis Opus 1.5). Fitur Deep Redundancy (DRED)-nya, yang kini berada di jalur standar IETF, memasukkan hingga satu detik audio cadangan ke setiap paket, sehingga “setiap paket 20 ms pada dasarnya dikirim 50 kali”, dan catatan rilis menyatakan fitur ini “masih bekerja dengan baik bahkan dengan kehilangan 90%” (di sini “kehilangan paket” berarti paket data yang jatuh di jaringan, bukan file audio yang hilang).
Intinya: kesenjangan yang diukur pada bagian 1 terhadap build Opus yang lebih lama sedang menyempit dari sisi klasik. Opus 1.6 (15 Desember 2025) melangkah lebih jauh, mengecilkan model DRED dan menambahkan perluasan bandwidth neural sehingga ucapan 9 kb/s mencapai kualitas Opus 1.4 fullband pada 18 kb/s.
| Metrik | Nilai | Sumber |
|---|---|---|
| Rentang bitrate Opus yang ditetapkan standar | 6 kbit/s hingga 510 kbit/s | IETF, RFC 6716 (2012) |
| Rentang bitrate EVS dan bandwidth audio maksimum | 5,9 hingga 128 kbps, hingga 20 kHz | 3GPP, siaran berita codec EVS (2014) |
| Bitrate Opus 1.5 terendah di mana ucapan “sepenuhnya layak pakai” dengan NoLACE | 6 kb/s | Xiph.Org, rilis Opus 1.5 (2024) |
| Kompleksitas penyempurna NoLACE dan LACE serta vokoder neural FARGAN di Opus 1.5 | NoLACE 400 MFLOPS (sekitar 0,75% CPU); LACE 100 MFLOPS (sekitar 0,15% CPU); FARGAN 600 MFLOPS (1/5 dari LPCNet) | Xiph.Org, rilis Opus 1.5 (2024) |
| Ukuran model DRED: Opus 1.6 dan Opus 1.5 | 600 kB dan 1.800 kB | Xiph.Org, rilis Opus 1.6 (2025) |
| Perluasan bandwidth Opus 1.6 dengan NoLACE pada 9 kb/s menyamai | Opus 1.4 fullband pada 18 kb/s | Xiph.Org, rilis Opus 1.6 (2025) |
| Bitrate redundansi DRED dibanding bitrate Opus biasa, dan LBRR dalam pita sebagai pembanding | Sekitar 1/50 (DRED) dan sekitar 2/3 (LBRR) | IETF, draft-ietf-mlcodec-opus-dred-07 (4 Agustus 2026) |
Spesifikasi DRED masih berupa Internet-Draft (kelompok kerja mlcodec IETF), direvisi pada 4 Agustus 2026; catatan Opus 1.5 telah memperingatkan bahwa “versi yang disertakan dalam Opus 1.5 tidak akan kompatibel dengan versi final”. Angka EVS berasal dari pengumuman 3GPP Release 12; data terbaru yang tersedia: 3GPP, 2014.
Ringkasan: Bitrate dan Kualitas Codec Audio Neural dalam Angka
| Metrik | Nilai | Sumber |
|---|---|---|
| MUSHRA, ucapan bersih: EnCodec pada 6 kbps dan Opus pada 6 kbps | 83,1 dan 30,1 | Meta AI, makalah EnCodec (TMLR 2023) |
| Bitrate Opus dan EVS yang dibutuhkan untuk menyamai SoundStream pada 3 kbps | Opus setidaknya 12 kbps, EVS setidaknya 9,6 kbps | Google, makalah SoundStream (arXiv 2021) |
| Rentang bitrate Opus yang ditetapkan standar | 6 hingga 510 kbit/s | IETF, RFC 6716 (2012) |
| Kompresi DAC pada audio 44,1 kHz di 8 kbps | Sekitar 90 kali | Descript, makalah DAC (NeurIPS 2023) |
| ViSQOL: DAC pada 8 kbps dan EnCodec pada 24 kbps | 4,18 dan 3,16 | Descript, makalah DAC (NeurIPS 2023) |
| dWER: FocalCodec pada 0,65 kbps dan pada 0,16 kbps | 2,18 dan 7,94 | Della Libera dkk., makalah FocalCodec (NeurIPS 2025) |
| UTMOS: FocalCodec pada 0,16 kbps dan referensi | 4,22 dan 4,09 | Della Libera dkk., makalah FocalCodec (NeurIPS 2025) |
| PESQ: TAAE pada 400 bps dan Mimi pada 1.100 bps | 2,96 dan 3,01 | Parker dkk., makalah TAAE (ICLR 2025) |
| UTMOS: WavTokenizer pada 0,9 kbps dan DAC pada 9 kbps | 4,0486 dan 3,9097 | Ji dkk., makalah WavTokenizer (ICLR 2025) |
| Akurasi pengenalan emosi: asli dan EnCodec pada 1,5 kbps | 69,84% dan 58,84% | Wu dkk., makalah Codec-SUPERB (arXiv 2024) |
| Parameter model: TAAE dan EnCodec | 950M dan 14M | Parker dkk., makalah TAAE (ICLR 2025) |
| Laju token dan bitrate Mimi | 12,5 Hz, 1,1 kbps | Kyutai, makalah Moshi (arXiv 2024) |
| Latensi dialog Moshi dalam praktik | 200 ms | Kyutai, makalah Moshi (arXiv 2024) |
| Percepatan text-to-speech LLM dari codec 21,5 frame per detik | Sekitar 3 kali | NVIDIA, makalah Low Frame-rate Speech Codec (arXiv 2024) |
| Tingkat kesalahan kata ASR: asli dan EnCodec pada 1,5 kbps | 2,96% dan 9,21% | Wu dkk., makalah Codec-SUPERB (arXiv 2024) |
| MUSHRA: Mimi pada 1,1 kbps dan SpeechTokenizer pada 4,0 kbps | 81,0 dan 74,3 | Kyutai, makalah Moshi (arXiv 2024) |
| Opus dengan penyempurna NoLACE pada 9 kb/s dibandingkan dengan Opus tanpa penyempurna | Lebih baik daripada 12 kb/s | Xiph.Org, rilis Opus 1.5 (2024) |
| Ukuran model DRED, Opus 1.6 dan Opus 1.5 | 600 kB dan 1.800 kB | Xiph.Org, rilis Opus 1.6 (2025) |
Metodologi dan Sumber
- Google, SoundStream: An End-to-End Neural Audio Codec (arXiv 2107.03312, 2021; IEEE/ACM TASLP): rasio bitrate MUSHRA terhadap Opus dan EVS, ukuran frame, penghematan pengodean entropi.
- Google Open Source Blog, Lyra V2 (September 2022): kesetaraan dengan Opus, latensi, pengukuran waktu pada Pixel 6 Pro.
- Meta AI, High Fidelity Neural Audio Compression (EnCodec), TMLR 2023 (arXiv 2210.13438): tabel MUSHRA, rasio kompresi, faktor waktu nyata, pengodean entropi.
- Meta Engineering, MLow: Meta’s low bitrate audio codec (13 Juni 2024): perbandingan POLQA milik vendor sendiri dengan Opus.
- Copet et al., Simple and Controllable Music Generation (MusicGen), arXiv 2023: konfigurasi tokenizer EnCodec dan jam pelatihan.
- Descript, High-Fidelity Audio Compression with Improved RVQGAN (DAC), NeurIPS 2023: faktor kompresi, tabel ViSQOL, jumlah parameter.
- Kyutai, Moshi: a speech-text foundation model for real-time dialogue (arXiv 2410.00037, 2024): spesifikasi codec Mimi, MUSHRA terhadap tokenizer semantik, latensi dialog.
- NVIDIA, Low Frame-rate Speech Codec (arXiv 2409.12117, 2024): laju frame, bitrate, percepatan inferensi TTS.
- Microsoft, VALL-E: Neural Codec Language Models are Zero-Shot Text to Speech Synthesizers (arXiv 2301.02111, 2023): jam pelatihan dan panjang prompt.
- Ji et al., WavTokenizer (ICLR 2025, arXiv 2408.16532): laju token kuantizer tunggal dan UTMOS.
- Parker et al., Scaling Transformers for Low-Bitrate High-Quality Speech Coding (TAAE), ICLR 2025: hasil 400 dan 700 bps, jumlah parameter.
- Della Libera et al., FocalCodec (NeurIPS 2025, arXiv 2502.04465): tabel tolok ukur sub-1 kbps dengan UTMOS, dWER, dan faktor waktu nyata.
- Wu et al., Codec-SUPERB: An In-Depth Analysis of Sound Codec Models (arXiv 2402.13071, 2024): hasil hilir ASR, pembicara, emosi.
- Mousavi et al., DASB: Discrete Audio and Speech Benchmark (arXiv 2406.14294, direvisi 21 April 2026): temuan representasi diskret dibanding kontinu.
- Xiph.Org, catatan rilis Opus 1.5 (4 Maret 2024) dan catatan rilis Opus 1.6 (15 Desember 2025): LACE, NoLACE, DRED, FARGAN, perluasan bandwidth.
- IETF, RFC 6716: Definition of the Opus Audio Codec (September 2012) dan IETF, draft-ietf-mlcodec-opus-dred: rentang bitrate dan penundaan Opus, beban tambahan DRED.
- 3GPP, Enhanced Voice Services codec for LTE (Release 12, 7 November 2014): rentang bitrate dan bandwidth EVS.
- ITU-R BS.1534-3 (MUSHRA), Oktober 2015 dan ITU-T P.808 crowdsourced speech quality, Juni 2021: metode uji dengar di balik angka MUSHRA dan MOS hasil crowdsourcing.
- Catatan data: (1) MUSHRA, MOS, ViSQOL, UTMOS, dan PESQ tidak dapat dipertukarkan, dan sebuah skor hanya bermakna terhadap referensi dan garis dasar dalam uji yang sama; UTMOS khususnya dapat menilai sebuah codec di atas rekaman asli (FocalCodec 4,22 dibanding 4,09). (2) Blog MLow milik Meta mencetak “POLQA MOS 1,89 vs 3,9” tanpa memberi label skor mana milik codec mana; konteks artikel mengisyaratkan Opus 1,89 dan MLow 3,9, dan versi Opus yang dipakai tidak disebutkan. (3) Teks Codec-SUPERB menyebut akurasi emosi DAC 24 kbps turun “sebesar 0,38%”, tetapi nilai tabelnya (69,84% menjadi 69,56%) memberi 0,28 poin, dan jumlah dataset dalam makalah bervariasi antara 20 dan 21; kami hanya melaporkan nilai tabel. (4) Pengaturan 40 token milik WavTokenizer dicetak sebagai 0,5 kbps di tabelnya dan 0,48 kbps di teksnya. (5) Halaman arXiv EnCodec masih menyebut “Pracetak” sementara daftar TMLR 2023 mengonfirmasi publikasi jurnal; Google mencantumkan SoundStream di IEEE/ACM TASLP dengan tanggal 2021 sementara indeks lain menyebut 2022. (6) Jumlah parameter untuk codec yang sama bervariasi menurut sumber: Mimi tercatat 80M di makalah TAAE, 82M di makalah FocalCodec, dan 96,2M pada kartu model Hugging Face milik Kyutai, kemungkinan bergantung pada komponen mana yang dihitung. Definisi faktor waktu nyata juga berbeda antarmakalah, sehingga baris kecepatan lintas makalah tidak dapat dibandingkan secara langsung. (7) Sebagian besar perbandingan langsung dengan Opus mendahului fitur neural Opus 1.5 dan 1.6, dan tidak ada angka ukuran pasar yang disertakan karena tidak ditemukan data pasar Tier 1 untuk codec neural.
- Terakhir diperbarui: 31 Oktober 2026. Kami memperbarui rangkuman ini setiap kuartal, dan pembaruan berikutnya diperkirakan terjadi ketika kelompok kerja mlcodec IETF mendorong draft-ietf-mlcodec-opus-dred menuju penerbitan RFC.