6 kbpsにおいて、MetaのニューラルコーデックEnCodecはクリーン音声でMUSHRA聴取尺度83.1を記録したが、同じ6 kbpsのOpusは30.1、隠された原音は95.5だった(Meta AI、EnCodec論文、TMLR 2023)。この差こそ、ニューラルオーディオ符号化の物語そのものだ。同じビット数で、スコアが53ポイントも高い(83.1から30.1を引いた値)。GoogleのSoundStreamは3 kbpsで、EVSが少なくとも9.6 kbps、Opusが少なくとも12 kbpsを要する品質に並んだ(Google、SoundStream論文 2021)。研究用コーデックは現在、実用的な音声を1 kbps未満、0.16 kbpsまで押し下げている(Della Libera ほか、FocalCodec、NeurIPS 2025)。従来型コーデックも独自のニューラル拡張で応じている。Opus 1.5は400 MFLOPSのエンハンサーにより、音声を「6 kb/sまで十分に使える」ものにした(Xiph.Org、Opus 1.5リリース 2024)。これはジッターバッファとPOLQAスコアとあわせて通話品質を調整する人にとって重要だ。本稿では、Google、Meta AI、Descript、Kyutai、Xiph.Org、IETF、3GPP、ITUの資料のほか、Codec-SUPERB、DASB、WavTokenizer、TAAE、FocalCodecなど査読付きベンチマークのデータを集約した。
主なポイント
- EnCodecは6 kbpsのクリーン音声でMUSHRA 83.1を記録し、6 kbpsのOpusは30.1だった(Meta AI、EnCodec論文 2023)。
- 3 kbpsのSoundStreamは、EVSで少なくとも9.6 kbps、Opusで少なくとも12 kbpsを要する品質に並んだ(Google、SoundStream論文 2021)。
- 3.2 kbpsのLyra V2は、MUSHRAテストで10 kbpsのOpusと同等と評価された(Google Open Source Blog、Lyra V2 2022)。
- Descript Audio Codecは44.1 kHzのオーディオを8 kbpsのトークンへ約90倍に圧縮する(Descript、DAC論文、NeurIPS 2023)。
- FocalCodecは0.16 kbpsでUTMOS 4.22に達し、非圧縮の基準は4.09だった(Della Libera ほか、NeurIPS 2025)。
- TAAEコーデックは400 bpsでPESQ 2.96を達成し、1,100 bpsで3.01のMimiに迫った(Parker ほか、ICLR 2025)。
- VALL-Eは、ニューラルコーデックのトークンとして符号化した英語音声60K時間からゼロショットTTSを学習し、必要な音声プロンプトは3秒だけだった(Microsoft、VALL-E論文 2023)。
- Opus 1.5のNoLACEエンハンサーを使った9 kb/sは、エンハンサーなしの12 kb/sのOpusを上回り、CPU使用率は約0.75%だった(Xiph.Org、Opus 1.5リリース 2024)。
- KyutaiのMimiは音声を12.5 Hz、1.1 kbpsで符号化し、実際の遅延が200 msの対話モデルを可能にした(Kyutai、Moshi論文 2024)。
- 1.5 kbpsのEnCodecは、音声認識(ASR)の単語誤り率を2.96%から9.21%へと3倍以上に高めた(Wu ほか、Codec-SUPERB 2024)。
1. 従来型コーデックに並ぶために必要なビット数(聴取テスト)
第1世代のニューラルコーデックの見出しとなる成果は「より良い音」ではなく、「わずかなビット数で同じ音」だった。3 kbpsのSoundStreamは、EVSが少なくとも9.6 kbps、Opusが少なくとも12 kbpsを要する品質に達した。これは3.2倍と4倍のビット数に相当する(9.6 / 3 = 3.2、12 / 3 = 4)(Google、SoundStream論文)。ビット予算が増えるほど、この優位は縮まる。中程度と高いビットレートでは、従来型コーデックが必要とするビット数の超過は2.2倍から2.6倍、その次は1.3倍から1.6倍にとどまった。
これらの論文の大半が用いる聴取テストMUSHRAはITU-R BS.1534-3で定義されている。聴取者は、1つのクリップを符号化した複数のバージョンを、隠された原音のコピーと並べて評価するため、コーデックのスコアは同じテストで隠された原音が得た点数と照らして読むのが最善だ。このパターンはベンダーを問わず一貫している。ビットレートが低いほどニューラルコーデックのリードは大きくなるが、その一因は6 kbpsのOpusが狭帯域オーディオに切り替わることにある。
| 指標 | 値 | 出典 |
|---|---|---|
| 3 kbpsのSoundStreamに並ぶために必要なOpusとEVSのビットレート | Opusは少なくとも12 kbps、EVSは少なくとも9.6 kbps | Google、SoundStream論文(arXiv 2021) |
| 中程度のビットレート(6 kbps)でSoundStreamに並ぶためにEVSとOpusが余分に必要とするビット数 | 2.2倍から2.6倍多い | Google、SoundStream論文(arXiv 2021) |
| 3.2、6、9.2 kbpsのLyra V2と同等と評価されたOpusのビットレート(MUSHRA) | 10、13、14 kbps | Google Open Source Blog、Lyra V2(2022) |
| MUSHRA、クリーン音声:6 kbpsのEnCodec 対 6 kbpsのOpus 対 隠された原音 | 83.1 対 30.1 対 95.5 | Meta AI、EnCodec論文(TMLR 2023) |
| MUSHRA、音楽セット1:3 kbpsのEnCodec 対 12 kbpsのOpus | 89.6 対 77.8 | Meta AI、EnCodec論文(TMLR 2023) |
| 6 kbps広帯域でのPOLQA MOS、MLow 対 Opus(ベンダー自身の主張) | 3.9 対 1.89 | Meta Engineering、MLowブログ(2024) |
入手可能な最新データ:SoundStream(2021)、Lyra V2(2022)、EnCodec(2022年プレプリント、2023年学術誌)。これらは新しい論文でも引き続き基準の比較として引用されているが、Opus 1.5のニューラル強化(7節を参照)より前のものであるため、従来型コーデックのベースラインは現在のlibopusより古い。MLowの数値はMetaのエンジニアリングブログに基づいており、同ブログはOpusが6 kbpsでは狭帯域モード(0から4 kHz)で動作すると述べている。これは実運用の通話コーデックを持つベンダー自身の主張であり、独立した測定ではなく参考値として掲載している。
2. 圧縮率と、品質向上が止まる点
圧縮率はニューラルコーデックが最も劇的に見える部分だ。Descript Audio Codec(DAC)は、音声、音楽、環境音に対応する1つの汎用モデルで、44.1 kHzのオーディオを8 kbpsのトークンへ約90倍に圧縮する(Descript、DAC論文、NeurIPS 2023)。48 kHzのステレオ音楽では、6 kbpsのEnCodec(256倍の圧縮)がMUSHRA 82.9を記録し、これは64 kbpsのMP3(24倍の圧縮、82.7)と同じ知覚品質の帯域だった。
エンジニアにとってより有用な発見は飽和だ。EnCodecのステレオモデルは12 kbpsで88.0、24 kbpsで87.5だったため、ビットレートを倍にしても測定できる向上はなかった。第2の手段はエントロピー符号化で、トークンの上に小さな言語モデルを置くと、品質を変えずに帯域幅の25%から40%を削減できるが、その代償として速度が落ちる。
| 指標 | 値 | 出典 |
|---|---|---|
| 8 kbpsでのDACによる44.1 kHzオーディオの圧縮 | 約90倍 | Descript、DAC論文(NeurIPS 2023) |
| 44 kHzでのViSQOL:8 kbpsのDAC 対 24 kbpsのEnCodec 対 24 kbpsのOpus | 4.18 対 3.16 対 4.15 | Descript、DAC論文(NeurIPS 2023) |
| 44 kHzでのViSQOL:1.78 kbpsのDAC 対 8 kbpsのOpus | 3.76 対 2.06 | Descript、DAC論文(NeurIPS 2023) |
| MUSHRA、48 kHzステレオ音楽:6 kbpsのEnCodec(256倍) 対 12 kbps 対 24 kbps 対 64 kbpsのMP3(24倍) | 82.9 対 88.0 対 87.5 対 82.7 | Meta AI、EnCodec論文(TMLR 2023) |
| EnCodecのトークンに対し、言語モデルをエントロピー符号化器として使った場合に節約できる帯域幅 | 約25%から40% | Meta AI、EnCodec論文(TMLR 2023) |
| SoundStreamのトークンをエントロピー符号化した場合に見込めるレートの節約 | 7%から20% | Google、SoundStream論文(arXiv 2021) |
ViSQOLは、信号から知覚品質を予測する客観的モデルだ。DAC自身のMUSHRAスコアはグラフとしてのみ公表されているため、表では論文に印刷されたViSQOLの数値を用いている。Opusとの比較には1つ注意点がある。DAC論文では、8 kbpsのOpusはオーディオ帯域幅を4 kHzのみで符号化したのに対し、DACは22.05 kHz全体を維持しており、差の一部は効率ではなく帯域幅によるものだ。
3. 音声における1 kbps未満のフロンティア
2025年世代の研究用コーデックは、競争の焦点を「Opusに勝つ」から、「どれほど少ないビット数で、聞き取りやすく自然な音声を運べるか」へと移した。0.16 kbpsのFocalCodecは、クリーンなLibriSpeechでUTMOS 4.22を記録し、非圧縮の基準の4.09を上回った(Della Libera ほか、FocalCodec、NeurIPS 2025)。UTMOSは聴取者の平均オピニオンスコアを予測するニューラルモデルであるため、非常にクリーンに聞こえる出力を生成するだけで、コーデックが原音を「上回る」ことがあり得る。
明瞭度はもう半分の事情を語る。同じ表は、再合成された音声に対してASRシステムが余分に生じさせる単語誤り率であるdWERも報告している。FocalCodecの0.16 kbps設定では7.94に達したが、0.65 kbps設定では2.18にとどまった。自然な音はいまや安価になったが、すべての単語と話者の同一性を保つにはなおビットが必要だ。
| 指標 | 値 | 出典 |
|---|---|---|
| UTMOS:0.16 kbpsのFocalCodec 対 非圧縮の基準(LibriSpeechクリーン) | 4.22 対 4.09 | Della Libera ほか、FocalCodec論文(NeurIPS 2025) |
| dWER:0.65 kbpsのFocalCodec 対 0.16 kbps | 2.18 対 7.94 | Della Libera ほか、FocalCodec論文(NeurIPS 2025) |
| UTMOSとdWER:1.04 kbpsのBigCodec | 4.11と2.55 | Della Libera ほか、FocalCodec論文(NeurIPS 2025) |
| UTMOSとdWER:1.5 kbpsのEnCodec | 1.58と8.08 | Della Libera ほか、FocalCodec論文(NeurIPS 2025) |
| PESQ:400 bpsのTAAE 対 1,100 bpsのMimi | 2.96 対 3.01 | Parker ほか、TAAE論文(ICLR 2025) |
| PESQとSI-SDR:700 bpsのTAAE | 3.09と4.73 dB | Parker ほか、TAAE論文(ICLR 2025) |
| UTMOS:0.9 kbps(毎秒75トークン)のWavTokenizer 対 9 kbpsのDAC 対 正解音声 | 4.0486 対 3.9097 対 4.0562 | Ji ほか、WavTokenizer論文(ICLR 2025) |
TAAEの比較は二度読む価値がある。400 bpsで、1,100 bpsのMimiとほぼ同じPESQに達したが、そのMimi自体もまだ登場して数年のコーデックだ(Parker ほか、TAAE論文)。この節のすべての数値は、クリーンなLibriSpeechまたはLibriTTSの読み上げ音声で測定されたものなので、最良のケースとして扱ってほしい。
4. 遅延と計算コスト
ビットレートは予算の1つにすぎない。ライブ通話やストリーミング向けのコーデックには、遅延の予算とCPUの予算もある。Lyra V2はPixel 6 Proで20 msのフレームを0.57 msでエンコード・デコードし、これはリアルタイムの35倍の速さで、遅延はLyra V1の100 msに対して20 msだ(Google Open Source Blog、Lyra V2)。20 msのフレームで動作するストリーミング型ニューラルコーデックは、Opus規格が従来型の符号化にすでに認めている遅延の範囲に収まる(表を参照)。
モデルサイズでは世代間で差が開く。スマートフォン向けのコーデックは小さく高速に保たれる一方、1 kbps未満の研究用コーデックはビット数と引き換えに計算量を費やす。TAAEは約950Mパラメータを持ち、SemantiCodecはリアルタイムより遅く動作する。
| 指標 | 値 | 出典 |
|---|---|---|
| 遅延:Lyra V2 対 Lyra V1 | 20 ms 対 100 ms | Google Open Source Blog、Lyra V2(2022) |
| MacBook Pro 2019のCPUスレッド1本、6 kbpsでの実時間係数、エンコーダーとデコーダー(1より大きい = リアルタイムより高速):EnCodec 24 kHz 対 Lyra v2 | 9.8と10.4 対 27.4と67.2 | Meta AI、EnCodec論文(TMLR 2023) |
| Opusのアルゴリズム遅延の範囲とフレームサイズ | 5から65.2 ms、フレームは2.5から60 ms | IETF、RFC 6716(2012) |
| モデルパラメータ:DAC(エンコーダーとデコーダーの合計) | 76M(エンコーダー22M、デコーダー54M) | Descript、DAC論文(NeurIPS 2023) |
| モデルパラメータ:TAAE 対 Mimi 対 EnCodec | 950M 対 80M 対 14M | Parker ほか、TAAE論文(ICLR 2025) |
| 実時間係数(1より大きい = リアルタイムより高速):0.16 kbpsのFocalCodec 対 BigCodec 対 SemantiCodec | 208 対 22 対 0.62 | Della Libera ほか、FocalCodec論文(NeurIPS 2025) |
実時間係数は論文によって報告方法が異なる。EnCodecとFocalCodecは「リアルタイムの何倍速いか」(高いほど良い)を用いるため、異なる論文の値を行ごとに比較すべきではない。Opusの範囲はIETFのRFC 6716に基づく。これは現在もOpusのビットストリームを定義する2012年の規格であり、このベースラインについて入手可能な最新データは2012年のRFCで、7節で扱う2024年と2025年のlibopusリリースによって拡張されている。
5. 音声・オーディオ言語モデルにおけるコーデックトークン
ニューラルコーデックには、いまや第二の役割がある。言語モデルに話させるトークナイザーだ。KyutaiのMimiは、2,048エントリのコードブック8個を用いて、24 kHzの音声を12.5 Hz、1.1 kbpsのトークンに符号化し、それを基盤とする対話モデルMoshiは、理論上の遅延160 ms、実際には200 msを報告している(Kyutai、Moshi論文)。自己回帰モデルは一般にトークンのフレームごとに1ステップを実行するため、フレームレートがそのまま速度に直結する。このテーマはエージェント側から、当社の最初のオーディオバイトまでの時間の統計で扱っている。
だからこそ、ビットレートだけでなくフレームレートが設計目標になった。NVIDIAのLow Frame-rate Speech Codecは毎秒21.5フレーム、1.89 kbpsで動作し、開発者によれば、LLMベースの音声合成の推論を約3倍速くする。音声クローンソフトウェアやTTSの上に構築された音声製品は、こうしたトレードオフをそのまま引き継ぐ。
| 指標 | 値 | 出典 |
|---|---|---|
| Mimiのトークンレート、ビットレート、オーディオのサンプリングレート | 12.5 Hz、1.1 kbps、24 kHz | Kyutai、Moshi論文(arXiv 2024) |
| MUSHRA:1.1 kbpsのMimi 対 4.0 kbpsのSpeechTokenizer 対 1.3 kbpsのSemantiCodec | 81.0 対 74.3 対 64.8 | Kyutai、Moshi論文(arXiv 2024) |
| Moshiの対話遅延、理論上 対 実際 | 160 ms 対 200 ms | Kyutai、Moshi論文(arXiv 2024) |
| NVIDIAのLow Frame-rate Speech Codecのフレームレートとビットレート | 毎秒21.5フレーム、1.89 kbps | NVIDIA、Low Frame-rate Speech Codec論文(arXiv 2024) |
| その低フレームレートコーデックによるLLM音声合成の推論の高速化 | 約3倍高速 | NVIDIA、Low Frame-rate Speech Codec論文(arXiv 2024) |
| WavTokenizerの単一量子化器による24 kHzオーディオの毎秒トークン数 | 40または75 | Ji ほか、WavTokenizer論文(ICLR 2025) |
| ニューラルコーデックのコードで学習したTTSモデルVALL-Eの学習データと音声プロンプト | 英語音声60K時間、3秒のプロンプト | Microsoft、VALL-E論文(arXiv 2023) |
| MusicGenのトークナイザー:32 kHzのEnCodec、コードブック、トークンレート、学習用音楽 | 2,048のコードブック4個、50 Hz、20K時間 | Copet ほか、MusicGen論文(arXiv 2023) |
VALL-EとMusicGenについて入手可能な最新データ:2023年。MUSHRAの行に関する注意点:Mimiの81.0は敵対的損失のみで学習した変種であり、それを使わずに学習した変種は58.8だったため、トークナイザーの学習方法は、ビットレートと同じくらい知覚品質を左右する。
6. コーデックが下流タスクのために保持するもの
聴取スコアだけでは、文字起こしエンジン、話者確認、感情分類器が復号後のオーディオでも機能するかどうかは分からない。Codec-SUPERBでは、1.5 kbpsのEnCodecがASRの単語誤り率を2.96%から9.21%へ、話者照合の等誤り率を0.86%から13.88%へと引き上げた一方、24 kbpsのDACは単語誤り率を元の2.96%にぴったり維持した(Wu ほか、Codec-SUPERB)。こうした誤り率の変化は、圧縮されたパイプラインで音声認識のハルシネーションと誤り率を追跡している人にとって重要だ。
話者の同一性と感情は、低ビットレートで最初に失われるものだ。音声の内容は、パラ言語の層よりも長く生き残る。DASBベンチマークは、コーデックのトークンをモデルの入力として使う場合について、より鋭い結論に達している。「すべてのドメインとタスクで、連続表現は離散トークンを上回る」というもので、中程度のビットレートが最も良好に機能した(Mousavi ほか、DASB)。
| 指標 | 値 | 出典 |
|---|---|---|
| Codec-SUPERBで評価されたコーデックモデルとモデルファミリー | 6ファミリーの19バリアント | Wu ほか、Codec-SUPERB論文(arXiv 2024) |
| ASRの単語誤り率:原音 対 1.5 kbpsのEnCodec | 2.96% 対 9.21% | Wu ほか、Codec-SUPERB論文(arXiv 2024) |
| 話者照合の等誤り率:原音 対 1.5 kbpsのEnCodec | 0.86% 対 13.88% | Wu ほか、Codec-SUPERB論文(arXiv 2024) |
| 感情認識の精度:原音 対 1.5 kbpsのEnCodec | 69.84% 対 58.84% | Wu ほか、Codec-SUPERB論文(arXiv 2024) |
| ASRの単語誤り率:6 kbpsのDAC 対 24 kbpsのDAC | 3.26% 対 2.96% | Wu ほか、Codec-SUPERB論文(arXiv 2024) |
| PESQと総合的な音声スコアの相関 | 0.97 | Wu ほか、Codec-SUPERB論文(arXiv 2024) |
| トークナイザーに関するDASBのビットレート計算式 | log2(語彙サイズ) x コードブック数 x トークンレート | Mousavi ほか、DASBベンチマーク(arXiv 2024) |
補足:等誤り率とは、話者照合システムが誤って受理する割合と誤って拒否する割合が等しくなる点であり、0.86%から13.88%への跳ね上がりは、復号された声をその持ち主と照合することがはるかに難しくなったことを意味する。Codec-SUPERBのPESQの相関は、実用的な近道も示唆している。音声については、長年使われてきたPESQ指標が、ベンチマークの総合的な評価に今も近い形で追随している。
7. 従来型コーデックのニューラル化:Opus、EVS、標準化トラック
従来型コーデックも立ち止まってはいない。Opus 1.5(2024年3月4日)は、NoLACEエンハンサーによって9 kb/sの音声がエンハンサーなしの12 kb/sよりも良くなり、実行時のコストはCPUの約0.75%であることを示した(Xiph.Org、Opus 1.5リリース)。現在IETFの標準化トラックにあるDeep Redundancy(DRED)機能は、各パケットに最大1秒分のバックアップオーディオを詰め込み、「20 msのパケットがどれも実質的に50回送信される」ことになる。リリースノートによれば「90%の損失があってもなお良好に動作する」(ここでの「パケット損失」とは、ネットワーク上で破棄されたデータパケットを指し、失われたオーディオファイルのことではない)。
要点は、1節で古いOpusのビルドに対して測定した差が、従来型の側から縮まりつつあるということだ。Opus 1.6(2025年12月15日)はさらに進み、DREDモデルを小型化し、ニューラルな帯域拡張を加えたことで、9 kb/sの音声が18 kb/sのOpus 1.4フルバンドの品質に達する。
| 指標 | 値 | 出典 |
|---|---|---|
| 規格が定めるOpusのビットレート範囲 | 6 kbit/sから510 kbit/s | IETF、RFC 6716(2012) |
| EVSのビットレート範囲と最大オーディオ帯域幅 | 5.9から128 kbps、最大20 kHz | 3GPP、EVSコーデックのニュースリリース(2014) |
| NoLACEを使ったOpus 1.5で音声が「十分に使える」最低のビットレート | 6 kb/s | Xiph.Org、Opus 1.5リリース(2024) |
| Opus 1.5におけるNoLACEとLACEのエンハンサー、およびFARGANニューラルボコーダーの計算量 | NoLACEは400 MFLOPS(CPUの約0.75%)、LACEは100 MFLOPS(CPUの約0.15%)、FARGANは600 MFLOPS(LPCNetの1/5) | Xiph.Org、Opus 1.5リリース(2024) |
| DREDモデルのサイズ:Opus 1.6 対 Opus 1.5 | 600 kB 対 1,800 kB | Xiph.Org、Opus 1.6リリース(2025) |
| 9 kb/sでNoLACEを使ったOpus 1.6の帯域拡張が並ぶ相手 | 18 kb/sのOpus 1.4フルバンド | Xiph.Org、Opus 1.6リリース(2025) |
| DREDの冗長ビットレート 対 通常のOpusのビットレート、および比較用の帯域内LBRR | 約1/50(DRED) 対 約2/3(LBRR) | IETF、draft-ietf-mlcodec-opus-dred-07(2026年8月4日) |
DREDの仕様はまだインターネットドラフトであり(IETF mlcodec作業部会)、2026年8月4日に改訂された。Opus 1.5のノートは「Opus 1.5に含まれるバージョンは最終版と互換性がない」と警告していた。EVSの数値は3GPP Release 12の発表に基づく。入手可能な最新データ:3GPP、2014年。
まとめ:数字で見るニューラルオーディオコーデックのビットレートと品質
| 指標 | 値 | 出典 |
|---|---|---|
| MUSHRA、クリーン音声:6 kbpsのEnCodec 対 6 kbpsのOpus | 83.1 対 30.1 | Meta AI、EnCodec論文(TMLR 2023) |
| 3 kbpsのSoundStreamに並ぶために必要なOpusとEVSのビットレート | Opusは少なくとも12 kbps、EVSは少なくとも9.6 kbps | Google、SoundStream論文(arXiv 2021) |
| 規格が定めるOpusのビットレート範囲 | 6から510 kbit/s | IETF、RFC 6716(2012) |
| 8 kbpsでのDACによる44.1 kHzオーディオの圧縮 | 約90倍 | Descript、DAC論文(NeurIPS 2023) |
| ViSQOL:8 kbpsのDAC 対 24 kbpsのEnCodec | 4.18 対 3.16 | Descript、DAC論文(NeurIPS 2023) |
| dWER:0.65 kbpsのFocalCodec 対 0.16 kbps | 2.18 対 7.94 | Della Libera ほか、FocalCodec論文(NeurIPS 2025) |
| UTMOS:0.16 kbpsのFocalCodec 対 基準 | 4.22 対 4.09 | Della Libera ほか、FocalCodec論文(NeurIPS 2025) |
| PESQ:400 bpsのTAAE 対 1,100 bpsのMimi | 2.96 対 3.01 | Parker ほか、TAAE論文(ICLR 2025) |
| UTMOS:0.9 kbpsのWavTokenizer 対 9 kbpsのDAC | 4.0486 対 3.9097 | Ji ほか、WavTokenizer論文(ICLR 2025) |
| 感情認識の精度:原音 対 1.5 kbpsのEnCodec | 69.84% 対 58.84% | Wu ほか、Codec-SUPERB論文(arXiv 2024) |
| モデルパラメータ:TAAE 対 EnCodec | 950M 対 14M | Parker ほか、TAAE論文(ICLR 2025) |
| Mimiのトークンレートとビットレート | 12.5 Hz、1.1 kbps | Kyutai、Moshi論文(arXiv 2024) |
| Moshiの実際の対話遅延 | 200 ms | Kyutai、Moshi論文(arXiv 2024) |
| 毎秒21.5フレームのコーデックによるLLM音声合成の高速化 | 約3倍 | NVIDIA、Low Frame-rate Speech Codec論文(arXiv 2024) |
| ASRの単語誤り率:原音 対 1.5 kbpsのEnCodec | 2.96% 対 9.21% | Wu ほか、Codec-SUPERB論文(arXiv 2024) |
| MUSHRA:1.1 kbpsのMimi 対 4.0 kbpsのSpeechTokenizer | 81.0 対 74.3 | Kyutai、Moshi論文(arXiv 2024) |
| 9 kb/sでNoLACEによって強化されたOpusとエンハンサーなしのOpusの比較 | 12 kb/sより優れる | Xiph.Org、Opus 1.5リリース(2024) |
| DREDモデルのサイズ、Opus 1.6 対 Opus 1.5 | 600 kB 対 1,800 kB | Xiph.Org、Opus 1.6リリース(2025) |
方法論と出典
- Google、SoundStream: An End-to-End Neural Audio Codec(arXiv 2107.03312、2021年、IEEE/ACM TASLP):OpusおよびEVSに対するMUSHRAのビットレート比、フレームサイズ、エントロピー符号化による節約。
- Google Open Source Blog、Lyra V2(2022年9月):Opusとの同等性、遅延、Pixel 6 Proでの処理時間。
- Meta AI、High Fidelity Neural Audio Compression(EnCodec)、TMLR 2023(arXiv 2210.13438):MUSHRAの表、圧縮率、実時間係数、エントロピー符号化。
- Meta Engineering、MLow: Meta’s low bitrate audio codec(2024年6月13日):ベンダー自身によるOpusとのPOLQA比較。
- Copet ほか、Simple and Controllable Music Generation(MusicGen)、arXiv 2023:EnCodecトークナイザーの構成と学習時間。
- Descript、High-Fidelity Audio Compression with Improved RVQGAN(DAC)、NeurIPS 2023:圧縮倍率、ViSQOLの表、パラメータ数。
- Kyutai、Moshi: a speech-text foundation model for real-time dialogue(arXiv 2410.00037、2024年):Mimiコーデックの仕様、意味的トークナイザーとのMUSHRA比較、対話遅延。
- NVIDIA、Low Frame-rate Speech Codec(arXiv 2409.12117、2024年):フレームレート、ビットレート、音声合成の推論の高速化。
- Microsoft、VALL-E: Neural Codec Language Models are Zero-Shot Text to Speech Synthesizers(arXiv 2301.02111、2023年):学習時間とプロンプトの長さ。
- Ji ほか、WavTokenizer(ICLR 2025、arXiv 2408.16532):単一量子化器のトークンレートとUTMOS。
- Parker ほか、Scaling Transformers for Low-Bitrate High-Quality Speech Coding(TAAE)、ICLR 2025:400 bpsと700 bpsの結果、パラメータ数。
- Della Libera ほか、FocalCodec(NeurIPS 2025、arXiv 2502.04465):UTMOS、dWER、実時間係数を含む1 kbps未満のベンチマーク表。
- Wu ほか、Codec-SUPERB: An In-Depth Analysis of Sound Codec Models(arXiv 2402.13071、2024年):下流タスクであるASR、話者、感情の結果。
- Mousavi ほか、DASB: Discrete Audio and Speech Benchmark(arXiv 2406.14294、2026年4月21日改訂):離散表現と連続表現に関する知見。
- Xiph.Org、Opus 1.5リリースノート(2024年3月4日)およびOpus 1.6リリースノート(2025年12月15日):LACE、NoLACE、DRED、FARGAN、帯域拡張。
- IETF、RFC 6716: Definition of the Opus Audio Codec(2012年9月)およびIETF、draft-ietf-mlcodec-opus-dred:Opusのビットレートと遅延の範囲、DREDのオーバーヘッド。
- 3GPP、Enhanced Voice Services codec for LTE(Release 12、2014年11月7日):EVSのビットレート範囲と帯域幅。
- ITU-R BS.1534-3(MUSHRA)、2015年10月およびITU-T P.808 クラウドソーシングによる音声品質、2021年6月:MUSHRAおよびクラウドソーシングMOSの数値の背後にある聴取テストの手法。
- データウォッチ:(1) MUSHRA、MOS、ViSQOL、UTMOS、PESQは互換性がなく、スコアは同じテストの基準およびベースラインと比べて初めて意味を持つ。特にUTMOSは、コーデックを原音よりも高く評価することがある(FocalCodecの4.22 対 4.09)。(2) MetaのMLowブログは「POLQA MOS 1.89 vs 3.9」と印刷しているが、どのスコアがどのコーデックのものかは記していない。記事の文脈からはOpusが1.89、MLowが3.9と読み取れ、使用されたOpusのバージョンは明記されていない。(3) Codec-SUPERBの本文はDAC 24 kbpsの感情精度が「0.38%」低下すると書いているが、表の値(69.84%から69.56%)では0.28ポイントであり、論文のデータセット数も20と21の間でぶれているため、当社は表の値のみを報告する。(4) WavTokenizerの40トークン設定は、表では0.5 kbps、本文では0.48 kbpsと印刷されている。(5) EnCodecのarXivページは今も「プレプリント」と表示しているが、TMLR 2023の掲載リストは学術誌での公開を確認している。GoogleはSoundStreamを2021年の日付でIEEE/ACM TASLPに掲載しているが、他のインデックスは2022年としている。(6) 同じコーデックのパラメータ数も出典によって異なる。Mimiは、TAAE論文では80M、FocalCodec論文では82M、KyutaiのHugging Faceのモデルカードでは96.2Mとされており、どの構成要素を数えるかによる違いと思われる。実時間係数の定義も論文によって異なるため、論文をまたぐ速度の行は直接比較できない。(7) Opusとの直接比較の大半は、Opus 1.5および1.6のニューラル機能より前のものであり、ニューラルコーデックに関する第1級の市場データは見つからなかったため、市場規模の数値は含めていない。
- 最終更新日:2026年10月31日。当社はこのまとめを四半期ごとに更新しており、次回の更新は、IETFのmlcodec作業部会がdraft-ietf-mlcodec-opus-dredをRFC公開へ進めた時期を予定している。