6 kbps에서 Meta의 EnCodec 뉴럴 코덱은 클린 음성에 대해 MUSHRA 청취 척도 83.1점을 받았지만, 같은 6 kbps의 Opus는 30.1점, 숨겨진 원본은 95.5점이었다 (Meta AI, EnCodec 논문, TMLR 2023). 이 격차 하나가 뉴럴 오디오 코딩의 이야기를 모두 담고 있다. 같은 비트로 53점이나 더 높은 점수가 나온 것이다 (83.1에서 30.1을 뺀 값). Google의 SoundStream은 3 kbps에서 EVS가 최소 9.6 kbps, Opus가 최소 12 kbps를 써야 도달하는 품질과 같은 수준을 냈고 (Google, SoundStream 논문 2021), 연구용 코덱은 이제 사용 가능한 음성을 1 kbps 아래, 즉 0.16 kbps까지 밀어내렸다 (Della Libera 외, FocalCodec, NeurIPS 2025). 기존 코덱도 자체적인 뉴럴 보강으로 대응하고 있다. Opus 1.5는 400 MFLOPS짜리 인핸서로 음성을 ‘6 kb/s까지 충분히 쓸 만하게’ 만들었으며 (Xiph.Org, Opus 1.5 릴리스 2024), 이는 지터 버퍼와 POLQA 점수와 함께 통화 품질을 조정하는 사람에게 중요하다. 우리는 Google, Meta AI, Descript, Kyutai, Xiph.Org, IETF, 3GPP, ITU의 자료와 Codec-SUPERB, DASB, WavTokenizer, TAAE, FocalCodec 같은 동료 심사 벤치마크의 데이터를 종합했다.
요약
- EnCodec은 6 kbps 클린 음성에서 MUSHRA 83.1점을 받았고, 같은 6 kbps의 Opus는 30.1점이었다 (Meta AI, EnCodec 논문 2023).
- 3 kbps의 SoundStream은 EVS가 최소 9.6 kbps, Opus가 최소 12 kbps를 써야 하는 품질과 같았다 (Google, SoundStream 논문 2021).
- 3.2 kbps의 Lyra V2는 MUSHRA 테스트에서 10 kbps의 Opus와 동급으로 평가되었다 (Google Open Source Blog, Lyra V2 2022).
- Descript Audio Codec은 44.1 kHz 오디오를 8 kbps 토큰으로 약 90배 압축한다 (Descript, DAC 논문, NeurIPS 2023).
- FocalCodec은 0.16 kbps에서 UTMOS 4.22에 도달했으며, 압축하지 않은 기준 음성은 4.09였다 (Della Libera 외, NeurIPS 2025).
- TAAE 코덱은 400 bps에서 PESQ 2.96을 기록해, 1,100 bps에서 3.01인 Mimi에 근접했다 (Parker 외, ICLR 2025).
- VALL-E는 뉴럴 코덱 토큰으로 부호화한 영어 음성 60K 시간에서 제로샷 TTS를 학습했으며, 3초짜리 음성 프롬프트만 있으면 되었다 (Microsoft, VALL-E 논문 2023).
- Opus 1.5의 NoLACE 인핸서를 적용한 9 kb/s는 보강 없는 12 kb/s의 Opus를 앞섰고, CPU 사용량은 약 0.75%였다 (Xiph.Org, Opus 1.5 릴리스 2024).
- Kyutai의 Mimi는 음성을 12.5 Hz, 1.1 kbps로 부호화해 실제 지연 200ms의 대화 모델을 가능하게 했다 (Kyutai, Moshi 논문 2024).
- 1.5 kbps의 EnCodec은 음성 인식(ASR) 단어 오류율을 2.96%에서 9.21%로 세 배 넘게 높였다 (Wu 외, Codec-SUPERB 2024).
1. 청취 테스트에서 기존 코덱과 같아지는 데 필요한 비트
첫 세대 뉴럴 코덱의 핵심 성과는 ‘더 나은 음질’이 아니라 ‘비트의 일부만으로 같은 음질’이었다. 3 kbps의 SoundStream은 EVS가 최소 9.6 kbps, Opus가 최소 12 kbps를 써야 맞출 수 있는 품질에 도달했으며, 이는 각각 3.2배와 4배의 비트에 해당한다 (9.6 / 3 = 3.2; 12 / 3 = 4) (Google, SoundStream 논문). 비트 예산이 커질수록 이 이점은 줄어든다. 중간 및 높은 비트레이트에서 기존 코덱은 2.2배에서 2.6배, 그다음에는 1.3배에서 1.6배만 더 많은 비트가 필요했다.
이 논문들 대부분이 쓰는 청취 테스트인 MUSHRA는 ITU-R BS.1534-3에 정의되어 있다. 청취자가 한 클립의 여러 부호화 버전을 숨겨진 원본 사본과 나란히 놓고 평가하므로, 코덱의 점수는 같은 테스트에서 숨겨진 원본이 받은 점수와 비교해서 읽는 것이 가장 좋다. 이 패턴은 제조사를 가리지 않고 일관된다. 비트레이트가 낮을수록 뉴럴 코덱의 우위가 커지는데, 이는 6 kbps의 Opus가 협대역 오디오로 후퇴하는 것이 한 원인이다.
| 지표 | 값 | 출처 |
|---|---|---|
| 3 kbps의 SoundStream과 같아지는 데 필요한 Opus와 EVS의 비트레이트 | Opus 최소 12 kbps, EVS 최소 9.6 kbps | Google, SoundStream 논문 (arXiv 2021) |
| 중간 비트레이트(6 kbps)에서 SoundStream과 같아지기 위해 EVS와 Opus에 추가로 필요한 비트 | 2.2배에서 2.6배 더 | Google, SoundStream 논문 (arXiv 2021) |
| 3.2, 6, 9.2 kbps의 Lyra V2와 동급으로 평가된 Opus 비트레이트 (MUSHRA) | 10, 13, 14 kbps | Google Open Source Blog, Lyra V2 (2022) |
| MUSHRA, 클린 음성: 6 kbps의 EnCodec 대 6 kbps의 Opus 대 숨겨진 원본 | 83.1 대 30.1 대 95.5 | Meta AI, EnCodec 논문 (TMLR 2023) |
| MUSHRA, 음악 세트 1: 3 kbps의 EnCodec 대 12 kbps의 Opus | 89.6 대 77.8 | Meta AI, EnCodec 논문 (TMLR 2023) |
| 6 kbps 광대역에서의 POLQA MOS, MLow 대 Opus (제조사 자체 주장) | 3.9 대 1.89 | Meta Engineering, MLow 블로그 (2024) |
확인 가능한 가장 최근 데이터: SoundStream (2021), Lyra V2 (2022), EnCodec (2022년 프리프린트, 2023년 학술지). 이들은 여전히 최신 논문들이 인용하는 기준 비교이지만 Opus 1.5의 뉴럴 개선 이전의 것이므로 (7절 참고), 기존 코덱의 기준선은 오늘날의 libopus보다 오래된 것이다. MLow 수치는 Meta의 엔지니어링 블로그에서 가져온 것으로, 이 블로그는 Opus가 6 kbps에서 협대역 모드(0에서 4 kHz)로 동작한다고 밝힌다. 이는 실서비스 통화 코덱을 운영하는 제조사의 자체 주장이며 독립적인 측정이 아니라 참고 지점으로 실었다.
2. 압축률과 품질 향상이 멈추는 지점
압축률은 뉴럴 코덱이 가장 극적으로 보이는 부분이다. Descript Audio Codec(DAC)은 음성, 음악, 환경음을 하나의 범용 모델로 처리하며 44.1 kHz 오디오를 8 kbps의 토큰으로 약 90배 압축한다 (Descript, DAC 논문, NeurIPS 2023). 48 kHz 스테레오 음악에서 6 kbps의 EnCodec(256배 압축)은 MUSHRA 82.9점을 받았는데, 이는 64 kbps의 MP3(24배 압축, 82.7점)와 같은 체감 품질 구간이다.
엔지니어에게 더 쓸모 있는 발견은 포화 현상이다. EnCodec의 스테레오 모델은 12 kbps에서 88.0점, 24 kbps에서 87.5점을 받았으므로, 비트레이트를 두 배로 늘려도 측정 가능한 이득이 없었다. 두 번째 수단은 엔트로피 코딩이다. 토큰 위에 작은 언어 모델을 얹으면 품질 변화 없이 대역폭의 25%에서 40%를 줄일 수 있지만, 그 대가로 속도가 떨어진다.
| 지표 | 값 | 출처 |
|---|---|---|
| 8 kbps에서 DAC의 44.1 kHz 오디오 압축률 | 약 90배 | Descript, DAC 논문 (NeurIPS 2023) |
| 44 kHz에서의 ViSQOL: 8 kbps의 DAC 대 24 kbps의 EnCodec 대 24 kbps의 Opus | 4.18 대 3.16 대 4.15 | Descript, DAC 논문 (NeurIPS 2023) |
| 44 kHz에서의 ViSQOL: 1.78 kbps의 DAC 대 8 kbps의 Opus | 3.76 대 2.06 | Descript, DAC 논문 (NeurIPS 2023) |
| MUSHRA, 48 kHz 스테레오 음악: 6 kbps의 EnCodec(256배) 대 12 kbps 대 24 kbps 대 64 kbps의 MP3(24배) | 82.9 대 88.0 대 87.5 대 82.7 | Meta AI, EnCodec 논문 (TMLR 2023) |
| EnCodec 토큰에 엔트로피 코더로 언어 모델을 쓸 때 절감되는 대역폭 | 약 25%에서 40% | Meta AI, EnCodec 논문 (TMLR 2023) |
| SoundStream 토큰을 엔트로피 코딩할 때 가능한 전송률 절감 | 7%에서 20% | Google, SoundStream 논문 (arXiv 2021) |
ViSQOL은 신호로부터 체감 품질을 예측하는 객관적 모델이다. DAC 자체의 MUSHRA 점수는 그래프로만 공개되어 있어 표에는 논문에 인쇄된 ViSQOL 수치를 사용했다. Opus 비교에는 한 가지 단서가 있다. DAC 논문에서 8 kbps의 Opus는 오디오 대역폭을 4 kHz로만 부호화한 반면 DAC는 전체 22.05 kHz를 유지했으므로, 격차의 일부는 효율이 아니라 대역폭 차이에서 나온다.
3. 음성의 1 kbps 미만 최전선
2025년 세대의 연구용 코덱은 경쟁의 초점을 ‘Opus를 이기자’에서 ‘얼마나 적은 비트로 알아듣기 쉽고 자연스러운 음성을 전달할 수 있는가’로 옮겼다. 0.16 kbps의 FocalCodec은 LibriSpeech 클린 음성에서 UTMOS 4.22를 기록해, 압축하지 않은 기준 음성의 4.09를 웃돌았다 (Della Libera 외, FocalCodec, NeurIPS 2025). UTMOS는 청취자의 평균 의견 점수를 예측하는 신경망 모델이므로, 코덱이 매우 깨끗하게 들리는 출력을 만들어 내기만 해도 원본을 ‘이길’ 수 있다.
명료도는 나머지 절반을 말해 준다. 같은 표는 dWER, 즉 재합성된 음성에서 ASR 시스템이 추가로 일으키는 단어 오류율을 보고한다. FocalCodec의 0.16 kbps 설정은 7.94에 도달한 반면 0.65 kbps 설정은 2.18에 머물렀다. 자연스러운 소리는 이제 저렴해졌지만, 모든 단어와 화자의 정체성을 지키는 데는 여전히 비트가 든다.
| 지표 | 값 | 출처 |
|---|---|---|
| UTMOS: 0.16 kbps의 FocalCodec 대 압축하지 않은 기준 음성 (LibriSpeech 클린) | 4.22 대 4.09 | Della Libera 외, FocalCodec 논문 (NeurIPS 2025) |
| dWER: 0.65 kbps의 FocalCodec 대 0.16 kbps | 2.18 대 7.94 | Della Libera 외, FocalCodec 논문 (NeurIPS 2025) |
| UTMOS와 dWER: 1.04 kbps의 BigCodec | 4.11 및 2.55 | Della Libera 외, FocalCodec 논문 (NeurIPS 2025) |
| UTMOS와 dWER: 1.5 kbps의 EnCodec | 1.58 및 8.08 | Della Libera 외, FocalCodec 논문 (NeurIPS 2025) |
| PESQ: 400 bps의 TAAE 대 1,100 bps의 Mimi | 2.96 대 3.01 | Parker 외, TAAE 논문 (ICLR 2025) |
| PESQ와 SI-SDR: 700 bps의 TAAE | 3.09 및 4.73 dB | Parker 외, TAAE 논문 (ICLR 2025) |
| UTMOS: 0.9 kbps(초당 토큰 75개)의 WavTokenizer 대 9 kbps의 DAC 대 정답 음성 | 4.0486 대 3.9097 대 4.0562 | Ji 외, WavTokenizer 논문 (ICLR 2025) |
TAAE 비교는 두 번 읽어볼 만하다. 400 bps에서 이미 1,100 bps의 Mimi와 거의 같은 PESQ에 도달했는데, Mimi 자체도 나온 지 몇 년 되지 않은 코덱이다 (Parker 외, TAAE 논문). 이 절의 모든 수치는 깨끗한 LibriSpeech 또는 LibriTTS 낭독 음성에서 측정했으므로 최선의 경우로 받아들여야 한다.
4. 지연과 연산 비용
비트레이트는 예산의 하나일 뿐이다. 실시간 통화나 스트리밍용 코덱에는 지연 예산과 CPU 예산도 있다. Lyra V2는 Pixel 6 Pro에서 20ms 프레임을 0.57ms에 인코딩하고 디코딩하며, 이는 실시간보다 35배 빠르고, 지연은 Lyra V1의 100ms에 비해 20ms이다 (Google Open Source Blog, Lyra V2). 20ms 프레임 단위로 동작하는 스트리밍 뉴럴 코덱은 Opus 표준이 기존 코딩에 이미 허용하는 지연 범위 안에 들어간다 (표 참고).
모델 크기에서 세대 간 차이가 벌어진다. 휴대폰을 겨냥한 코덱은 작고 빠르게 유지되는 반면, 1 kbps 미만의 연구용 코덱은 비트를 얻는 대신 연산량을 쓴다. TAAE는 파라미터가 약 950M개이고, SemantiCodec은 실시간보다 느리게 동작한다.
| 지표 | 값 | 출처 |
|---|---|---|
| 지연: Lyra V2 대 Lyra V1 | 20ms 대 100ms | Google Open Source Blog, Lyra V2 (2022) |
| MacBook Pro 2019 CPU 스레드 1개, 6 kbps에서의 실시간 계수, 인코더와 디코더 (1 초과 = 실시간보다 빠름): EnCodec 24 kHz 대 Lyra v2 | 9.8 및 10.4 대 27.4 및 67.2 | Meta AI, EnCodec 논문 (TMLR 2023) |
| Opus 알고리즘 지연 범위와 프레임 크기 | 5ms에서 65.2ms, 프레임 2.5ms에서 60ms | IETF, RFC 6716 (2012) |
| 모델 파라미터: DAC (인코더와 디코더 합계) | 76M (인코더 22M, 디코더 54M) | Descript, DAC 논문 (NeurIPS 2023) |
| 모델 파라미터: TAAE 대 Mimi 대 EnCodec | 950M 대 80M 대 14M | Parker 외, TAAE 논문 (ICLR 2025) |
| 실시간 계수 (1 초과 = 실시간보다 빠름): 0.16 kbps의 FocalCodec 대 BigCodec 대 SemantiCodec | 208 대 22 대 0.62 | Della Libera 외, FocalCodec 논문 (NeurIPS 2025) |
실시간 계수는 논문마다 보고 방식이 다르다. EnCodec과 FocalCodec은 ‘실시간보다 몇 배 빠른가’(높을수록 좋음)를 쓰므로, 서로 다른 논문의 값을 행끼리 비교해서는 안 된다. Opus 범위는 IETF의 RFC 6716에서 가져왔다. 이는 지금도 Opus 비트스트림을 정의하는 2012년 표준이며, 이 기준선에 대해 확인 가능한 가장 최근 데이터는 2012년 RFC이고 7절에서 다루는 2024년과 2025년 libopus 릴리스로 확장되었다.
5. 음성 및 오디오 언어 모델의 코덱 토큰
뉴럴 코덱은 이제 두 번째 역할을 맡고 있다. 언어 모델이 말을 하게 해 주는 토크나이저다. Kyutai의 Mimi는 2,048개 항목의 코드북 8개를 사용해 24 kHz 음성을 12.5 Hz, 1.1 kbps의 토큰으로 부호화하며, 이를 기반으로 한 Moshi 대화 모델은 이론상 160ms, 실제로는 200ms의 지연을 보고한다 (Kyutai, Moshi 논문). 자기회귀 모델은 대체로 토큰 프레임마다 한 단계씩 실행되므로 프레임 레이트가 곧바로 속도로 이어지며, 이 주제는 에이전트 쪽에서 첫 오디오 바이트까지의 시간 통계로 다뤘다.
그래서 비트레이트뿐 아니라 프레임 레이트가 설계 목표가 되었다. NVIDIA의 Low Frame-rate Speech Codec은 초당 21.5 프레임, 1.89 kbps로 동작하며, 개발진에 따르면 LLM 기반 음성 합성 추론을 약 3배 빠르게 만든다. 음성 복제 소프트웨어와 TTS 위에 만들어진 음성 제품은 이러한 상충 관계를 그대로 물려받는다.
| 지표 | 값 | 출처 |
|---|---|---|
| Mimi의 토큰 레이트, 비트레이트, 오디오 샘플링 레이트 | 12.5 Hz, 1.1 kbps, 24 kHz | Kyutai, Moshi 논문 (arXiv 2024) |
| MUSHRA: 1.1 kbps의 Mimi 대 4.0 kbps의 SpeechTokenizer 대 1.3 kbps의 SemantiCodec | 81.0 대 74.3 대 64.8 | Kyutai, Moshi 논문 (arXiv 2024) |
| Moshi 대화 지연, 이론상 대 실제 | 160ms 대 200ms | Kyutai, Moshi 논문 (arXiv 2024) |
| NVIDIA Low Frame-rate Speech Codec의 프레임 레이트와 비트레이트 | 초당 21.5 프레임, 1.89 kbps | NVIDIA, Low Frame-rate Speech Codec 논문 (arXiv 2024) |
| 해당 저프레임 레이트 코덱으로 얻는 LLM 음성 합성 추론 속도 향상 | 약 3배 빠름 | NVIDIA, Low Frame-rate Speech Codec 논문 (arXiv 2024) |
| WavTokenizer의 단일 양자화기로 24 kHz 오디오를 부호화할 때 초당 토큰 수 | 40 또는 75 | Ji 외, WavTokenizer 논문 (ICLR 2025) |
| 뉴럴 코덱 코드로 학습한 TTS 모델 VALL-E의 학습 데이터와 음성 프롬프트 | 영어 음성 60K 시간, 3초 프롬프트 | Microsoft, VALL-E 논문 (arXiv 2023) |
| MusicGen 토크나이저: 32 kHz의 EnCodec, 코드북, 토큰 레이트, 학습용 음악 | 2,048개짜리 코드북 4개, 50 Hz, 20K 시간 | Copet 외, MusicGen 논문 (arXiv 2023) |
VALL-E와 MusicGen에 대해 확인 가능한 가장 최근 데이터: 2023년. MUSHRA 행에 대한 단서: Mimi의 81.0점은 적대적 손실만으로 학습한 변형이며, 그것 없이 학습한 변형은 58.8점이었으므로 토크나이저의 학습 방식이 체감 품질을 좌우하는 정도는 비트레이트에 못지않다.
6. 코덱이 후속 작업을 위해 보존하는 것
청취 점수만으로는 전사 엔진, 화자 확인, 감정 분류기가 복호화된 오디오에서도 여전히 작동하는지 알 수 없다. Codec-SUPERB에서 1.5 kbps의 EnCodec은 ASR 단어 오류율을 2.96%에서 9.21%로, 화자 검증 동일 오류율을 0.86%에서 13.88%로 높인 반면, 24 kbps의 DAC는 단어 오류율을 원래와 똑같은 2.96%로 유지했다 (Wu 외, Codec-SUPERB). 이러한 오류율 변화는 압축된 파이프라인에서 음성 인식의 환각과 오류율을 추적하는 사람에게 중요하다.
화자의 정체성과 감정은 낮은 비트레이트에서 가장 먼저 사라진다. 음성의 내용은 부언어 계층보다 오래 살아남는다. DASB 벤치마크는 코덱 토큰을 모델 입력으로 쓰는 경우에 대해 더 분명한 결론에 이른다. ‘모든 도메인과 과제에서 연속 표현이 이산 토큰보다 우수했다’는 것이며, 중간 비트레이트가 가장 좋은 성능을 냈다 (Mousavi 외, DASB).
| 지표 | 값 | 출처 |
|---|---|---|
| Codec-SUPERB에서 평가한 코덱 모델과 모델 계열 | 6개 계열의 19개 변형 | Wu 외, Codec-SUPERB 논문 (arXiv 2024) |
| ASR 단어 오류율: 원본 오디오 대 1.5 kbps의 EnCodec | 2.96% 대 9.21% | Wu 외, Codec-SUPERB 논문 (arXiv 2024) |
| 화자 검증 동일 오류율: 원본 오디오 대 1.5 kbps의 EnCodec | 0.86% 대 13.88% | Wu 외, Codec-SUPERB 논문 (arXiv 2024) |
| 감정 인식 정확도: 원본 오디오 대 1.5 kbps의 EnCodec | 69.84% 대 58.84% | Wu 외, Codec-SUPERB 논문 (arXiv 2024) |
| ASR 단어 오류율: 6 kbps의 DAC 대 24 kbps의 DAC | 3.26% 대 2.96% | Wu 외, Codec-SUPERB 논문 (arXiv 2024) |
| PESQ와 전체 음성 점수의 상관계수 | 0.97 | Wu 외, Codec-SUPERB 논문 (arXiv 2024) |
| 토크나이저의 DASB 비트레이트 공식 | log2(어휘 크기) x 코드북 수 x 토큰 레이트 | Mousavi 외, DASB 벤치마크 (arXiv 2024) |
배경 설명: 동일 오류율은 화자 검증 시스템이 잘못 수락하는 비율과 잘못 거부하는 비율이 같아지는 지점이므로, 0.86%에서 13.88%로의 급등은 복호화된 목소리를 실제 주인과 맞추기가 훨씬 어려워졌다는 뜻이다. Codec-SUPERB의 PESQ 상관관계는 실용적인 지름길도 시사한다. 음성에 대해서는 오래전부터 쓰여 온 PESQ 지표가 여전히 벤치마크의 전체 평가를 가깝게 따라간다.
7. 기존 코덱의 뉴럴화: Opus, EVS, 표준화 트랙
기존 코덱도 가만히 있지 않았다. Opus 1.5(2024년 3월 4일)는 NoLACE 인핸서가 9 kb/s 음성을 보강 없는 12 kb/s보다 낫게 만들며, 실행 비용은 CPU 약 0.75%라는 것을 보여 주었다 (Xiph.Org, Opus 1.5 릴리스). 현재 IETF 표준화 트랙에 올라 있는 Deep Redundancy(DRED) 기능은 패킷마다 최대 1초 분량의 백업 오디오를 담아 ‘20ms 패킷 하나하나가 사실상 50번 전송되는’ 효과를 내며, 릴리스 노트에 따르면 ‘손실이 90%여도 여전히 잘 작동한다’(여기서 ‘패킷 손실’은 오디오 파일의 손실이 아니라 네트워크에서 버려진 데이터 패킷을 뜻한다).
요점은 1절에서 이전 Opus 빌드와 비교해 측정한 격차가 기존 코덱 쪽에서 좁혀지고 있다는 것이다. Opus 1.6(2025년 12월 15일)은 한 걸음 더 나아가 DRED 모델의 크기를 줄이고 뉴럴 대역 확장을 추가해, 9 kb/s 음성이 18 kb/s의 Opus 1.4 전대역과 같은 품질에 도달한다.
| 지표 | 값 | 출처 |
|---|---|---|
| 표준이 정의하는 Opus 비트레이트 범위 | 6 kbit/s에서 510 kbit/s | IETF, RFC 6716 (2012) |
| EVS 비트레이트 범위와 최대 오디오 대역폭 | 5.9에서 128 kbps, 최대 20 kHz | 3GPP, EVS 코덱 뉴스 릴리스 (2014) |
| NoLACE를 쓴 Opus 1.5에서 음성이 ‘충분히 쓸 만한’ 최저 비트레이트 | 6 kb/s | Xiph.Org, Opus 1.5 릴리스 (2024) |
| Opus 1.5의 NoLACE 및 LACE 인핸서와 FARGAN 뉴럴 보코더의 복잡도 | NoLACE 400 MFLOPS (CPU 약 0.75%), LACE 100 MFLOPS (CPU 약 0.15%), FARGAN 600 MFLOPS (LPCNet의 1/5) | Xiph.Org, Opus 1.5 릴리스 (2024) |
| DRED 모델 크기: Opus 1.6 대 Opus 1.5 | 600 kB 대 1,800 kB | Xiph.Org, Opus 1.6 릴리스 (2025) |
| 9 kb/s에서 NoLACE를 쓴 Opus 1.6 대역 확장이 맞먹는 상대 | 18 kb/s의 Opus 1.4 전대역 | Xiph.Org, Opus 1.6 릴리스 (2025) |
| DRED 중복 정보 비트레이트 대 일반 Opus 비트레이트, 비교용 대역 내 LBRR | 약 1/50 (DRED) 대 약 2/3 (LBRR) | IETF, draft-ietf-mlcodec-opus-dred-07 (2026년 8월 4일) |
DRED 사양은 아직 인터넷 드래프트 단계이며 (IETF mlcodec 워킹그룹), 2026년 8월 4일에 개정되었다. Opus 1.5 노트는 ‘Opus 1.5에 포함된 버전은 최종 버전과 호환되지 않을 것’이라고 경고했다. EVS 수치는 3GPP Release 12 발표에서 가져왔으며, 확인 가능한 가장 최근 데이터는 3GPP, 2014년이다.
요약: 숫자로 보는 뉴럴 오디오 코덱의 비트레이트 대 품질
| 지표 | 값 | 출처 |
|---|---|---|
| MUSHRA, 클린 음성: 6 kbps의 EnCodec 대 6 kbps의 Opus | 83.1 대 30.1 | Meta AI, EnCodec 논문 (TMLR 2023) |
| 3 kbps의 SoundStream과 같아지는 데 필요한 Opus와 EVS의 비트레이트 | Opus 최소 12 kbps, EVS 최소 9.6 kbps | Google, SoundStream 논문 (arXiv 2021) |
| 표준이 정의하는 Opus 비트레이트 범위 | 6에서 510 kbit/s | IETF, RFC 6716 (2012) |
| 8 kbps에서 DAC의 44.1 kHz 오디오 압축률 | 약 90배 | Descript, DAC 논문 (NeurIPS 2023) |
| ViSQOL: 8 kbps의 DAC 대 24 kbps의 EnCodec | 4.18 대 3.16 | Descript, DAC 논문 (NeurIPS 2023) |
| dWER: 0.65 kbps의 FocalCodec 대 0.16 kbps | 2.18 대 7.94 | Della Libera 외, FocalCodec 논문 (NeurIPS 2025) |
| UTMOS: 0.16 kbps의 FocalCodec 대 기준 음성 | 4.22 대 4.09 | Della Libera 외, FocalCodec 논문 (NeurIPS 2025) |
| PESQ: 400 bps의 TAAE 대 1,100 bps의 Mimi | 2.96 대 3.01 | Parker 외, TAAE 논문 (ICLR 2025) |
| UTMOS: 0.9 kbps의 WavTokenizer 대 9 kbps의 DAC | 4.0486 대 3.9097 | Ji 외, WavTokenizer 논문 (ICLR 2025) |
| 감정 인식 정확도: 원본 대 1.5 kbps의 EnCodec | 69.84% 대 58.84% | Wu 외, Codec-SUPERB 논문 (arXiv 2024) |
| 모델 파라미터: TAAE 대 EnCodec | 950M 대 14M | Parker 외, TAAE 논문 (ICLR 2025) |
| Mimi의 토큰 레이트와 비트레이트 | 12.5 Hz, 1.1 kbps | Kyutai, Moshi 논문 (arXiv 2024) |
| Moshi 대화 지연, 실제 | 200ms | Kyutai, Moshi 논문 (arXiv 2024) |
| 초당 21.5 프레임 코덱으로 얻는 LLM 음성 합성 속도 향상 | 약 3배 | NVIDIA, Low Frame-rate Speech Codec 논문 (arXiv 2024) |
| ASR 단어 오류율: 원본 대 1.5 kbps의 EnCodec | 2.96% 대 9.21% | Wu 외, Codec-SUPERB 논문 (arXiv 2024) |
| MUSHRA: 1.1 kbps의 Mimi 대 4.0 kbps의 SpeechTokenizer | 81.0 대 74.3 | Kyutai, Moshi 논문 (arXiv 2024) |
| 9 kb/s에서 NoLACE로 보강한 Opus와 보강 없는 Opus의 비교 | 12 kb/s보다 우수 | Xiph.Org, Opus 1.5 릴리스 (2024) |
| DRED 모델 크기, Opus 1.6 대 Opus 1.5 | 600 kB 대 1,800 kB | Xiph.Org, Opus 1.6 릴리스 (2025) |
방법론과 출처
- Google, SoundStream: An End-to-End Neural Audio Codec (arXiv 2107.03312, 2021; IEEE/ACM TASLP): Opus 및 EVS 대비 MUSHRA 비트레이트 비율, 프레임 크기, 엔트로피 코딩 절감.
- Google Open Source Blog, Lyra V2 (2022년 9월): Opus 동급 비교, 지연, Pixel 6 Pro 처리 시간.
- Meta AI, High Fidelity Neural Audio Compression (EnCodec), TMLR 2023 (arXiv 2210.13438): MUSHRA 표, 압축률, 실시간 계수, 엔트로피 코딩.
- Meta Engineering, MLow: Meta’s low bitrate audio codec (2024년 6월 13일): 제조사 자체의 Opus 대비 POLQA 비교.
- Copet 외, Simple and Controllable Music Generation (MusicGen), arXiv 2023: EnCodec 토크나이저 구성과 학습 시간.
- Descript, High-Fidelity Audio Compression with Improved RVQGAN (DAC), NeurIPS 2023: 압축 배율, ViSQOL 표, 파라미터 수.
- Kyutai, Moshi: a speech-text foundation model for real-time dialogue (arXiv 2410.00037, 2024): Mimi 코덱 사양, 의미론적 토크나이저 대비 MUSHRA, 대화 지연.
- NVIDIA, Low Frame-rate Speech Codec (arXiv 2409.12117, 2024): 프레임 레이트, 비트레이트, 음성 합성 추론 속도 향상.
- Microsoft, VALL-E: Neural Codec Language Models are Zero-Shot Text to Speech Synthesizers (arXiv 2301.02111, 2023): 학습 시간과 프롬프트 길이.
- Ji 외, WavTokenizer (ICLR 2025, arXiv 2408.16532): 단일 양자화기의 토큰 레이트와 UTMOS.
- Parker 외, Scaling Transformers for Low-Bitrate High-Quality Speech Coding (TAAE), ICLR 2025: 400 bps 및 700 bps 결과, 파라미터 수.
- Della Libera 외, FocalCodec (NeurIPS 2025, arXiv 2502.04465): UTMOS, dWER, 실시간 계수가 담긴 1 kbps 미만 벤치마크 표.
- Wu 외, Codec-SUPERB: An In-Depth Analysis of Sound Codec Models (arXiv 2402.13071, 2024): 후속 작업인 ASR, 화자, 감정 결과.
- Mousavi 외, DASB: Discrete Audio and Speech Benchmark (arXiv 2406.14294, 2026년 4월 21일 개정): 이산 표현 대 연속 표현에 관한 발견.
- Xiph.Org, Opus 1.5 릴리스 노트 (2024년 3월 4일) 및 Opus 1.6 릴리스 노트 (2025년 12월 15일): LACE, NoLACE, DRED, FARGAN, 대역 확장.
- IETF, RFC 6716: Definition of the Opus Audio Codec (2012년 9월) 및 IETF, draft-ietf-mlcodec-opus-dred: Opus 비트레이트 및 지연 범위, DRED 오버헤드.
- 3GPP, Enhanced Voice Services codec for LTE (Release 12, 2014년 11월 7일): EVS 비트레이트 범위와 대역폭.
- ITU-R BS.1534-3 (MUSHRA), 2015년 10월 및 ITU-T P.808 크라우드소싱 음성 품질, 2021년 6월: MUSHRA 및 크라우드소싱 MOS 수치의 바탕이 되는 청취 테스트 방법.
- 데이터 참고 사항: (1) MUSHRA, MOS, ViSQOL, UTMOS, PESQ는 서로 바꿔 쓸 수 없으며, 점수는 같은 테스트의 기준 음성 및 비교 대상과 견줄 때만 의미가 있다. 특히 UTMOS는 코덱을 원본보다 높게 평가할 수 있다 (FocalCodec 4.22 대 4.09). (2) Meta의 MLow 블로그는 ‘POLQA MOS 1.89 vs 3.9’라고만 인쇄하고 어느 점수가 어느 코덱의 것인지 표시하지 않았다. 기사 맥락상 Opus가 1.89, MLow가 3.9로 보이며, 사용한 Opus 버전은 밝혀지지 않았다. (3) Codec-SUPERB의 본문은 DAC 24 kbps의 감정 정확도가 ‘0.38%’ 떨어진다고 쓰지만 표의 값(69.84%에서 69.56%)으로는 0.28 포인트이고, 논문이 밝힌 데이터셋 수도 20개와 21개 사이에서 달라지므로 우리는 표의 값만 보고한다. (4) WavTokenizer의 40 토큰 설정은 표에서는 0.5 kbps, 본문에서는 0.48 kbps로 인쇄되어 있다. (5) EnCodec의 arXiv 페이지는 여전히 ‘프리프린트’로 표시되지만 TMLR 2023 목록은 학술지 게재를 확인해 준다. Google은 SoundStream을 2021년 날짜의 IEEE/ACM TASLP에 올려 두었으나 다른 색인은 2022년으로 표기한다. (6) 같은 코덱의 파라미터 수도 출처마다 다르다. Mimi는 TAAE 논문에서 80M, FocalCodec 논문에서 82M, Kyutai의 Hugging Face 모델 카드에서 96.2M으로 나와 있는데, 어떤 구성 요소를 세느냐에 따른 차이로 보인다. 실시간 계수의 정의도 논문마다 달라서, 논문 간 속도 행은 직접 비교할 수 없다. (7) Opus와의 정면 비교 대부분은 Opus 1.5와 1.6의 뉴럴 기능 이전의 것이며, 뉴럴 코덱에 대한 1등급 시장 데이터를 찾지 못해 시장 규모 수치는 싣지 않았다.
- 마지막 업데이트: 2026년 10월 31일. 저희는 이 정리를 분기마다 업데이트하며, 다음 갱신은 IETF mlcodec 워킹그룹이 draft-ietf-mlcodec-opus-dred를 RFC 발행 단계로 진전시킬 때 이루어질 것으로 예상한다.