Microsoft의 INTERSPEECH 2022 Audio Deep PLC Challenge에서 가장 뛰어난 신경망 패킷 손실 은닉 시스템은 1에서 5까지의 척도에서 PLCMOS 4.28을 기록했다. 단순히 무음을 끼워 넣은 경우는 2.90, 깨끗한 원본은 4.51이었다 (Microsoft, INTERSPEECH 2022 Audio Deep PLC Challenge 논문). 2년 뒤 같은 챌린지가 풀밴드 오디오와 최대 3초의 손실 버스트로 넘어가자, 공동 우승 시스템은 종합 품질을 2.37에서 3.49로밖에 끌어올리지 못했고, 깨끗한 음성이 받은 4.01에는 크게 못 미쳤다 (Microsoft, ICASSP 2024 Audio Deep PLC Challenge 논문). 이 문제는 드물지 않다. Google은 Duo 통화의 99%가 패킷 손실, 지터 또는 지연에 대처해야 했고, 통화 열 건 중 한 건은 오디오의 8% 넘게 잃었다고 보고했다 (Google Research, WaveNetEQ 블로그 2020). 은닉은 저희 VoIP 및 UCaaS 통계에서 다루는 비즈니스 동향 아래에서 조용히 작동하는 계층이며, 저희 이동통신망 음성 품질(MOS) 통계가 보여주는 통신사 측 모습을 보완한다. 저희는 Microsoft Research 챌린지 논문, IETF와 ITU-T, W3C, Google Research, Xiph.Org의 Opus 개발자, Meta Engineering, Microsoft Learn과 Twilio 문서, 그리고 방법론에 나열한 동료 심사를 거친 PLC 연구에서 데이터를 취합했다.
요약
- Google Duo 통화의 99%가 패킷 손실, 지터 또는 지연에 대처해야 했고, 10%는 전체 오디오의 8% 넘게 잃었다 (Google Research, WaveNetEQ 블로그 2020).
- Microsoft Teams는 평균 패킷 손실이 0.1, 즉 10%를 넘으면 오디오 스트림을 불량으로 표시한다 (Microsoft Learn, CQD Stream Classification 2026).
- 부속서 I의 은닉을 적용한 G.711의 패킷 손실 내성 계수는 25.1이고, 은닉이 없으면 4.3이다 (ITU-T G.113, 09/2024).
- 신경망 PLC 우승 시스템: PLCMOS 4.28, 제로 채움은 2.90, 깨끗한 음성은 4.51 (Microsoft, INTERSPEECH 2022 Deep PLC Challenge 논문).
- Opus 팀의 하이브리드 PLC는 2022년 챌린지에서 단어 정확도(0.882) 1위, 종합 2위를 기록했다 (Valin 외, Real-Time PLC with Mixed Generative and Predictive Model 2022).
- 최대 3초의 버스트에서는 참가 자격을 갖춘 8개 시스템 중 2개가 P.804 종합 품질에서 처리되지 않은 손실 오디오보다 낮은 점수를 받았다 (Microsoft, ICASSP 2024 Deep PLC Challenge 논문).
- PLCMOS는 사람의 평가와 모델 단위 피어슨 상관이 약 0.97에 이른다. 기준에 정렬된 데이터에서 PESQ는 0.52에 그친다 (Diener 외, PLCMOS 논문 2023).
- Opus의 LBRR 대역 내 FEC는 일반 비트레이트의 약 2/3로 1프레임을 보호하고, DRED는 약 1/50로 최대 1초를 보호한다 (IETF draft-ietf-mlcodec-opus-dred-07, 2026년 8월).
- Meta의 MLow 자체 비교에 따르면, Opus가 패킷 손실 10%에서 대역 내 FEC를 부호화하려면 최소 19 kbps가 필요하다 (Meta Engineering, MLow 2024).
- Opus 1.6은 DRED 모델을 약 3분의 1로 줄여 1,800 kB에서 600 kB가 되었다 (Xiph.Org, Opus 1.6 데모, 2025년 12월).
1. 오디오는 얼마나 손실되며, 플랫폼들은 어디에 선을 긋는가
이 맥락에서 패킷은 네트워크로 전송되는 오디오의 작은 조각 하나(대개 20 ms)다. 너무 늦게 도착하거나 아예 도착하지 않으면 수신 측에는 두 가지 선택지가 있다. 무음을 재생하거나, 누락된 음성처럼 들리는 것을 합성해 공백을 은닉하는 것이다. Google 자체 데이터에 따르면 Duo 통화의 99%가 패킷 손실, 지터 또는 지연에 대처해야 했다 (Google Research, Improving Audio Quality in Duo with WaveNetEQ 2020). 따라서 은닉은 예외적인 경우가 아니라 거의 모든 통화에서 작동한다.
손실이 배경 잡음에서 문제로 바뀌는 지점에 대해서는 플랫폼마다 의견이 갈린다. Microsoft Teams는 평균 손실 10%에서 불량 기준선을 긋고, Twilio는 5%에서 긋는다. Microsoft는 불량이라는 표시가 사용자가 실제로 품질 문제를 느꼈다는 뜻은 아니라고 명시적으로 경고하는데, 자사 미디어 스택이 손실을 보정하기 때문이다 (Microsoft Learn, Stream Classification in CQD 2026). 이 단서야말로 더 나은 은닉을 옹호하는 논거의 전부다. PLC가 멀리 미칠수록 플랫폼은 경보 임계값을 더 높게 설정할 수 있다.
| 지표 | 값 | 출처 |
|---|---|---|
| 패킷 손실, 지터 또는 지연에 대처해야 하는 Google Duo 통화의 비율 | 99% | Google Research, WaveNetEQ 블로그 2020 |
| 전체 오디오 길이의 3% 넘게 잃는 Duo 통화의 비율 | 20% | Google Research, WaveNetEQ 블로그 2020 |
| 전체 오디오 길이의 8% 넘게 잃는 Duo 통화의 비율 | 10% | Google Research, WaveNetEQ 블로그 2020 |
| Teams가 오디오 스트림을 불량으로 분류하는 평균 패킷 손실률 기준 | 0.1(10%) 초과, 500패킷을 넘는 스트림에만 적용 | Microsoft Learn, CQD Stream Classification 2026 |
| Twilio의 high_packet_loss 통화 태그를 발동시키는 패킷 손실 수준 | 5% 초과 | Twilio Voice Insights, Details: Call Tags |
| Twilio가 브라우저 또는 모바일 SDK 통화에 low_mos 태그를 붙이는 추정 MOS 기준 | 3.5 미만 | Twilio Voice Insights, Details: Call Tags |
| Opus DRED 평가에 사용된 Deep PLC Challenge 테스트 세트의 평균 손실률 | 18.4%, 최대 1초의 버스트 포함 | Valin 외, DRED 논문 (arXiv 2212.04453 v3, 2024년) |
입수 가능한 최신 데이터: Google Research, 2020년. 주요 플랫폼 중 이보다 새로운 통화 단위 손실 분포를 공개한 곳은 없다. Teams는 관련 지표인 “Ratio Concealed Samples Avg”를 스트림별로 보고하며, 0.1은 오디오 프레임의 10%에 은닉된 샘플이 포함되어 있었음을 뜻한다 (Microsoft Learn, CQD dimensions and measures 2026). 그러나 Microsoft는 전체 규모의 값을 공개하지 않는다. 브라우저 측의 대응 지표인 concealedSamples와 concealmentEvents는 W3C WebRTC 통계 API(권고 후보 초안, 2025년 9월 25일)에 정의되어 있다.
2. ITU-T E-model에서 본 기존 코덱의 은닉
신경망 이전에 은닉이란 직전의 정상적인 피치 주기를 반복하거나 외삽하는 것을 뜻했다. ITU-T 계획 모델(E-model)은 코덱이 손실을 얼마나 잘 견디는지를 패킷 손실 내성 계수 Bpl로 평가한다. 이는 단순한 수치로, 값이 높을수록 패킷이 사라져도 품질이 더 천천히 떨어진다는 뜻이다. G.711 부속서 I의 은닉 알고리즘을 적용한 G.711의 Bpl은 25.1로, 은닉이 없는 G.711의 4.3의 거의 여섯 배다 (ITU-T G.113 09/2024, 표 I.4).
이 차이가 실제로 무엇을 뜻하는지는 숫자로 보면 더 분명하다. ITU-T G.107(06/2015)의 식 7-29, Ie-eff = Ie + (95 - Ie) x Ppl / (Ppl/BurstR + Bpl)를 사용하면, 무작위 손실 5%(BurstR = 1)에서 G.711(Ie = 0)은 은닉이 없을 때 95 x 5 / (5 + 4.3) = 51.1의 손상 점수, 은닉이 있을 때 95 x 5 / (5 + 25.1) = 15.8이 된다. 이를 기본 평가값 R = 93.2에서 빼면 R 42.1 대 R 77.4가 되고, G.107 부속서 B의 공식으로 추정 MOS로 환산하면 약 2.2 대 3.9다 (저희 자체 계산이며, E-model의 다른 모든 입력은 기본값으로 둠). 은닉만으로 손실 5%의 통화가 불량에서 수용 가능한 수준으로 바뀐다.
| 지표 | 값 | 출처 |
|---|---|---|
| 은닉이 없는 G.711(64 kbit/s, 10 ms 패킷): 무작위 손실에서의 패킷 손실 내성 계수 Bpl | 4.3 | ITU-T G.113 (09/2024), 표 I.4 |
| G.711 부속서 I의 은닉 알고리즘을 적용한 G.711: 무작위 손실에서의 Bpl | 25.1 | ITU-T G.113 (09/2024), 표 I.4 |
| 음성 활동 검출을 적용한 G.729 부속서 A(8 kbit/s, 20 ms 패킷, 자체 은닉): Ie와 Bpl | Ie 11, Bpl 19.0 | ITU-T G.113 (09/2024), 표 I.4 |
| 20 ms 패킷의 G.711, 손실 2%에서 8개 패킷이 한 번의 버스트로 손실된 경우(버스트 비율 7.84): 유효 손상 Ie-eff | 10 | ITU-T G.113 (09/2024), 표 I.6 |
| G.722 부속서 III의 고품질 은닉을 적용한 64 kbit/s의 G.722: 광대역 Bpl(양쪽 귀로 청취) | 7.1 | ITU-T G.113 (09/2024), 부속서 IV |
| 24.4 kbit/s 초광대역 모드의 EVS: 풀밴드 Bpl | 11.4 | ITU-T G.113 (09/2024), 부속서 V |
| 모든 입력이 기본값일 때의 E-model 평가 계수 R | 93.2 | ITU-T G.107 (06/2015) |
참고: Bpl 값은 같은 척도(협대역, 광대역 또는 풀밴드) 안에서만 비교할 수 있다. G.113에는 Opus 값이 전혀 실려 있지 않으므로, Opus 기반 WebRTC 오디오는 다른 도구로 평가해야 한다(5절 참조).
3. 신경망 은닉 대 무음: 2022년 Deep PLC 챌린지
INTERSPEECH 2022 챌린지는 Microsoft Teams 통화에서 기록한 트레이스로 실제 손실 패턴을 구성하고, 총 알고리즘 지연 20 ms 이하라는 엄격한 실시간 규칙 아래에서 신경망 PLC를 평가했다. 가장 중요한 결과는 우승 시스템과 아무것도 하지 않은 경우 사이의 격차 크기다. 우승 시스템은 비교 척도(CMOS, 0은 깨끗한 원본과 구별할 수 없음을 뜻함)에서 -0.55를 기록했고, 제로 채움은 -1.23이었다 (Microsoft, INTERSPEECH 2022 Audio Deep PLC Challenge 논문).
명료도는 더 소박한 이야기를 들려준다. 음성 인식기의 단어 오류율을 1에서 뺀 값으로 측정한 단어 정확도는 무음일 때 0.86에서 우승 시스템 0.88로 소폭 올랐을 뿐이며, 깨끗한 음성은 0.97이었다. 청취자는 은닉을 큰 개선으로 듣지만, 음성 인식기는 우승 시스템에서도 단어의 12%를 놓쳤고 깨끗한 음성에서는 3%였다. 저희 음성 인식 단어 오류율 통계와 함께 기억해 둘 만한 패턴이다.
| 지표 | 값 | 출처 |
|---|---|---|
| 깨끗한 기준 음성: PLCMOS(1에서 5)와 단어 정확도 | 4.51과 0.97 | Microsoft, INTERSPEECH 2022 Deep PLC Challenge 논문 |
| 제로 채움 기준선(손실된 패킷 자리에 무음): PLCMOS, CMOS, 단어 정확도 | 2.90, -1.23, 0.86 | Microsoft, INTERSPEECH 2022 Deep PLC Challenge 논문 |
| 우승 시스템(팀 #12, 시간 영역 U-Net, 약 2.36M 파라미터): PLCMOS, CMOS, 단어 정확도 | 4.28, -0.55, 0.88 | Microsoft, INTERSPEECH 2022 Deep PLC Challenge 논문 |
| 참가 자격을 갖춘 최하위 시스템(팀 #6)과 제로 채움 기준선 비교: CMOS | -1.31 대 -1.23 | Microsoft, INTERSPEECH 2022 Deep PLC Challenge 논문 |
| Opus 팀의 하이브리드 생성형 및 예측형 PLC: 단어 정확도와 해당 지표에서의 순위 | 0.882, 1위. CMOS와 종합에서는 2위 | Valin 외, Real-Time PLC with Mixed Generative and Predictive Model 2022 |
| 같은 시스템: 노트북 CPU(Intel i7-10810U)에서 음성 10 ms당 연산량 | 1.3에서 1.4 ms, 코어 1개의 약 13%에서 14% | Valin 외 2022 |
이상값 관련 참고: 순위에 오른 시스템 중 하나는 CMOS에서 무음 기준선보다 낮은 점수를 받았다. 잘못 튜닝된 생성기는 공백보다 나쁘게 들릴 수 있다는 점을 상기시킨다. 블라인드 세트는 짧은 버스트 쪽으로 치우쳐 있었고, 966개 클립 중 504개의 최대 버스트가 120 ms 이하였다. 하이브리드 시스템의 수치는 Valin 외에서 가져온 것이며, 그 은닉 기법은 이후 Opus 1.5에 탑재되었다(7절 참조).
4. 긴 버스트: 은닉이 여전히 무너지는 지점 (ICASSP 2024)
2024년 판은 과제를 의도적으로 더 어렵게 만들었다. 48 kHz 풀밴드 오디오를 다차원 ITU-T P.804 방식으로 평가했고 (Microsoft Research, ICASSP 2024 Audio Deep PLC Challenge), 손실 버스트는 최대 3초였다. 가장 뛰어난 시스템조차 손실 오디오와 깨끗한 오디오 사이의 거리의 약 3분의 2만 메웠다. 종합 품질은 2.37에서 3.49로 올랐고, 깨끗한 음성은 4.01이었다 ((3.49 - 2.37) / (4.01 - 2.37) = 68%) (Microsoft, ICASSP 2024 Audio Deep PLC Challenge 논문).
가장 시사적인 항목은 불연속성으로, 들리는 끊김과 결함에 대한 P.804 점수다(높을수록 매끄러움). 최고 시스템에서 2.47에서 3.90으로 올라, 다른 어떤 차원보다 큰 폭으로 상승했다. 은닉은 청취자가 가장 먼저 알아채는 구멍을 메우지만, 합성된 음성은 여전히 자연스러움을 희생시킨다. 단어 정확도에도 같은 상충 관계가 나타난다. 공동 우승 시스템 중 하나는 단어의 0.81을 인식했는데, 손대지 않은 손실 오디오의 0.83보다 약간 낮았다. 만들어 낸 음성이 무음보다 음성 인식기를 더 혼란스럽게 할 수 있음을 시사한다.
| 지표 | 값 | 출처 |
|---|---|---|
| P.804 종합 품질(1에서 5): 깨끗한 음성, 처리되지 않은 손실 오디오, 공동 우승 시스템(1024K 및 NWPU & ByteAudio) 비교 | 4.01, 2.37, 3.49와 3.44 | Microsoft, ICASSP 2024 Deep PLC Challenge 논문 |
| P.804 불연속성 점수: 깨끗한 음성, 손실 오디오, 최고 시스템(1024K) 비교 | 4.55, 2.47, 3.90 | Microsoft, ICASSP 2024 Deep PLC Challenge 논문 |
| 단어 정확도: 깨끗한 음성, 손실 오디오, 1024K, NWPU & ByteAudio 비교 | 0.98, 0.83, 0.81, 0.84 | Microsoft, ICASSP 2024 Deep PLC Challenge 논문 |
| P.804 종합 품질에서 처리되지 않은 손실 오디오보다 낮은 점수를 받은, 참가 자격을 갖춘 시스템 | 8개 중 2개(2.11과 2.17) | Microsoft, ICASSP 2024 Deep PLC Challenge 논문 |
| 2024년 판의 오디오 대역폭과 청취 테스트 방식 | 풀밴드, 48,000 Hz. ITU-T P.804 다차원 평가와 단어 오류율 | Microsoft Research, ICASSP 2024 Deep PLC Challenge 페이지 |
참고: 아홉 번째 시스템은 종합 2.91을 기록했으나 지연 한도를 넘겨 미완료로 표시되었다. 주최 측은 2022년 당시 시스템들이 “더 긴 손실 시퀀스에서는 잘 작동하지 않을 수 있다”고 지적하는데, 바로 그 지점에서 중복 부호화(6절)가 역할을 넘겨받는다.
5. 은닉 평가: 범용 품질 지표가 놓치는 이유
은닉 오류는 짧고 간헐적이며 그럴듯한 경우가 많은데, 이는 범용 품질 지표가 포착하도록 설계되지 않은 바로 그 성질이다. 기준에 정렬된 데이터에서 PESQ는 PLC 시스템에 대한 사람의 평가와 모델 단위 피어슨 상관이 0.52에 불과했고 STOI는 0.21에 그쳤지만, PLCMOS는 0.98에 이르렀다 (Diener 외, PLCMOS 논문, Microsoft, Interspeech 2023). 시스템의 순위를 잘못 매기는 지표는 연구 분야 전체를 엉뚱한 방향으로 이끌 수 있다.
PLCMOS는 깨끗한 기준 없이도 작동하는데, 수신 측에서 원본 오디오를 결코 얻을 수 없는 실제 통화에서는 이 점이 중요하다. 약점은 파일 단위 정밀도다. 클립 단위로는 0.85, 시스템 단위로는 0.97이어서, 단일 통화를 판정하는 것보다 알고리즘의 순위를 매기는 데 훨씬 뛰어나다. 같은 긴장은 합성 음성 평가 전반에서도 나타나며, 저희 합성 음성 자연스러움 MOS 통계에서 다룬다.
| 지표 | 값 | 출처 |
|---|---|---|
| PLCMOS와 사람의 평가: 모델 단위 피어슨 상관과 순위 상관 | 약 0.97과 약 0.95 | Diener 외, PLCMOS 논문 2023 |
| DNSMOS(범용 잡음 억제 지표): 파일 단위와 모델 단위 피어슨 상관 | 0.52 대 0.85 | Diener 외, PLCMOS 논문 2023 |
| 기준에 정렬된 데이터에서 PESQ와 PLCMOS: 모델 단위 피어슨 상관 | 0.52 대 0.98 | Diener 외, PLCMOS 논문 2023 |
| STOI(명료도 지표): 모델 단위 피어슨 상관 | 0.21 | Diener 외, PLCMOS 논문 2023 |
| PLCMOS 주요 학습 세트(LibriSpeech Basic)의 사람 투표 수 | 333,740 | Diener 외, PLCMOS 논문 2023 |
| IETF 머신러닝 코덱 청취 테스트 모음의 테스트 파일 | 깨끗한 음성 100, 잡음 또는 잔향 90, 겹치는 화자 20 | IETF draft-ietf-mlcodec-test-battery-00, 2026년 6월 |
참고: 크라우드소싱 평가는 PLCMOS 라벨링 예비 연구에서 전문가 평가와 약 0.83 PCC(95% 신뢰구간: [0.78, 0.87])의 상관을 보였다. IETF 테스트 모음 초안은 패킷 손실 시나리오를 여전히 “세부 사항 추후 결정”으로 적어 두고 있어, 신경망 코덱을 위한 표준 손실 테스트는 아직 없다.
6. 중복 부호화: 은닉을 피하기 위해 비트를 지불하다
은닉은 추측하고, 중복 부호화는 백업을 보낸다. 순방향 오류 정정(FEC)은 이전 오디오의 낮은 품질 사본을 이후 패킷에 덧붙여, 손실된 패킷을 지어내는 대신 복원할 수 있게 하는 방식이다. 상충 관계는 대역폭이다. Opus의 기존 대역 내 FEC(LBRR)는 일반 비트레이트의 약 2/3로 단 1프레임만 보호하는 반면, Deep REDundancy(DRED)는 일반 비트레이트의 약 1/50로 최대 1초 이상을 담는다 (IETF draft-ietf-mlcodec-opus-dred-07, 2026년 8월).
더 오래된 RED 방식은 그 효과의 규모를 보여준다. Chrome에서 손실 20%로 진행한 테스트에서, 각 패킷에 직전 프레임 하나를 보내면 은닉된 오디오 비율이 18%에서 4%로 줄었고, 직전 프레임 두 개를 보내면 0.7%까지 줄었다 (webrtcHacks, RED: Improving Audio Quality with Redundancy 2020). 대가로 오디오는 약 30 kbps에서 사본 1개일 때 60 kbps, 2개일 때 90 kbps로 늘었다. DRED는 비트레이트를 두 배로 늘리지 않고 비슷한 보호를 얻기 위해 존재한다.
| 지표 | 값 | 출처 |
|---|---|---|
| Opus LBRR 대역 내 FEC: 중복의 깊이와 비트레이트 비용 | 1프레임. 일반 Opus 비트레이트의 약 2/3 | IETF draft-ietf-mlcodec-opus-dred-07, 2026년 |
| Opus DRED: 중복의 깊이와 비트레이트 비용 | 패킷당 최대 1초 이상. 일반 비트레이트의 약 1/50 | IETF draft-ietf-mlcodec-opus-dred-07, 2026년 |
| DRED 평가: 패킷당 담는 중복 정보와 각 프레임이 전송되는 횟수 | 1.04초. 사본 52개 | Valin 외, DRED 논문 (arXiv 2212.04453 v3, 2024년) |
| DRED 평가에서 LBRR 테스트 조건의 비트레이트(기본 24 kb/s에 LBRR 추가) | 총 40 kb/s, LBRR 평균 약 16 kb/s | Valin 외, DRED 논문 2024 |
| Chrome에서 손실 20%일 때 은닉된 오디오 비율: RED 없음, 직전 1프레임, 직전 2프레임 비교 | 18%, 4%, 0.7% | webrtcHacks, Hancke의 RED 테스트 2020 |
| 무작위 손실 60%일 때 은닉된 오디오 비율: RED 없음, 직전 1프레임, 직전 2프레임 비교 | 60%, 32%, 18% | webrtcHacks, Hancke의 RED 테스트 2020 |
| 패킷 손실 10%에서 대역 내 FEC를 부호화하는 데 필요한 Opus 최소 비트레이트 | 19 kbps (업체 자체 비교) | Meta Engineering, MLow 코덱 블로그 2024 |
| 수신 측 패킷 손실 30%에서 Meta MLow 샘플의 비트레이트 | 14 kbps (업체 자체 주장) | Meta Engineering, MLow 코덱 블로그 2024 |
참고: webrtcHacks 수치는 2020년의 단독 저자 실험실 테스트다(Chrome에서 RED를 공개적으로 측정한 입수 가능한 최신 자료). Meta의 수치는 자사 MLow 발표에서 나온 것으로 독립적으로 재현되지 않았다. 논문의 P.808 청취 테스트(발화 966개, 각 10명의 청취자)에서 DRED의 모든 차이는 p < .05에서 유의한 것으로 보고되었다.
7. 은닉의 실제 적용: 연산량, 크기, 표준
은닉 모델은 통화에 참여한 가장 저렴한 휴대폰에 들어갈 때에만 의미가 있다. Opus 1.5의 Deep PLC는 높은 손실률에서 노트북 CPU 코어의 약 1%를 사용하고 라이브러리에 약 1 MB를 추가한다 (Xiph.Org, Opus 1.5 demo, 2024년 3월, 개발자 자체 수치). 같은 팀의 2022년 챌린지 출품작은 코어의 13%에서 14%가 필요했지만(3절), 두 수치는 측정 방식이 달라 엄밀한 동일 조건 비교는 아니다.
반면 표준 계층은 거의 움직이지 않는다. WebRTC의 오디오 규칙(RFC 7874, 2016년)은 Opus와 G.711을 필수로 정하지만 은닉이나 FEC에 대한 요구 사항은 두지 않아, 손실 시 품질을 전적으로 각 구현에 맡기고 있다. Opus 1.6은 모델 축소를 이어갔다. DRED 네트워크는 1.5보다 약 3분의 1 크기다 (Xiph.Org, Opus 1.6 demo, 2025년 12월).
| 지표 | 값 | 출처 |
|---|---|---|
| Opus 1.5 Deep PLC: 추가되는 라이브러리 크기와 CPU 비용 | 약 1 MB. 높은 손실률에서 노트북 코어의 약 1%. 디코더 복잡도 5 이상 필요 | Xiph.Org, Opus 1.5 데모 2024년 (개발자 자체 수치) |
| Opus 1.5 DRED: 추가되는 라이브러리 크기, 실행 비용, 비트레이트 오버헤드 | 약 2 MB. 약 1%. 약 12에서 32 kb/s | Xiph.Org, Opus 1.5 데모 2024년 (개발자 자체 수치) |
| 은닉 및 중복 음성을 합성하는 데 쓰이는 신경망 보코더 FARGAN: 복잡도 | 600 MFLOPS, LPCNet의 1/5 | Xiph.Org, Opus 1.5 데모 2024년 |
| Opus 1.5 WebRTC 테스트(PLCMOS v2)의 손실률 | 0%에서 90%까지 10% 단위. DRED는 90% 손실에서도 품질을 유지하는 것으로 보고됨 | Xiph.Org, Opus 1.5 데모 2024년 (개발자 자체 주장) |
| Opus 1.6 DRED 모델 크기와 Opus 1.5 비교 | 600 kB 대 1,800 kB | Xiph.Org, Opus 1.6 데모, 2025년 12월 |
| Opus 프레임 크기, 패킷 길이, 비트레이트 범위 | 2.5에서 60 ms 프레임. 최대 120 ms 패킷. 6에서 510 kbit/s | IETF RFC 6716 (2012년) |
| Opus 알고리즘 지연 | 5 ms에서 65.2 ms | IETF RFC 6716 (2012년) |
| WebRTC 엔드포인트가 지원해야 하는 코덱 | Opus와 G.711(PCMA 및 PCMU). PLC나 FEC 요구 사항 없음 | IETF RFC 7874 (2016년) |
참고: RFC 6716과 RFC 7874는 3년이 넘었지만 여전히 현행 표준이다 (RFC 6716, RFC 7874). DRED 초안이 승인되면 신경망 중복 계층으로 RFC 6716을 갱신하게 된다.
숫자로 보는 WebRTC 오디오 패킷 손실 은닉
| 지표 | 값 | 출처 |
|---|---|---|
| 패킷 손실, 지터 또는 지연에 대처해야 하는 Google Duo 통화 | 99% | Google Research, WaveNetEQ 블로그 2020 |
| 오디오의 8% 넘게 잃는 Duo 통화 | 10% | Google Research, WaveNetEQ 블로그 2020 |
| 오디오 평균 패킷 손실에 대한 Teams의 불량 기준 | 0.1(10%) 초과 | Microsoft Learn, CQD Stream Classification 2026 |
| Twilio high_packet_loss 태그 기준 | 5% 초과 | Twilio Voice Insights, Details: Call Tags |
| G.711 내성 계수 Bpl: 은닉 없음 대 부속서 I 은닉 | 4.3 대 25.1 | ITU-T G.113 (09/2024) |
| 음성 활동 검출을 적용한 G.729 부속서 A: Bpl | 19.0 | ITU-T G.113 (09/2024) |
| 2022년 챌린지 PLCMOS: 제로 채움, 우승 시스템, 깨끗한 음성 비교 | 2.90, 4.28, 4.51 | Microsoft, INTERSPEECH 2022 Deep PLC Challenge 논문 |
| 2022년 챌린지 단어 정확도: 제로 채움, 우승 시스템, 깨끗한 음성 비교 | 0.86, 0.88, 0.97 | Microsoft, INTERSPEECH 2022 Deep PLC Challenge 논문 |
| Opus 팀 하이브리드 PLC의 음성 10 ms당 연산량 | 1.3에서 1.4 ms (코어 1개의 13%에서 14%) | Valin 외 2022 |
| 2024년 챌린지 P.804 종합 품질: 손실 오디오, 최고 시스템, 깨끗한 음성 비교 | 2.37, 3.49, 4.01 | Microsoft, ICASSP 2024 Deep PLC Challenge 논문 |
| 처리되지 않은 손실 오디오보다 낮은 점수를 받은 2024년 챌린지 시스템 | 8개 중 2개 | Microsoft, ICASSP 2024 Deep PLC Challenge 논문 |
| PLCMOS와 사람의 평가 간 모델 단위 피어슨 상관 | 약 0.97 | Diener 외, PLCMOS 논문 2023 |
| PLC 시스템에 대한 PESQ와 STOI의 모델 단위 피어슨 상관 | 0.52 대 0.21 | Diener 외, PLCMOS 논문 2023 |
| LBRR와 DRED의 중복 깊이 | 1프레임 대 최대 1초 이상 | IETF draft-ietf-mlcodec-opus-dred-07, 2026년 |
| 일반 Opus 대비 DRED 중복 비트레이트 | 약 1/50 | IETF draft-ietf-mlcodec-opus-dred-07, 2026년 |
| 손실 20%에서 은닉된 오디오: RED 없음 대 2프레임 RED | 18% 대 0.7% | webrtcHacks, Hancke의 RED 테스트 2020 |
| 손실 10%에서 Opus 대역 내 FEC 최소 비트레이트 | 19 kbps (업체 자체 비교) | Meta Engineering, MLow 코덱 블로그 2024 |
| Opus 1.5 Deep PLC의 CPU 비용 | 노트북 코어의 약 1% | Xiph.Org, Opus 1.5 데모 2024년 |
| Opus 1.6 DRED 모델 크기와 1.5 비교 | 600 kB 대 1,800 kB | Xiph.Org, Opus 1.6 데모 2025년 |
방법론과 출처
- Microsoft Research, INTERSPEECH 2022 Audio Deep Packet Loss Concealment Challenge 논문 (Diener 외, 2022년): arxiv.org/pdf/2204.05222
- Microsoft Research, ICASSP 2024 Audio Deep Packet Loss Concealment Challenge 논문 (2024년): arxiv.org/html/2402.16927v1
- Microsoft Research, ICASSP 2024 Audio Deep PLC Challenge 프로그램 페이지: microsoft.com
- Diener 외, PLCMOS: a data-driven non-intrusive metric for the evaluation of packet loss concealment algorithms (Interspeech 2023): arxiv.org/pdf/2305.15127
- Valin 외, Real-Time Packet Loss Concealment With Mixed Generative and Predictive Model (2022년): arxiv.org/pdf/2205.05785
- Valin 외, DRED: Deep REDundancy Coding of Speech Using a Rate-Distortion-Optimized Variational Autoencoder (arXiv v3, 2024년): arxiv.org/pdf/2212.04453
- IETF, Deep Audio Redundancy (DRED) Extension for the Opus Codec, draft-ietf-mlcodec-opus-dred-07 (2026년 8월): ietf.org
- IETF, ML codec listening test battery, draft-ietf-mlcodec-test-battery-00 (2026년 6월): ietf.org
- IETF RFC 6716, Definition of the Opus Audio Codec (2012년): rfc-editor.org
- IETF RFC 7874, WebRTC Audio Codec and Processing Requirements (2016년): rfc-editor.org
- W3C, Identifiers for WebRTC’s Statistics API (권고 후보 초안, 2025년 9월 25일): w3.org
- ITU-T G.113 (09/2024), Transmission impairments due to speech processing: itu.int
- ITU-T G.107 (06/2015), The E-model: itu.int
- Google Research, Improving Audio Quality in Duo with WaveNetEQ (2020년 4월): research.google
- Microsoft Learn, Stream Classification in Call Quality Dashboard (2026년 6월 업데이트): learn.microsoft.com
- Microsoft Learn, Dimensions and measures available in Call Quality Dashboard (2026년 7월 업데이트): learn.microsoft.com
- Twilio, Voice Insights Details: Call Tags: twilio.com
- Meta Engineering, MLow: Meta’s low bitrate audio codec (2024년 6월): engineering.fb.com
- Xiph.Org, Opus 1.5 데모 (2024년 3월)와 Opus 1.6 데모 (2025년 12월): opus-codec.org/demo/opus-1.5, opus-codec.org/demo/opus-1.6
- webrtcHacks, RED: Improving Audio Quality with Redundancy (Philipp Hancke, 2020년 8월): webrtchacks.com
- 데이터 참고 사항: 주요 플랫폼의 통화 단위 손실 분포는 Google의 2020년 Duo 수치가 유일하고, RED 은닉 측정은 2020년의 단독 저자 테스트이므로 둘 다 입수 가능한 최신 데이터로 표시했다. 2절의 E-model 예시는 ITU-T G.107의 식 7-29와 부속서 B, 그리고 G.113의 Bpl 값을 사용해 다른 모든 입력을 기본값으로 둔 채 저희가 직접 계산한 것으로, 측정값이 아닌 추정값이다. 챌린지 점수는 판 사이에 비교할 수 없다. 2022년에는 광대역 오디오, PLCMOS와 CMOS, 최대 1초의 버스트를 사용했고, 2024년에는 풀밴드 오디오, P.804, 최대 3초의 버스트를 사용했다. 2022년 논문에서 PLCMOS는 CMOS와 피어슨 상관이 약 0.95였지만, 이후의 PLCMOS 릴리스는 다른 평가 세트에서 약 0.97을 보고한다. Xiph.Org와 Meta의 수치는 개발자 자체 주장이다. Teams(10%)와 Twilio(5%)의 기준은 각 업체가 자사 미디어 스택에 맞춰 조정하기 때문에 설계상 서로 상충한다. DRED 초안(2027년 2월 만료)과 패킷 손실 시나리오가 아직 정의되지 않은 IETF 테스트 모음 초안은 RFC로 발행되기 전에 바뀔 수 있다.
마지막 업데이트: 2026년 10월 24일. 저희는 이 정리를 분기마다 업데이트하며, 다음 갱신은 IETF mlcodec 워킹 그룹이 Opus DRED 초안의 다음 개정판과 테스트 모음의 패킷 손실 시나리오를 공개할 때 이루어질 것으로 예상한다.