Najlepszy neuronowy system maskowania utraty pakietów w konkursie Audio Deep PLC Challenge na INTERSPEECH 2022 firmy Microsoft uzyskał PLCMOS 4,28 w skali od 1 do 5, wobec 2,90 dla zwykłego wstawiania ciszy i 4,51 dla czystego oryginału (Microsoft, artykuł o konkursie INTERSPEECH 2022 Audio Deep PLC Challenge). Dwa lata później, gdy ten sam konkurs przeszedł na dźwięk pełnopasmowy i serie utraty do 3 sekund, współzwycięzcy zdołali podnieść ogólną jakość jedynie z 2,37 do 3,49, wciąż znacznie poniżej 4,01, które uzyskała czysta mowa (Microsoft, artykuł o konkursie ICASSP 2024 Audio Deep PLC Challenge). Problem nie jest rzadki: Google podało, że 99% rozmów w Duo musiało radzić sobie z utratą pakietów, jitterem lub opóźnieniem, a co dziesiąta rozmowa traciła ponad 8% dźwięku (Google Research, blog WaveNetEQ 2020). Maskowanie to cicha warstwa pod trendami biznesowymi z naszych statystyk VoIP i UCaaS i uzupełnia obraz po stronie operatorów z naszych statystyk jakości głosu (MOS) w sieciach komórkowych. Zebraliśmy dane z artykułów konkursowych Microsoft Research, IETF i ITU-T, W3C, Google Research, deweloperów Opus z Xiph.Org, Meta Engineering, dokumentacji Microsoft Learn i Twilio oraz recenzowanych badań nad PLC wymienionych w metodologii.
TL;DR
- 99% rozmów w Google Duo musiało radzić sobie z utratą pakietów, jitterem lub opóźnieniem; 10% straciło ponad 8% łącznego dźwięku (Google Research, blog WaveNetEQ 2020).
- Microsoft Teams oznacza strumień audio jako słaby, gdy średnia utrata pakietów przekracza 0,1, czyli 10% (Microsoft Learn, CQD Stream Classification 2026).
- G.711 z maskowaniem z Dodatku I ma współczynnik odporności na utratę pakietów równy 25,1, wobec 4,3 bez maskowania (ITU-T G.113, 09/2024).
- Zwycięzca w maskowaniu neuronowym: PLCMOS 4,28 wobec 2,90 dla wypełnienia zerami i 4,51 dla czystej mowy (Microsoft, artykuł o konkursie INTERSPEECH 2022 Deep PLC Challenge).
- Hybrydowe PLC zespołu Opus zajęło pierwsze miejsce pod względem dokładności słów (0,882) i drugie w klasyfikacji ogólnej w konkursie 2022 (Valin i in., Real-Time PLC with Mixed Generative and Predictive Model 2022).
- Przy seriach utraty do 3 sekund 2 z 8 kwalifikujących się systemów uzyskały w ogólnej jakości P.804 wynik niższy niż nieprzetworzony dźwięk z utratą (Microsoft, artykuł o konkursie ICASSP 2024 Deep PLC Challenge).
- PLCMOS osiąga korelację Pearsona na poziomie modeli około 0,97 z ocenami ludzi; na danych wyrównanych do referencji PESQ uzyskuje 0,52 (Diener i in., artykuł o PLCMOS 2023).
- Wewnątrzpasmowy FEC LBRR w Opus obejmuje 1 ramkę przy około 2/3 zwykłej przepływności; DRED obejmuje do 1 sekundy przy około 1/50 (IETF draft-ietf-mlcodec-opus-dred-07, sierpień 2026).
- Opus potrzebuje co najmniej 19 kbps, by zakodować wewnątrzpasmowy FEC przy 10% utracie pakietów, według własnego porównania Meta z MLow (Meta Engineering, MLow 2024).
- Opus 1.6 zmniejszył modele DRED około 3 razy, do 600 kB z 1.800 kB (Xiph.Org, demo Opus 1.6, grudzień 2025).
1. Ile dźwięku się traci i gdzie platformy stawiają granicę
Pakiet w tym kontekście to jeden mały wycinek dźwięku (często 20 ms) wysyłany przez sieć. Gdy dociera zbyt późno lub wcale, odbiornik ma dwie możliwości: odtworzyć ciszę albo zamaskować lukę, syntetyzując coś, co brzmi jak brakująca mowa. Własne dane Google pokazały, że 99% rozmów w Duo musiało radzić sobie z utratą pakietów, jitterem lub opóźnieniem (Google Research, Improving Audio Quality in Duo with WaveNetEQ 2020). Maskowanie nie jest więc przypadkiem brzegowym: działa w prawie każdej rozmowie.
Platformy nie zgadzają się co do tego, kiedy utrata przestaje być tłem, a staje się problemem. Microsoft Teams stawia próg słabej jakości przy średniej utracie 10%, Twilio przy 5%, a Microsoft wprost ostrzega, że etykieta słaby nie oznacza, iż użytkownicy faktycznie odczuli problem z jakością, ponieważ jego stos multimedialny koryguje utratę (Microsoft Learn, Stream Classification in CQD 2026). To zastrzeżenie jest całym argumentem za lepszym maskowaniem: im dalej sięga PLC, tym wyżej platforma może ustawić próg alarmowy.
| Metryka | Wartość | Źródło |
|---|---|---|
| Odsetek rozmów Google Duo, które muszą radzić sobie z utratą pakietów, jitterem lub opóźnieniem | 99% | Google Research, blog WaveNetEQ 2020 |
| Odsetek rozmów Duo tracących ponad 3% łącznego czasu trwania dźwięku | 20% | Google Research, blog WaveNetEQ 2020 |
| Odsetek rozmów Duo tracących ponad 8% łącznego czasu trwania dźwięku | 10% | Google Research, blog WaveNetEQ 2020 |
| Średni poziom utraty pakietów, powyżej którego Teams klasyfikuje strumień audio jako słaby | Powyżej 0,1 (10%), stosowane tylko do strumieni powyżej 500 pakietów | Microsoft Learn, CQD Stream Classification 2026 |
| Poziom utraty pakietów uruchamiający tag rozmowy high_packet_loss w Twilio | Powyżej 5% | Twilio Voice Insights, Details: Call Tags |
| Szacowane MOS, poniżej którego Twilio oznacza rozmowę w przeglądarce lub mobilnym SDK tagiem low_mos | Poniżej 3,5 | Twilio Voice Insights, Details: Call Tags |
| Średni poziom utraty w zbiorze testowym Deep PLC Challenge użytym do oceny Opus DRED | 18,4%, z seriami do jednej sekundy | Valin i in., artykuł o DRED (arXiv 2212.04453 v3, 2024) |
Najnowsze dostępne dane: Google Research, 2020. Żadna duża platforma nie opublikowała nowszego rozkładu utraty na poziomie rozmów. Teams raportuje powiązany wskaźnik “Ratio Concealed Samples Avg” dla każdego strumienia, gdzie 0,1 oznacza, że 10% ramek audio zawierało zamaskowane próbki (Microsoft Learn, CQD dimensions and measures 2026), ale Microsoft nie publikuje wartości dla całej floty. Odpowiedniki po stronie przeglądarki, concealedSamples i concealmentEvents, są zdefiniowane w interfejsie statystyk WebRTC organizacji W3C (Candidate Recommendation Draft, 25 września 2025).
2. Klasyczne maskowanie w kodekach według modelu E-model ITU-T
Przed sieciami neuronowymi maskowanie oznaczało powtarzanie lub ekstrapolowanie ostatniego poprawnego okresu tonu podstawowego. Model planistyczny ITU-T (E-model) ocenia, jak dobrze kodek znosi utratę, za pomocą współczynnika odporności na utratę pakietów Bpl: zwykłej liczby, gdzie wyższa wartość oznacza wolniejszy spadek jakości w miarę znikania pakietów. G.711 z algorytmem maskowania z Dodatku I ma Bpl równe 25,1, czyli prawie sześciokrotnie więcej niż 4,3 dla G.711 bez maskowania (ITU-T G.113 09/2024, Tabela I.4).
Co ta różnica oznacza w praktyce, widać wyraźniej na liczbach. Według równania 7-29 z ITU-T G.107 (06/2015), Ie-eff = Ie + (95 - Ie) x Ppl / (Ppl/BurstR + Bpl), G.711 (Ie = 0) przy losowej utracie 5% (BurstR = 1) daje 95 x 5 / (5 + 4,3) = 51,1 punktu zakłóceń bez maskowania oraz 95 x 5 / (5 + 25,1) = 15,8 z maskowaniem. Po odjęciu od domyślnej oceny R = 93,2 daje to R 42,1 wobec R 77,4, co wzór z Aneksu B normy G.107 przelicza na szacowane MOS około 2,2 wobec 3,9 (nasze obliczenie; wszystkie pozostałe dane wejściowe E-model pozostawione na wartościach domyślnych). Samo maskowanie przenosi rozmowę z 5% utratą z kategorii słabej do akceptowalnej.
| Metryka | Wartość | Źródło |
|---|---|---|
| G.711 (64 kbit/s, pakiety 10 ms) bez maskowania: współczynnik odporności na utratę pakietów Bpl przy utracie losowej | 4,3 | ITU-T G.113 (09/2024), Tabela I.4 |
| G.711 z algorytmem maskowania z Dodatku I do G.711: Bpl przy utracie losowej | 25,1 | ITU-T G.113 (09/2024), Tabela I.4 |
| G.729 Annex A z detekcją aktywności głosowej (8 kbit/s, pakiety 20 ms, wbudowane maskowanie): Ie i Bpl | Ie 11, Bpl 19,0 | ITU-T G.113 (09/2024), Tabela I.4 |
| G.711 z pakietami 20 ms, 8 pakietów utraconych w jednej serii przy 2% utracie (współczynnik serii 7,84): efektywne zakłócenie Ie-eff | 10 | ITU-T G.113 (09/2024), Tabela I.6 |
| G.722 przy 64 kbit/s z wysokiej jakości maskowaniem z Dodatku III do G.722: Bpl dla pasma szerokiego (słuchanie oboma uszami) | 7,1 | ITU-T G.113 (09/2024), Dodatek IV |
| EVS w trybie super-szerokopasmowym przy 24,4 kbit/s: Bpl dla pasma pełnego | 11,4 | ITU-T G.113 (09/2024), Dodatek V |
| Współczynnik oceny R w E-model, gdy wszystkie dane wejściowe mają wartości domyślne | 93,2 | ITU-T G.107 (06/2015) |
Kontekst: wartości Bpl są porównywalne tylko w obrębie tej samej skali (wąskopasmowej, szerokopasmowej lub pełnopasmowej). G.113 nie podaje żadnych wartości dla Opus, więc dźwięk WebRTC oparty na Opus trzeba oceniać innymi narzędziami (zob. sekcja 5).
3. Maskowanie neuronowe kontra cisza: konkurs Deep PLC 2022
Konkurs INTERSPEECH 2022 testował neuronowe PLC na rzeczywistych wzorcach utraty, z użyciem śladów nagranych z rozmów Microsoft Teams i twardej reguły czasu rzeczywistego: łączne opóźnienie algorytmiczne nie większe niż 20 ms. Jego główny wynik to wielkość dystansu między zwycięzcą a brakiem działania. Zwycięski system uzyskał -0,55 na skali porównawczej (CMOS, gdzie 0 oznacza brak możliwości odróżnienia od czystego oryginału), wobec -1,23 dla wypełnienia zerami (Microsoft, artykuł o konkursie INTERSPEECH 2022 Audio Deep PLC Challenge).
Zrozumiałość opowiada skromniejszą historię. Dokładność słów, mierzona jako 1 minus współczynnik błędów słów systemu rozpoznawania mowy, wzrosła jedynie z 0,86 przy ciszy do 0,88 dla zwycięzcy, wobec 0,97 dla czystej mowy. Słuchacze odbierają maskowanie jako dużą poprawę, ale system rozpoznawania mowy wciąż pomijał 12% słów przy zwycięskim systemie, wobec 3% dla czystej mowy, co warto mieć na uwadze obok naszych statystyk współczynnika błędów słów w rozpoznawaniu mowy.
| Metryka | Wartość | Źródło |
|---|---|---|
| Czysta mowa referencyjna: PLCMOS (od 1 do 5) i dokładność słów | 4,51 i 0,97 | Microsoft, artykuł o konkursie INTERSPEECH 2022 Deep PLC Challenge |
| Punkt odniesienia z wypełnieniem zerami (cisza w miejscu utraconych pakietów): PLCMOS, CMOS i dokładność słów | 2,90, -1,23 i 0,86 | Microsoft, artykuł o konkursie INTERSPEECH 2022 Deep PLC Challenge |
| System zwycięski (zespół #12, U-Net w dziedzinie czasu, około 2,36M parametrów): PLCMOS, CMOS i dokładność słów | 4,28, -0,55 i 0,88 | Microsoft, artykuł o konkursie INTERSPEECH 2022 Deep PLC Challenge |
| Najniżej sklasyfikowany kwalifikujący się system (zespół #6) wobec punktu odniesienia z wypełnieniem zerami: CMOS | -1,31 wobec -1,23 | Microsoft, artykuł o konkursie INTERSPEECH 2022 Deep PLC Challenge |
| Hybrydowe generatywno-predykcyjne PLC zespołu Opus: dokładność słów i miejsce w tej metryce | 0,882, pierwsze; drugie w CMOS i w klasyfikacji ogólnej | Valin i in., Real-Time PLC with Mixed Generative and Predictive Model 2022 |
| Ten sam system: obliczenia na każde 10 ms mowy na procesorze laptopa (Intel i7-10810U) | 1,3 do 1,4 ms, około 13% do 14% jednego rdzenia | Valin i in. 2022 |
Uwaga o wartości odstającej: jeden sklasyfikowany system uzyskał w CMOS wynik gorszy niż punkt odniesienia z ciszą, co przypomina, że źle dostrojony generator może brzmieć gorzej niż luka. Zbiór ślepy był przechylony ku krótkim seriom: w 504 z jego 966 nagrań maksymalna seria wynosiła do 120 ms. Wyniki systemu hybrydowego pochodzą od Valin i in., którego maskowanie trafiło później do Opus 1.5 (zob. sekcja 7).
4. Długie serie: gdzie maskowanie wciąż zawodzi (ICASSP 2024)
Edycja 2024 celowo utrudniła zadanie: dźwięk pełnopasmowy 48 kHz, oceniany wielowymiarową metodą ITU-T P.804 (Microsoft Research, ICASSP 2024 Audio Deep PLC Challenge), oraz serie utraty do 3 sekund. Nawet najlepszy system pokonał tylko około dwóch trzecich dystansu między dźwiękiem z utratą a czystym: ogólna jakość wzrosła z 2,37 do 3,49, wobec 4,01 dla czystej mowy ((3,49 - 2,37) / (4,01 - 2,37) = 68%) (Microsoft, artykuł o konkursie ICASSP 2024 Audio Deep PLC Challenge).
Najbardziej wymowna jest kolumna nieciągłości, czyli ocena P.804 słyszalnych przerw i zakłóceń (wyższa oznacza płynniej). Wzrosła z 2,47 do 3,90 dla najlepszego systemu, co jest większym skokiem niż w jakimkolwiek innym wymiarze. Maskowanie naprawia dziury, które słuchacze zauważają najpierw, podczas gdy syntetyzowana mowa wciąż kosztuje naturalność. Dokładność słów pokazuje ten sam kompromis: jeden ze współzwycięzców rozpoznał 0,81 słów, nieco poniżej 0,83 dla nietkniętego dźwięku z utratą, co sugeruje, że wymyślona mowa może wprowadzić system rozpoznawania w błąd bardziej niż cisza.
| Metryka | Wartość | Źródło |
|---|---|---|
| Ogólna jakość P.804 (od 1 do 5): czysta mowa wobec nieprzetworzonego dźwięku z utratą wobec współzwycięzców (1024K oraz NWPU & ByteAudio) | 4,01 wobec 2,37 wobec 3,49 i 3,44 | Microsoft, artykuł o konkursie ICASSP 2024 Deep PLC Challenge |
| Ocena nieciągłości P.804: czysta wobec z utratą wobec najlepszego systemu (1024K) | 4,55 wobec 2,47 wobec 3,90 | Microsoft, artykuł o konkursie ICASSP 2024 Deep PLC Challenge |
| Dokładność słów: czysta wobec z utratą wobec 1024K wobec NWPU & ByteAudio | 0,98 wobec 0,83 wobec 0,81 wobec 0,84 | Microsoft, artykuł o konkursie ICASSP 2024 Deep PLC Challenge |
| Kwalifikujące się systemy z wynikiem niższym niż nieprzetworzony dźwięk z utratą w ogólnej jakości P.804 | 2 z 8 (2,11 i 2,17) | Microsoft, artykuł o konkursie ICASSP 2024 Deep PLC Challenge |
| Pasmo dźwięku i metoda testu odsłuchowego w edycji 2024 | Pełne pasmo, 48.000 Hz; wielowymiarowa ocena ITU-T P.804 oraz współczynnik błędów słów | Microsoft Research, strona konkursu ICASSP 2024 Deep PLC Challenge |
Kontekst: dziewiąty system uzyskał 2,91 w ogólnej jakości, ale przekroczył limit opóźnienia i został wpisany jako niedokończony. Organizatorzy zauważają, że systemy z ery 2022 “mogą nie radzić sobie dobrze z dłuższymi sekwencjami utraty”, czyli dokładnie tam, gdzie przejmuje stery kodowanie nadmiarowe (sekcja 6).
5. Ocena maskowania: dlaczego ogólne metryki jakości go nie wychwytują
Błędy maskowania są krótkie, sporadyczne i często wiarygodne, czyli dokładnie to, czego ogólne metryki jakości nie zostały zaprojektowane wychwytywać. Na danych wyrównanych do referencji PESQ osiągnął korelację Pearsona na poziomie modeli zaledwie 0,52 z ocenami ludzi dla systemów PLC, a STOI tylko 0,21, podczas gdy PLCMOS osiągnął 0,98 (Diener i in., artykuł o PLCMOS, Microsoft, Interspeech 2023). Metryka, która błędnie szereguje systemy, może skierować całą dziedzinę badań w złą stronę.
PLCMOS działa bez czystej referencji, co ma znaczenie w rzeczywistych rozmowach, gdzie oryginalny dźwięk nigdy nie jest dostępny po stronie odbiornika. Jego słabością jest precyzja na poziomie pliku: 0,85 na nagranie wobec 0,97 na system, więc szereguje algorytmy znacznie lepiej, niż ocenia pojedynczą rozmowę. To samo napięcie przewija się przez ocenę mowy syntetycznej, opisaną w naszych statystykach MOS naturalności mowy syntetycznej.
| Metryka | Wartość | Źródło |
|---|---|---|
| PLCMOS wobec ocen ludzi: korelacja Pearsona i korelacja rangowa na poziomie modeli | Około 0,97 i około 0,95 | Diener i in., artykuł o PLCMOS 2023 |
| DNSMOS (ogólna metryka tłumienia szumów): korelacja Pearsona na poziomie plików wobec poziomu modeli | 0,52 wobec 0,85 | Diener i in., artykuł o PLCMOS 2023 |
| PESQ wobec PLCMOS na danych wyrównanych do referencji: korelacja Pearsona na poziomie modeli | 0,52 wobec 0,98 | Diener i in., artykuł o PLCMOS 2023 |
| STOI (metryka zrozumiałości): korelacja Pearsona na poziomie modeli | 0,21 | Diener i in., artykuł o PLCMOS 2023 |
| Głosy ludzi w głównym zbiorze treningowym PLCMOS (LibriSpeech Basic) | 333.740 | Diener i in., artykuł o PLCMOS 2023 |
| Pliki testowe w baterii testów odsłuchowych IETF dla kodeków uczenia maszynowego | 100 czystej mowy, 90 z szumem lub pogłosem, 20 z nakładającymi się rozmówcami | IETF draft-ietf-mlcodec-test-battery-00, czerwiec 2026 |
Kontekst: oceny z crowdsourcingu korelowały z ocenami ekspertów na poziomie około 0,83 PCC (95% CI: [0,78; 0,87]) we wstępnym badaniu etykietowania PLCMOS. Szkic IETF dotyczący baterii testów wciąż wymienia swoje scenariusze utraty pakietów jako “Szczegóły do ustalenia”, więc nie ma jeszcze standardowego testu utraty dla kodeków neuronowych.
6. Kodowanie nadmiarowe: płacenie bitami, by uniknąć maskowania
Maskowanie zgaduje; nadmiarowość wysyła kopię zapasową. Korekcja błędów w przód (FEC) polega na dołączaniu do późniejszych pakietów kopii wcześniejszego dźwięku o niższej jakości, tak aby utracony pakiet można było odtworzyć zamiast wymyślać. Kompromisem jest przepustowość. Klasyczny wewnątrzpasmowy FEC w Opus (LBRR) obejmuje tylko jedną ramkę przy około 2/3 zwykłej przepływności, podczas gdy Deep REDundancy (DRED) przenosi do jednej sekundy lub więcej przy około 1/50 zwykłej przepływności (IETF draft-ietf-mlcodec-opus-dred-07, sierpień 2026).
Starsze podejście RED pokazuje skalę efektu. W teście w Chrome przy 20% utracie wysyłanie jednej poprzedniej ramki w każdym pakiecie obniżyło zamaskowany odsetek dźwięku z 18% do 4%, a dwóch poprzednich ramek do 0,7% (webrtcHacks, RED: Improving Audio Quality with Redundancy 2020). Koszt: dźwięk wzrósł z około 30 kbps do 60 kbps przy jednej kopii i 90 kbps przy dwóch. DRED istnieje po to, by uzyskać podobną ochronę bez podwajania przepływności.
| Metryka | Wartość | Źródło |
|---|---|---|
| Wewnątrzpasmowy FEC LBRR w Opus: głębokość nadmiarowości i koszt przepływności | 1 ramka; około 2/3 zwykłej przepływności Opus | IETF draft-ietf-mlcodec-opus-dred-07, 2026 |
| Opus DRED: głębokość nadmiarowości i koszt przepływności | Do jednej sekundy lub więcej na pakiet; około 1/50 zwykłej przepływności | IETF draft-ietf-mlcodec-opus-dred-07, 2026 |
| Ocena DRED: nadmiarowość przenoszona w pakiecie oraz liczba wysłań każdej ramki | 1,04 sekundy; 52 kopie | Valin i in., artykuł o DRED (arXiv 2212.04453 v3, 2024) |
| Przepływność warunku testowego LBRR w ocenie DRED (24 kb/s bazowo plus LBRR) | 40 kb/s łącznie, LBRR ze średnią około 16 kb/s | Valin i in., artykuł o DRED 2024 |
| Zamaskowany odsetek dźwięku przy 20% utracie w Chrome: bez RED wobec jednej poprzedniej ramki wobec dwóch poprzednich ramek | 18% wobec 4% wobec 0,7% | webrtcHacks, test RED Hanckego 2020 |
| Zamaskowany odsetek dźwięku przy 60% utracie losowej: bez RED wobec jednej wobec dwóch poprzednich ramek | 60% wobec 32% wobec 18% | webrtcHacks, test RED Hanckego 2020 |
| Minimalna przepływność Opus do zakodowania wewnątrzpasmowego FEC przy 10% utracie pakietów | 19 kbps (własne porównanie producenta) | Meta Engineering, blog o kodeku MLow 2024 |
| Przepływność próbek MLow firmy Meta przy 30% utracie pakietów po stronie odbiornika | 14 kbps (własne twierdzenie producenta) | Meta Engineering, blog o kodeku MLow 2024 |
Kontekst: dane webrtcHacks pochodzą z testu laboratoryjnego jednego autora z 2020 roku (najnowszy dostępny publiczny pomiar RED w Chrome). Dane Meta pochodzą z jej własnego ogłoszenia MLow i nie zostały niezależnie powtórzone. Wszystkie różnice DRED w teście odsłuchowym P.808 z artykułu (966 wypowiedzi, po 10 słuchaczy na każdą) zgłoszono jako istotne przy p < 0,05.
7. Wdrażanie maskowania: obliczenia, rozmiar i standardy
Model maskowania ma znaczenie tylko wtedy, gdy mieści się na najtańszym telefonie w rozmowie. Deep PLC w Opus 1.5 kosztuje około 1% rdzenia procesora laptopa przy wysokiej utracie i dodaje około 1 MB do biblioteki (Xiph.Org, Opus 1.5 demo, marzec 2024, własne dane deweloperów). Zgłoszenie do konkursu 2022 od tego samego zespołu potrzebowało 13% do 14% rdzenia (sekcja 3), choć obie wartości zmierzono inaczej i nie jest to ścisłe porównanie jeden do jednego.
Warstwa standardów natomiast ledwo się rusza. Zasady audio WebRTC (RFC 7874, 2016) nakazują Opus i G.711, ale nie stawiają żadnego wymogu dla maskowania ani FEC, pozostawiając jakość przy utracie całkowicie wdrożeniom. Opus 1.6 kontynuował zmniejszanie modeli: jego sieci DRED są około 3 razy mniejsze niż w 1.5 (Xiph.Org, Opus 1.6 demo, grudzień 2025).
| Metryka | Wartość | Źródło |
|---|---|---|
| Deep PLC w Opus 1.5: dodany rozmiar biblioteki i koszt CPU | Około 1 MB; około 1% rdzenia laptopa przy wysokiej utracie; wymaga złożoności dekodera 5 lub wyższej | Xiph.Org, demo Opus 1.5 2024 (własne dane deweloperów) |
| DRED w Opus 1.5: dodany rozmiar biblioteki, koszt działania i narzut przepływności | Około 2 MB; około 1%; około 12 do 32 kb/s | Xiph.Org, demo Opus 1.5 2024 (własne dane deweloperów) |
| Neuronowy vocoder FARGAN użyty do syntezy zamaskowanej i nadmiarowej mowy: złożoność | 600 MFLOPS, 1/5 LPCNet | Xiph.Org, demo Opus 1.5 2024 |
| Poziomy utraty w testach WebRTC Opus 1.5 (PLCMOS v2) | Od 0% do 90% co 10%; DRED podobno utrzymuje jakość przy 90% utracie | Xiph.Org, demo Opus 1.5 2024 (własne twierdzenie deweloperów) |
| Rozmiar modelu DRED w Opus 1.6 wobec Opus 1.5 | 600 kB wobec 1.800 kB | Xiph.Org, demo Opus 1.6, grudzień 2025 |
| Rozmiary ramek Opus, długość pakietu i zakres przepływności | Ramki od 2,5 do 60 ms; pakiety do 120 ms; od 6 do 510 kbit/s | IETF RFC 6716 (2012) |
| Opóźnienie algorytmiczne Opus | Od 5 ms do 65,2 ms | IETF RFC 6716 (2012) |
| Kodeki, które muszą obsługiwać punkty końcowe WebRTC | Opus i G.711 (PCMA i PCMU); bez wymogu PLC ani FEC | IETF RFC 7874 (2016) |
Kontekst: RFC 6716 i RFC 7874 mają ponad trzy lata, ale pozostają obowiązującymi standardami (RFC 6716, RFC 7874). Szkic DRED, jeśli zostanie zatwierdzony, zaktualizuje RFC 6716 o neuronową warstwę nadmiarowości.
Podsumowanie: maskowanie utraty pakietów audio w WebRTC w liczbach
| Metryka | Wartość | Źródło |
|---|---|---|
| Rozmowy Google Duo, które muszą radzić sobie z utratą pakietów, jitterem lub opóźnieniem | 99% | Google Research, blog WaveNetEQ 2020 |
| Rozmowy Duo tracące ponad 8% dźwięku | 10% | Google Research, blog WaveNetEQ 2020 |
| Próg słabej jakości w Teams dla średniej utraty pakietów audio | Powyżej 0,1 (10%) | Microsoft Learn, CQD Stream Classification 2026 |
| Próg tagu high_packet_loss w Twilio | Powyżej 5% | Twilio Voice Insights, Details: Call Tags |
| Współczynnik odporności Bpl w G.711: bez maskowania wobec maskowania z Dodatku I | 4,3 wobec 25,1 | ITU-T G.113 (09/2024) |
| G.729 Annex A z detekcją aktywności głosowej: Bpl | 19,0 | ITU-T G.113 (09/2024) |
| PLCMOS w konkursie 2022: wypełnienie zerami wobec zwycięzcy wobec czystej mowy | 2,90 wobec 4,28 wobec 4,51 | Microsoft, artykuł o konkursie INTERSPEECH 2022 Deep PLC Challenge |
| Dokładność słów w konkursie 2022: wypełnienie zerami wobec zwycięzcy wobec czystej mowy | 0,86 wobec 0,88 wobec 0,97 | Microsoft, artykuł o konkursie INTERSPEECH 2022 Deep PLC Challenge |
| Obliczenia hybrydowego PLC zespołu Opus na 10 ms mowy | 1,3 do 1,4 ms (13% do 14% jednego rdzenia) | Valin i in. 2022 |
| Ogólna jakość P.804 w konkursie 2024: z utratą wobec najlepszego wobec czystej mowy | 2,37 wobec 3,49 wobec 4,01 | Microsoft, artykuł o konkursie ICASSP 2024 Deep PLC Challenge |
| Systemy konkursu 2024 z wynikiem niższym niż nieprzetworzony dźwięk z utratą | 2 z 8 | Microsoft, artykuł o konkursie ICASSP 2024 Deep PLC Challenge |
| Korelacja Pearsona PLCMOS z ocenami ludzi na poziomie modeli | Około 0,97 | Diener i in., artykuł o PLCMOS 2023 |
| Korelacja Pearsona PESQ wobec STOI na poziomie modeli dla systemów PLC | 0,52 wobec 0,21 | Diener i in., artykuł o PLCMOS 2023 |
| Głębokość nadmiarowości LBRR wobec DRED | 1 ramka wobec jednej sekundy lub więcej | IETF draft-ietf-mlcodec-opus-dred-07, 2026 |
| Przepływność nadmiarowości DRED względem zwykłego Opus | Około 1/50 | IETF draft-ietf-mlcodec-opus-dred-07, 2026 |
| Zamaskowany dźwięk przy 20% utracie: bez RED wobec RED z dwiema ramkami | 18% wobec 0,7% | webrtcHacks, test RED Hanckego 2020 |
| Minimalna przepływność wewnątrzpasmowego FEC w Opus przy 10% utracie | 19 kbps (własne porównanie producenta) | Meta Engineering, blog o kodeku MLow 2024 |
| Koszt CPU Deep PLC w Opus 1.5 | Około 1% rdzenia laptopa | Xiph.Org, demo Opus 1.5 2024 |
| Rozmiar modelu DRED w Opus 1.6 wobec 1.5 | 600 kB wobec 1.800 kB | Xiph.Org, demo Opus 1.6 2025 |
Metodologia i źródła
- Microsoft Research, artykuł o konkursie INTERSPEECH 2022 Audio Deep Packet Loss Concealment Challenge (Diener i in., 2022): arxiv.org/pdf/2204.05222
- Microsoft Research, artykuł o konkursie ICASSP 2024 Audio Deep Packet Loss Concealment Challenge (2024): arxiv.org/html/2402.16927v1
- Microsoft Research, strona programu konkursu ICASSP 2024 Audio Deep PLC Challenge: microsoft.com
- Diener i in., PLCMOS: a data-driven non-intrusive metric for the evaluation of packet loss concealment algorithms (Interspeech 2023): arxiv.org/pdf/2305.15127
- Valin i in., Real-Time Packet Loss Concealment With Mixed Generative and Predictive Model (2022): arxiv.org/pdf/2205.05785
- Valin i in., DRED: Deep REDundancy Coding of Speech Using a Rate-Distortion-Optimized Variational Autoencoder (arXiv v3, 2024): arxiv.org/pdf/2212.04453
- IETF, Deep Audio Redundancy (DRED) Extension for the Opus Codec, draft-ietf-mlcodec-opus-dred-07 (sierpień 2026): ietf.org
- IETF, ML codec listening test battery, draft-ietf-mlcodec-test-battery-00 (czerwiec 2026): ietf.org
- IETF RFC 6716, Definition of the Opus Audio Codec (2012): rfc-editor.org
- IETF RFC 7874, WebRTC Audio Codec and Processing Requirements (2016): rfc-editor.org
- W3C, Identifiers for WebRTC’s Statistics API (Candidate Recommendation Draft, 25 września 2025): w3.org
- ITU-T G.113 (09/2024), Transmission impairments due to speech processing: itu.int
- ITU-T G.107 (06/2015), The E-model: itu.int
- Google Research, Improving Audio Quality in Duo with WaveNetEQ (kwiecień 2020): research.google
- Microsoft Learn, Stream Classification in Call Quality Dashboard (zaktualizowano w czerwcu 2026): learn.microsoft.com
- Microsoft Learn, Dimensions and measures available in Call Quality Dashboard (zaktualizowano w lipcu 2026): learn.microsoft.com
- Twilio, Voice Insights Details: Call Tags: twilio.com
- Meta Engineering, MLow: Meta’s low bitrate audio codec (czerwiec 2024): engineering.fb.com
- Xiph.Org, demo Opus 1.5 (marzec 2024) i demo Opus 1.6 (grudzień 2025): opus-codec.org/demo/opus-1.5, opus-codec.org/demo/opus-1.6
- webrtcHacks, RED: Improving Audio Quality with Redundancy (Philipp Hancke, sierpień 2020): webrtchacks.com
- Uwaga o danych: jedyny rozkład utraty na poziomie rozmów od dużej platformy to liczba Google dla Duo z 2020 roku, a pomiary maskowania RED to test jednego autora z 2020 roku, więc oba oznaczono jako najnowsze dostępne dane. Przykład E-model w sekcji 2 to nasze własne obliczenie na podstawie równania 7-29 i Aneksu B normy ITU-T G.107 z wartościami Bpl z G.113, przy pozostałych danych wejściowych na wartościach domyślnych; jest to szacunek, a nie pomiar. Wyniki konkursów nie są porównywalne między edycjami: w 2022 użyto dźwięku szerokopasmowego, PLCMOS i CMOS z seriami do 1 sekundy, a w 2024 dźwięku pełnopasmowego, P.804 i serii do 3 sekund. W artykule z 2022 PLCMOS korelował z CMOS na poziomie około 0,95 Pearsona, podczas gdy późniejsze wydanie PLCMOS podaje około 0,97 na innym zbiorze oceny. Dane Xiph.Org i Meta to własne twierdzenia deweloperów. Progi Teams (10%) i Twilio (5%) są ze sobą sprzeczne z założenia, ponieważ każdy dostawca dostraja je do własnego stosu multimedialnego. Szkic DRED (wygasa w lutym 2027) oraz szkic baterii testów IETF, w którym scenariusze utraty pakietów wciąż są niezdefiniowane, mogą się zmienić przed publikacją jako RFC.
Ostatnia aktualizacja: 24 października 2026 roku. Aktualizujemy to zestawienie kwartalnie, a kolejne odświeżenie nastąpi, gdy grupa robocza mlcodec w IETF opublikuje następną wersję szkicu Opus DRED oraz scenariuszy utraty pakietów w baterii testów.