ระบบปกปิดแพ็กเก็ตสูญหายแบบนิวรัลที่ดีที่สุดใน INTERSPEECH 2022 Audio Deep PLC Challenge ของ Microsoft ได้ PLCMOS 4.28 จากมาตราส่วน 1 ถึง 5 เทียบกับ 2.90 หากเพียงแทรกความเงียบ และ 4.51 สำหรับต้นฉบับที่สะอาด (Microsoft, บทความวิจัย INTERSPEECH 2022 Audio Deep PLC Challenge) สองปีต่อมา เมื่อการแข่งขันเดียวกันเปลี่ยนมาใช้เสียงฟูลแบนด์และการสูญหายต่อเนื่องนานถึง 3 วินาที ผู้ชนะร่วมยกคุณภาพโดยรวมได้เพียงจาก 2.37 เป็น 3.49 ซึ่งยังต่ำกว่า 4.01 ที่เสียงพูดต้นฉบับทำได้อยู่มาก (Microsoft, บทความวิจัย ICASSP 2024 Audio Deep PLC Challenge) ปัญหานี้ไม่ใช่เรื่องหายาก: Google รายงานว่า 99% ของสาย Duo ต้องรับมือกับแพ็กเก็ตสูญหาย จิตเตอร์ หรือความหน่วง และทุก ๆ สิบสายจะมีหนึ่งสายที่สูญเสียเสียงเกิน 8% (Google Research, บล็อก WaveNetEQ 2020) การปกปิดคือชั้นเงียบ ๆ ที่อยู่ใต้แนวโน้มทางธุรกิจในสถิติ VoIP และ UCaaSของเรา และเติมเต็มภาพฝั่งผู้ให้บริการในสถิติคุณภาพเสียงเครือข่ายเซลลูลาร์ (MOS)ของเรา เรารวบรวมข้อมูลจากบทความวิจัยการแข่งขันของ Microsoft Research, IETF และ ITU-T, W3C, Google Research, นักพัฒนา Opus ของ Xiph.Org, Meta Engineering, เอกสารของ Microsoft Learn และ Twilio รวมถึงงานวิจัย PLC ที่ผ่านการพิจารณาโดยผู้เชี่ยวชาญซึ่งระบุไว้ในส่วนระเบียบวิธี
สรุปโดยย่อ
- 99% ของสาย Google Duo ต้องรับมือกับแพ็กเก็ตสูญหาย จิตเตอร์ หรือความหน่วง; 10% สูญเสียเสียงเกิน 8% ของทั้งหมด (Google Research, บล็อก WaveNetEQ 2020)
- Microsoft Teams ระบุสตรีมเสียงเป็น Poor เมื่อแพ็กเก็ตสูญหายเฉลี่ยเกิน 0.1 หรือ 10% (Microsoft Learn, CQD Stream Classification 2026)
- G.711 ที่ใช้การปกปิดตาม Appendix I มีตัวประกอบความทนทานต่อแพ็กเก็ตสูญหายที่ 25.1 เทียบกับ 4.3 เมื่อไม่มีการปกปิด (ITU-T G.113, 09/2024)
- ผู้ชนะ PLC แบบนิวรัล: PLCMOS 4.28 เทียบกับ 2.90 ของการเติมค่าศูนย์ และ 4.51 ของเสียงพูดต้นฉบับ (Microsoft, บทความวิจัย INTERSPEECH 2022 Deep PLC Challenge)
- PLC แบบไฮบริดของทีม Opus ได้อันดับหนึ่งด้านความแม่นยำระดับคำ (0.882) และอันดับสองโดยรวมในการแข่งขันปี 2022 (Valin และคณะ, Real-Time PLC with Mixed Generative and Predictive Model 2022)
- เมื่อการสูญหายต่อเนื่องนานถึง 3 วินาที 2 จาก 8 ระบบที่มีสิทธิ์ได้คะแนนต่ำกว่าเสียงที่สูญหายซึ่งไม่ได้ประมวลผลในคุณภาพโดยรวม P.804 (Microsoft, บทความวิจัย ICASSP 2024 Deep PLC Challenge)
- PLCMOS ให้สหสัมพันธ์เพียร์สันระดับโมเดลราว 0.97 กับคะแนนของมนุษย์; บนข้อมูลที่จัดแนวกับต้นฉบับ PESQ ได้เพียง 0.52 (Diener และคณะ, บทความวิจัย PLCMOS 2023)
- FEC ภายในแบนด์ LBRR ของ Opus ครอบคลุม 1 เฟรมด้วยบิตเรตราว 2/3 ของปกติ; DRED ครอบคลุมได้ถึง 1 วินาทีด้วยบิตเรตราว 1/50 (IETF draft-ietf-mlcodec-opus-dred-07, สิงหาคม 2026)
- Opus ต้องการอย่างน้อย 19 kbps เพื่อเข้ารหัส FEC ภายในแบนด์เมื่อแพ็กเก็ตสูญหาย 10% ตามการเปรียบเทียบ MLow ของ Meta เอง (Meta Engineering, MLow 2024)
- Opus 1.6 ลดขนาดโมเดล DRED ลงราว 3 เท่า เหลือ 600 kB จาก 1,800 kB (Xiph.Org, เดโม Opus 1.6, ธันวาคม 2025)
1. เสียงสูญหายไปมากแค่ไหน และแต่ละแพลตฟอร์มขีดเส้นตรงไหน
แพ็กเก็ตในบริบทนี้คือชิ้นส่วนเสียงเล็ก ๆ หนึ่งชิ้น (มักยาว 20 ms) ที่ส่งผ่านเครือข่าย เมื่อมาถึงช้าเกินไปหรือไม่มาเลย ผู้รับมีสองทางเลือก: เล่นความเงียบ หรือปกปิดช่องว่างด้วยการสังเคราะห์เสียงที่ฟังเหมือนเสียงพูดที่หายไป ข้อมูลของ Google เองแสดงว่า 99% ของสาย Duo ต้องรับมือกับแพ็กเก็ตสูญหาย จิตเตอร์ หรือความหน่วง (Google Research, Improving Audio Quality in Duo with WaveNetEQ 2020) ดังนั้นการปกปิดไม่ใช่กรณีสุดขอบ แต่ทำงานอยู่ในเกือบทุกสาย
แพลตฟอร์มต่าง ๆ มีความเห็นไม่ตรงกันว่าการสูญหายเปลี่ยนจากเสียงรบกวนพื้นหลังเป็นปัญหาตรงจุดไหน Microsoft Teams ขีดเส้น Poor ที่แพ็กเก็ตสูญหายเฉลี่ย 10% ส่วน Twilio ที่ 5% และ Microsoft เตือนอย่างชัดเจนว่าป้ายกำกับ Poor ไม่ได้หมายความว่าผู้ใช้รับรู้ปัญหาคุณภาพจริง เพราะสแต็กสื่อของตนชดเชยการสูญหายอยู่แล้ว (Microsoft Learn, Stream Classification in CQD 2026) ข้อสังเกตนี้คือเหตุผลทั้งหมดที่ต้องมีการปกปิดที่ดีขึ้น: ยิ่ง PLC ครอบคลุมได้ไกล แพลตฟอร์มก็ยิ่งตั้งเกณฑ์เตือนให้สูงขึ้นได้
| ตัวชี้วัด | ค่า | แหล่งที่มา |
|---|---|---|
| สัดส่วนสาย Google Duo ที่ต้องรับมือกับแพ็กเก็ตสูญหาย จิตเตอร์ หรือความหน่วง | 99% | Google Research, บล็อก WaveNetEQ 2020 |
| สัดส่วนสาย Duo ที่สูญเสียเสียงเกิน 3% ของระยะเวลาเสียงทั้งหมด | 20% | Google Research, บล็อก WaveNetEQ 2020 |
| สัดส่วนสาย Duo ที่สูญเสียเสียงเกิน 8% ของระยะเวลาเสียงทั้งหมด | 10% | Google Research, บล็อก WaveNetEQ 2020 |
| อัตราแพ็กเก็ตสูญหายเฉลี่ยที่ Teams ใช้จัดสตรีมเสียงเป็น Poor | สูงกว่า 0.1 (10%) ใช้กับสตรีมที่มีมากกว่า 500 แพ็กเก็ตเท่านั้น | Microsoft Learn, CQD Stream Classification 2026 |
| ระดับแพ็กเก็ตสูญหายที่ทำให้ Twilio ติดแท็กสาย high_packet_loss | สูงกว่า 5% | Twilio Voice Insights, Details: Call Tags |
| ค่า MOS ประมาณการที่ต่ำกว่านั้น Twilio จะติดแท็ก low_mos ให้สายบนเบราว์เซอร์หรือ SDK มือถือ | ต่ำกว่า 3.5 | Twilio Voice Insights, Details: Call Tags |
| อัตราการสูญหายเฉลี่ยในชุดทดสอบ Deep PLC Challenge ที่ใช้ประเมิน Opus DRED | 18.4% โดยมีการสูญหายต่อเนื่องนานถึงหนึ่งวินาที | Valin และคณะ, บทความวิจัย DRED (arXiv 2212.04453 v3, 2024) |
ข้อมูลล่าสุดที่มี: Google Research, 2020 ยังไม่มีแพลตฟอร์มรายใหญ่รายใดเผยแพร่การกระจายของการสูญหายระดับสายที่ใหม่กว่านี้ Teams รายงานตัวชี้วัดที่เกี่ยวข้องคือ “Ratio Concealed Samples Avg” ต่อสตรีม โดย 0.1 หมายถึง 10% ของเฟรมเสียงมีตัวอย่างที่ถูกปกปิด (Microsoft Learn, มิติและตัวชี้วัดของ CQD 2026) แต่ Microsoft ไม่เผยแพร่ค่าในภาพรวมของทั้งระบบ ตัวชี้วัดที่เทียบเท่าฝั่งเบราว์เซอร์ คือ concealedSamples และ concealmentEvents ถูกนิยามไว้ใน W3C WebRTC Statistics API (Candidate Recommendation Draft ฉบับวันที่ 25 กันยายน 2025)
2. การปกปิดของโคเดกแบบดั้งเดิมภายใต้ E-model ของ ITU-T
ก่อนยุคโครงข่ายประสาทเทียม การปกปิดหมายถึงการทำซ้ำหรือคาดการณ์ต่อจากคาบพิตช์ล่าสุดที่ดี แบบจำลองการวางแผนของ ITU-T (E-model) ให้คะแนนว่าโคเดกรอดจากการสูญหายได้ดีแค่ไหนด้วยตัวประกอบความทนทานต่อแพ็กเก็ตสูญหาย Bpl: ตัวเลขธรรมดาที่ค่ายิ่งสูงหมายถึงคุณภาพลดลงช้าลงเมื่อแพ็กเก็ตหายไป G.711 ที่ใช้อัลกอริทึมปกปิดจาก Appendix I มี Bpl เท่ากับ 25.1 เกือบหกเท่าของ 4.3 ของ G.711 ที่ไม่มีการปกปิด (ITU-T G.113 09/2024, ตาราง I.4)
ความหมายของช่องว่างนี้ในทางปฏิบัติจะชัดขึ้นเมื่อดูตัวเลข ใช้สมการ 7-29 ของ ITU-T G.107 (06/2015), Ie-eff = Ie + (95 - Ie) x Ppl / (Ppl/BurstR + Bpl) สำหรับ G.711 (Ie = 0) ที่การสูญหายแบบสุ่ม 5% (BurstR = 1) จะได้ 95 x 5 / (5 + 4.3) = 51.1 คะแนนความบกพร่องเมื่อไม่มีการปกปิด และ 95 x 5 / (5 + 25.1) = 15.8 เมื่อมีการปกปิด เมื่อนำไปลบจากเรตติ้งค่าเริ่มต้น R = 93.2 จะได้ R 42.1 เทียบกับ R 77.4 ซึ่งสูตร Annex B ของ G.107 แปลงเป็นค่า MOS ประมาณการราว 2.2 เทียบกับ 3.9 (การคำนวณของเราเอง โดยปล่อยอินพุตอื่นของ E-model ไว้ที่ค่าเริ่มต้น) การปกปิดเพียงอย่างเดียวยกสายที่มีแพ็กเก็ตสูญหาย 5% จากระดับแย่ขึ้นมาเป็นระดับยอมรับได้
| ตัวชี้วัด | ค่า | แหล่งที่มา |
|---|---|---|
| G.711 (64 kbit/s, แพ็กเก็ต 10 ms) ที่ไม่มีการปกปิด: ตัวประกอบความทนทานต่อแพ็กเก็ตสูญหาย Bpl เมื่อสูญหายแบบสุ่ม | 4.3 | ITU-T G.113 (09/2024), ตาราง I.4 |
| G.711 ที่ใช้อัลกอริทึมปกปิดของ G.711 Appendix I: Bpl เมื่อสูญหายแบบสุ่ม | 25.1 | ITU-T G.113 (09/2024), ตาราง I.4 |
| G.729 Annex A พร้อมการตรวจจับกิจกรรมเสียงพูด (8 kbit/s, แพ็กเก็ต 20 ms, การปกปิดแบบมาตรฐานในตัว): Ie และ Bpl | Ie 11, Bpl 19.0 | ITU-T G.113 (09/2024), ตาราง I.4 |
| G.711 แพ็กเก็ต 20 ms สูญหาย 8 แพ็กเก็ตต่อเนื่องกันในการสูญหาย 2% (อัตราส่วนการสูญหายต่อเนื่อง 7.84): ความบกพร่องที่มีผลจริง Ie-eff | 10 | ITU-T G.113 (09/2024), ตาราง I.6 |
| G.722 ที่ 64 kbit/s พร้อมการปกปิดคุณภาพสูงของ G.722 Appendix III: Bpl แบบไวด์แบนด์ (ฟังด้วยสองหู) | 7.1 | ITU-T G.113 (09/2024), Appendix IV |
| EVS ในโหมดซูเปอร์ไวด์แบนด์ที่ 24.4 kbit/s: Bpl แบบฟูลแบนด์ | 11.4 | ITU-T G.113 (09/2024), Appendix V |
| ตัวประกอบเรตติ้ง R ของ E-model เมื่ออินพุตทุกตัวอยู่ที่ค่าเริ่มต้น | 93.2 | ITU-T G.107 (06/2015) |
บริบท: ค่า Bpl เปรียบเทียบกันได้เฉพาะภายในมาตราส่วนเดียวกัน (แนร์โรว์แบนด์ ไวด์แบนด์ หรือฟูลแบนด์) G.113 ไม่ได้ระบุค่าของ Opus เลย ดังนั้นเสียง WebRTC ที่ใช้ Opus จึงต้องประเมินด้วยเครื่องมืออื่น (ดูหัวข้อที่ 5)
3. การปกปิดแบบนิวรัลเทียบกับความเงียบ: Deep PLC Challenge ปี 2022
การแข่งขัน INTERSPEECH 2022 ทดสอบ PLC แบบนิวรัลบนรูปแบบการสูญหายจริง โดยใช้ร่องรอยที่บันทึกจากสาย Microsoft Teams และกฎเรียลไทม์ที่เข้มงวด คือความหน่วงเชิงอัลกอริทึมรวมไม่เกิน 20 ms ผลลัพธ์เด่นของการแข่งขันนี้คือขนาดของช่องว่างระหว่างผู้ชนะกับการไม่ทำอะไรเลย ระบบผู้ชนะได้ -0.55 บนมาตราส่วนเปรียบเทียบ (CMOS ที่ 0 หมายถึงแยกไม่ออกจากต้นฉบับที่สะอาด) เทียบกับ -1.23 ของการเติมค่าศูนย์ (Microsoft, บทความวิจัย INTERSPEECH 2022 Audio Deep PLC Challenge)
ความเข้าใจได้ให้ภาพที่ไม่หวือหวาเท่า ความแม่นยำระดับคำ ซึ่งวัดเป็น 1 ลบอัตราคำผิดพลาดของระบบรู้จำเสียงพูด เพิ่มขึ้นเพียงจาก 0.86 เมื่อเป็นความเงียบ เป็น 0.88 สำหรับผู้ชนะ เทียบกับ 0.97 ของเสียงพูดต้นฉบับ ผู้ฟังรับรู้การปกปิดว่าเป็นการปรับปรุงครั้งใหญ่ แต่ระบบรู้จำเสียงก็ยังพลาด 12% ของคำเมื่อใช้ระบบผู้ชนะ เทียบกับ 3% ของเสียงพูดต้นฉบับ รูปแบบนี้ควรจดจำไว้ควบคู่กับสถิติอัตราคำผิดพลาดของการรู้จำเสียงพูดของเรา
| ตัวชี้วัด | ค่า | แหล่งที่มา |
|---|---|---|
| เสียงพูดอ้างอิงต้นฉบับ: PLCMOS (1 ถึง 5) และความแม่นยำระดับคำ | 4.51 และ 0.97 | Microsoft, บทความวิจัย INTERSPEECH 2022 Deep PLC Challenge |
| เส้นฐานการเติมค่าศูนย์ (ความเงียบแทนแพ็กเก็ตที่หายไป): PLCMOS, CMOS และความแม่นยำระดับคำ | 2.90, -1.23 และ 0.86 | Microsoft, บทความวิจัย INTERSPEECH 2022 Deep PLC Challenge |
| ระบบผู้ชนะ (ทีม #12, U-Net โดเมนเวลา, พารามิเตอร์ราว 2.36M): PLCMOS, CMOS และความแม่นยำระดับคำ | 4.28, -0.55 และ 0.88 | Microsoft, บทความวิจัย INTERSPEECH 2022 Deep PLC Challenge |
| ระบบที่มีสิทธิ์และอันดับต่ำสุด (ทีม #6) เทียบกับเส้นฐานการเติมค่าศูนย์: CMOS | -1.31 เทียบกับ -1.23 | Microsoft, บทความวิจัย INTERSPEECH 2022 Deep PLC Challenge |
| PLC แบบไฮบริดเชิงกำเนิดและเชิงทำนายของทีม Opus: ความแม่นยำระดับคำและอันดับในตัวชี้วัดนั้น | 0.882 อันดับหนึ่ง; อันดับสองด้าน CMOS และโดยรวม | Valin และคณะ, Real-Time PLC with Mixed Generative and Predictive Model 2022 |
| ระบบเดียวกัน: การคำนวณต่อเสียงพูด 10 ms บน CPU โน้ตบุ๊ก (Intel i7-10810U) | 1.3 ถึง 1.4 ms หรือราว 13% ถึง 14% ของหนึ่งคอร์ | Valin และคณะ 2022 |
หมายเหตุเรื่องค่าผิดปกติ: ระบบหนึ่งที่ได้รับการจัดอันดับได้คะแนน CMOS ต่ำกว่าเส้นฐานความเงียบ เตือนให้รู้ว่าตัวสร้างที่ปรับจูนไม่ดีอาจฟังแย่กว่าช่องว่างเสียอีก ชุดทดสอบแบบปกปิดถ่วงน้ำหนักไปทางการสูญหายต่อเนื่องช่วงสั้น: 504 จาก 966 คลิปมีการสูญหายต่อเนื่องสูงสุดไม่เกิน 120 ms ตัวเลขของระบบไฮบริดมาจาก Valin และคณะ ซึ่งการปกปิดของงานนี้ถูกนำไปใช้จริงใน Opus 1.5 ในเวลาต่อมา (ดูหัวข้อที่ 7)
4. การสูญหายต่อเนื่องช่วงยาว: จุดที่การปกปิดยังล้มเหลว (ICASSP 2024)
การแข่งขันปี 2024 ตั้งใจทำให้โจทย์ยากขึ้น: เสียงฟูลแบนด์ 48 kHz ให้คะแนนด้วยวิธีหลายมิติ ITU-T P.804 (Microsoft Research, ICASSP 2024 Audio Deep PLC Challenge) และการสูญหายต่อเนื่องนานถึง 3 วินาที แม้แต่ระบบที่ดีที่สุดก็ปิดช่องว่างระหว่างเสียงที่สูญหายกับเสียงต้นฉบับได้เพียงราวสองในสาม: คุณภาพโดยรวมเพิ่มจาก 2.37 เป็น 3.49 เทียบกับ 4.01 ของเสียงพูดต้นฉบับ ((3.49 - 2.37) / (4.01 - 2.37) = 68%) (Microsoft, บทความวิจัย ICASSP 2024 Audio Deep PLC Challenge)
คอลัมน์ที่บอกเล่าได้มากที่สุดคือความไม่ต่อเนื่อง ซึ่งเป็นคะแนน P.804 สำหรับการขาดช่วงและสะดุดที่ได้ยินชัด (ยิ่งสูงยิ่งลื่นไหล) คะแนนนี้เพิ่มจาก 2.47 เป็น 3.90 สำหรับระบบที่ดีที่สุด ซึ่งเป็นการก้าวกระโดดที่ใหญ่กว่ามิติอื่นทั้งหมด การปกปิดแก้ช่องโหว่ที่ผู้ฟังสังเกตเห็นก่อน แต่เสียงพูดที่สังเคราะห์ขึ้นยังต้องแลกด้วยความเป็นธรรมชาติ ความแม่นยำระดับคำก็แสดงให้เห็นการแลกเปลี่ยนนี้เช่นกัน: ผู้ชนะร่วมรายหนึ่งรู้จำคำได้ 0.81 ต่ำกว่า 0.83 ของเสียงที่สูญหายซึ่งไม่ได้แตะต้องเล็กน้อย เป็นสัญญาณว่าเสียงพูดที่สร้างขึ้นอาจทำให้ระบบรู้จำเสียงหลงทางมากกว่าความเงียบ
| ตัวชี้วัด | ค่า | แหล่งที่มา |
|---|---|---|
| คุณภาพโดยรวม P.804 (1 ถึง 5): เสียงพูดต้นฉบับ เทียบกับเสียงที่สูญหายซึ่งไม่ได้ประมวลผล เทียบกับผู้ชนะร่วม (1024K และ NWPU & ByteAudio) | 4.01 เทียบกับ 2.37 เทียบกับ 3.49 และ 3.44 | Microsoft, บทความวิจัย ICASSP 2024 Deep PLC Challenge |
| คะแนนความไม่ต่อเนื่อง P.804: ต้นฉบับ เทียบกับสูญหาย เทียบกับระบบที่ดีที่สุด (1024K) | 4.55 เทียบกับ 2.47 เทียบกับ 3.90 | Microsoft, บทความวิจัย ICASSP 2024 Deep PLC Challenge |
| ความแม่นยำระดับคำ: ต้นฉบับ เทียบกับสูญหาย เทียบกับ 1024K เทียบกับ NWPU & ByteAudio | 0.98 เทียบกับ 0.83 เทียบกับ 0.81 เทียบกับ 0.84 | Microsoft, บทความวิจัย ICASSP 2024 Deep PLC Challenge |
| ระบบที่มีสิทธิ์ซึ่งได้คะแนนต่ำกว่าเสียงที่สูญหายซึ่งไม่ได้ประมวลผลในคุณภาพโดยรวม P.804 | 2 จาก 8 (2.11 และ 2.17) | Microsoft, บทความวิจัย ICASSP 2024 Deep PLC Challenge |
| แบนด์วิดท์เสียงและวิธีทดสอบการฟังของการแข่งขันปี 2024 | ฟูลแบนด์ 48,000 Hz; การให้คะแนนหลายมิติ ITU-T P.804 และอัตราคำผิดพลาด | Microsoft Research, หน้า ICASSP 2024 Deep PLC Challenge |
บริบท: ระบบที่เก้าได้คะแนนรวม 2.91 แต่เกินขีดจำกัดความหน่วงและถูกระบุว่าไม่สมบูรณ์ ผู้จัดการแข่งขันตั้งข้อสังเกตว่าระบบในยุคปี 2022 “อาจทำงานได้ไม่ดีกับลำดับการสูญหายที่ยาวกว่า” ซึ่งเป็นจุดที่การเข้ารหัสแบบซ้ำซ้อน (หัวข้อที่ 6) เข้ามารับช่วงต่อพอดี
5. การให้คะแนนการปกปิด: เหตุใดตัวชี้วัดคุณภาพทั่วไปจึงพลาด
ข้อผิดพลาดของการปกปิดนั้นสั้น เกิดเป็นช่วง ๆ และมักฟังดูสมเหตุสมผล ซึ่งเป็นสิ่งที่ตัวชี้วัดคุณภาพแบบอเนกประสงค์ไม่ได้ถูกออกแบบมาให้จับได้ บนข้อมูลที่จัดแนวกับต้นฉบับ PESQ ได้สหสัมพันธ์เพียร์สันระดับโมเดลเพียง 0.52 กับคะแนนของมนุษย์ที่ให้กับระบบ PLC และ STOI ได้เพียง 0.21 ขณะที่ PLCMOS ได้ 0.98 (Diener และคณะ, บทความวิจัย PLCMOS, Microsoft, Interspeech 2023) ตัวชี้วัดที่จัดอันดับระบบผิดอาจพาวงการวิจัยทั้งสาขาไปผิดทางได้
PLCMOS ทำงานได้โดยไม่ต้องมีต้นฉบับที่สะอาดเป็นอ้างอิง ซึ่งสำคัญสำหรับสายจริงที่ฝั่งผู้รับไม่เคยมีเสียงต้นฉบับ จุดอ่อนของมันคือความแม่นยำระดับไฟล์: 0.85 ต่อคลิป เทียบกับ 0.97 ต่อระบบ จึงจัดอันดับอัลกอริทึมได้ดีกว่าการตัดสินสายใดสายหนึ่งมาก ความตึงเครียดเดียวกันนี้พบได้ในการให้คะแนนเสียงพูดสังเคราะห์ ซึ่งกล่าวถึงในสถิติ MOS ความเป็นธรรมชาติของเสียงพูดสังเคราะห์ของเรา
| ตัวชี้วัด | ค่า | แหล่งที่มา |
|---|---|---|
| PLCMOS เทียบกับคะแนนของมนุษย์: สหสัมพันธ์เพียร์สันและสหสัมพันธ์อันดับระดับโมเดล | ราว 0.97 และราว 0.95 | Diener และคณะ, บทความวิจัย PLCMOS 2023 |
| DNSMOS (ตัวชี้วัดการลดเสียงรบกวนทั่วไป): สหสัมพันธ์เพียร์สันระดับไฟล์ เทียบกับระดับโมเดล | 0.52 เทียบกับ 0.85 | Diener และคณะ, บทความวิจัย PLCMOS 2023 |
| PESQ เทียบกับ PLCMOS บนข้อมูลที่จัดแนวกับต้นฉบับ: สหสัมพันธ์เพียร์สันระดับโมเดล | 0.52 เทียบกับ 0.98 | Diener และคณะ, บทความวิจัย PLCMOS 2023 |
| STOI (ตัวชี้วัดความเข้าใจได้): สหสัมพันธ์เพียร์สันระดับโมเดล | 0.21 | Diener และคณะ, บทความวิจัย PLCMOS 2023 |
| จำนวนโหวตของมนุษย์ในชุดฝึกหลักของ PLCMOS (LibriSpeech Basic) | 333,740 | Diener และคณะ, บทความวิจัย PLCMOS 2023 |
| ไฟล์ทดสอบในชุดทดสอบการฟังโคเดกแมชชีนเลิร์นนิงของ IETF | เสียงพูดสะอาด 100 ไฟล์, เสียงรบกวนหรือเสียงสะท้อน 90 ไฟล์, ผู้พูดซ้อนกัน 20 ไฟล์ | IETF draft-ietf-mlcodec-test-battery-00, มิถุนายน 2026 |
บริบท: ในการศึกษานำร่องการติดป้ายกำกับของ PLCMOS คะแนนจากฝูงชนสัมพันธ์กับคะแนนของผู้เชี่ยวชาญที่ราว 0.83 PCC (ช่วงความเชื่อมั่น 95%: [0.78, 0.87]) ร่างชุดทดสอบของ IETF ยังระบุสถานการณ์แพ็กเก็ตสูญหายว่า “รายละเอียดจะกำหนดภายหลัง (TBD)” จึงยังไม่มีการทดสอบการสูญหายมาตรฐานสำหรับโคเดกแบบนิวรัล
6. การเข้ารหัสแบบซ้ำซ้อน: ยอมจ่ายบิตเพื่อเลี่ยงการปกปิด
การปกปิดคือการเดา ส่วนข้อมูลซ้ำซ้อนคือการส่งข้อมูลสำรอง การแก้ไขข้อผิดพลาดล่วงหน้า (FEC) หมายถึงการแนบสำเนาคุณภาพต่ำกว่าของเสียงก่อนหน้าไปกับแพ็กเก็ตถัด ๆ ไป เพื่อให้แพ็กเก็ตที่หายไปถูกสร้างคืนได้แทนที่จะต้องแต่งขึ้นมา ข้อแลกเปลี่ยนคือแบนด์วิดท์ FEC ภายในแบนด์แบบดั้งเดิมของ Opus (LBRR) ครอบคลุมเพียงหนึ่งเฟรมด้วยบิตเรตราว 2/3 ของปกติ ขณะที่ Deep REDundancy (DRED) ส่งได้ถึงหนึ่งวินาทีหรือมากกว่าด้วยบิตเรตราว 1/50 ของปกติ (IETF draft-ietf-mlcodec-opus-dred-07, สิงหาคม 2026)
แนวทาง RED ที่เก่ากว่าแสดงให้เห็นขนาดของผลลัพธ์ ในการทดสอบบน Chrome ที่สูญหาย 20% การส่งเฟรมก่อนหน้าหนึ่งเฟรมในทุกแพ็กเก็ตลดสัดส่วนเสียงที่ถูกปกปิดจาก 18% เหลือ 4% และการส่งเฟรมก่อนหน้าสองเฟรมลดเหลือ 0.7% (webrtcHacks, RED: Improving Audio Quality with Redundancy 2020) ต้นทุนคือ เสียงเพิ่มจากราว 30 kbps เป็น 60 kbps เมื่อมีสำเนาหนึ่งชุด และ 90 kbps เมื่อมีสองชุด DRED เกิดขึ้นเพื่อให้ได้การป้องกันใกล้เคียงกันโดยไม่ต้องเพิ่มบิตเรตเป็นสองเท่า
| ตัวชี้วัด | ค่า | แหล่งที่มา |
|---|---|---|
| FEC ภายในแบนด์ LBRR ของ Opus: ความลึกของข้อมูลซ้ำซ้อนและต้นทุนบิตเรต | 1 เฟรม; ราว 2/3 ของบิตเรต Opus ปกติ | IETF draft-ietf-mlcodec-opus-dred-07, 2026 |
| Opus DRED: ความลึกของข้อมูลซ้ำซ้อนและต้นทุนบิตเรต | ได้ถึงหนึ่งวินาทีหรือมากกว่าต่อแพ็กเก็ต; ราว 1/50 ของบิตเรตปกติ | IETF draft-ietf-mlcodec-opus-dred-07, 2026 |
| การประเมิน DRED: ข้อมูลซ้ำซ้อนที่ส่งต่อแพ็กเก็ต และจำนวนครั้งที่แต่ละเฟรมถูกส่ง | 1.04 วินาที; 52 สำเนา | Valin และคณะ, บทความวิจัย DRED (arXiv 2212.04453 v3, 2024) |
| บิตเรตของเงื่อนไขทดสอบ LBRR ในการประเมิน DRED (ฐาน 24 kb/s บวก LBRR) | รวม 40 kb/s โดย LBRR เฉลี่ยราว 16 kb/s | Valin และคณะ, บทความวิจัย DRED 2024 |
| สัดส่วนเสียงที่ถูกปกปิดเมื่อสูญหาย 20% บน Chrome: ไม่มี RED เทียบกับเฟรมก่อนหน้าหนึ่งเฟรม เทียบกับเฟรมก่อนหน้าสองเฟรม | 18% เทียบกับ 4% เทียบกับ 0.7% | webrtcHacks, การทดสอบ RED ของ Hancke 2020 |
| สัดส่วนเสียงที่ถูกปกปิดเมื่อสูญหายแบบสุ่ม 60%: ไม่มี RED เทียบกับหนึ่งเฟรม เทียบกับสองเฟรมก่อนหน้า | 60% เทียบกับ 32% เทียบกับ 18% | webrtcHacks, การทดสอบ RED ของ Hancke 2020 |
| บิตเรต Opus ขั้นต่ำเพื่อเข้ารหัส FEC ภายในแบนด์เมื่อแพ็กเก็ตสูญหาย 10% | 19 kbps (การเปรียบเทียบของผู้ผลิตเอง) | Meta Engineering, บล็อกโคเดก MLow 2024 |
| บิตเรตของตัวอย่าง MLow ของ Meta เมื่อแพ็กเก็ตสูญหาย 30% ฝั่งผู้รับ | 14 kbps (ข้ออ้างของผู้ผลิตเอง) | Meta Engineering, บล็อกโคเดก MLow 2024 |
บริบท: ตัวเลขของ webrtcHacks มาจากการทดสอบในห้องปฏิบัติการโดยผู้เขียนคนเดียวเมื่อปี 2020 (การวัดสาธารณะล่าสุดที่มีสำหรับ RED บน Chrome) ตัวเลขของ Meta มาจากประกาศ MLowของบริษัทเอง และยังไม่มีการทำซ้ำโดยผู้อื่นอย่างเป็นอิสระ ความแตกต่างของ DRED ทั้งหมดในการทดสอบการฟัง P.808 ของบทความวิจัย (966 ประโยค ผู้ฟังประโยคละ 10 คน) ถูกรายงานว่ามีนัยสำคัญที่ p < .05
7. การนำการปกปิดไปใช้จริง: การประมวลผล ขนาด และมาตรฐาน
โมเดลการปกปิดมีความหมายก็ต่อเมื่อรันบนโทรศัพท์ราคาถูกที่สุดในสายได้ Deep PLC ของ Opus 1.5 ใช้ราว 1% ของหนึ่งคอร์ CPU โน้ตบุ๊กเมื่อสูญหายสูง และเพิ่มขนาดไลบรารีราว 1 MB (Xiph.Org, เดโม Opus 1.5, มีนาคม 2024 ซึ่งเป็นตัวเลขของนักพัฒนาเอง) ผลงานเข้าแข่งขันปี 2022 ของทีมเดียวกันใช้ 13% ถึง 14% ของหนึ่งคอร์ (หัวข้อที่ 3) แม้ว่าตัวเลขทั้งสองจะวัดด้วยวิธีต่างกันและไม่ใช่การเปรียบเทียบแบบเทียบเท่ากันเป๊ะ
ในทางกลับกัน ชั้นมาตรฐานแทบไม่ขยับ กฎเสียงของ WebRTC (RFC 7874, 2016) กำหนดให้ต้องมี Opus และ G.711 แต่ไม่ได้กำหนดข้อบังคับเรื่องการปกปิดหรือ FEC ปล่อยให้คุณภาพเมื่อมีการสูญหายขึ้นอยู่กับแต่ละการพัฒนาโดยสิ้นเชิง Opus 1.6 ลดขนาดโมเดลต่อเนื่อง: เครือข่าย DRED เล็กกว่าใน 1.5 ราว 3 เท่า (Xiph.Org, เดโม Opus 1.6, ธันวาคม 2025)
| ตัวชี้วัด | ค่า | แหล่งที่มา |
|---|---|---|
| Deep PLC ของ Opus 1.5: ขนาดไลบรารีที่เพิ่มและต้นทุน CPU | ราว 1 MB; ราว 1% ของหนึ่งคอร์โน้ตบุ๊กเมื่อสูญหายสูง; ต้องใช้ความซับซ้อนของตัวถอดรหัส 5 ขึ้นไป | Xiph.Org, เดโม Opus 1.5 2024 (ตัวเลขของนักพัฒนาเอง) |
| DRED ของ Opus 1.5: ขนาดไลบรารีที่เพิ่ม ต้นทุนขณะรัน และภาระบิตเรตเพิ่ม | ราว 2 MB; ราว 1%; ราว 12 ถึง 32 kb/s | Xiph.Org, เดโม Opus 1.5 2024 (ตัวเลขของนักพัฒนาเอง) |
| ตัวสังเคราะห์เสียงนิวรัล FARGAN ที่ใช้สังเคราะห์เสียงพูดที่ถูกปกปิดและเสียงซ้ำซ้อน: ความซับซ้อน | 600 MFLOPS หรือ 1/5 ของ LPCNet | Xiph.Org, เดโม Opus 1.5 2024 |
| อัตราการสูญหายในการทดสอบ WebRTC ของ Opus 1.5 (PLCMOS v2) | 0% ถึง 90% ทีละ 10%; มีรายงานว่า DRED รักษาคุณภาพไว้ได้ที่การสูญหาย 90% | Xiph.Org, เดโม Opus 1.5 2024 (ข้ออ้างของนักพัฒนาเอง) |
| ขนาดโมเดล DRED ของ Opus 1.6 เทียบกับ Opus 1.5 | 600 kB เทียบกับ 1,800 kB | Xiph.Org, เดโม Opus 1.6, ธันวาคม 2025 |
| ขนาดเฟรม ความยาวแพ็กเก็ต และช่วงบิตเรตของ Opus | เฟรม 2.5 ถึง 60 ms; แพ็กเก็ตยาวสูงสุด 120 ms; 6 ถึง 510 kbit/s | IETF RFC 6716 (2012) |
| ความหน่วงเชิงอัลกอริทึมของ Opus | 5 ms ถึง 65.2 ms | IETF RFC 6716 (2012) |
| โคเดกที่ปลายทาง WebRTC ต้องรองรับ | Opus และ G.711 (PCMA และ PCMU); ไม่มีข้อบังคับด้าน PLC หรือ FEC | IETF RFC 7874 (2016) |
บริบท: RFC 6716 และ RFC 7874 มีอายุเกินสามปีแล้ว แต่ยังเป็นมาตรฐานปัจจุบัน (RFC 6716, RFC 7874) ร่าง DRED หากได้รับการอนุมัติ จะปรับปรุง RFC 6716 ด้วยชั้นข้อมูลซ้ำซ้อนแบบนิวรัล
สรุป: การปกปิดแพ็กเก็ตสูญหายของเสียง WebRTC ในรูปตัวเลข
| ตัวชี้วัด | ค่า | แหล่งที่มา |
|---|---|---|
| สาย Google Duo ที่ต้องรับมือกับแพ็กเก็ตสูญหาย จิตเตอร์ หรือความหน่วง | 99% | Google Research, บล็อก WaveNetEQ 2020 |
| สาย Duo ที่สูญเสียเสียงเกิน 8% | 10% | Google Research, บล็อก WaveNetEQ 2020 |
| เกณฑ์ Poor ของ Teams สำหรับแพ็กเก็ตเสียงสูญหายเฉลี่ย | สูงกว่า 0.1 (10%) | Microsoft Learn, CQD Stream Classification 2026 |
| เกณฑ์แท็ก high_packet_loss ของ Twilio | สูงกว่า 5% | Twilio Voice Insights, Details: Call Tags |
| ตัวประกอบความทนทาน Bpl ของ G.711: ไม่มีการปกปิด เทียบกับการปกปิดตาม Appendix I | 4.3 เทียบกับ 25.1 | ITU-T G.113 (09/2024) |
| G.729 Annex A พร้อมการตรวจจับกิจกรรมเสียงพูด: Bpl | 19.0 | ITU-T G.113 (09/2024) |
| PLCMOS ของการแข่งขันปี 2022: การเติมค่าศูนย์ เทียบกับผู้ชนะ เทียบกับต้นฉบับ | 2.90 เทียบกับ 4.28 เทียบกับ 4.51 | Microsoft, บทความวิจัย INTERSPEECH 2022 Deep PLC Challenge |
| ความแม่นยำระดับคำของการแข่งขันปี 2022: การเติมค่าศูนย์ เทียบกับผู้ชนะ เทียบกับต้นฉบับ | 0.86 เทียบกับ 0.88 เทียบกับ 0.97 | Microsoft, บทความวิจัย INTERSPEECH 2022 Deep PLC Challenge |
| การคำนวณของ PLC แบบไฮบริดของทีม Opus ต่อเสียงพูด 10 ms | 1.3 ถึง 1.4 ms (13% ถึง 14% ของหนึ่งคอร์) | Valin และคณะ 2022 |
| คุณภาพโดยรวม P.804 ของการแข่งขันปี 2024: เสียงสูญหาย เทียบกับระบบที่ดีที่สุด เทียบกับต้นฉบับ | 2.37 เทียบกับ 3.49 เทียบกับ 4.01 | Microsoft, บทความวิจัย ICASSP 2024 Deep PLC Challenge |
| ระบบในการแข่งขันปี 2024 ที่ได้คะแนนต่ำกว่าเสียงที่สูญหายซึ่งไม่ได้ประมวลผล | 2 จาก 8 | Microsoft, บทความวิจัย ICASSP 2024 Deep PLC Challenge |
| สหสัมพันธ์เพียร์สันระดับโมเดลของ PLCMOS กับคะแนนของมนุษย์ | ราว 0.97 | Diener และคณะ, บทความวิจัย PLCMOS 2023 |
| สหสัมพันธ์เพียร์สันระดับโมเดลของ PESQ เทียบกับ STOI บนระบบ PLC | 0.52 เทียบกับ 0.21 | Diener และคณะ, บทความวิจัย PLCMOS 2023 |
| ความลึกของข้อมูลซ้ำซ้อน LBRR เทียบกับ DRED | 1 เฟรม เทียบกับได้ถึงหนึ่งวินาทีหรือมากกว่า | IETF draft-ietf-mlcodec-opus-dred-07, 2026 |
| บิตเรตข้อมูลซ้ำซ้อนของ DRED เมื่อเทียบกับ Opus ปกติ | ราว 1/50 | IETF draft-ietf-mlcodec-opus-dred-07, 2026 |
| เสียงที่ถูกปกปิดเมื่อสูญหาย 20%: ไม่มี RED เทียบกับ RED สองเฟรม | 18% เทียบกับ 0.7% | webrtcHacks, การทดสอบ RED ของ Hancke 2020 |
| บิตเรต FEC ภายในแบนด์ขั้นต่ำของ Opus เมื่อสูญหาย 10% | 19 kbps (การเปรียบเทียบของผู้ผลิตเอง) | Meta Engineering, บล็อกโคเดก MLow 2024 |
| ต้นทุน CPU ของ Deep PLC ใน Opus 1.5 | ราว 1% ของหนึ่งคอร์โน้ตบุ๊ก | Xiph.Org, เดโม Opus 1.5 2024 |
| ขนาดโมเดล DRED ของ Opus 1.6 เทียบกับ 1.5 | 600 kB เทียบกับ 1,800 kB | Xiph.Org, เดโม Opus 1.6 2025 |
ระเบียบวิธีและแหล่งที่มา
- Microsoft Research, บทความวิจัย INTERSPEECH 2022 Audio Deep Packet Loss Concealment Challenge (Diener และคณะ, 2022): arxiv.org/pdf/2204.05222
- Microsoft Research, บทความวิจัย ICASSP 2024 Audio Deep Packet Loss Concealment Challenge (2024): arxiv.org/html/2402.16927v1
- Microsoft Research, หน้าโครงการ ICASSP 2024 Audio Deep PLC Challenge: microsoft.com
- Diener และคณะ, PLCMOS: เมตริกแบบไม่ล่วงล้ำที่ขับเคลื่อนด้วยข้อมูลสำหรับประเมินอัลกอริทึมการปกปิดแพ็กเก็ตสูญหาย (Interspeech 2023): arxiv.org/pdf/2305.15127
- Valin และคณะ, Real-Time Packet Loss Concealment With Mixed Generative and Predictive Model (2022): arxiv.org/pdf/2205.05785
- Valin และคณะ, DRED: Deep REDundancy Coding of Speech Using a Rate-Distortion-Optimized Variational Autoencoder (arXiv v3, 2024): arxiv.org/pdf/2212.04453
- IETF, Deep Audio Redundancy (DRED) Extension for the Opus Codec, draft-ietf-mlcodec-opus-dred-07 (สิงหาคม 2026): ietf.org
- IETF, ชุดทดสอบการฟังโคเดกแมชชีนเลิร์นนิง, draft-ietf-mlcodec-test-battery-00 (มิถุนายน 2026): ietf.org
- IETF RFC 6716, Definition of the Opus Audio Codec (2012): rfc-editor.org
- IETF RFC 7874, WebRTC Audio Codec and Processing Requirements (2016): rfc-editor.org
- W3C, Identifiers for WebRTC’s Statistics API (Candidate Recommendation Draft ฉบับวันที่ 25 กันยายน 2025): w3.org
- ITU-T G.113 (09/2024), ความบกพร่องในการส่งสัญญาณอันเนื่องมาจากการประมวลผลเสียงพูด: itu.int
- ITU-T G.107 (06/2015), The E-model: itu.int
- Google Research, Improving Audio Quality in Duo with WaveNetEQ (เมษายน 2020): research.google
- Microsoft Learn, Stream Classification in Call Quality Dashboard (อัปเดตมิถุนายน 2026): learn.microsoft.com
- Microsoft Learn, มิติและตัวชี้วัดที่มีใน Call Quality Dashboard (อัปเดตกรกฎาคม 2026): learn.microsoft.com
- Twilio, Voice Insights Details: Call Tags: twilio.com
- Meta Engineering, MLow: โคเดกเสียงบิตเรตต่ำของ Meta (มิถุนายน 2024): engineering.fb.com
- Xiph.Org, เดโม Opus 1.5 (มีนาคม 2024) และเดโม Opus 1.6 (ธันวาคม 2025): opus-codec.org/demo/opus-1.5, opus-codec.org/demo/opus-1.6
- webrtcHacks, RED: Improving Audio Quality with Redundancy (Philipp Hancke, สิงหาคม 2020): webrtchacks.com
- ข้อสังเกตเกี่ยวกับข้อมูล: การกระจายของการสูญหายระดับสายเพียงชุดเดียวจากแพลตฟอร์มรายใหญ่คือตัวเลข Duo ปี 2020 ของ Google และการวัดการปกปิดด้วย RED เป็นการทดสอบโดยผู้เขียนคนเดียวเมื่อปี 2020 จึงระบุทั้งสองว่าเป็นข้อมูลล่าสุดที่มี ตัวอย่าง E-model ในหัวข้อที่ 2 เป็นการคำนวณของเราเองจากสมการ 7-29 และ Annex B ของ ITU-T G.107 ร่วมกับค่า Bpl ของ G.113 โดยคงอินพุตอื่นทั้งหมดไว้ที่ค่าเริ่มต้น จึงเป็นค่าประมาณการ ไม่ใช่ค่าที่วัดได้ คะแนนของการแข่งขันเปรียบเทียบข้ามรุ่นไม่ได้: ปี 2022 ใช้เสียงไวด์แบนด์ PLCMOS และ CMOS กับการสูญหายต่อเนื่องนานถึง 1 วินาที ขณะที่ปี 2024 ใช้เสียงฟูลแบนด์ P.804 และการสูญหายต่อเนื่องนานถึง 3 วินาที ในบทความวิจัยปี 2022 PLCMOS สัมพันธ์กับ CMOS ที่ราว 0.95 เพียร์สัน ขณะที่ PLCMOS รุ่นหลังรายงานราว 0.97 บนชุดประเมินที่ต่างออกไป ตัวเลขของ Xiph.Org และ Meta เป็นข้ออ้างของนักพัฒนาเอง เกณฑ์ของ Teams (10%) และ Twilio (5%) ขัดแย้งกันโดยการออกแบบ เพราะผู้ให้บริการแต่ละรายปรับค่าให้เข้ากับสแต็กสื่อของตนเอง ร่าง DRED (หมดอายุกุมภาพันธ์ 2027) และร่างชุดทดสอบของ IETF ซึ่งสถานการณ์แพ็กเก็ตสูญหายยังไม่ได้กำหนด อาจเปลี่ยนแปลงก่อนเผยแพร่เป็น RFC
อัปเดตล่าสุด: 24 ตุลาคม 2026 เราทบทวนและอัปเดตสรุปนี้ทุกไตรมาส และคาดว่าการรีเฟรชครั้งถัดไปจะเกิดขึ้นเมื่อคณะทำงาน mlcodec ของ IETF เผยแพร่ร่าง Opus DRED ฉบับปรับปรุงถัดไปและสถานการณ์แพ็กเก็ตสูญหายของชุดทดสอบ