การแข่งขัน Deep Noise Suppression (DNS) Challenge ปี 2021 จำกัดความหน่วงเชิงอัลกอริทึมรวมไว้ที่ 40 ms ขณะที่การศึกษาอุปกรณ์สวมหูอัจฉริยะในปี 2025 ใช้การลดเสียงรบกวนแบบนิวรัลที่ความหน่วงเชิงอัลกอริทึม 1.25 ms และความหน่วงแบบต้นทางถึงปลายทาง 3.35 ms บน DSP กำลังต่ำ (Microsoft Research, บทความวิจัย DNS Challenge ของ Interspeech 2021; Dementyev และคณะ, arXiv 2025) ขนาดโมเดลกว้างกว่าสามลำดับขนาด: RNNoise ใช้ 87,503 น้ำหนัก และ GTCRN รายงาน 23.7K พารามิเตอร์ ขณะที่ระบบ URGENT อันดับหนึ่งของ Interspeech 2025 ใช้ราว 102M พารามิเตอร์ การทดสอบการฟังยังคงเปิดเผยสิ่งที่ตัวชี้วัดในห้องปฏิบัติการมองไม่เห็น: PercepNet ฉบับเต็มมี PESQ ต่ำกว่ารุ่นที่ไม่มีตัวกรองหลังประมวลผล (2.54 เทียบกับ 2.73) แต่ได้ MOS จากผู้ฟังสูงกว่า (4.05 เทียบกับ 3.91) การลดเสียงรบกวนเป็นเพียงครึ่งเดียวของเรื่องการแยกเสียงพูด อีกครึ่งหนึ่งคือการแยกผู้พูดคนหนึ่งออกจากผู้พูดคนอื่น ซึ่งครอบคลุมในสถิติการแยกเสียงพูดและปรากฏการณ์ค็อกเทลปาร์ตี้ของเรา ส่วนมุมธุรกิจของเครื่องมือเหล่านี้อยู่ในสถิติซอฟต์แวร์ตัดเสียงรบกวนระดับองค์กรของเรา เรารวบรวมข้อมูลจากบทความวิจัย DNS Challenge ของ Microsoft Research, ITU-T, งาน RNNoise ของ Mozilla และ Xiph.Org, บทความวิจัย DeepFilterNet, ผู้จัดการแข่งขัน URGENT, เอกสาร Maxine ของ NVIDIA และนักวิจัยอิสระจากมหาวิทยาลัยและภาคอุตสาหกรรม
สรุปโดยย่อ
- ตัวลดเสียงรบกวนแบบนิวรัลขนาด 1.25 ms ทำงานบน DSP กำลังต่ำได้ด้วยความหน่วงแบบต้นทางถึงปลายทาง 3.35 ms (Dementyev และคณะ, บทความวิจัยอุปกรณ์สวมหูความหน่วงต่ำกว่ามิลลิวินาที, arXiv 2025)
- RNNoise ทำงานด้วย 87,503 น้ำหนัก หรือราว 1.3% ของหนึ่งแกน x86 (Mozilla, บทความวิจัย RNNoise, MMSP 2018)
- GTCRN รายงาน 23.7K พารามิเตอร์ และ 39.6 MMAC ต่อวินาที (Rong และคณะ, GTCRN, ICASSP 2024)
- DeepFilterNet2 มี 2.306 M พารามิเตอร์ และตัวประกอบเวลาจริง 0.42 แม้บน Raspberry Pi 4 (Schröter และคณะ, บทความวิจัย DeepFilterNet2 ปี 2022)
- ตัวลดเสียงรบกวนบน GPU ใช้เวลา 0.410 ms (p95) เพื่อประมวลผลเฟรม 10 ms บน GPU แล็ปท็อป (NVIDIA, คู่มือประสิทธิภาพ Maxine AFX SDK, ข้อกล่าวอ้างของผู้ผลิต)
- PercepNet ได้ MOS จากผู้ฟัง 4.05 เทียบกับ 3.40 ของอินพุตที่มีเสียงรบกวนบน VCTK (Valin และคณะ, บทความวิจัย PercepNet, Interspeech 2020)
- ผู้ชนะ URGENT ของ Interspeech 2025 ใช้ราว 102M พารามิเตอร์ ซึ่งมากกว่าโมเดลฐาน 8.5M ราว 12 เท่า (Saijo และคณะ, บทความวิจัย URGENT 2025 Challenge)
- การทำนายล่วงหน้าเพื่อให้ได้ความหน่วง 0 ms ทำให้ SI-SDR ลดจาก 2.8341 dB เป็น -3.6493 dB (Wang และคณะ, IEEE/ACM TASLP 2022)
- ITU-T P.835 ซึ่งเป็นการทดสอบสามคะแนนสำหรับตัวลดเสียงรบกวน มีฉบับใหม่คือ P.835 (07/26) (หน้าข้อแนะนำ ITU-T P.835, 2026)
- ICASSP 2026 URGENT Challenge มีผู้ลงทะเบียนแทร็ก 1 จำนวน 80 ราย และมีผลงานที่ใช้ได้จาก 29 ทีม (Li และคณะ, บทความวิจัย ICASSP 2026 URGENT Challenge)
1. งบความหน่วง: การลดเสียงรบกวนแบบเรียลไทม์ได้รับความหน่วงเท่าไร
ความหน่วงเชิงอัลกอริทึมคือความหน่วงที่ฝังอยู่ในตัววิธีการเอง (ความยาวของเฟรมวิเคราะห์บวกกับการมองล่วงหน้าไปยังเสียงในอนาคต) ดังนั้น CPU ที่เร็วขึ้นก็ไม่สามารถกำจัดมันได้ เวลาประมวลผลเป็นอีกเรื่องหนึ่ง: ระบบเรียลไทม์เพียงต้องประมวลผลแต่ละเฟรมให้เสร็จก่อนที่เฟรมถัดไปจะมาถึง DNS Challenge ปี 2021 จำกัดความหน่วงเชิงอัลกอริทึมรวมไว้ที่ 40 ms ซึ่งถือว่าหลวมตามมาตรฐานเครื่องช่วยฟัง และตึงสำหรับโมเดลที่อยากเห็นเสียงในอนาคต
เวลา 40 ms นั้นถูกใช้ไปก่อนที่เสียงจะออกจากคอมพิวเตอร์เสียอีก ในการโทร ความหน่วงของตัวลดเสียงรบกวนจะสะสมรวมกับการตัดเสียงสะท้อน โคเดก และเครือข่าย การควบคุมเสียงสะท้อนมีงบและเกณฑ์วัดของตัวเอง ซึ่งครอบคลุมในสถิติการตัดเสียงสะท้อนเชิงเสียงของเรา กฎนี้ระบุไว้ในบทความวิจัย DNS Challenge ของ Interspeech 2021 ส่วนตัวเลขด้านการออกแบบมาจากบทความวิจัย PercepNet และบทความวิจัย DeepFilterNet3
| ตัวชี้วัด | ค่า | แหล่งที่มา |
|---|---|---|
| กฎเรียลไทม์ของ DNS Challenge: ความหน่วงเชิงอัลกอริทึมรวม (เฟรม + ช่วงก้าว + การมองล่วงหน้า) และเวลาประมวลผลต่อเฟรม | 40 ms หรือน้อยกว่า; ต้องน้อยกว่าเวลาช่วงก้าวบน Intel Core i5 สี่แกน 2.4 GHz (เฟรม 32 ms ที่ช่วงก้าว 16 ms รวม 48 ms จึงไม่ผ่าน) | Microsoft Research, บทความวิจัย DNS Challenge ของ ICASSP 2021 และ Interspeech 2021 |
| หน้าต่างวิเคราะห์ ช่วงเลื่อน และการมองล่วงหน้าของ RNNoise | หน้าต่าง 20 ms ออฟเซ็ต 10 ms; มองล่วงหน้า 10 ms | Mozilla, บทความวิจัย RNNoise, MMSP 2018; หน้าสาธิต RNNoise ของ Xiph.Org ปี 2017 |
| ขนาดเฟรมและการมองล่วงหน้าของ PercepNet | เฟรม 10 ms มองล่วงหน้า 40 ms | Valin และคณะ, บทความวิจัย PercepNet, Interspeech 2020 |
| ความหน่วงเชิงอัลกอริทึมของ DeepFilterNet3 | 40 ms (หน้าต่าง 20 ms ช่วงเลื่อน 10 ms มองล่วงหน้า 2 เฟรม) | Schröter และคณะ, บทความวิจัย DeepFilterNet3, Interspeech 2023 |
| การออกแบบ STFT ความหน่วงต่ำมาก: ขนาดหน้าต่างและความหน่วงเชิงอัลกอริทึมที่ได้ | หน้าต่างอินพุต 16 ms หน้าต่างเอาต์พุต 4 ms ช่วงเลื่อน 2 ms; ความหน่วง 4 ms หรือ 2 ms เมื่อทำนายล่วงหน้าหนึ่งเฟรม | Wang และคณะ (CMU, MERL), IEEE/ACM TASLP 2022 |
| ความหน่วงเชิงอัลกอริทึมทั่วไปของการปรับปรุงคุณภาพเสียงพูดด้วยแมชชีนเลิร์นนิง เทียบกับเป้าหมายของอุปกรณ์สวมหู | 16 ถึง 32 ms เทียบกับต่ำกว่า 2 ms แบบต้นทางถึงปลายทาง (เชิงอัลกอริทึมราว 1 ms หรือน้อยกว่า) | Dementyev และคณะ, บทความวิจัยอุปกรณ์สวมหูความหน่วงต่ำกว่ามิลลิวินาที, arXiv 2025 |
| ผลของ GPU กับ Denoiser v2: ขนาดเฟรมและเกณฑ์ปล่อยผลต่อเฟรม (ทดสอบโดยผู้ผลิตเอง) | เฟรม 10 ms (160 ตัวอย่างที่ 16 kHz); เวลาต่อเฟรมที่ p95 ต้องอยู่ต่ำกว่างบ 10 ms | NVIDIA, คู่มือประสิทธิภาพ Maxine AFX SDK สำหรับ Windows (ข้อกล่าวอ้างของผู้ผลิต) |
ข้อมูลล่าสุดที่มีสำหรับกฎของการแข่งขัน: ปี 2021; DNS รุ่นถัดมาให้ดูนิยามเป็นมิลลิวินาทีในเว็บไซต์ของการแข่งขัน ข้อมูลล่าสุดที่มีสำหรับ RNNoise และ PercepNet: บทความวิจัยปี 2018 และ 2020
2. การคำนวณและขนาดโมเดล: จาก 23.7K พารามิเตอร์ถึง 8 ล้าน
GTCRN รายงาน 23.7K พารามิเตอร์ ขณะที่ PercepNet ใช้ 8M น้ำหนักและราว 800 MMACS ซึ่งมีน้ำหนักมากกว่าราว 340 เท่า (8,000,000 / 23,700) สำหรับโมเดลที่ทำงานแบบเรียลไทม์ได้เช่นกัน ตัวประกอบเวลาจริง (RTF) คือเวลาประมวลผลหารด้วยความยาวของเสียง ดังนั้น RTF ที่ต่ำกว่า 1 หมายความว่าโมเดลตามเสียงสดได้ทัน
ข้อสรุปเชิงปฏิบัติ: การคำนวณไม่ใช่สิ่งที่ขวางการลดเสียงรบกวนแบบนิวรัลบนแล็ปท็อปอีกต่อไป RNNoise ใช้ราว 1.3% ของหนึ่งแกนบน CPU แล็ปท็อปยุค Haswell และ PercepNet ใช้น้อยกว่า 5% ของหนึ่งแกน คำถามที่ยังเปิดอยู่คือโทรศัพท์ หูฟังอินเอียร์ และ DSP ซึ่ง RTF 0.42 บน Raspberry Pi 4 ก็ยังเหลือพื้นที่เผื่อน้อยมาก ตัวเลขมาจากบทความวิจัย RNNoise, บทความวิจัย DeepFilterNet2 และหน้าบทความวิจัย GTCRN
| ตัวชี้วัด | ค่า | แหล่งที่มา |
|---|---|---|
| ขนาดและภาระ CPU ของ RNNoise | 87,503 น้ำหนัก; ราว 40 MFLOPS; ราว 1.3% ของหนึ่งแกน Intel i7-4800MQ, ราว 14% ของหนึ่งแกน Raspberry Pi 3 | Mozilla, บทความวิจัย RNNoise, MMSP 2018 |
| ไฟล์โมเดล RNNoise ที่ใช้น้ำหนัก 8 บิต เทียบกับทศนิยม 32 บิต และความเร็ว | 85 kB เทียบกับ 340 kB; เร็วกว่าเวลาจริงราว 60 เท่าบน x86, ราว 7 เท่าบน Raspberry Pi 3 | Xiph.Org, หน้าสาธิต RNNoise ปี 2017 |
| ขนาดและภาระ CPU ของ PercepNet | 8M น้ำหนัก; ราว 800 MMACS; 5.2% ของหนึ่งแกน Intel i7-8565U (เฟรม 10 ms), 4.1% (เฟรม 40 ms) | Valin และคณะ, บทความวิจัย PercepNet, Interspeech 2020 |
| DeepFilterNet เทียบกับ DeepFilterNet2: พารามิเตอร์ การคำนวณ RTF บน Core i5-8250U | 1.778 M เทียบกับ 2.306 M; 0.348 เทียบกับ 0.356 GMAC; RTF 0.11 เทียบกับ 0.04 (0.42 บน Raspberry Pi 4) | Schröter และคณะ, บทความวิจัย DeepFilterNet2 ปี 2022 |
| ขนาดและการคำนวณของ GTCRN | 23.7K พารามิเตอร์; 39.6 MMAC ต่อวินาที | Rong และคณะ, GTCRN, ICASSP 2024 |
| ขนาดและการคำนวณของ UL-UNAS | 169k พารามิเตอร์; 34M MAC ต่อวินาที; มองล่วงหน้า 0 ms | Rong และคณะ, UL-UNAS, Neural Networks 2025 |
| Denoiser v2 บน GPU แล็ปท็อป RTX 3500 Ada (วัดโดยผู้ผลิตเอง) | p95 0.410 ms ต่อเฟรม 10 ms; อัตราประมวลผล p50 เท่ากับ 26.74 เท่าของเวลาจริง; หน่วยความจำ GPU 215 MiB | NVIDIA, คู่มือประสิทธิภาพ Maxine AFX SDK สำหรับ Windows (ข้อกล่าวอ้างของผู้ผลิต) |
เอกสารของ Denoiser จาก NVIDIA เพิ่มข้อควรระวังของตัวเองไว้ด้วย: อินพุตที่มี SNR ต่ำกว่า 5 dB อาจให้เอาต์พุตที่ผิดเพี้ยน
3. คะแนนคุณภาพจากเกณฑ์วัด: PESQ และ DNSMOS ของโมเดลที่มีชื่อ
PESQ เปรียบเทียบเสียงที่ผ่านการประมวลผลกับต้นฉบับที่สะอาด ส่วน DNSMOS เป็นโมเดลนิวรัลที่ทำนายว่าผู้ฟังจะให้คะแนนอย่างไรโดยไม่ต้องใช้ต้นฉบับ บนชุดทดสอบ VoiceBank+DEMAND ที่ใช้กันทั่วไป PESQ เพิ่มจาก 1.97 สำหรับเสียงพูดที่มีเสียงรบกวนและไม่ผ่านการประมวลผล เป็น 3.17 สำหรับ DeepFilterNet3 โดย RNNoise อยู่ในกลุ่มต่ำสุดของโมเดลนิวรัล
แถว DNSMOS มีคำเตือนที่เป็นประโยชน์กว่า บนชุดทดสอบแบบปิด DNS4 RNNoise ทำให้คะแนนเสียงพูดที่ทำนาย (SIG) ต่ำกว่าอินพุตที่มีเสียงรบกวน ขณะที่คะแนนโดยรวมเพิ่มขึ้น ซึ่งเป็นการแลกเปลี่ยนแบบคลาสสิก: เสียงรบกวนน้อยลง แต่เสียงพูดเสียหายเล็กน้อย บทความวิจัยของ PercepNet เองแสดงปัญหาย้อนกลับสำหรับ PESQ คือรุ่นที่ผู้ฟังชอบที่สุดกลับมี PESQ ต่ำกว่า ข้อมูลจากบทความวิจัย DeepFilterNet3 และบทความวิจัย UL-UNAS
| ตัวชี้วัด | ค่า | แหล่งที่มา |
|---|---|---|
| PESQ ของ VoiceBank+DEMAND: อินพุตที่มีเสียงรบกวน เทียบกับ RNNoise เทียบกับ DeepFilterNet2 (มีตัวกรองหลังประมวลผล) | 1.97 เทียบกับ 2.33 เทียบกับ 3.03 | Schröter และคณะ, บทความวิจัย DeepFilterNet2 ปี 2022 |
| PESQ และ STOI ของ DeepFilterNet3 บน VoiceBank+DEMAND | 3.17 และ 0.944 | Schröter และคณะ, บทความวิจัย DeepFilterNet3, Interspeech 2023 |
| DNSMOS บนชุดแบบปิด DNS4 เสียงพูด (SIG) และโดยรวม (OVRL): อินพุตที่มีเสียงรบกวน เทียบกับ RNNoise เทียบกับ DeepFilterNet2 | SIG 4.144 เทียบกับ 3.884 เทียบกับ 4.196; OVRL 3.291 เทียบกับ 3.378 เทียบกับ 3.882 | Schröter และคณะ, บทความวิจัย DeepFilterNet2 ปี 2022 |
| PESQ ของ VCTK-DEMAND: GTCRN เทียบกับ UL-UNAS ที่ฝึกด้วยฟังก์ชันสูญเสีย PESQ | 2.87 เทียบกับ 3.09 | Rong และคณะ, UL-UNAS, Neural Networks 2025 |
| PESQ ของชุดแบบปิด DNS3 และการมองล่วงหน้า: GTCRN เทียบกับ LiSenNet เทียบกับ UL-UNAS | 2.10 (0 ms) เทียบกับ 2.23 (32 ms) เทียบกับ 2.28 (0 ms) | Rong และคณะ, UL-UNAS, Neural Networks 2025 |
| PESQ-WB ของ PercepNet เมื่อมีและไม่มีตัวกรองหลังประมวลผล | 2.54 เทียบกับ 2.73 | Valin และคณะ, บทความวิจัย PercepNet, Interspeech 2020 |
| MOS จากผู้ฟังตาม P.808 บน VCTK 48 kHz: อินพุตที่มีเสียงรบกวน เทียบกับ RNNoise เทียบกับ PercepNet | 3.40 เทียบกับ 3.70 เทียบกับ 4.05 | Valin และคณะ, บทความวิจัย PercepNet, Interspeech 2020 |
บริบท: VoiceBank+DEMAND เป็นชุดทดสอบขนาดเล็กที่ส่วนใหญ่สังเคราะห์ขึ้น การจัดอันดับเหล่านี้จึงบอกความก้าวหน้าเชิงเปรียบเทียบได้มากกว่าสะท้อนการโทรจริง แถว DNS3 คือแถวที่ผู้อ่านซึ่งสนใจเรื่องความหน่วงควรจดไว้: โมเดลที่ไม่มีการมองล่วงหน้าเลย (2.28) ได้ PESQ สูงกว่าโมเดลที่มองล่วงหน้า 32 ms (2.23)
4. ผลการแข่งขัน: DNS ปี 2021 ถึง 2023 และ URGENT ปี 2025 ถึง 2026
ผลการแข่งขันตั้งแต่ปี 2020 ถึง 2026 แสดงให้เห็นว่าการปรับปรุงที่วัดได้เมื่อเทียบกับอินพุตที่มีเสียงรบกวนยังคงน้อย แม้แต่สำหรับผู้ชนะ ที่ ICASSP 2021 โมเดลที่ดีที่สุดดีกว่าอินพุตที่มีเสียงรบกวนเพียง 0.53 DMOS (ผลต่างของคะแนนความคิดเห็นเฉลี่ย) ซึ่งผู้จัดระบุว่าอยู่ที่ MOS สัมบูรณ์ 3.38 และมีเพียงครึ่งหนึ่งของผลงานที่ส่งมาที่ชนะโมเดลฐาน การลดเสียงรบกวนแบบปรับตามตัวบุคคล ซึ่ง Teams นำเสนอในชื่อการแยกเสียงพูด จะลงทะเบียนตัวอย่างเสียงของผู้ใช้และกำจัดผู้พูดคนอื่นด้วย ในแทร็กแบบปรับตามตัวบุคคลของ ICASSP 2022 ไม่มีทีมใดปรับปรุงคะแนนเสียงพูดได้ ใน Teams การแยกเสียงพูดเปิดใช้งานเป็นค่าเริ่มต้นในนโยบายผู้ดูแลระบบ และโปรไฟล์เสียงถูกเก็บไว้ในอุปกรณ์ของผู้ใช้ (Microsoft Learn, หน้าผู้ดูแลระบบเรื่องการแยกเสียงพูดของ Teams, อัปเดตปี 2026)
URGENT (การปรับปรุงคุณภาพเสียงพูดแบบ “สากล”) กว้างกว่าการลดเสียงรบกวน: เพิ่มเสียงสะท้อนก้อง การตัดยอดสัญญาณ การสูญเสียจากโคเดก การสูญหายของแพ็กเก็ต และเสียงลม และรับอินพุต 8 ถึง 48 kHz ผลปี 2025 แสดงให้เห็นว่าขนาดโมเดลเคลื่อนไปในทิศทางตรงข้ามกับหัวข้อที่ 2 แหล่งที่มา: บทความวิจัย DNS ของ ICASSP 2021, บทความวิจัย DNS ของ ICASSP 2022, บทความวิจัย DNS ของ ICASSP 2023, บทความวิจัย URGENT 2025 และบทความวิจัย URGENT 2026
| ตัวชี้วัด | ค่า | แหล่งที่มา |
|---|---|---|
| แทร็กเรียลไทม์ของ DNS ใน Interspeech 2020: อันดับของ PercepNet และ MOS ตาม P.808 เทียบกับอินพุตที่มีเสียงรบกวนและโมเดลฐาน | อันดับที่ 2; 3.52 เทียบกับ 3.01 เทียบกับ 3.03 | Valin และคณะ, บทความวิจัย PercepNet, Interspeech 2020 |
| DNS แทร็ก 1 ของ ICASSP 2021: จำนวนทีมและผลดีที่สุดเทียบกับอินพุตที่มีเสียงรบกวน | 16 ทีม; โมเดลที่ดีที่สุดดีกว่าอินพุตที่มีเสียงรบกวน 0.53 DMOS (MOS สัมบูรณ์ 3.38); ครึ่งหนึ่งของผลงานที่ส่งชนะโมเดลฐาน | Microsoft Research, บทความวิจัย DNS Challenge ของ ICASSP 2021 |
| DNS ของ Interspeech 2021: MOS โดยรวมที่ดีที่สุด เทียบกับเพดานเมื่อกำจัดเสียงรบกวนได้สมบูรณ์; คะแนนเสียงพูด | ราว 3.78 เทียบกับ 3.92; ทีมส่วนใหญ่นอกจากสองทีมแรกได้ MOS เสียงพูดต่ำกว่าอินพุตที่มีเสียงรบกวน | Microsoft Research, บทความวิจัย DNS Challenge ของ Interspeech 2021 |
| แทร็กแบบปรับตามตัวบุคคล (การแยกเสียงพูด) ของ ICASSP 2022: ความยาวการลงทะเบียนเสียงและผลเทียบกับอินพุตที่มีเสียงรบกวน | 2.5 นาทีต่อผู้พูด; ไม่มีทีมใดปรับปรุง SIG ได้; ความแม่นยำของคำแย่ลง 2% | Microsoft Research, บทความวิจัย DNS Challenge ของ ICASSP 2022 |
| DNS ของ ICASSP 2023: จำนวนผลงานที่ส่งและคะแนนที่เพิ่มขึ้นของผู้ชนะเหนือชุดแบบปิดที่มีเสียงรบกวน แบบหูฟังเฮดเซ็ตเทียบกับลำโพงโทรศัพท์ | ส่ง 11 และ 11 ผลงาน; 0.145 เทียบกับ 0.141 | Microsoft Research, บทความวิจัย DNS Challenge ของ ICASSP 2023 |
| URGENT ของ Interspeech 2025: จำนวนผลงานที่ส่งและขนาดของระบบผู้ชนะเทียบกับโมเดลฐาน | ส่ง 32 ผลงาน; ราว 102M เทียบกับราว 8.5M พารามิเตอร์ | Saijo และคณะ, บทความวิจัย URGENT Challenge ของ Interspeech 2025 |
| URGENT ของ Interspeech 2025: MOS ของระบบเชิงกำเนิดล้วน อันดับโดยรวม และความแม่นยำของตัวอักษรในภาษาจีนและญี่ปุ่น | MOS สูงสุด (3.69) แต่อยู่อันดับที่ 13; 20.1% และ 36.8% | Saijo และคณะ, บทความวิจัย URGENT Challenge ของ Interspeech 2025 |
| URGENT ของ ICASSP 2026: ผู้ลงทะเบียนแทร็ก 1 ทีมที่ใช้ได้ ขนาดชุดทดสอบแบบปิด | ลงทะเบียน 80 ราย; 29 ทีมที่มีผลงานใช้ได้ในทั้งสองแทร็ก; 840 ตัวอย่างรวม 5 ภาษาที่ไม่เคยเห็นมาก่อน | Li และคณะ, บทความวิจัย URGENT Challenge ของ ICASSP 2026 |
เพดาน 3.92 ในแถวของ Interspeech 2021 เป็นการคำนวณของผู้จัดเอง: หากเสียงรบกวนได้คะแนนเต็ม 5 และเสียงพูดยังดีเท่ากับในคลิปที่มีเสียงรบกวน MOS โดยรวมจะสูงสุดที่ค่านี้ ภายในปี 2021 ผู้ชนะกำจัดเสียงรบกวนไปได้เกือบหมดแล้ว ช่องว่างที่เหลือจึงอยู่ที่คุณภาพเสียงพูด คะแนนของ ICASSP 2023 คือ 0.5 x [WAcc + 0.25 x (OVRL - 1)] จึงให้น้ำหนักกับความแม่นยำของคำและคุณภาพตามผู้ฟังเท่ากัน
5. การวัดคุณภาพ: ITU-T P.835, P.808 และ DNSMOS
ITU-T P.835 ให้ผู้ฟังให้คะแนนสามรายการแยกกัน ได้แก่ สัญญาณเสียงพูด (SIG) เสียงรบกวนพื้นหลัง (BAK) และคุณภาพโดยรวม (OVRL) การแยกนี้สำคัญสำหรับการลดเสียงรบกวน เพราะโมเดลอาจชนะด้านเสียงรบกวนแต่แพ้ด้านเสียงพูดในคลิปเดียวกัน DNSMOS ติดตามคะแนนของมนุษย์ได้ที่ PCC 0.93 ต่อโมเดล เทียบกับ 0.78 ของ PESQ และเพียง 0.23 ของ SDR ซึ่งเป็นเหตุผลที่ผู้จัด DNS ฝึกตัวชี้วัดจากคะแนนของผู้ฟังแทนที่จะพึ่ง PESQ
ข้อจำกัดอยู่ที่ความละเอียด DNSMOS เวอร์ชัน P.835 อ่อนกว่ามากเมื่อใช้กับคลิปเดียว เมื่อเทียบกับการเฉลี่ยทั้งโมเดล ดังนั้นควรมองตัวเลข DNSMOS ของคลิปเดียวเป็นเพียงข้อสังเกต ไม่ใช่คำตัดสิน ตรรกะเดียวกันนี้ใช้กับเสียงสังเคราะห์ ซึ่งครอบคลุมในสถิติ MOS ความเป็นธรรมชาติของเสียงพูดสังเคราะห์ของเรา แหล่งที่มา: หน้า ITU-T P.835, หน้า ITU-T P.808, บทความวิจัย DNSMOS และบทความวิจัย DNSMOS P.835
| ตัวชี้วัด | ค่า | แหล่งที่มา |
|---|---|---|
| ฉบับของ ITU-T P.835 | P.835 (07/26) มีผลบังคับใช้ เผยแพร่ล่วงหน้า; P.835 (11/03) ถูกแทนที่ | หน้าข้อแนะนำ ITU-T P.835 เข้าถึงเมื่อเดือนตุลาคม 2026 |
| ฉบับของ ITU-T P.808 | P.808 (06/21) มีผลบังคับใช้; P.808 (06/18) ถูกแทนที่ | หน้าข้อแนะนำ ITU-T P.808 เข้าถึงเมื่อเดือนตุลาคม 2026 |
| สหสัมพันธ์ของ DNSMOS กับผู้ฟังต่อโมเดล (PCC) เทียบกับ PESQ, POLQA, SDR; DNSMOS P.835 โดยรวม ระดับโมเดลเทียบกับคลิปเดียว | 0.93 เทียบกับ 0.78, 0.79, 0.23; 0.98 เทียบกับ 0.82 | Reddy และคณะ, Microsoft, บทความวิจัย DNSMOS (2020) และ DNSMOS P.835 (2021) |
| การทดสอบการฟังของ PercepNet: ตัวอย่าง VCTK และผู้ฟังต่อตัวอย่าง; ผู้ฟังต่อคลิปในการทดสอบ DNS | 824 ตัวอย่าง ตัวอย่างละ 8 ผู้ฟัง (ช่วงความเชื่อมั่น 95% เท่ากับ 0.04); คลิปละ 10 ผู้ฟัง (ช่วงความเชื่อมั่น 95% เท่ากับ 0.02) | Valin และคณะ, บทความวิจัย PercepNet, Interspeech 2020 |
| วิธีและขอบเขตการทดสอบเชิงอัตวิสัยของ URGENT 2025 | การให้คะแนนระดับประเภทสัมบูรณ์ตาม ITU-T P.808 บน Amazon Mechanical Turk; ใช้ข้อมูลภาษาอังกฤษเท่านั้น | Saijo และคณะ, บทความวิจัย URGENT Challenge ของ Interspeech 2025 |
| การทดสอบการฟังของ URGENT ICASSP 2026 และข้อมูลสำหรับทำนาย MOS | 6 ระบบอันดับต้นได้รับการให้คะแนนด้วย P.808 ACR และ CCR; 8,000 ตัวอย่างที่มีป้ายกำกับ MOS จาก 16 ระบบ | Li และคณะ, บทความวิจัย URGENT Challenge ของ ICASSP 2026 |
การแก้ไข P.835 เป็นสิ่งใหม่ที่สุดในที่นี้: ฉบับปี 2003 ถูกแทนที่ด้วย P.835 (07/26) และชื่อเรื่องของฉบับใหม่ครอบคลุมอุปกรณ์ปลายทางที่ “ให้ฟังก์ชันการลดเสียงรบกวน” ข้อความฉบับเต็มยังไม่เผยแพร่ต่อสาธารณะเมื่อเราตรวจสอบ ดังนั้นการเปลี่ยนแปลงใดๆ ของวิธีการจึงไม่ปรากฏในตัวเลขข้างต้น
6. การแลกเปลี่ยนระหว่างความหน่วงกับคุณภาพ
การลดความหน่วงต้องแลกด้วยทั้งคุณภาพและการคำนวณพร้อมกัน ในการศึกษาอุปกรณ์สวมหูปี 2025 โมเดล 1 ms ต้องใช้ 840 MIPS ขณะที่โมเดลแบบซ้อนทับ-บวก 16 ms ใช้ 105 MIPS และโมเดล 16 ms ก็ยังได้คะแนนสูงกว่า (DNSMOS OVRL 2.35 เทียบกับ 2.13 บน CHiME-2) การศึกษาก่อนหน้าของ CMU และ MERL พบรูปแบบเดียวกันกับ PESQ และแสดงให้เห็นว่าการพยายามทำนายล่วงหน้าเกินกว่าเสียงเพื่อให้ได้ 0 ms ทำให้ SI-SDR ดิ่งลง
คำตอบของการศึกษาอุปกรณ์สวมหูคือเปลี่ยนตัวกรองเอาต์พุตแทนการลดขนาดหน้าต่าง: การออกแบบ FIR เฟสต่ำสุดรักษา SI-SDR ให้ค่อนข้างคงที่ตั้งแต่ 0.32 ถึง 1.25 ms และลดความหน่วงแบบต้นทางถึงปลายทางจาก 7.1 ms เหลือ 3.35 ms การแชตสดทนต่อความหน่วงได้ดีกว่าอุปกรณ์สวมหูมาก แต่ความหน่วงของตัวลดเสียงรบกวนก็ยังบวกเข้ากับทุกขั้นตอนอื่น เช่น เมื่อซ้อนเอฟเฟกต์ไว้ในสายของตัวเปลี่ยนเสียง Discord ข้อมูลจากบทความวิจัยอุปกรณ์สวมหู และบทความวิจัย STFT ความหน่วงต่ำมาก
| ตัวชี้วัด | ค่า | แหล่งที่มา |
|---|---|---|
| DNSMOS OVRL บน CHiME-2: ไม่ผ่านการประมวลผล เทียบกับโมเดล 1 ms, 2 ms, 4 ms และ 16 ms | 1.3 เทียบกับ 2.13 เทียบกับ 2.25 เทียบกับ 2.28 เทียบกับ 2.35 | Dementyev และคณะ, บทความวิจัยอุปกรณ์สวมหูความหน่วงต่ำกว่ามิลลิวินาที, arXiv 2025 |
| SI-SDR บน CHiME-2: โมเดล 1 ms, 2 ms และ 16 ms | 8.0 dB เทียบกับ 11.10 dB เทียบกับ 12.98 dB | Dementyev และคณะ, บทความวิจัยอุปกรณ์สวมหูความหน่วงต่ำกว่ามิลลิวินาที, arXiv 2025 |
| การคำนวณของโมเดล 1 ms เทียบกับโมเดลแบบซ้อนทับ-บวก 16 ms | 840 MIPS เทียบกับ 105 MIPS | Dementyev และคณะ, บทความวิจัยอุปกรณ์สวมหูความหน่วงต่ำกว่ามิลลิวินาที, arXiv 2025 |
| โมเดล Deep FIR 1.25 ms ที่เสนอ: พารามิเตอร์ การคำนวณ ความหน่วงแบบต้นทางถึงปลายทางบน NXP i.MX RT600 | 626k พารามิเตอร์; 376 MIPS; 3.35 ms | Dementyev และคณะ, บทความวิจัยอุปกรณ์สวมหูความหน่วงต่ำกว่ามิลลิวินาที, arXiv 2025 |
| PESQ ไมโครโฟนตัวเดียว ระบบหน้าต่างสี่เหลี่ยมผืนผ้า: ไม่ผ่านการประมวลผล เทียบกับ 4 ms เทียบกับ 2 ms เทียบกับ 0 ms (ทำนายล่วงหน้า) | 1.44 เทียบกับ 1.8997 เทียบกับ 1.84575 เทียบกับ 1.7138 | Wang และคณะ (CMU, MERL), IEEE/ACM TASLP 2022 |
| SI-SDR ไมโครโฟนตัวเดียว ระบบหน้าต่างสี่เหลี่ยมผืนผ้า ที่ 4 ms เทียบกับ 0 ms (ทำนายล่วงหน้า) | 2.8341 dB เทียบกับ -3.6493 dB | Wang และคณะ (CMU, MERL), IEEE/ACM TASLP 2022 |
| PESQ ไมโครโฟนหกตัวที่ 4 ms เทียบกับ 2 ms (ระบบสองขั้นตอนเดียวกัน) | 2.698490 เทียบกับ 2.47482 | Wang และคณะ (CMU, MERL), IEEE/ACM TASLP 2022 |
| การทดสอบขนาดหน้าต่างของ DeepFilterNet: จุดที่มาสก์อัตราส่วนเชิงซ้อนเริ่มเสียคุณภาพ | หน้าต่าง FFT 20 ms หรือน้อยกว่า (การกรองเชิงลึกยังคงเสถียรตั้งแต่ 5 ถึง 30 ms) | Schröter และคณะ, บทความวิจัย DeepFilterNet, ICASSP 2022 |
หมายเหตุเรื่องค่านอกกลุ่ม: โมเดล 1 ms และสั้นกว่าในการศึกษาอุปกรณ์สวมหูไม่สามารถทำงานแบบเรียลไทม์บน DSP เป้าหมายได้ ตัวเลขแบบต้นทางถึงปลายทางของโมเดลเหล่านั้นจึงเป็นค่าประมาณของผู้เขียน
สรุป: ความหน่วงของการลดเสียงรบกวนแบบนิวรัลและการแยกเสียงพูดด้วย AI ในรูปแบบตัวเลข
| ตัวชี้วัด | ค่า | แหล่งที่มา |
|---|---|---|
| โมเดล Deep FIR สำหรับอุปกรณ์สวมหูที่ทำงานแบบเรียลไทม์บน DSP กำลังต่ำ | 1.25 ms เชิงอัลกอริทึม, 3.35 ms แบบต้นทางถึงปลายทาง | Dementyev และคณะ, arXiv 2025 |
| ขนาดชุดทดสอบแบบปิดของ ICASSP 2026 URGENT | 840 ตัวอย่าง รวม 5 ภาษาที่ไม่เคยเห็นมาก่อน | Li และคณะ, บทความวิจัย URGENT Challenge ของ ICASSP 2026 |
| น้ำหนักของ RNNoise | 87,503 | Mozilla, บทความวิจัย RNNoise, MMSP 2018 |
| พารามิเตอร์และการคำนวณของ GTCRN | 23.7K; 39.6 MMAC ต่อวินาที | Rong และคณะ, GTCRN, ICASSP 2024 |
| พารามิเตอร์และการมองล่วงหน้าของ UL-UNAS | 169k; 0 ms | Rong และคณะ, UL-UNAS, Neural Networks 2025 |
| PESQ ของ VoiceBank+DEMAND อินพุตที่มีเสียงรบกวน เทียบกับ DeepFilterNet3 | 1.97 เทียบกับ 3.17 | Schröter และคณะ, บทความวิจัย DeepFilterNet2 และ DeepFilterNet3 |
| เวลา p95 ของ Denoiser v2 ต่อเฟรม 10 ms บน GPU แล็ปท็อป (ข้อกล่าวอ้างของผู้ผลิต) | 0.410 ms | NVIDIA, คู่มือประสิทธิภาพ Maxine AFX SDK |
| MOS จากผู้ฟังของ PercepNet เทียบกับอินพุตที่มีเสียงรบกวนบน VCTK | 4.05 เทียบกับ 3.40 | Valin และคณะ, บทความวิจัย PercepNet, Interspeech 2020 |
| ขนาดของผู้ชนะ URGENT 2025 เทียบกับโมเดลฐาน | ราว 102M เทียบกับ 8.5M พารามิเตอร์ | Saijo และคณะ, บทความวิจัย URGENT 2025 Challenge |
| ระบบเชิงกำเนิดของ URGENT 2025: MOS จากผู้ฟังเทียบกับอันดับโดยรวม | 3.69 (สูงสุด) เทียบกับอันดับที่ 13 | Saijo และคณะ, บทความวิจัย URGENT 2025 Challenge |
| ทีมที่ใช้ได้ของ ICASSP 2026 URGENT | 29 | Li และคณะ, บทความวิจัย URGENT Challenge ของ ICASSP 2026 |
| PESQ ไมโครโฟนตัวเดียวที่ความหน่วง 4 ms เทียบกับ 0 ms | 1.8997 เทียบกับ 1.7138 | Wang และคณะ, IEEE/ACM TASLP 2022 |
| ฉบับล่าสุดของ ITU-T P.835 | P.835 (07/26) มีผลบังคับใช้ (เผยแพร่ล่วงหน้า) | หน้าข้อแนะนำ ITU-T P.835 |
| ฉบับของ ITU-T P.808 ที่มีผลบังคับใช้ | P.808 (06/21) | หน้าข้อแนะนำ ITU-T P.808 |
| ขนาดโมเดล RNNoise ที่ใช้น้ำหนัก 8 บิต | 85 kB | Xiph.Org, หน้าสาธิต RNNoise ปี 2017 |
| ความเร็วของ RNNoise บน x86 | เร็วกว่าเวลาจริงราว 60 เท่า | Xiph.Org, หน้าสาธิต RNNoise ปี 2017 |
ระเบียบวิธีและแหล่งที่มา
- Microsoft (บทความวิจัยจาก Research และเอกสาร Learn): บทความวิจัย DNS Challenge ของ ICASSP 2021 (2020), บทความวิจัย DNS Challenge ของ Interspeech 2021 (2021), บทความวิจัย DNS Challenge ของ ICASSP 2022 (2022), บทความวิจัย DNS Challenge ของ ICASSP 2023 (2023), Reddy และคณะ DNSMOS (2020) และ DNSMOS P.835 (2021) รวมถึงหน้าผู้ดูแลระบบเรื่องการแยกเสียงพูดของ Teams (อัปเดตปี 2026)
- ITU-T, ข้อแนะนำ P.835 และข้อแนะนำ P.808 เข้าถึงเมื่อเดือนตุลาคม 2026
- Mozilla, บทความวิจัย RNNoise (MMSP 2018) และหน้าสาธิต RNNoise ของ Xiph.Org (2017)
- Valin และคณะ, บทความวิจัย PercepNet (Interspeech 2020)
- Schröter และคณะ, DeepFilterNet (ICASSP 2022), DeepFilterNet2 (2022) และ DeepFilterNet3 (Interspeech 2023)
- Rong และคณะ, GTCRN (ICASSP 2024) และ UL-UNAS (Neural Networks 2025)
- Wang และคณะ (CMU, MERL), STFT-Domain Neural Speech Enhancement with Very Low Algorithmic Latency (IEEE/ACM TASLP 2022)
- Dementyev และคณะ, Towards Sub-millisecond Latency Real-Time Speech Enhancement Models on Hearables (arXiv v2, มีนาคม 2025)
- Saijo และคณะ, Interspeech 2025 URGENT Challenge (2025) และ Li และคณะ, ICASSP 2026 URGENT Challenge (2026)
- NVIDIA, คู่มือประสิทธิภาพ Maxine AFX SDK และหน้าเอฟเฟกต์ Denoiser (เอกสารของผู้ผลิต ระบุไว้ว่าเป็นข้อกล่าวอ้างของผู้ผลิต)
- ข้อสังเกตเกี่ยวกับข้อมูล: ข้อมูล DNS Challenge ส่วนใหญ่เป็นของปี 2020 ถึง 2023 บทความวิจัย ICASSP 2023 เป็นรายงาน DNS Challenge ฉบับล่าสุดที่เราพบ จึงเป็นข้อมูลล่าสุดที่มีสำหรับชุดเกณฑ์วัดนี้ PESQ ของ RNNoise บน VoiceBank+DEMAND คือ 2.33 ในตารางของ DeepFilterNet2 แต่เป็น 2.29 ในตารางของ PercepNet และ UL-UNAS GTCRN ปรากฏเป็น 23.7K พารามิเตอร์และ 39.6 MMAC ในบทคัดย่อของ ICASSP 2024 แต่บทความวิจัย UL-UNAS อ้างตัวเลขที่ปรับปรุงแล้วจากคลังโค้ดคือ 48k พารามิเตอร์และ 34 MMAC DeepFilterNet2 รายงาน RTF 0.04 และ DeepFilterNet3 รายงาน RTF 0.19 (เธรดเดียว) บน Core i5-8250U ตัวเดียวกัน ซึ่งหมายความว่าการตั้งค่าเธรดหรือการวัดแตกต่างกัน บทความวิจัยอุปกรณ์สวมหูให้ค่า 0.32 ms ในบทคัดย่อและ 0.34 ms ในบทนำสำหรับความหน่วงที่สั้นที่สุด ค่าจากบทความวิจัยความหน่วงต่ำของ CMU และ MERL อ้างตามความละเอียดที่พิมพ์ไว้ในตาราง ตัวเลข GPU ของผู้ผลิตมาจาก GPU แล็ปท็อปเครื่องเดียวและไม่ใช่การรับประกัน ค่า SIG, BAK และ OVRL ต่อทีมของ DNS รุ่นปี 2022 และ 2023 มีอยู่เฉพาะในรูปแผนภูมิ เราจึงไม่ได้ถอดลงมา ข้อความฉบับเต็มของ ITU-T P.835 (07/26) ยังไม่เผยแพร่ต่อสาธารณะ อัปเดตล่าสุด: 25 ตุลาคม 2026 เราอัปเดตสรุปนี้ทุกไตรมาส และคาดว่าจะรีเฟรชครั้งถัดไปเมื่อเอกสารประชุม ICASSP 2026 URGENT Challenge และข้อความที่เผยแพร่ของ ITU-T P.835 (07/26) พร้อมใช้งาน