ตัวเลขของตัวตัดเสียงสะท้อนที่ถูกอ้างถึงมากที่สุดอย่าง ERLE สอดคล้องกับผู้ฟังที่เป็นมนุษย์ด้วยสหสัมพันธ์เพียร์สันเพียง 0.31 ขณะที่ตัวชี้วัดแบบนิวรอล AECMOS ของ Microsoft ทำได้ 0.99 กับคะแนนเสียงสะท้อนฝั่งไกล (Microsoft, บทความ AEC Challenge ICASSP 2021 และ ICASSP 2023) ด้านมาตรฐาน ITU-T G.168 ให้ตัวตัดเสียงสะท้อนในเครือข่ายราว 1 วินาทีในการลู่เข้า 3GPP TS 26.131 กำหนดให้ชุดหูฟังมีการสูญเสียเสียงสะท้อนอย่างน้อย 46 dB และการแข่งขันของ Microsoft ลดเพดานความหน่วงลงครึ่งหนึ่งจาก 40 ms เหลือ 20 ms ระหว่างปี 2021 ถึง 2023 เสียงสะท้อนยังเป็นปัญหาที่ผลักให้คนหันไปหาอุปกรณ์ห้องประชุมที่ดีขึ้น ซึ่งเราเคยพูดถึงจากฝั่งไมโครโฟนไว้ในสถิติไมโครโฟนบีมฟอร์มมิงบนเพดานห้องประชุมของเรา เรารวบรวมข้อมูลจาก ITU-T, 3GPP, บทความ AEC Challenge ทั้งสี่ฉบับของ Microsoft Research, Amazon Web Services, ByteDance, Tongyi Lab ของ Alibaba, นักวิจัยอิสระบน arXiv และ HEAD acoustics
สรุปโดยย่อ
- ตัวตัดเสียงสะท้อนในเครือข่ายต้องบรรลุการสูญเสียรวมที่กำหนดภายในประมาณ 1 วินาทีใน Test 2A (ITU-T G.168, 04/2015)
- ชุดหูฟังต้องมีการสูญเสียการเชื่อมโยงของเทอร์มินัลแบบถ่วงน้ำหนักอย่างน้อย 46 dB ที่ทุกระดับเสียง โดยแนะนำ 55 dB ที่ระดับเสียงปกติ (3GPP TS 26.131, Rel-19)
- ERLE สัมพันธ์กับคะแนนผู้ฟังที่ PCC 0.31 และ SRCC 0.23 (Microsoft, บทความ AEC Challenge ICASSP 2021)
- AECMOS สัมพันธ์กับคะแนนเสียงสะท้อนฝั่งไกลที่ PCC 0.99 (Microsoft, บทความ AEC Challenge ICASSP 2023)
- เพดานความหน่วงของการแข่งขันลดจาก 40 ms ของความหน่วงเชิงอัลกอริทึมในปี 2021 เหลือ 20 ms ของความหน่วงเชิงอัลกอริทึมรวมการบัฟเฟอร์ในปี 2023 (บทความและคลังโค้ด AEC Challenge ของ Microsoft)
- ผลงานคะแนนสูงสุดของ INTERSPEECH 2021 ได้เฉลี่ย 4.43 เทียบกับระบบอ้างอิง 3.87 (Microsoft, ผลลัพธ์ AEC Challenge INTERSPEECH 2021)
- อุปกรณ์มือถือได้คะแนนต่ำกว่าเดสก์ท็อป 0.75 MOS ในด้านการเสื่อมคุณภาพขณะพูดพร้อมกัน (Microsoft, บทความ AEC Challenge ICASSP 2022)
- WebRTC AEC3 ลดเสียงสะท้อนได้ราว 30 dB เทียบกับ 40.8 dB ของตัวกดแบบนิวรอล (ByteDance, arXiv 2020)
- โมเดลแบบครบวงจรจากเดือนมกราคม 2026 ทำ ERLE ได้ 78.69 dB ด้วยพารามิเตอร์ 1.2 ล้านตัว (Alibaba Tongyi Lab, E2E-AEC arXiv 2026)
- โมเดลนิวรอลขนาดเล็กสำหรับเสียงสะท้อนและเสียงรบกวนทำงานใน 0.14 ms ต่อเฟรม หรือปัจจัยเวลาจริง 0.014 (Microsoft, DeepVQE Interspeech 2023)
- อุปกรณ์แฮนด์ฟรีในหมวดการพูดพร้อมกันที่ดีที่สุด (หมวด 1) ลดทอนเสียงพูดที่ส่งออกไม่เกิน 3 dB ระหว่างการพูดพร้อมกัน (HEAD acoustics, อธิบายถึง ITU-T P.340)
1. กฎของ ITU-T: การลู่เข้า การพูดพร้อมกัน และการทดสอบการรั่ว
กฎโทรคมนาคมหลักสำหรับตัวตัดเสียงสะท้อนมีมานานแต่ยังมีผลบังคับใช้ “เสียงสะท้อน” ในที่นี้คือเสียงของคุณเองที่ย้อนกลับมาหาคุณหลังจากเดินทางไปถึงฝั่งไกลและรั่วเข้าสู่เส้นทางขากลับ G.168 ให้ตัวตัดเสียงสะท้อนราวหนึ่งวินาทีเพื่อบรรลุการสูญเสียที่กำหนด จากนั้นทดสอบต่อไปว่ายังรักษาระดับนั้นได้หรือไม่เมื่อทั้งสองคนพูดพร้อมกัน (“การพูดพร้อมกัน”) และเมื่อสายเงียบไปหลายนาที ตัวประมวลผลไม่เชิงเส้น (NLP) คือขั้นสุดท้ายที่กดเสียงสะท้อนตกค้างที่ตัวกรองแบบปรับตัวเหลือไว้ การทดสอบหลายรายการปิด NLP เพื่อให้วัดเฉพาะตัวกรองเอง
เส้นทางเสียงสะท้อนในโลกจริงที่การทดสอบเหล่านี้จำลองนั้นสั้น ในข้อมูลภาคสนามที่นำมาเสนอซ้ำในITU-T G.168 (04/2015) มีการวัดการโทรทางไกล 101 สายจากมอนทรีออลไปทั่วอเมริกาเหนือ (มิถุนายน 1998 ถึงเมษายน 1999) ฮิสโทแกรมของ 88 สายในจำนวนนั้นแสดงเวลากระจายเฉลี่ย 6.02 ms และไม่มีสายใดเกิน 12 ms ส่วนฝั่งอะคูสติกคือ G.167 ถูกยกเลิกแล้วและเนื้อหาย้ายไปอยู่ใน P.340 และ G.161
| ตัวชี้วัด | ค่า | แหล่งที่มา |
|---|---|---|
| ฉบับของข้อเสนอแนะว่าด้วยตัวตัดเสียงสะท้อนในเครือข่ายที่มีผลบังคับใช้ | G.168 (04/2015) พร้อมข้อแก้ไข 1 (12/2022) | ITU-T G.168 |
| การสูญเสียการสะท้อนกลับของเสียงสะท้อนขั้นต่ำ (การสูญเสียที่เส้นทางเสียงสะท้อนเองให้) ที่ใช้ในการทดสอบ จำนวนแบบจำลองเส้นทางเสียงสะท้อนมาตรฐาน | ขั้นต่ำ 6 dB 8 แบบจำลอง (m1 ถึง m8) โดยค่าต่ำสุดของ m2, m7 และ m8 คือ 6.55 dB, 11.06 dB และ 9.27 dB | ITU-T G.168 (04/2015), ภาคผนวก D |
| การลู่เข้าใน Test 2A เมื่อเปิดตัวประมวลผลไม่เชิงเส้น | การสูญเสียรวมที่กำหนดภายใน 1 s บวกความหน่วงของเส้นทางเสียงสะท้อนและค่าชดเชยเริ่มต้น ยอดสูงสุดเกินขีดจำกัดไม่เกิน 5 dB | ITU-T G.168 (04/2015) |
| Test 3A การพูดพร้อมกันโดยสัญญาณฝั่งใกล้ต่ำกว่าระดับฝั่งไกล 15 dB (ฝั่งไกล -25 ถึง 0 dBm0) | ต้องลู่เข้าภายใน 5 s | ITU-T G.168 (04/2015) |
| Test 3B(a) และ Test 4 การเพิ่มของเสียงสะท้อนตกค้างที่อนุญาตระหว่างการพูดพร้อมกัน และ 2 นาทีหลังสัญญาณฝั่งไกลหยุด (การทดสอบการรั่ว) | ไม่เกิน 10 dB เหนือข้อกำหนดสภาวะคงที่ทั้งสองกรณี | ITU-T G.168 (04/2015) |
| สถานะของ G.167 ข้อเสนอแนะเดิมว่าด้วยตัวควบคุมเสียงสะท้อนเชิงเสียง (03/1993) | ถูกยกเลิก แทนที่ด้วย P.340 (2000) สำหรับข้อ 1-5 และ G.161 (2002) สำหรับข้อ 6 | บันทึก ITU-T G.167 |
| ฉบับล่าสุดของข้อเสนอแนะว่าด้วยเทอร์มินัลแฮนด์ฟรีที่ครอบคลุมสมรรถนะเสียงสะท้อนและการพูดพร้อมกัน | P.340 (07/2026) | บทสรุป ITU-T P.340 ปี 2026 |
| ช่วงความถี่ของข้อเสนอแนะว่าด้วยแฮนด์ฟรีแบบบรอดแบนด์ในรถยนต์ | 50 ถึง 7,000 Hz ฉบับที่มีผลบังคับใช้คือ P.1110 (10/2025) | ITU-T P.1110 |
หมายเหตุบริบท: dBm0 คือระดับสัญญาณเทียบกับจุดอ้างอิงในเครือข่าย ดังนั้น “-25 ถึง 0 dBm0” หมายถึงผู้พูดฝั่งไกลตั้งแต่เสียงเบาไปจนถึงเสียงดัง การปรับปรุง P.340 ปี 2026 เป็นฉบับใหม่ ณ เวลาที่เขียนยังไม่มีการเผยแพร่ข้อความฉบับเต็ม สรุปนี้จึงอ้างเฉพาะบทสรุปที่เผยแพร่แล้ว
2. เป้าหมายการสูญเสียเสียงสะท้อนสำหรับชุดหูฟัง อุปกรณ์แฮนด์ฟรี และเครือข่าย
การสูญเสียการเชื่อมโยงของเทอร์มินัล (TCLw) คือปริมาณที่เสียงฝั่งไกลซึ่งเล่นผ่านลำโพงหรือหูฟังของอุปกรณ์ถูกลดทอนก่อนรั่วกลับเข้าไมโครโฟนของอุปกรณ์เดียวกันและถูกส่งย้อนกลับไป มาตรฐานมือถือกำหนด 46 dB เป็นเกณฑ์ขั้นต่ำสำหรับชุดหูฟังที่ทุกระดับเสียง ส่วนเป้าหมายที่แนะนำคือ 55 dB มาพร้อมการยอมรับว่าอาจวัดไม่ได้กับทุกอุปกรณ์ เนื่องจากสัญญาณรบกวนขณะว่างของตัวอุปกรณ์เอง
ช่องว่างที่น่าสนใจอยู่ที่แฮนด์ฟรี ลำโพงสื่อสารตั้งโต๊ะอาจลดลงเหลือ 40 dB ที่ระดับเสียงสูงสุดและยังถือว่าเป็นไปตามข้อกำหนด จึงเป็นเหตุผลที่พฤติกรรมการพูดพร้อมกันของแฮนด์ฟรีมีหมวดของตัวเอง อุปกรณ์หมวด 1 แทบไม่ลดเสียงของคุณเมื่อปลายสายอีกฝั่งพูด (ไม่เกิน 3 dB) ขณะที่อุปกรณ์หมวด 3 ตัดเสียงของคุณมากกว่า 12 dB ใกล้เคียงพฤติกรรมของวิทยุสื่อสารที่ได้ยินเพียงฝั่งเดียวในแต่ละครั้ง
| ตัวชี้วัด | ค่า | แหล่งที่มา |
|---|---|---|
| การสูญเสียการเชื่อมโยงของเทอร์มินัลแบบถ่วงน้ำหนักของชุดหูฟัง ที่การตั้งค่าระดับเสียงใดก็ได้ เทียบกับค่าที่แนะนำที่ระดับเสียงปกติ | อย่างน้อย 46 dB เทียบกับอย่างน้อย 55 dB | 3GPP TS 26.131 (Rel-19) |
| การสูญเสียการเชื่อมโยงของเทอร์มินัลแบบถ่วงน้ำหนักของแฮนด์ฟรีตั้งโต๊ะ ที่ระดับเสียงใดก็ได้ เทียบกับที่ระดับเสียงปกติในสภาวะสนามเสียงอิสระ | อย่างน้อย 40 dB เทียบกับอย่างน้อย 46 dB | 3GPP TS 26.131 (Rel-19) |
| วัตถุประสงค์ด้านสมรรถนะที่แนะนำสำหรับแฮนด์ฟรีตั้งโต๊ะที่ระดับเสียงปกติ | อย่างน้อย 55 dB (อาจวัดไม่ได้เพราะสัญญาณรบกวนของช่องสัญญาณขณะว่าง) | 3GPP TS 26.131 (Rel-19) |
| การสูญเสียเสียงสะท้อนที่เครือข่าย GSM, 3G, LTE หรือ NR ให้ที่จุดเชื่อมต่อระหว่างเครือข่าย การพูดทางเดียว | อย่างน้อย 46 dB | 3GPP TS 26.132 (Rel-19) |
| เสียงพูดที่ทิ้งตอนเริ่มการทดสอบการสูญเสียเสียงสะท้อนเพื่อให้ตัวตัดเสียงสะท้อนลู่เข้า ระดับสัญญาณทดสอบ | 17.0 s แรก 10 dBm0 | 3GPP TS 26.132 (Rel-19) |
| แนวทางการสูญเสียการเชื่อมโยงของเทอร์มินัล จากอินพุตดิจิทัลถึงเอาต์พุต (ตาม P.341) เทียบกับสภาวะภาคสนาม (ตาม P.342) เทียบกับค่าที่พึงประสงค์สำหรับเป้าหมายเสียงสะท้อนของผู้พูดตาม G.131 | อย่างน้อย 35 dB เทียบกับมากกว่า 40 dB เทียบกับมากกว่า 45 dB | ITU-T G.168 (04/2015), ภาคผนวก I |
| หมวดการพูดพร้อมกันสำหรับเทอร์มินัลแฮนด์ฟรี และการลดทอนของเสียงพูดที่ส่งออก | 5 หมวด (1, 2a, 2b, 2c, 3) ไม่เกิน 3 dB สำหรับหมวด 1 ไม่เกิน 9 dB สำหรับหมวด 2b มากกว่า 12 dB สำหรับหมวด 3 | เอกสารข้อมูล HEAD acoustics ACOPT 32 อธิบายถึง ITU-T P.340 |
หมายเหตุบริบท: ค่าของ 3GPP อ่านจากข้อความ Rel-19 ของ TS 26.131 และ TS 26.132 โดย TS 26.132 มีไฟล์ Rel-20 ที่ใหม่กว่าลงวันที่กรกฎาคม 2026 ในคลังของ 3GPP เอกสารของ HEAD acoustics เป็นเอกสารข้อมูลของอุปกรณ์ทดสอบที่ทวนหมวดของ P.340 โดยไม่ได้ระบุขีดจำกัดของหมวด 2a และ 2c
3. งบความหน่วง: ตัวตัดเสียงสะท้อนใช้ได้กี่มิลลิวินาที
ทุกมิลลิวินาทีที่ตัวตัดเสียงสะท้อนใช้ไปกับการบัฟเฟอร์เสียงคือมิลลิวินาทีที่เพิ่มเข้าไปในการสนทนา เกณฑ์เปรียบเทียบด้านงานวิจัยขยับอย่างหนักในเรื่องนี้ การแข่งขันของ Microsoft อนุญาตความหน่วงเชิงอัลกอริทึม 40 ms ในปี 2021 และ ลดเพดานลงครึ่งหนึ่งเหลือ 20 ms ของความหน่วงเชิงอัลกอริทึมรวมการบัฟเฟอร์ในปี 2023 โดยโมเดลของผู้จัดเองแทบไม่เสียคะแนนเสียงสะท้อนที่เพดานที่แคบลง บทความ ICASSP 2023 ระบุเป้าหมายแบบครบวงจรต่ำกว่า 50 ms (ความต่างที่เพิ่งรับรู้ได้) และเป้าหมายในอนาคตต่ำกว่า 5 ms สำหรับอัลกอริทึมรวมการบัฟเฟอร์ (Microsoft, บทความ AEC Challenge ICASSP 2023)
การประมวลผลคืองบอีกก้อนหนึ่ง โมเดลนิวรอลที่ใช้เพียงเสี้ยวมิลลิวินาทีต่อเฟรมสามารถทำงานบนแล็ปท็อปทุกเครื่องในการประชุม ส่วนโมเดลที่ใช้แกน CPU เกือบทั้งแกนทำไม่ได้ สำหรับดูว่างบความหน่วงส่วนที่เหลือถูกใช้ไปกับบัฟเฟอร์จิตเตอร์และโคเดกอย่างไร ดูสถิติบัฟเฟอร์จิตเตอร์ VoIP และคุณภาพเสียงพูดของเรา
| ตัวชี้วัด | ค่า | แหล่งที่มา |
|---|---|---|
| ความหน่วงทางเดียวจากปากถึงหูสำหรับการโต้ตอบที่แทบโปร่งใส เทียบกับเพดานสำหรับการวางแผนเครือข่ายทั่วไป | ต่ำกว่า 150 ms เทียบกับ 400 ms | ITU-T G.114 (05/2003) |
| เพดานความหน่วงเชิงอัลกอริทึมของ AEC Challenge, ICASSP 2021 | ไม่เกิน 40 ms (อนุญาตเฟรม 20 ms ที่ก้าว 10 ms คือ 30 ms) | Microsoft, บทความ AEC Challenge ICASSP 2021 |
| เพดานความหน่วงของ AEC Challenge, ICASSP 2023 | 20 ms ของความหน่วงเชิงอัลกอริทึมรวมการบัฟเฟอร์ | คลังโค้ด AEC-Challenge ของ Microsoft |
| เพดานการประมวลผลของ AEC Challenge, ICASSP 2023 | ปัจจัยเวลาจริงไม่เกิน 0.5 บน Intel Core i5 สี่แกน 2.4 GHz เธรดเดียว | Microsoft, บทความ AEC Challenge ICASSP 2023 |
| โมเดลของ Microsoft ที่ 20 ms เทียบกับผู้ชนะการแข่งขันปี 2022 ที่ 40 ms: MOS เสียงสะท้อนฝั่งไกล MOS เสียงสะท้อนขณะพูดพร้อมกัน | 4.65 เทียบกับ 4.66 4.68 เทียบกับ 4.68 | Microsoft, บทความ AEC Challenge ICASSP 2023 |
| โมเดลเต็มของ DeepVQE เทียบกับโมเดลเล็ก DeepVQE-S: พารามิเตอร์และเวลา CPU ต่อเฟรม | 7.5M และ 3.66 ms เทียบกับ 0.59M และ 0.14 ms (ปัจจัยเวลาจริง 0.014) | Microsoft, DeepVQE, Interspeech 2023 |
| ตัวตัดเสียงสะท้อนเชิงเส้นรวมกับตัวกดเสียงสะท้อนตกค้างแบบนิวรอล ผลงานเข้าแข่งขันที่ 16 kHz | 5.5% ของหนึ่งแกน Intel i7-8565U, 0.55 ms ต่อเฟรม 10 ms | Amazon Web Services, การควบคุมเสียงสะท้อน PercepNet, arXiv 2021 |
ข้อมูลล่าสุดที่มีสำหรับเพดานของการแข่งขัน: Microsoft, 2023 คลังโค้ด AEC-Challenge ยังระบุ ICASSP 2023 เป็นการแข่งขันครั้งล่าสุด ดังนั้นนี่ยังคงเป็นกฎเกณฑ์เปรียบเทียบสาธารณะล่าสุดจากชุดการแข่งขันนี้
4. ตารางคะแนน AEC Challenge ปี 2021 ถึง 2023
AEC Challenge ของ Microsoft เป็นสิ่งที่ใกล้เคียงที่สุดกับตารางอันดับสาธารณะของวงการนี้ ผลงานได้รับการให้คะแนนจากผู้ฟังที่ระดมจากผู้ประเมินจำนวนมากในสเกล 1 ถึง 5 (MOS สำหรับคุณภาพเสียงพูดฝั่งใกล้ DMOS ซึ่งเป็นคะแนนการเสื่อมคุณภาพ สำหรับเสียงสะท้อนและสิ่งแปลกปลอมอื่น ๆ) ที่ INTERSPEECH 2021 ผลงานคะแนนสูงสุดได้เฉลี่ย 4.43 เทียบกับระบบอ้างอิง 3.87 (สี่อันดับแรกเสมอกันทางสถิติ Microsoft จึงจัดอันดับตามความซับซ้อนของการประมวลผล) และผลที่ดีขึ้นเกือบทั้งหมดมาจากการกำจัดเสียงสะท้อนและการพูดพร้อมกัน (สถานการณ์ที่ตัวตัดเสียงสะท้อนรุ่นเก่าปล่อยเสียงสะท้อนผ่านหรือตัดเสียงผู้พูดฝั่งใกล้) ไม่ใช่จากคุณภาพเสียงพูดฝั่งใกล้ซึ่งขยับจาก 4.18 เป็น 4.25 เท่านั้น
ชุดข้อมูลขยายขึ้นในแต่ละรอบ ได้แก่ สภาพแวดล้อมและอุปกรณ์จริงมากกว่า 2,500 รายการสำหรับ ICASSP 2021 (Microsoft, บทความ AEC Challenge ICASSP 2021) 5,000 รายการสำหรับ INTERSPEECH 2021 และมากกว่า 10,000 รายการสำหรับรอบ 2023 (จำนวนของปี 2022 ต่างกันระหว่างบทความของ Microsoft ดูระเบียบวิธี) ข้อมูลสาธารณะว่าเสียงสะท้อนไปถึงผู้ใช้ในการโทรจริงบ่อยแค่ไหนยังขาดอยู่ บทความของ Microsoft อธิบายเสียงสะท้อนเพียงว่าเป็น “หนึ่งในแหล่งหลักของคะแนนคุณภาพเสียงพูดที่ต่ำ” โดยไม่มีเปอร์เซ็นต์
| ตัวชี้วัด | ค่า | แหล่งที่มา |
|---|---|---|
| ICASSP 2021: ระบบอ้างอิงเทียบกับระบบอันดับหนึ่ง ค่าเฉลี่ยของการทดสอบเชิงอัตวิสัยสี่รายการ | 3.68 เทียบกับ 4.11 (17 ผลงานที่ส่ง) | Amazon Web Services, การควบคุมเสียงสะท้อน PercepNet, arXiv 2021 |
| ICASSP 2021: ระบบอ้างอิงเทียบกับระบบอันดับหนึ่ง การเสื่อมคุณภาพของเสียงพูดฝั่งใกล้ระหว่างการพูดพร้อมกัน (DMOS) | 3.28 เทียบกับ 4.07 | Amazon Web Services, การควบคุมเสียงสะท้อน PercepNet, arXiv 2021 |
| INTERSPEECH 2021: ผลงานคะแนนสูงสุด (ERCESI) เทียบกับระบบอ้างอิง คะแนนเฉลี่ย | 4.43 เทียบกับ 3.87 | Microsoft, ผลลัพธ์ AEC Challenge INTERSPEECH 2021 |
| INTERSPEECH 2021: ผลงานคะแนนสูงสุดเทียบกับระบบอ้างอิง DMOS เสียงสะท้อนเมื่อฝั่งไกลพูดฝั่งเดียว DMOS การเสื่อมคุณภาพอื่นขณะพูดพร้อมกัน | 4.59 เทียบกับ 3.82 4.18 เทียบกับ 3.45 | Microsoft, ผลลัพธ์ AEC Challenge INTERSPEECH 2021 |
| INTERSPEECH 2021: ผลงานของทีมที่ได้รับการจัดอันดับซึ่งมีค่าเฉลี่ยสูงกว่าระบบอ้างอิง | 10 จาก 14 (นับจากตารางผลลัพธ์) | Microsoft, ผลลัพธ์ AEC Challenge INTERSPEECH 2021 |
| ICASSP 2022: จำนวนผลงานที่ส่ง ช่องว่างระหว่างมือถือกับเดสก์ท็อปในด้านการเสื่อมคุณภาพขณะพูดพร้อมกัน | 18 ผลงาน มือถือต่ำกว่า 0.75 MOS | Microsoft, บทความ AEC Challenge ICASSP 2022 |
| ICASSP 2023: จำนวนผลงาน คะแนนผู้ชนะและขนาดโมเดล | 20 ผลงาน (17 แบบไม่ปรับแต่งเฉพาะบุคคล 3 แบบปรับแต่งเฉพาะบุคคล) 0.854 ด้วยพารามิเตอร์ 1.5M | Microsoft, บทความ AEC Challenge ICASSP 2023 |
| ICASSP 2023: ระบบอ้างอิงเทียบกับผู้ชนะ คะแนนสุดท้ายและความแม่นยำระดับคำของการรู้จำเสียงพูด | 0.736 เทียบกับ 0.852 64.9% เทียบกับ 82.3% | Microsoft, DeepVQE, Interspeech 2023 |
หมายเหตุบริบท: คะแนนสุดท้ายของปี 2023 เป็นคะแนนรวมตั้งแต่ 0 ถึง 1 ที่เฉลี่ยคะแนนเชิงอัตวิสัยห้ารายการที่ปรับสเกลแล้วเข้ากับความแม่นยำระดับคำ จึงเทียบกับค่าเฉลี่ย MOS ของปี 2021 ไม่ได้ บทความสองฉบับของ Microsoft พิมพ์คะแนนผู้ชนะปี 2023 ต่างกันเล็กน้อย (ดูระเบียบวิธี) ข้อมูลล่าสุดที่มี: Microsoft, 2023
5. การวัดเสียงสะท้อน: ทำไม ERLE เสียพื้นที่ให้ตัวชี้วัดเชิงการรับรู้
ERLE (การเพิ่มค่าการสูญเสียการสะท้อนกลับของเสียงสะท้อน) คือจำนวนเดซิเบลที่ตัวตัดเสียงสะท้อนลบออกจากสัญญาณไมโครโฟน คำนวณง่าย จึงยังเป็นตัวเลขหลักในเอกสารข้อมูลอุปกรณ์ แต่ ERLE สัมพันธ์กับคะแนนผู้ฟังเพียง 0.31 (เพียร์สัน) เพราะตัวตัดเสียงสะท้อนสามารถได้ ERLE สูงมากโดยปิดเสียงสายและทำลายเสียงของผู้พูดฝั่งใกล้ PESQ ซึ่งเป็นตัวชี้วัดคุณภาพเสียงพูดแบบรุกล้ำรุ่นเก่าที่เทียบเอาต์พุตกับต้นฉบับที่สะอาด ทำได้ดีกว่าที่ 0.67
AECMOS ตัวประมาณแบบนิวรอลของ Microsoft ไม่ต้องใช้ต้นฉบับที่สะอาด และทำนายคะแนนเสียงสะท้อนและการเสื่อมคุณภาพที่ผู้ฟังจะให้ การเปลี่ยนแปลงเชิงปฏิบัติคือทีมงานจัดอันดับโมเดลได้โดยไม่ต้องจ่ายค่าทดสอบการฟังทุกครั้ง เรื่องนี้สำคัญสำหรับใครก็ตามที่เคยเปรียบเทียบอุปกรณ์ในห้องปฏิบัติการแทนที่จะเป็นห้องจริง ช่องว่างที่เราเคยพูดถึงในสถิติการทดสอบอะคูสติกในห้องไร้เสียงสะท้อนของเรา
| ตัวชี้วัด | ค่า | แหล่งที่มา |
|---|---|---|
| ERLE เทียบกับคะแนนเชิงอัตวิสัย: สหสัมพันธ์เพียร์สัน (PCC) และสเปียร์แมน (SRCC) | 0.31 และ 0.23 | Microsoft, บทความ AEC Challenge ICASSP 2021 |
| PESQ เทียบกับคะแนนเชิงอัตวิสัย: PCC และ SRCC | 0.67 และ 0.57 | Microsoft, บทความ AEC Challenge ICASSP 2021 |
| AECMOS (เวอร์ชัน 2023) สหสัมพันธ์เพียร์สันกับคะแนนผู้ฟัง: เสียงสะท้อนเมื่อฝั่งไกลพูดฝั่งเดียว เสียงสะท้อนขณะพูดพร้อมกัน การเสื่อมคุณภาพอื่นขณะพูดพร้อมกัน | 0.99 (SRCC 0.92) 0.99 0.96 | Microsoft, บทความ AEC Challenge ICASSP 2023 |
| ชุดฝึกของ AECMOS ฉบับดั้งเดิม จำนวนโหวตจากผู้ประเมินจำนวนมากต่อคลิป | 64,013 คลิป (145.8 ชั่วโมง) 5 โหวตต่อคลิป | Microsoft, บทความ AECMOS, ICASSP 2022 |
| การจัดอันดับรวมของ AECMOS ฉบับดั้งเดิม: โมเดลที่ถูกจัดอันดับ PCC รายผู้เข้าแข่งขันกับเสียงสะท้อนเมื่อฝั่งไกลพูดฝั่งเดียว | 22 โมเดล (14 ผู้เข้าแข่งขัน โมเดลเชิงลึก 4 และโมเดล DSP 4 ของผู้เขียน) 0.996 | Microsoft, บทความ AECMOS, ICASSP 2022 |
| ความแม่นยำระดับคำของการรู้จำเสียงพูดเทียบกับคะแนนเชิงอัตวิสัยเฉลี่ยของผลงาน ICASSP 2022 ทั้งหมด (PCC) | 0.85 | Microsoft, บทความ AEC Challenge ICASSP 2022 |
| จำนวนผู้ฟังต่อประโยคในการทดสอบเชิงอัตวิสัย ICASSP 2021 ช่วงความเชื่อมั่น 95% | ผู้ฟัง 10 คน 0.01 MOS | Amazon Web Services, การควบคุมเสียงสะท้อน PercepNet, arXiv 2021 |
หมายเหตุค่าผิดปกติ: สหสัมพันธ์รายคลิปอ่อนกว่ารายโมเดลมาก บทความ AECMOS ฉบับดั้งเดิมรายงาน PCC รายคลิปของเสียงสะท้อนขณะพูดพร้อมกันที่ 0.582 ตัวชี้วัดนี้จึงเชื่อถือได้สำหรับจัดอันดับระบบ แต่ไม่ใช่สำหรับตัดสินการบันทึกเสียงเพียงชิ้นเดียว
6. การควบคุมเสียงสะท้อนแบบนิวรอลเทียบกับแบบเชิงเส้น: ผลการเปรียบเทียบตรง ๆ บอกอะไร
ตัวกรองแบบปรับตัวเชิงเส้นจำลองเส้นทางเสียงสะท้อนเป็นระบบเส้นตรง จึงรับมือยากกับเสียงสะท้อนที่ถูกบิดเบือนโดยลำโพงแล็ปท็อปราคาถูกที่ถูกขับแรงเกินไป ในห้าอันดับแรกของ ICASSP 2022 ระบบแบบนิวรอลส่วนใหญ่สร้างบนตัวกรองเชิงเส้นแทนที่จะมาแทนที่มัน ในการทดสอบหนึ่งของ ByteDance WebRTC AEC3 ลดเสียงสะท้อนได้ราว 30 dB ขณะที่ตัวกดเสียงสะท้อนตกค้างแบบนิวรอลทำได้ 40.8 dB และ AEC3 ทำให้คุณภาพเสียงพูดขณะพูดพร้อมกันแย่กว่าไม่ประมวลผลเลยที่อัตราส่วนสัญญาณต่อเสียงสะท้อน 0 dB (เสียงสะท้อนดังเท่าเสียงฝั่งใกล้)
ควรอ่านตัวเลข ERLE ด้วยความระมัดระวังตามที่อธิบายในหัวข้อ 5 ค่า ERLE 78.69 dB บอกว่าสายเงียบมากขณะมีเสียงพูดฝั่งไกล ไม่ได้บอกว่าเสียงฝั่งใกล้รอดมาได้ ฝั่งผู้ให้บริการ Microsoft ระบุว่าโมเดลเสียงสะท้อนของ Teams ถูกฝึกด้วยตัวอย่างเสียงพูด 30,000 ชั่วโมง (Microsoft 365 Blog 2022 ซึ่งเป็นข้ออ้างของผู้ให้บริการเอง) และนักวิจัย DeepVQE ของ Microsoft กล่าวว่าโมเดลขนาดเล็กถูกทดสอบใน Teams สำหรับผู้ใช้หลายร้อยล้านคน
| ตัวชี้วัด | ค่า | แหล่งที่มา |
|---|---|---|
| ERLE เมื่อฝั่งไกลพูดฝั่งเดียวด้วยเสียงพูด: ตัวกรองแบบปรับตัวเชิงเส้นเทียบกับ WebRTC AEC3 เทียบกับตัวกรองแบบปรับตัวรวมกับตัวกดเสียงสะท้อนตกค้างแบบนิวรอล | 16.612 dB เทียบกับ 29.976 dB เทียบกับ 40.786 dB | ByteDance, การกดเสียงสะท้อนตกค้าง, arXiv 2020 |
| ERLE เมื่อฝั่งไกลพูดฝั่งเดียวด้วยเสียงพูดรวมกับดนตรี: WebRTC AEC3 เทียบกับตัวกดเสียงสะท้อนตกค้างแบบนิวรอล | 25.376 dB เทียบกับ 43.144 dB | ByteDance, การกดเสียงสะท้อนตกค้าง, arXiv 2020 |
| PESQ ขณะพูดพร้อมกันที่อัตราส่วนสัญญาณต่อเสียงสะท้อน 0 dB: ไม่ผ่านการประมวลผลเทียบกับ WebRTC AEC3 เทียบกับตัวกดเสียงสะท้อนตกค้างแบบนิวรอล | 1.908 เทียบกับ 1.610 เทียบกับ 2.816 | ByteDance, การกดเสียงสะท้อนตกค้าง, arXiv 2020 |
| ERLE: Speex เทียบกับ WebRTC เทียบกับตัวกรองแบบปรับตัวที่รวมกับโครงข่ายประสาทเทียมแบบวนซ้ำ | 25 dB เทียบกับ 40 dB เทียบกับ 68 dB | Ma และคณะ, arXiv 2020 |
| ตัวตัดเสียงสะท้อน LSTM สัญญาณคู่ (DTLN-aec): MOS ที่เพิ่มขึ้นจากระบบอ้างอิงของ AEC Challenge ข้อมูลฝึก | 0.30 MOS สถานการณ์เสียงสะท้อนจริงและสังเคราะห์ 60 ชั่วโมง | Westhausen และ Meyer, DTLN-aec, arXiv 2020 |
| 5 ระบบอันดับแรกของ ICASSP 2022: การออกแบบแบบผสมเชิงเส้นกับนิวรอล ช่วงพารามิเตอร์ | 3 จาก 5 พารามิเตอร์ 1.5M ถึง 55.5M | Microsoft, บทความ AEC Challenge ICASSP 2022 |
| ผลงาน ICASSP 2023: สหสัมพันธ์ของคะแนนสุดท้ายกับขนาดโมเดล กับการใช้การออกแบบแบบผสม (PCC) | -0.54 0.10 | Microsoft, บทความ AEC Challenge ICASSP 2023 |
| ตัวตัดเสียงสะท้อนแบบนิวรอลครบวงจร (มกราคม 2026): ERLE ที่มีการมาสก์ด้วยการตรวจจับกิจกรรมเสียงพูด พารามิเตอร์ MOS เฉลี่ยที่เพิ่มขึ้นจากกลยุทธ์การฝึกหนึ่งแบบ | 78.69 dB พารามิเตอร์ 1.2M 4.31 ถึง 4.38 | Alibaba Tongyi Lab, E2E-AEC, arXiv 2026 |
หมายเหตุบริบท: ผลลัพธ์เหล่านี้มาจากชุดทดสอบที่ต่างกัน จึงจัดอันดับวิธีการภายในแต่ละบทความ ไม่ใช่ข้ามบทความ ข้อมูลล่าสุดที่มีสำหรับการเปรียบเทียบ AEC3 และ Speex: ByteDance และ Ma และคณะ, 2020
สรุป: การตัดเสียงสะท้อนเชิงเสียงในรูปแบบตัวเลข
| ตัวชี้วัด | ค่า | แหล่งที่มา |
|---|---|---|
| เวลาลู่เข้าของ G.168 Test 2A | ประมาณ 1 s บวกความหน่วงของเส้นทางเสียงสะท้อน | ITU-T G.168 (04/2015) |
| การสูญเสียการเชื่อมโยงของเทอร์มินัลแบบถ่วงน้ำหนักของชุดหูฟัง ทุกระดับเสียงเทียบกับระดับเสียงปกติ | อย่างน้อย 46 dB เทียบกับอย่างน้อย 55 dB | 3GPP TS 26.131 (Rel-19) |
| การสูญเสียเสียงสะท้อนของเครือข่ายที่จุดเชื่อมต่อระหว่างเครือข่าย | อย่างน้อย 46 dB | 3GPP TS 26.132 (Rel-19) |
| หมวดการพูดพร้อมกันของแฮนด์ฟรี | 5 หมวด หมวด 1 ลดทอนเสียงพูดที่ส่งออกไม่เกิน 3 dB | HEAD acoustics, อธิบายถึง ITU-T P.340 |
| ข้อเสนอแนะว่าด้วยเทอร์มินัลแฮนด์ฟรี ฉบับล่าสุด | P.340 (07/2026) | บทสรุป ITU-T P.340 ปี 2026 |
| ความหน่วงทางเดียวสำหรับการโต้ตอบที่โปร่งใส | ต่ำกว่า 150 ms | ITU-T G.114 (05/2003) |
| เพดานความหน่วงของ AEC Challenge ปี 2023 | 20 ms ของความหน่วงเชิงอัลกอริทึมรวมการบัฟเฟอร์ | คลังโค้ด AEC-Challenge ของ Microsoft |
| ERLE เทียบกับคะแนนผู้ฟัง | PCC 0.31 | Microsoft, บทความ AEC Challenge ICASSP 2021 |
| AECMOS เทียบกับคะแนนเสียงสะท้อนฝั่งไกล | PCC 0.99 | Microsoft, บทความ AEC Challenge ICASSP 2023 |
| ชุดฝึกของ AECMOS ฉบับดั้งเดิม | 64,013 คลิป 145.8 ชั่วโมง | Microsoft, บทความ AECMOS, ICASSP 2022 |
| ระบบอ้างอิงของ ICASSP 2021 เทียบกับผู้ชนะ | 3.68 เทียบกับ 4.11 | Amazon Web Services, การควบคุมเสียงสะท้อน PercepNet, arXiv 2021 |
| ผลงานคะแนนสูงสุดของ INTERSPEECH 2021 เทียบกับระบบอ้างอิง | 4.43 เทียบกับ 3.87 | Microsoft, ผลลัพธ์ AEC Challenge INTERSPEECH 2021 |
| มือถือเทียบกับเดสก์ท็อป การเสื่อมคุณภาพขณะพูดพร้อมกัน | มือถือต่ำกว่า 0.75 MOS | Microsoft, บทความ AEC Challenge ICASSP 2022 |
| เวลา CPU ต่อเฟรมของ DeepVQE-S | 0.14 ms (ปัจจัยเวลาจริง 0.014) | Microsoft, DeepVQE, Interspeech 2023 |
| WebRTC AEC3 เทียบกับตัวกดเสียงสะท้อนตกค้างแบบนิวรอล ค่า ERLE | 29.976 dB เทียบกับ 40.786 dB | ByteDance, การกดเสียงสะท้อนตกค้าง, arXiv 2020 |
| Speex เทียบกับ WebRTC เทียบกับ RNN แบบผสม ค่า ERLE | 25 dB เทียบกับ 40 dB เทียบกับ 68 dB | Ma และคณะ, arXiv 2020 |
| MOS ที่ DTLN-aec เพิ่มจากระบบอ้างอิงของการแข่งขัน | 0.30 MOS | Westhausen และ Meyer, DTLN-aec, arXiv 2020 |
| AEC แบบนิวรอลครบวงจร ค่า ERLE (2026) | 78.69 dB ด้วยพารามิเตอร์ 1.2M | Alibaba Tongyi Lab, E2E-AEC, arXiv 2026 |
ระเบียบวิธีและแหล่งที่มา
- ITU-T: G.168 ตัวตัดเสียงสะท้อนในเครือข่ายดิจิทัล (04/2015, ข้อแก้ไข 12/2022), G.167 ตัวควบคุมเสียงสะท้อนเชิงเสียง (03/1993, ถูกยกเลิก), บทสรุป P.340 (07/2026), P.1110 การสื่อสารแบบแฮนด์ฟรีบรอดแบนด์ในยานยนต์ (10/2025), G.114 เวลาการส่งผ่านทางเดียว (05/2003)
- 3GPP: TS 26.131 ลักษณะเชิงเสียงของเทอร์มินัลสำหรับโทรศัพท์ ข้อกำหนด (Rel-19) และ TS 26.132 ข้อกำหนดการทดสอบเชิงเสียงของเทอร์มินัลโทรศัพท์เสียงพูดและวิดีโอ (Rel-19)
- HEAD acoustics: เอกสารข้อมูล ACOPT 32 การพูดพร้อมกันบนพื้นฐานเสียงพูด (ทวนหมวดของ ITU-T P.340)
- Microsoft Research: บทความ AEC Challenge ICASSP 2021, ผลลัพธ์ AEC Challenge INTERSPEECH 2021, บทความ AEC Challenge ICASSP 2022, บทความ AEC Challenge ICASSP 2023, บทความ AECMOS, DeepVQE, Interspeech 2023, คลังโค้ด AEC-Challenge
- Amazon Web Services: Low-complexity joint neural echo control and speech enhancement based on PercepNet (2021)
- ByteDance: Residual acoustic echo suppression based on efficient multi-task convolutional neural network (2020)
- Ma, Huang, Zhao และ Su: Acoustic echo cancellation by combining adaptive digital filter and recurrent neural network (2020)
- Westhausen และ Meyer: Acoustic echo cancellation with the dual-signal transformation LSTM network (2020)
- Alibaba Tongyi Lab: E2E-AEC, an end-to-end neural network approach for acoustic echo cancellation (มกราคม 2026)
- Microsoft 365 Blog: How Microsoft Teams uses AI and machine learning to improve calls and meetings (2022, ข้ออ้างของผู้ให้บริการ)
- ข้อสังเกตเกี่ยวกับข้อมูล: ยังไม่มีแพลตฟอร์มใดเผยแพร่อัตราเสียงสะท้อนจากข้อมูลเทเลเมทรีในการโทรจริง สรุปนี้จึงไม่รายงานตัวเลขดังกล่าว บทความของ Microsoft อธิบายเสียงสะท้อนเพียงเชิงคุณภาพว่าเป็นเรื่องที่ถูกร้องเรียนมากที่สุดเรื่องหนึ่ง แหล่งข้อมูลของ Microsoft สองแหล่งไม่ตรงกันเล็กน้อยเรื่องผู้ชนะปี 2023 บทความการแข่งขัน ICASSP 2023 ระบุคะแนนอันดับหนึ่งที่ 0.854 ขณะที่ตารางในบทความ DeepVQE ระบุผู้ชนะ AEC ที่ 0.852 แหล่งข้อมูลของ Microsoft ยังไม่ตรงกันเรื่องชุดข้อมูล ICASSP 2022 บทความ ICASSP 2022 ระบุสภาพแวดล้อมและอุปกรณ์มากกว่า 10,000 รายการ ขณะที่บทความ ICASSP 2023 ระบุ 7,500 รายการสำหรับรอบนั้น สหสัมพันธ์ ERLE 0.31 และ PESQ 0.67 เหมือนกันในบทความการแข่งขันปี 2021, 2022 และ 2023 ซึ่งชี้ว่าเป็นการศึกษาพื้นฐานเดียวมากกว่าการวัดอิสระสามครั้ง สหสัมพันธ์ของ AECMOS แปรผันตามเวอร์ชันของโมเดล (บทความ ICASSP 2022 รายงาน PCC 0.828 สำหรับเสียงสะท้อนฝั่งไกล บทความปี 2023 รายงาน 0.99) บทความ INTERSPEECH 2021 ระบุว่าผู้เข้าร่วมเกือบทั้งหมดเอาชนะระบบอ้างอิงได้ ขณะที่ตารางผลลัพธ์สาธารณะแสดงว่า 10 จาก 14 ผลงานที่จัดอันดับอยู่เหนือค่าเฉลี่ยของระบบอ้างอิง ค่า ERLE ในการเปรียบเทียบ Speex และ WebRTC ปี 2020 มาจากชุดทดสอบและการตั้งค่าของแต่ละบทความเอง ข้อมูล AEC Challenge ส่วนใหญ่มาจากปี 2021 ถึง 2023 เพราะคลังโค้ด AEC-Challenge ระบุ ICASSP 2023 เป็นการแข่งขันครั้งล่าสุด ข้อความฉบับเต็มของ P.340 (07/2026) และไฟล์ 3GPP TS 26.132 Rel-20 คือการอัปเดตถัดไปที่ต้องตรวจสอบ
อัปเดตล่าสุด: 24 ตุลาคม 2026 เราจะทบทวนและอัปเดตสรุปนี้ทุกไตรมาส และคาดว่าการรีเฟรชครั้งถัดไปจะเกิดขึ้นเมื่อมีการเผยแพร่ข้อความฉบับเต็มของ ITU-T P.340 (07/2026)