โมเดลปรับปรุงเสียงพูดที่สร้างขึ้นโดยตั้งใจเพื่อใช้ประโยชน์จาก PESQ ทำคะแนนได้ 3.82 บนชุดทดสอบ VoiceBank-DEMAND สูงกว่า 3.69 ที่ระบบถูกต้องตามกติกาที่ดีที่สุดในสรุปนี้รายงานไว้ ขณะที่คะแนน POLQA ของโมเดลดิ่งลงเหลือ 1.46 เทียบกับ 3.11 ของอินพุตที่มีเสียงรบกวนซึ่งไม่ได้ผ่านการประมวลผล (de Oliveira และคณะ, บทความ PESQetarian, Interspeech 2024) การแข่งขันที่ถูกต้องตามกติกาก็เป็นเรื่องจริงเช่นกัน โดย PESQ บนเกณฑ์เปรียบเทียบเดียวกันเพิ่มจาก 2.16 ของ SEGAN ในปี 2017 เป็น 3.61 ของ PrimeK-Net ในปี 2025 แต่ STOI ซึ่งเป็นตัวชี้วัดความเข้าใจได้ที่มักแสดงควบคู่กับ PESQ มีสหสัมพันธ์เฉลี่ยกับความเข้าใจได้ที่วัดจริงเพียง 0.62 จากชุดข้อมูลการฟัง 13 ชุด (Edraki และคณะ, IEEE/ACM TASLP 2020) เรารวบรวมข้อมูลจาก ITU-T บทความที่ผ่านการพิจารณาโดยผู้ทรงคุณวุฒิใน Interspeech, ICASSP, IEEE SLT และ WASPAA วารสาร IEEE/ACM Transactions on Audio, Speech, and Language Processing การแข่งขัน Microsoft Deep Noise Suppression (DNS) Challenge และรายงานการแข่งขัน URGENT กับ CCF AATC สำหรับด้านความหน่วงและด้านผลิตภัณฑ์ของโมเดลชุดเดียวกัน ดูสถิติความหน่วงของการลดเสียงรบกวนด้วยโครงข่ายประสาทเทียมของเรา หน้านี้ว่าด้วยคะแนนเอง และความน่าเชื่อถือของคะแนนเหล่านั้น
สรุปโดยย่อ
- PESQ บน VoiceBank-DEMAND เพิ่มจาก 2.16 (SEGAN, 2017) เป็น 3.41 (CMGAN, 2022) (Cao และคณะ, บทความ CMGAN, Interspeech 2022)
- SEMamba ทำ PESQ ได้ 3.55 และ 3.69 เมื่อเพิ่มการยืดคอนทราสต์เชิงการรับรู้ (Chao และคณะ, IEEE SLT 2024)
- PrimeK-Net รายงาน PESQ 3.61 ด้วยพารามิเตอร์เพียง 1.41 ล้านตัว (บทความ PrimeK-Net, ICASSP 2025)
- PESQetarian ทำ PESQ ได้ 3.82 ด้วย SI-SDR -19.8 dB เทียบกับ 8.4 dB ของอินพุตที่มีเสียงรบกวน (de Oliveira และคณะ, Interspeech 2024)
- STOI มีสหสัมพันธ์แบบเพียร์สันเฉลี่ย 0.62 กับความเข้าใจได้ที่วัดจริงจาก 13 ชุดข้อมูล ส่วน eSTOI อยู่ที่ 0.88 (Edraki และคณะ, IEEE/ACM TASLP 2020)
- สหสัมพันธ์ด้านคุณภาพเสียงพูดของ DNSMOS P.835 ลดจาก 0.94 รายโมเดลเหลือ 0.71 รายคลิป (Reddy และคณะ, Microsoft, บทความ DNSMOS P.835 ปี 2021)
- ช่องว่างการวางนัยทั่วไปของ ESTOI สำหรับ Conv-TasNet บนคลังเสียงพูดที่ไม่เคยเห็นอยู่ที่ -68% เมื่อเทียบกับโมเดลอ้างอิงที่ตรงเงื่อนไข (Gonzalez และคณะ, IEEE/ACM TASLP 2023)
- PESQ ของ ROSE-CD ลดจาก 3.49 ในโดเมนเดียวกันเหลือ 2.62 นอกโดเมน (Xu และคณะ, WASPAA 2025)
- ตัวชี้วัดที่ไม่ใช้ข้อมูลอ้างอิงมีสหสัมพันธ์เชิงอันดับ -0.8 กับ MOS ของผู้ฟังสำหรับระบบไฮบริด (Zhang และคณะ, ย้อนมองการแข่งขัน CCF AATC 2025)
- ITU-T ยกเลิก PESQ (P.862) เมื่อวันที่ 5 มกราคม 2024 (หน้าข้อเสนอแนะ ITU-T P.862)
1. การแข่งขัน PESQ บน VoiceBank-DEMAND ปี 2017 ถึง 2025
PESQ (การประเมินคุณภาพเสียงพูดเชิงการรับรู้) เปรียบเทียบเสียงที่ผ่านการปรับปรุงกับต้นฉบับที่สะอาด แล้วทำนายคะแนนที่ผู้ฟังจะให้ VoiceBank-DEMAND ซึ่งเป็นชุดทดสอบภาษาอังกฤษขนาดเล็กที่ประกอบด้วยประโยคที่อ่านผสมกับเสียงรบกวนในชีวิตประจำวันที่บันทึกไว้ กลายเป็นที่มาตรฐานสำหรับรายงานค่านี้ PESQ เพิ่มจาก 2.16 ของ SEGAN ในปี 2017 เป็น 3.69 ของ SEMamba ที่ใช้การยืดคอนทราสต์เชิงการรับรู้ในปี 2024 และจังหวะการเพิ่มขึ้นก็บอกเล่าเรื่องราวได้ในตัวเอง
จาก SEGAN (2.16) ถึง MetricGAN+ (3.15) วงการเพิ่มคะแนน PESQ ได้ 0.99 ภายในสี่ปี จาก CMGAN (3.41, 2022) ถึง PrimeK-Net (3.61, 2025) เพิ่มได้ 0.20 ภายในสามปี (เป็นผลลบเลขของเราเองจากตัวเลขที่เผยแพร่) เกณฑ์เปรียบเทียบนี้ใกล้อิ่มตัวแล้ว ส่วนที่เหลือให้เพิ่มจึงเล็กพอที่เทคนิคเสริมและการฝึกที่คำนึงถึงตัวชี้วัดจะชี้ขาดตารางอันดับได้ (ดูหัวข้อ 5) แหล่งที่มา: บทความ CMGAN, บทความ SEMamba, บทความ PrimeK-Net
| ตัวชี้วัด | ค่า | แหล่งที่มา |
|---|---|---|
| PESQ: ชุดทดสอบที่มีเสียงรบกวนซึ่งยังไม่ผ่านการประมวลผล เทียบกับ SEGAN ตัวปรับปรุงเสียงที่ใช้ GAN (2017) | 1.97 เทียบกับ 2.16 | Cao และคณะ, บทความ CMGAN, Interspeech 2022 |
| PESQ ของ MetricGAN+ (2021) และส่วนที่เพิ่มขึ้นจาก MetricGAN | 3.15; เพิ่มราว +0.3 | บทความ MetricGAN+, Interspeech 2021 |
| PESQ ของ CMGAN (2022) | 3.41 | Cao และคณะ, บทความ CMGAN, Interspeech 2022 |
| PESQ ของ MP-SENet การลดเสียงรบกวนแบบขนานทั้งขนาดและเฟส (2023) | 3.50 | บทความ MP-SENet, Interspeech 2023 |
| PESQ ของ SEMamba แบบไม่เชิงเหตุ (ใช้เสียงล่วงหน้าได้): ไม่ใช้เทียบกับใช้การยืดคอนทราสต์เชิงการรับรู้ | 3.55 เทียบกับ 3.69 | Chao และคณะ, บทความ SEMamba, IEEE SLT 2024 |
| PESQ ของ PrimeK-Net (2025) และขนาดโมเดล | 3.61; พารามิเตอร์ 1.41 ล้านตัว | บทความ PrimeK-Net, ICASSP 2025 |
หมายเหตุบริบท: ตัวเลขเหล่านี้เป็นตัวเลขที่แต่ละบทความรายงานเองบนชุดทดสอบสาธารณะชุดเดียวกัน ไม่ใช่ผลจากการรันซ้ำอย่างอิสระครั้งเดียวกับทุกระบบ
2. เกณฑ์เปรียบเทียบนี้วัดอะไรกันแน่
ตารางอันดับตั้งอยู่บนฐานที่แคบ ชุดทดสอบ VoiceBank-DEMAND มี 824 ประโยคจากผู้พูดที่ไม่เคยเห็นเพียง 2 คน ผสมกับเสียงรบกวน 5 ประเภทที่อัตราส่วนสัญญาณต่อเสียงรบกวน (SNR คือเสียงพูดดังกว่าเสียงรบกวนเท่าใด) ค่อนข้างอ่อน คือ 2.5 ถึง 17.5 dB ไม่มีคลิปทดสอบใดผสมต่ำกว่า 2.5 dB ดังนั้นปลายทางที่ยากที่สุดของการโทรจริงจึงไม่ถูกสุ่มตัวอย่างเลย
ความเข้าใจได้แทบไม่เหลือที่ว่างให้เพิ่ม อินพุตที่มีเสียงรบกวนได้ 0.91 บน STOI (ความเข้าใจได้เชิงวัตถุวิสัยช่วงสั้น ตัวทำนายว่าผู้ฟังจะเข้าใจเสียงพูดได้มากเพียงใด) อยู่แล้ว และ CMGAN ทำได้ 0.96 ขณะเดียวกันขนาดโมเดลลดลงมากกว่าหนึ่งระดับเลขชี้กำลัง โดย SEGAN ใช้พารามิเตอร์ 97.47 ล้านตัว ส่วน CMGAN ใช้ 1.83 ล้านตัว เกณฑ์เปรียบเทียบที่มีผู้พูดพูดทับกันทำงานต่างออกไป ดังที่สถิติการแยกเสียงพูดของเราแสดง แหล่งที่มา: บทความ CMGAN ส่วนชุดข้อมูลและผลลัพธ์
| ตัวชี้วัด | ค่า | แหล่งที่มา |
|---|---|---|
| ชุดฝึก: ขนาดและสภาวะเสียงรบกวน | 11,572 ประโยคจากผู้พูด 28 คน; เสียงรบกวน DEMAND 8 ประเภทบวกเสียงรบกวนสังเคราะห์ 2 ประเภท ที่ SNR 0, 5, 10 และ 15 dB | Cao และคณะ, บทความ CMGAN, Interspeech 2022 |
| ชุดทดสอบ: ขนาดและสภาวะเสียงรบกวน | 824 ประโยคจากผู้พูดที่ไม่เคยเห็น 2 คน; เสียงรบกวน DEMAND ที่ไม่เคยเห็น 5 ประเภท ที่ SNR 2.5, 7.5, 12.5 และ 17.5 dB | Cao และคณะ, บทความ CMGAN, Interspeech 2022 |
| STOI: อินพุตที่มีเสียงรบกวน เทียบกับเอาต์พุตของ CMGAN | 0.91 เทียบกับ 0.96 | Cao และคณะ, บทความ CMGAN, Interspeech 2022 |
| คะแนนรวมของสัญญาณเสียงพูด (CSIG) และคะแนนโดยรวม (COVL): อินพุตที่มีเสียงรบกวน เทียบกับเอาต์พุตของ CMGAN | 3.35 และ 2.63 เทียบกับ 4.63 และ 4.12 | Cao และคณะ, บทความ CMGAN, Interspeech 2022 |
| ขนาดโมเดล: SEGAN เทียบกับ DEMUCS เทียบกับ CMGAN | พารามิเตอร์ 97.47 ล้านตัว เทียบกับ 128 ล้านตัว เทียบกับ 1.83 ล้านตัว | Cao และคณะ, บทความ CMGAN, Interspeech 2022 |
หมายเหตุบริบท: CSIG และ COVL เป็นตัววัดแบบรวมที่สร้างจากตัวชี้วัดเชิงวัตถุวิสัยหลายตัวเพื่อทำนายคะแนนที่ผู้ฟังให้กับสัญญาณเสียงพูดและคุณภาพโดยรวม จึงสืบทอดจุดบอดของตัวชี้วัดที่นำมารวมกัน
3. ตัวชี้วัดคุณภาพสอดคล้องกับผู้ฟังที่เป็นมนุษย์หรือไม่?
คำตอบขึ้นอยู่กับว่าเฉลี่ยหรือไม่ สหสัมพันธ์ในที่นี้วัดด้วย PCC (สหสัมพันธ์แบบเพียร์สัน ความสอดคล้องของค่า) SRCC (สหสัมพันธ์เชิงอันดับแบบสเปียร์แมน ความสอดคล้องของลำดับ) หรือ KRCC (สหสัมพันธ์เชิงอันดับแบบเคนดอลล์ อีกวิธีทดสอบลำดับ) โดย 1.0 คือสอดคล้องสมบูรณ์ DNSMOS P.835 ซึ่งเป็นโครงข่ายประสาทเทียมที่ทำนายคะแนนของผู้ฟังโดยไม่ต้องมีต้นฉบับที่สะอาด มี PCC 0.94 กับคะแนนเสียงพูดของผู้ฟังเมื่อเฉลี่ยรายโมเดล แต่ 0.71 เมื่อดูรายคลิป
ฝั่งมนุษย์เองก็มีความแปรปรวน การให้คะแนนตามมาตรฐาน P.808 สองรอบแยกกันกับคลิปชุดเดียวกันสอดคล้องกันที่ PCC เพียงประมาณ 0.5 รายคลิป ดังนั้น MOS ของคลิปเดียว (คะแนนความคิดเห็นเฉลี่ย คือค่าเฉลี่ยของคะแนนที่ผู้ฟังให้) จึงเป็นตัวเลขที่หยาบอยู่แล้ว นี่เป็นอีกเหตุผลที่ควรเปรียบเทียบระบบ ไม่ใช่ไฟล์ และมองการพลิกอันดับครั้งเดียวว่าเป็นหลักฐานที่อ่อน ความระมัดระวังรายคลิปแบบเดียวกันนี้ใช้กับเสียงสังเคราะห์ด้วย ซึ่งครอบคลุมในสถิติ MOS ความเป็นธรรมชาติของเสียงพูดสังเคราะห์ของเรา แหล่งที่มา: บทความ DNSMOS P.835, บทความ DNSMOS, บทความ ICASSP 2022 DNS Challenge, บทความ NISQA
| ตัวชี้วัด | ค่า | แหล่งที่มา |
|---|---|---|
| คะแนนเสียงพูด DNSMOS P.835 (SIG) กับคะแนนของผู้ฟัง: PCC รายโมเดล เทียบกับรายคลิป | 0.94 เทียบกับ 0.71 | Reddy และคณะ, Microsoft, บทความ DNSMOS P.835 ปี 2021 |
| คะแนนเสียงรบกวนพื้นหลัง DNSMOS P.835 (BAK) กับคะแนนของผู้ฟัง: PCC รายโมเดล เทียบกับรายคลิป | 0.98 เทียบกับ 0.83 | Reddy และคณะ, Microsoft, บทความ DNSMOS P.835 ปี 2021 |
| ความสอดคล้องระหว่างการให้คะแนน P.808 โดยมนุษย์สองรอบแยกกันกับคลิปชุดเดียวกัน (PCC รายคลิป) | ประมาณ 0.5 | Reddy และคณะ, Microsoft, บทความ DNSMOS ปี 2020 |
| DNSMOS P.835 กับคะแนนของผู้ฟังใน ICASSP 2022 DNS Challenge Track 1 คะแนนเสียงพูด: PCC เทียบกับ SRCC | 0.93 เทียบกับ 0.78 | Microsoft, บทความ ICASSP 2022 DNS Challenge |
| สหสัมพันธ์เชิงอันดับ (SRCC) ของ DNSMOS ดั้งเดิมข้ามประเภทของชุดทดสอบแบบปิดของ DNS Challenge 2: โมเดลขั้นตอนเดียว เทียบกับโมเดลหลายขั้นตอน | 0.65 เทียบกับ 0.90 | Reddy และคณะ, Microsoft, บทความ DNSMOS ปี 2020 |
| NISQA ตัวทำนายคุณภาพด้วยโครงข่ายประสาทเทียมอีกตัว: ไฟล์เสียงพูดสำหรับฝึกและตรวจสอบชุดใหม่ และชุดข้อมูลที่ใช้ฝึกและประเมิน | มากกว่า 13,000 ไฟล์; 81 ชุดข้อมูล | Mittag และคณะ, บทความ NISQA, Interspeech 2021 |
| URGENT 2024: KRCC ระหว่างคะแนนจัดอันดับโดยรวมของการแข่งขันกับอันดับ MOS ของผู้ฟัง | 0.73 | Zhang, Saijo และคณะ, บทความบทเรียน URGENT 2024, Interspeech 2025 |
หมายเหตุบริบท: DNSMOS P.835 ถูกฝึกด้วยคลิปที่ผ่านการให้คะแนนราว 30,000 คลิป (75 ชั่วโมง) ส่วน DNSMOS ดั้งเดิมใช้ราว 120,000 คลิป สหสัมพันธ์รายโมเดลคำนวณจากคะแนน 5 ครั้งต่อคลิป และการวิเคราะห์ระดับคลิปใช้คะแนน 30 ครั้งต่อคลิป ดังนั้นตัวเลขสองค่าในแต่ละแถวจึงไม่ได้มาจากการตั้งค่าที่เหมือนกัน
4. ตัวชี้วัดความเข้าใจได้: STOI และผู้สืบทอด
STOI ถูกสร้างขึ้นเพื่อตอบคำถามที่แคบกว่า PESQ คือไม่ใช่ว่าเสียงพูดฟังสบายเพียงใด แต่มีกี่คำที่ยังรอดอยู่ จากชุดข้อมูลการฟัง 13 ชุด STOI มีสหสัมพันธ์แบบเพียร์สันเฉลี่ย 0.62 กับความเข้าใจได้ที่วัดจริง ขณะที่ eSTOI ซึ่งเป็นเวอร์ชันขยายมีค่าเฉลี่ย 0.88 ในชุดข้อมูลหนึ่งที่เป็นเสียงพูดในเสียงรบกวนที่ผันผวนรุนแรง สหสัมพันธ์ของ STOI เป็นลบ (-0.77) คือตัวชี้วัดเคลื่อนไปผิดทิศ
ข้อสรุปเชิงปฏิบัติคือ STOI ทำงานได้ดีที่สุดกับเสียงรบกวนคงที่และการบดบังในแกนเวลา-ความถี่ซึ่งเป็นสิ่งที่ถูกออกแบบมารองรับ และแย่ที่สุดกับเสียงพูดในเสียงรบกวนแบบกระชากที่ถูกมอดูเลต ซึ่งเป็นแบบที่ผู้พูดแข่งกันพูดและห้องที่แออัดสร้างขึ้น ข้อมูลล่าสุดที่มี: Edraki และคณะ, IEEE/ACM TASLP 2020 แหล่งที่มา: Edraki และคณะ บน PubMed Central, Taal และคณะ, IEEE TASLP 2011
| ตัวชี้วัด | ค่า | แหล่งที่มา |
|---|---|---|
| ความยาวช่วงวิเคราะห์ของ STOI | 386 ms | Taal และคณะ, IEEE TASLP 2011 |
| การตรวจสอบ STOI ในบทความดั้งเดิม | การทดลองการฟัง 3 ครั้ง; สหสัมพันธ์ดีกว่าโมเดลความเข้าใจได้อ้างอิง 5 โมเดล | Taal และคณะ, IEEE TASLP 2011 |
| สหสัมพันธ์แบบเพียร์สันเฉลี่ยกับความเข้าใจได้ที่วัดจริงจาก 13 ชุดข้อมูล หลังการแมปแบบลอจิสติก: STOI, eSTOI, HASPI และ wSTMI ตามลำดับ | 0.62 / 0.88 / 0.82 / 0.93 | Edraki และคณะ, IEEE/ACM TASLP 2020 |
| สหสัมพันธ์เชิงอันดับแบบสเปียร์แมนเฉลี่ยจาก 13 ชุดข้อมูลเดียวกัน: STOI เทียบกับ eSTOI | 0.59 เทียบกับ 0.82 | Edraki และคณะ, IEEE/ACM TASLP 2020 |
| สหสัมพันธ์แบบเพียร์สันของ STOI บนชุดข้อมูลเสียงพูดในเสียงรบกวนที่ถูกมอดูเลต (ModN-Fogerty) | -0.77 | Edraki และคณะ, IEEE/ACM TASLP 2020 |
| สหสัมพันธ์แบบเพียร์สันของ STOI บนชุดข้อมูลการปรับปรุงการฟังที่ฝั่งผู้ฟังใกล้ (NELE-Taal) | 0.90 | Edraki และคณะ, IEEE/ACM TASLP 2020 |
| จำนวนการอ้างอิงบทความ STOI ดั้งเดิม | 2,265 | ระเบียน OpenAlex เข้าถึงเมื่อ 31 ตุลาคม 2026 |
หมายเหตุเรื่องค่าผิดปกติ: wSTMI ซึ่งทำได้ดีที่สุด ถูกฝึกและตรวจสอบบนสองในสิบสามชุดข้อมูล ค่าเฉลี่ยของมันจึงไม่ได้แยกออกจากข้อมูลฝึกโดยสมบูรณ์ HASPI เป็นตัวชี้วัดที่ออกแบบโดยคำนึงถึงผู้ฟังที่มีภาวะการได้ยินบกพร่อง และ eSTOI ละทิ้งสมมติฐานของ STOI ที่ว่าแถบความถี่เป็นอิสระต่อกัน
5. กฎของ Goodhart: เมื่อ PESQ เลิกวัดคุณภาพ
กฎของ Goodhart กล่าวว่าตัวชี้วัดที่กลายเป็นเป้าหมายจะเลิกเป็นตัวชี้วัดที่ดี การปรับปรุงเสียงพูดมีข้อมูลพิสูจน์เรื่องนี้แล้ว PESQetarian โมเดลที่ถูกฝึกให้ทำ PESQ สูงสุด ทำคะแนนได้ 3.82 บน VoiceBank-DEMAND ขณะที่ SI-SDR ของมัน (อัตราส่วนสัญญาณต่อการบิดเบือนที่ไม่ขึ้นกับสเกล คือรูปคลื่นใกล้เคียงต้นฉบับที่สะอาดเพียงใด) ตกลงเหลือ -19.8 dB ต่ำกว่า 8.4 dB ของอินพุตที่มีเสียงรบกวนซึ่งไม่ได้ประมวลผลอย่างมาก
ผลนี้ไม่จำกัดอยู่ที่บทความเดียว โมเดลดิฟฟิวชันขั้นตอนเดียวปี 2025 ที่ฝึกด้วยฟังก์ชันสูญเสียแบบ PESQ ทำ PESQ ได้ 3.99 แต่ SI-SDR เพียง 0.40 dB ขณะที่เวอร์ชันสมดุลของผู้เขียนได้ PESQ 3.49 และ SI-SDR 17.8 dB แม้แต่เทคนิคที่ถูกต้องตามกติกาก็ขยับตัวเลขได้ การยืดคอนทราสต์เชิงการรับรู้ ซึ่งเพิ่มคอนทราสต์ของลักษณะเป้าหมายตามความสำคัญเชิงการรับรู้ เพิ่ม PESQ ให้ SEMamba 0.14 (3.55 เป็น 3.69 ผลลบเลขของเราเอง) บทเรียนสำหรับผู้ซื้อและผู้ตรวจสอบนั้นง่าย: สถิติ PESQ ที่ไม่มีการทดสอบการฟังมาเทียบเป็นสัญญาณเตือน ไม่ใช่พาดหัวข่าว แหล่งที่มา: บทความ PESQetarian, บทความ ROSE-CD
| ตัวชี้วัด | ค่า | แหล่งที่มา |
|---|---|---|
| PESQ: อินพุตที่มีเสียงรบกวน โมเดลธรรมดาที่ฝึกด้วย MSE และ PESQetarian ตามลำดับ | 1.97 / 2.78 / 3.82 | de Oliveira และคณะ, บทความ PESQetarian, Interspeech 2024 |
| POLQA (ตัวสืบทอด PESQ ของ ITU-T): อินพุตที่มีเสียงรบกวน โมเดล MSE และ PESQetarian ตามลำดับ | 3.11 / 3.87 / 1.46 | de Oliveira และคณะ, บทความ PESQetarian, Interspeech 2024 |
| คะแนนโดยรวม DNSMOS: อินพุตที่มีเสียงรบกวน โมเดล MSE และ PESQetarian ตามลำดับ | 2.69 / 3.13 / 2.06 | de Oliveira และคณะ, บทความ PESQetarian, Interspeech 2024 |
| PESQ หลังเพิ่มเสียงคลิกคงที่หนึ่งเสียงลงในทุกไฟล์ทดสอบที่มีเสียงรบกวน โดยไม่ได้ลดเสียงรบกวน | 3.46 | de Oliveira และคณะ, บทความ PESQetarian, Interspeech 2024 |
| การหาค่าเหมาะที่สุดโดยตรงกับหกไฟล์: PESQ ก่อนและหลัง และ POLQA ก่อนและหลัง | 1.91 เป็น 3.76; 3.46 เป็น 2.73 | de Oliveira และคณะ, บทความ PESQetarian, Interspeech 2024 |
| ROSE-CD ที่ฝึกด้วยฟังก์ชันสูญเสียแบบ PESQ เทียบกับ ROSE-CD ตัวสุดท้าย: PESQ, SI-SDR และ WV-MOS (ตัวทำนายคะแนนผู้ฟังด้วยโครงข่ายประสาทเทียม) | 3.99, 0.40 dB, 2.31 เทียบกับ 3.49, 17.8 dB, 4.41 | Xu และคณะ, บทความ ROSE-CD, WASPAA 2025 |
| PESQ ที่เพิ่มขึ้นจากการยืดคอนทราสต์เชิงการรับรู้กับ SEMamba | +0.14 (3.55 เป็น 3.69) | Chao และคณะ, บทความ SEMamba, IEEE SLT 2024 |
หมายเหตุบริบท: การทดสอบการฟังของ PESQetarian ใช้ผู้เชี่ยวชาญด้านเสียง 10 คนให้คะแนนตัวอย่างทดสอบสุ่ม 10 ตัวอย่างในสเกล 0 ถึง 100 และบทความรายงานผลรายระบบเป็นรูปภาพเท่านั้น PESQetarian เป็นการทดสอบภาวะกดดันที่จงใจทำขึ้น ไม่ใช่ผลิตภัณฑ์
6. จากเกณฑ์เปรียบเทียบสู่การบันทึกเสียงจริง: ช่องว่างการวางนัยทั่วไป
โมเดลที่ชนะบนผู้พูดทดสอบ 2 คนยังไม่ได้พิสูจน์ว่าจัดการกับผู้พูดของคุณได้ การศึกษาปี 2023 ฝึก 40 โมเดลต่อสถาปัตยกรรมข้ามฐานข้อมูลเสียงพูดห้าชุด เสียงรบกวนห้าชุด และเสียงสะท้อนห้องห้าชุด จากนั้นวัดแต่ละโมเดลเทียบกับโมเดลอ้างอิงที่ฝึกบนเงื่อนไขทดสอบนั้นเอง เมื่อเสียงพูดทดสอบมาจากคลังข้อมูลที่ไม่เคยเห็น Conv-TasNet มีช่องว่างการวางนัยทั่วไปของ ESTOI ที่ -68% เทียบกับโมเดลอ้างอิงนั้น และความไม่ตรงกันของเสียงพูดสร้างความเสียหายมากกว่าความไม่ตรงกันของเสียงรบกวนหรือห้องสำหรับทุกโมเดล
ข้อค้นพบที่น่าชื่นใจคือการวางนัยทั่วไปด้านเสียงรบกวนแก้ได้ด้วยข้อมูล การฝึกด้วยฐานข้อมูลเสียงรบกวนสี่ชุดรักษาช่องว่างการปรับปรุง SNR ไว้ที่ -5% หรือดีกว่า การทดสอบนอกโดเมนในบทความปี 2025 แสดงว่าโมเดลเชิงสร้างรุ่นใหม่ก็เสียเปรียบเช่นกัน แหล่งที่มา: Gonzalez และคณะ บทความช่องว่างการวางนัยทั่วไป, บทความ ROSE-CD, บทความ ICASSP 2021 DNS Challenge
| ตัวชี้วัด | ค่า | แหล่งที่มา |
|---|---|---|
| ช่องว่างการวางนัยทั่วไปของ ESTOI เมื่อคลังเสียงพูดไม่ตรงกัน Conv-TasNet ที่ฝึกบนฐานข้อมูลเสียงพูด 1 ชุด | -68% | Gonzalez และคณะ, IEEE/ACM TASLP 2023 |
| ช่องว่างการวางนัยทั่วไปของ PESQ เมื่อคลังเสียงพูดไม่ตรงกัน: MANNER ที่ฝึกบนฐานข้อมูล 1 ชุด เทียบกับ Conv-TasNet ที่ฝึกบน 4 ชุด | -50% เทียบกับ -35% | Gonzalez และคณะ, IEEE/ACM TASLP 2023 |
| ช่องว่างการปรับปรุง SNR เมื่อเสียงรบกวนไม่ตรงกัน โดยมีฐานข้อมูลเสียงรบกวนสำหรับฝึก 4 ชุด (Conv-TasNet, DCCRN, MANNER) | -5% หรือดีกว่า | Gonzalez และคณะ, IEEE/ACM TASLP 2023 |
| เสียงสะท้อนห้องไม่ตรงกันโดยมีฐานข้อมูลฝึก 1 ชุด: ช่องว่าง PESQ ของโครงข่ายฟีดฟอร์เวิร์ด เทียบกับช่องว่าง ESTOI ของ Conv-TasNet | -10% เทียบกับ -17% | Gonzalez และคณะ, IEEE/ACM TASLP 2023 |
| PESQ ของ ROSE-CD บน VoiceBank-DEMAND เทียบกับบน TIMIT+NOISE92 นอกโดเมน | 3.49 เทียบกับ 2.62 | Xu และคณะ, บทความ ROSE-CD, WASPAA 2025 |
| PESQ ของ SGMSE+ (โมเดลดิฟฟิวชัน) บน VoiceBank-DEMAND เทียบกับบน TIMIT+NOISE92 นอกโดเมน | 2.93 เทียบกับ 2.08 | Xu และคณะ, บทความ ROSE-CD, WASPAA 2025 |
| การทดสอบแบบปิดของ ICASSP 2021 DNS Challenge Track 1: การบันทึกเสียงจริง เทียบกับคลิปสังเคราะห์ | จริง 650 เทียบกับสังเคราะห์ 50 (700 คลิป) | Microsoft, บทความ ICASSP 2021 DNS Challenge |
หมายเหตุบริบท: ช่องว่างการวางนัยทั่วไปวัดเทียบกับโมเดลอ้างอิงที่ฝึกบนเงื่อนไขทดสอบ จึงเป็นตัวเลขสัมพัทธ์ ไม่ใช่การลดลงสัมบูรณ์ของคะแนน ESTOI หรือ PESQ ในทางกลับกัน การลดลงดิบของ ROSE-CD และ SGMSE+ ปนกันระหว่างข้อมูลที่ไม่เคยเห็นกับความยากของงาน ซึ่งเป็นสองผลที่วิธีโมเดลอ้างอิงออกแบบมาเพื่อแยกออกจากกัน ผู้จัด DNS สร้างการทดสอบแบบปิดจากการบันทึกเสียงจริงเป็นส่วนใหญ่และตัดสินด้วยผู้ฟัง โดยระบุว่าตัววัดเชิงวัตถุวิสัย เช่น PESQ, SDR และ POLQA ได้รับการพิสูจน์แล้วว่าสัมพันธ์กับคุณภาพเชิงอัตวิสัยได้ไม่ดีเมื่อมีเสียงรบกวนพื้นหลัง
7. การแข่งขันและมาตรฐานกำลังเปลี่ยนวิธีประเมินอย่างไร
คำตอบในปัจจุบันต่อการเล่นแร่แปรธาตุกับตัวชี้วัดคือการใช้สกอร์การ์ดที่กว้างขึ้น ใน URGENT 2024 ทีมที่ได้อันดับหนึ่งด้าน DNSMOS (3.26) จบอันดับที่ 18 ด้าน MOS ของผู้ฟัง (3.05) โดยมีความแม่นยำระดับคำเพียง 40.73% ขณะที่ทีมอันดับต้นรวม MOS 3.52 เข้ากับความแม่นยำระดับคำ 73.57% ความแม่นยำระดับคำในที่นี้หมายถึงระบบรู้จำเสียงพูดยังถอดคำได้ถูกต้องกี่คำหลังการปรับปรุง ซึ่งเป็นการตรวจสอบโดยตรงว่าโมเดลไม่ได้แต่งหรือลบเสียงพูด สถิติภาพหลอนของการรู้จำเสียงพูดของเราครอบคลุมความล้มเหลวนี้จากฝั่งตัวรู้จำ
ตัวปรับปรุงแบบไฮบริดและเชิงสร้างทำให้ปัญหาชัดขึ้น การแข่งขันฟื้นฟูเสียงพูดปี 2025 วัดสหสัมพันธ์เชิงอันดับได้ -0.8 ระหว่างตัวชี้วัดที่ไม่ใช้ข้อมูลอ้างอิงซึ่งใช้กันแพร่หลายกับ MOS ของผู้ฟังสำหรับระบบไฮบริด หมายความว่าอันดับตามตัวชี้วัดส่วนใหญ่สวนทางกับอันดับของมนุษย์ หน่วยงานมาตรฐานก็เปลี่ยนไปเช่นกัน: PESQ ไม่ใช่ข้อเสนอแนะของ ITU-T อีกต่อไป แหล่งที่มา: ย้อนมองการแข่งขัน CCF AATC 2025, ภาพรวม URGENT 2025, ภาพรวม URGENT ของ ICASSP 2026, หน้า ITU-T P.862, หน้า ITU-T P.863
| ตัวชี้วัด | ค่า | แหล่งที่มา |
|---|---|---|
| การทดสอบแบบปิดและชุดย่อยการฟังของ URGENT 2024 | การบันทึกจำลอง 500 รายการบวกการบันทึกจริง 500 รายการ; ชุดย่อย MOS 300 ตัวอย่าง ผู้ฟัง 8 คนต่อตัวอย่าง; 21 ทีม | Zhang, Saijo และคณะ, บทความบทเรียน URGENT 2024, Interspeech 2025 |
| ข้อมูลฝึกของ URGENT 2024 ที่แบนด์วิดท์ที่ประกาศกับแบนด์วิดท์จริงไม่ตรงกัน | ราว 25% ของ LibriTTS; ราว 100% ของ DNS5 LibriVox และ CommonVoice 11.0 | Zhang, Saijo และคณะ, บทความบทเรียน URGENT 2024, Interspeech 2025 |
| CCF AATC 2025: สหสัมพันธ์เชิงอันดับระหว่างตัวชี้วัดที่ไม่ใช้ข้อมูลอ้างอิงกับ MOS ของผู้ฟังสำหรับระบบไฮบริด | -0.8 (วิเคราะห์ 25 ระบบในการแข่งขัน) | Zhang และคณะ, ย้อนมองการแข่งขัน CCF AATC 2025, arXiv 2025 |
| ชุดประเมินของ URGENT 2025 | 14 ตัวชี้วัดใน 5 หมวด; การบิดเบือน 7 ประเภท; ภาษาสำหรับฝึก 5 ภาษา | Saijo และคณะ, ภาพรวม URGENT 2025, Interspeech 2025 |
| ข้อมูลฝึก ICASSP 2026 URGENT Track 1 | ชุดย่อยที่คัดสรร 700 ชั่วโมงจากชุด URGENT 2025 ขนาด 2,500 ชั่วโมง | ภาพรวม ICASSP 2026 URGENT Challenge |
| สถานะของ PESQ ที่ ITU-T | P.862 และส่วน P.862.1 ถึง P.862.3 ถูกยกเลิกเมื่อวันที่ 5 มกราคม 2024 | หน้าข้อเสนอแนะ ITU-T P.862 |
| สถานะของ POLQA ที่ ITU-T | P.863 (มีนาคม 2018) มีผลบังคับใช้ พร้อมการแก้ไขครั้งที่ 1 (เมษายน 2020) | หน้าข้อเสนอแนะ ITU-T P.863 |
หมายเหตุบริบท: URGENT 2024 ยังชี้ว่ามีป้ายกำกับเสียงพูดราว 2,000 รายการในคลังข้อมูลฝึก ‘คุณภาพสูง’ ของตนที่มีค่า WADA-SNR ติดลบ ซึ่งเป็นการประมาณ SNR แบบไม่มีข้อมูลอ้างอิง ความคลาดเคลื่อนของป้ายกำกับจึงอยู่ในต้นฉบับที่สะอาดซึ่งตัวชี้วัดแบบต้องเทียบต้นฉบับอย่าง PESQ ใช้เปรียบเทียบ
สรุป: เกณฑ์เปรียบเทียบ PESQ และ STOI ของการปรับปรุงเสียงพูดในรูปแบบตัวเลข
| ตัวชี้วัด | ค่า | แหล่งที่มา |
|---|---|---|
| PESQ บน VoiceBank-DEMAND: SEGAN (2017) เทียบกับ CMGAN (2022) | 2.16 เทียบกับ 3.41 | Cao และคณะ, บทความ CMGAN, Interspeech 2022 |
| PESQ บน VoiceBank-DEMAND: SEMamba ไม่ใช้เทียบกับใช้การยืดคอนทราสต์เชิงการรับรู้ | 3.55 เทียบกับ 3.69 | Chao และคณะ, IEEE SLT 2024 |
| PESQ บน VoiceBank-DEMAND และขนาดของ PrimeK-Net | 3.61; พารามิเตอร์ 1.41 ล้านตัว | บทความ PrimeK-Net, ICASSP 2025 |
| STOI: อินพุตที่มีเสียงรบกวน เทียบกับเอาต์พุตของ CMGAN | 0.91 เทียบกับ 0.96 | Cao และคณะ, บทความ CMGAN, Interspeech 2022 |
| PESQetarian: PESQ, SI-SDR และ POLQA (อินพุตที่มีเสียงรบกวนในวงเล็บ) | 3.82, -19.8 dB, 1.46 (1.97, 8.4 dB, 3.11) | de Oliveira และคณะ, Interspeech 2024 |
| ROSE-CD รุ่นที่ใช้ฟังก์ชันสูญเสียแบบ PESQ: PESQ เทียบกับ SI-SDR | 3.99 เทียบกับ 0.40 dB | Xu และคณะ, WASPAA 2025 |
| สหสัมพันธ์ของ STOI กับความเข้าใจได้ที่วัดจริง: ค่าเฉลี่ยจาก 13 ชุดข้อมูล (ค่าเฉลี่ยของ eSTOI ในวงเล็บ) เทียบกับชุดข้อมูลเสียงรบกวนที่ถูกมอดูเลต | 0.62 (0.88) เทียบกับ -0.77 | Edraki และคณะ, IEEE/ACM TASLP 2020 |
| PCC ของคะแนนเสียงพูด DNSMOS P.835: รายโมเดล เทียบกับรายคลิป | 0.94 เทียบกับ 0.71 | Reddy และคณะ, Microsoft, บทความ DNSMOS P.835 ปี 2021 |
| ช่องว่างการวางนัยทั่วไปของ ESTOI เมื่อเป็นคลังเสียงพูดที่ไม่เคยเห็น (Conv-TasNet) | -68% | Gonzalez และคณะ, IEEE/ACM TASLP 2023 |
| ช่องว่างการวางนัยทั่วไปของ PESQ เมื่อเป็นคลังเสียงพูดที่ไม่เคยเห็น (MANNER, ฐานข้อมูลฝึก 1 ชุด) | -50% | Gonzalez และคณะ, IEEE/ACM TASLP 2023 |
| PESQ ของ ROSE-CD ในโดเมน เทียบกับนอกโดเมน | 3.49 เทียบกับ 2.62 | Xu และคณะ, WASPAA 2025 |
| URGENT 2024: อันดับ DNSMOS เทียบกับอันดับ MOS ของผู้ฟังของทีมเดียวกัน | อันดับที่ 1 เทียบกับอันดับที่ 18 | Zhang, Saijo และคณะ, Interspeech 2025 |
| PESQ หลังเพิ่มเสียงคลิกคงที่หนึ่งเสียงลงในทุกไฟล์ทดสอบที่มีเสียงรบกวน โดยไม่ได้ลดเสียงรบกวน | 3.46 | de Oliveira และคณะ, Interspeech 2024 |
| ตัวชี้วัดที่ไม่ใช้ข้อมูลอ้างอิง เทียบกับ MOS ของผู้ฟังสำหรับระบบไฮบริด (สหสัมพันธ์เชิงอันดับ) | -0.8 | Zhang และคณะ, ย้อนมองการแข่งขัน CCF AATC 2025 |
| PESQ ที่ ITU-T ยกเลิก | 5 มกราคม 2024 | หน้าข้อเสนอแนะ ITU-T P.862 |
ระเบียบวิธีและแหล่งที่มา
- ITU-T, หน้าข้อเสนอแนะ P.862 (PESQ) อัปเดตสถานะเมื่อวันที่ 9 มกราคม 2024 และหน้าข้อเสนอแนะ P.863 (POLQA) เข้าถึงเมื่อเดือนตุลาคม 2026
- Taal และคณะ, An Algorithm for Intelligibility Prediction of Time-Frequency Weighted Noisy Speech, IEEE TASLP 2011 (อ่านบทคัดย่อผ่านระเบียน OpenAlex; จำนวนการอ้างอิงจาก OpenAlex)
- Edraki, Chan, Jensen และ Fogerty, Speech Intelligibility Prediction using Spectro-Temporal Modulation Analysis, IEEE/ACM TASLP 2020
- Cao, Abdulatif และ Yang, CMGAN: Conformer-based Metric GAN for Speech Enhancement, Interspeech 2022 (แหล่งที่มาของตัวเลข SEGAN, DEMUCS และชุดข้อมูล)
- MetricGAN+, Interspeech 2021; MP-SENet, Interspeech 2023; Chao และคณะ, SEMamba, IEEE SLT 2024; PrimeK-Net, ICASSP 2025
- de Oliveira, Welker, Richter และ Gerkmann, The PESQetarian: On the Relevance of Goodhart’s Law for Speech Enhancement, Interspeech 2024
- Xu, Yan และ Kleijn, Robust One-step Speech Enhancement via Consistency Distillation (ROSE-CD), WASPAA 2025
- Gonzalez, Alstrøm และ May, Assessing the Generalization Gap of Learning-Based Speech Enhancement Systems, IEEE/ACM TASLP 2023
- บทความวิจัยของ Microsoft: Reddy, Gopal และ Cutler, DNSMOS (2020) และ DNSMOS P.835 (2021); บทความ ICASSP 2021 DNS Challenge และ ICASSP 2022 DNS Challenge
- Mittag, Naderi, Chehadi และ Möller, NISQA, Interspeech 2021
- Zhang, Saijo และคณะ, Lessons Learned from the URGENT 2024 Speech Enhancement Challenge, Interspeech 2025; Saijo และคณะ, Interspeech 2025 URGENT Challenge; ภาพรวม ICASSP 2026 URGENT Challenge (2026)
- Zhang, Zhu, Xu, Bu, Ling และ Wu, The CCF AATC 2025 Speech Restoration Challenge: A Retrospective, arXiv 2025
- ข้อสังเกตเกี่ยวกับข้อมูล: คะแนน VoiceBank-DEMAND ในที่นี้เป็นตัวเลขที่แต่ละบทความรายงานเอง และตัวเลขของระบบเดียวกันอาจต่างกันระหว่างบทความ (MetricGAN+ คือ 3.15 ในบทความของตัวเอง และ 3.13 ในตารางของ ROSE-CD) บทความ ROSE-CD ขัดแย้งในตัวเอง: ตารางผลลัพธ์ให้โมเดลตัวสุดท้ายมี PESQ 3.49 ขณะที่บทสรุประบุ 3.99 ซึ่งตรงกับรุ่นที่ใช้เพียงฟังก์ชันสูญเสียแบบ PESQ เรารายงาน 3.49 เป็นของโมเดลตัวสุดท้าย จำนวนการอ้างอิงบทความ STOI ต่างกันตามแหล่ง (2,265 ใน OpenAlex, 2,499 ใน Semantic Scholar อ่านทั้งสองแห่งเมื่อ 31 ตุลาคม 2026) สหสัมพันธ์ของตัวชี้วัดความเข้าใจได้มาจากการศึกษาปี 2020 และเป็นการเปรียบเทียบข้ามหลายชุดข้อมูลที่ใหม่ที่สุดที่เราพบ ITU-T เผยแพร่ฉบับใหม่ของ P.835 ซึ่งเป็นวิธีทดสอบการฟังเบื้องหลัง DNSMOS P.835 ในเดือนกรกฎาคม 2026 และบทความ URGENT ของ ICASSP 2026 ยังไม่พิมพ์สหสัมพันธ์ของตัวทำนายคุณภาพไว้ในเนื้อหา
อัปเดตล่าสุด: 31 ตุลาคม 2026 เราอัปเดตสรุปนี้ทุกไตรมาส และคาดว่าการอัปเดตครั้งถัดไปจะเกิดขึ้นเมื่อรายงานการประชุม ICASSP 2026 URGENT Challenge เผยแพร่สหสัมพันธ์ของตัวทำนายคุณภาพใน Track 2