Sebuah model peningkatan ucapan yang sengaja dibuat untuk mengeksploitasi PESQ meraih 3,82 pada set uji VoiceBank-DEMAND, di atas 3,69 yang dilaporkan sistem sah terbaik dalam rangkuman ini, sementara skor POLQA-nya anjlok ke 1,46 dibandingkan 3,11 untuk masukan bising yang tidak diubah (de Oliveira dkk., makalah PESQetarian, Interspeech 2024). Perlombaan yang sah juga nyata: PESQ pada tolok ukur yang sama naik dari 2,16 untuk SEGAN pada 2017 menjadi 3,61 untuk PrimeK-Net pada 2025. Namun STOI, metrik keterpahaman yang sering dicetak berdampingan dengan PESQ, rata-rata hanya berkorelasi 0,62 dengan keterpahaman terukur pada 13 set data uji dengar (Edraki dkk., IEEE/ACM TASLP 2020). Kami menghimpun data dari ITU-T, makalah yang ditinjau sejawat di Interspeech, ICASSP, IEEE SLT, dan WASPAA, IEEE/ACM Transactions on Audio, Speech, and Language Processing, Microsoft Deep Noise Suppression (DNS) Challenge, serta laporan tantangan URGENT dan CCF AATC. Untuk sisi latensi dan produk dari model-model yang sama, lihat statistik latensi peredam bising neural kami; halaman ini membahas skornya sendiri dan seberapa jauh skor itu bisa dipercaya.
TL;DR
- PESQ pada VoiceBank-DEMAND naik dari 2,16 (SEGAN, 2017) menjadi 3,41 (CMGAN, 2022) (Cao dkk., makalah CMGAN, Interspeech 2022).
- SEMamba mencapai PESQ 3,55, dan 3,69 dengan penambahan peregangan kontras perseptual (Chao dkk., IEEE SLT 2024).
- PrimeK-Net melaporkan PESQ 3,61 dengan hanya 1,41 juta parameter (makalah PrimeK-Net, ICASSP 2025).
- PESQetarian meraih PESQ 3,82 dengan SI-SDR -19,8 dB, dibandingkan 8,4 dB untuk masukan bising (de Oliveira dkk., Interspeech 2024).
- STOI rata-rata memiliki korelasi Pearson 0,62 dengan keterpahaman terukur pada 13 set data, eSTOI 0,88 (Edraki dkk., IEEE/ACM TASLP 2020).
- Korelasi kualitas ucapan DNSMOS P.835 turun dari 0,94 per model menjadi 0,71 per klip (Reddy dkk., Microsoft, makalah DNSMOS P.835 2021).
- Kesenjangan generalisasi ESTOI Conv-TasNet pada korpus ucapan yang belum pernah dilihat adalah -68% dibandingkan model rujukan yang cocok (Gonzalez dkk., IEEE/ACM TASLP 2023).
- PESQ ROSE-CD turun dari 3,49 di dalam domain menjadi 2,62 di luar domain (Xu dkk., WASPAA 2025).
- Metrik tanpa referensi menunjukkan korelasi peringkat -0,8 dengan MOS pendengar untuk sistem hibrida (Zhang dkk., retrospektif CCF AATC 2025).
- ITU-T menghapus PESQ (P.862) pada 5 Januari 2024 (halaman rekomendasi ITU-T P.862).
1. Perlombaan PESQ di VoiceBank-DEMAND, 2017 hingga 2025
PESQ (evaluasi perseptual kualitas ucapan) membandingkan rekaman yang telah ditingkatkan dengan aslinya yang bersih dan memprediksi skor yang akan diberikan seorang pendengar. VoiceBank-DEMAND, sebuah set uji bahasa Inggris kecil berisi kalimat bacaan yang dicampur dengan kebisingan sehari-hari yang direkam, menjadi tempat baku untuk melaporkannya. PESQ naik dari 2,16 untuk SEGAN pada 2017 menjadi 3,69 untuk SEMamba dengan peregangan kontras perseptual pada 2024, dan laju kenaikannya sendiri sudah bercerita banyak.
Dari SEGAN (2,16) ke MetricGAN+ (3,15), bidang ini menambah 0,99 poin PESQ dalam empat tahun. Dari CMGAN (3,41, 2022) ke PrimeK-Net (3,61, 2025), tambahannya 0,20 dalam tiga tahun (hasil pengurangan kami dari angka yang dipublikasikan). Tolok ukur ini mendekati jenuh, sehingga sisa peningkatannya cukup kecil untuk membuat teknik tambahan dan pelatihan yang sadar metrik bisa menentukan papan peringkat (lihat bagian 5). Sumber: makalah CMGAN, makalah SEMamba, makalah PrimeK-Net.
| Metrik | Nilai | Sumber |
|---|---|---|
| PESQ: set uji bising yang belum diproses dibandingkan SEGAN, peningkat berbasis GAN (2017) | 1,97 dibandingkan 2,16 | Cao dkk., makalah CMGAN, Interspeech 2022 |
| PESQ MetricGAN+ (2021) dan peningkatannya dibandingkan MetricGAN | 3,15; sekitar +0,3 | Makalah MetricGAN+, Interspeech 2021 |
| PESQ CMGAN (2022) | 3,41 | Cao dkk., makalah CMGAN, Interspeech 2022 |
| PESQ MP-SENet, peredaman bising paralel pada magnitudo dan fase (2023) | 3,50 | Makalah MP-SENet, Interspeech 2023 |
| PESQ SEMamba, non-kausal: tanpa peregangan kontras perseptual dibandingkan dengan peregangan tersebut | 3,55 dibandingkan 3,69 | Chao dkk., makalah SEMamba, IEEE SLT 2024 |
| PESQ PrimeK-Net (2025) dan ukuran modelnya | 3,61; 1,41 juta parameter | Makalah PrimeK-Net, ICASSP 2025 |
Catatan konteks: angka-angka ini adalah angka yang dilaporkan masing-masing makalah pada set uji publik yang sama, bukan hasil dari satu kali pengujian ulang independen atas setiap sistem.
2. Apa yang Sebenarnya Diukur Tolok Ukur Ini
Papan peringkat ini bertumpu pada landasan yang sempit. Set uji VoiceBank-DEMAND berisi 824 ujaran dari hanya 2 pembicara yang belum pernah dilihat, dicampur dengan 5 jenis kebisingan pada rasio sinyal terhadap bising (SNR, seberapa lebih keras ucapan dibandingkan kebisingan) yang cukup ringan, yaitu 2,5 hingga 17,5 dB. Tidak ada klip uji yang dicampur di bawah 2,5 dB, sehingga ujung terberat dari panggilan sungguhan sama sekali tidak diambil sampelnya.
Keterpahaman nyaris tidak menyisakan ruang. Masukan bising sudah mendapat skor 0,91 pada STOI (keterpahaman objektif jangka pendek, prediktor seberapa banyak ucapan yang akan dipahami pendengar), dan CMGAN mencapai 0,96. Sementara itu, ukuran model menyusut lebih dari satu orde besaran: SEGAN memakai 97,47 juta parameter, CMGAN 1,83 juta. Tolok ukur dengan pembicara yang saling tumpang tindih bekerja berbeda, seperti ditunjukkan statistik pemisahan ucapan kami. Sumber: makalah CMGAN, bagian set data dan hasil.
| Metrik | Nilai | Sumber |
|---|---|---|
| Set pelatihan: ukuran dan kondisi kebisingan | 11.572 ujaran dari 28 pembicara; 8 jenis kebisingan DEMAND ditambah 2 jenis kebisingan buatan, pada SNR 0, 5, 10, dan 15 dB | Cao dkk., makalah CMGAN, Interspeech 2022 |
| Set uji: ukuran dan kondisi kebisingan | 824 ujaran dari 2 pembicara yang belum pernah dilihat; 5 jenis kebisingan DEMAND yang belum pernah dilihat, pada SNR 2,5, 7,5, 12,5, dan 17,5 dB | Cao dkk., makalah CMGAN, Interspeech 2022 |
| STOI: masukan bising dibandingkan keluaran CMGAN | 0,91 dibandingkan 0,96 | Cao dkk., makalah CMGAN, Interspeech 2022 |
| Skor komposit sinyal ucapan (CSIG) dan skor keseluruhan (COVL): masukan bising dibandingkan keluaran CMGAN | 3,35 dan 2,63 dibandingkan 4,63 dan 4,12 | Cao dkk., makalah CMGAN, Interspeech 2022 |
| Ukuran model: SEGAN dibandingkan DEMUCS dibandingkan CMGAN | 97,47 juta dibandingkan 128 juta dibandingkan 1,83 juta parameter | Cao dkk., makalah CMGAN, Interspeech 2022 |
Catatan konteks: CSIG dan COVL adalah ukuran komposit yang disusun dari beberapa metrik objektif untuk memprediksi penilaian pendengar terhadap sinyal ucapan dan kualitas keseluruhan. Keduanya mewarisi titik buta dari metrik yang digabungkannya.
3. Apakah Metrik Kualitas Sejalan dengan Pendengar Manusia?
Jawabannya bergantung pada apakah nilainya dirata-ratakan. Korelasi di sini diukur dengan PCC (korelasi Pearson, kesesuaian nilai), SRCC (korelasi peringkat Spearman, kesesuaian urutan), atau KRCC (korelasi peringkat Kendall, uji urutan lainnya); 1,0 berarti kesesuaian sempurna. DNSMOS P.835, jaringan saraf yang memprediksi penilaian pendengar tanpa rujukan bersih, mencapai PCC 0,94 dengan penilaian ucapan pendengar bila dirata-ratakan per model, tetapi 0,71 pada klip individual.
Sisi manusianya pun bising. Dua putaran penilaian P.808 terpisah atas klip yang sama hanya sepakat pada PCC sekitar 0,5 per klip, sehingga MOS satu klip (skor opini rata-rata, rata-rata penilaian pendengar) sendiri merupakan angka yang kasar. Ini satu alasan lagi untuk membandingkan sistem, bukan berkas, dan memperlakukan satu pembalikan papan peringkat sebagai bukti yang lemah. Kehati-hatian per klip yang sama berlaku untuk suara sintetis, yang dibahas dalam statistik MOS kealamian ucapan sintetis kami. Sumber: makalah DNSMOS P.835, makalah DNSMOS, makalah ICASSP 2022 DNS Challenge, makalah NISQA.
| Metrik | Nilai | Sumber |
|---|---|---|
| Skor ucapan DNSMOS P.835 (SIG) dan penilaian pendengar: PCC per model dibandingkan per klip | 0,94 dibandingkan 0,71 | Reddy dkk., Microsoft, makalah DNSMOS P.835 2021 |
| Skor kebisingan latar DNSMOS P.835 (BAK) dan penilaian pendengar: PCC per model dibandingkan per klip | 0,98 dibandingkan 0,83 | Reddy dkk., Microsoft, makalah DNSMOS P.835 2021 |
| Kesesuaian antara dua putaran penilaian manusia P.808 terpisah atas klip yang sama (PCC per klip) | sekitar 0,5 | Reddy dkk., Microsoft, makalah DNSMOS 2020 |
| DNSMOS P.835 dan penilaian pendengar di ICASSP 2022 DNS Challenge Track 1, skor ucapan: PCC dibandingkan SRCC | 0,93 dibandingkan 0,78 | Microsoft, makalah ICASSP 2022 DNS Challenge |
| Korelasi peringkat (SRCC) DNSMOS asli antar kategori pada set buta DNS Challenge 2: model satu tahap dibandingkan model multitahap | 0,65 dibandingkan 0,90 | Reddy dkk., Microsoft, makalah DNSMOS 2020 |
| NISQA, prediktor kualitas neural lainnya: berkas ucapan pelatihan dan validasi baru, serta set data yang dipakai untuk pelatihan dan evaluasi | lebih dari 13.000 berkas; 81 set data | Mittag dkk., makalah NISQA, Interspeech 2021 |
| URGENT 2024: KRCC antara skor peringkat keseluruhan tantangan dan peringkat MOS pendengar | 0,73 | Zhang, Saijo dkk., makalah pelajaran URGENT 2024, Interspeech 2025 |
Catatan konteks: DNSMOS P.835 dilatih pada sekitar 30.000 klip yang dinilai (75 jam), sedangkan DNSMOS asli pada sekitar 120.000 klip. Korelasi per model dihitung dengan 5 penilaian per klip, dan analisis tingkat klip memakai 30 penilaian per klip, sehingga dua angka pada setiap baris tidak berasal dari pengaturan yang identik.
4. Metrik Keterpahaman: STOI dan Penerusnya
STOI dibuat untuk menjawab pertanyaan yang lebih sempit daripada PESQ: bukan seberapa enak ucapan terdengar, melainkan berapa banyak kata yang tetap bertahan. Pada 13 set data uji dengar, STOI rata-rata memiliki korelasi Pearson 0,62 dengan keterpahaman terukur, sedangkan versi yang diperluas, eSTOI, rata-rata 0,88. Pada satu set data ucapan dalam kebisingan yang berfluktuasi kuat, korelasi STOI justru negatif (-0,77): metrik itu bergerak ke arah yang salah.
Pembacaan praktisnya adalah STOI bekerja paling baik untuk kebisingan stasioner dan penopengan waktu-frekuensi yang menjadi dasar rancangannya, dan paling buruk untuk ucapan dalam kebisingan termodulasi yang datang berupa letupan, seperti yang dihasilkan pembicara yang saling bersaing dan ruangan yang ramai. Data terbaru yang tersedia: Edraki dkk., IEEE/ACM TASLP 2020. Sumber: Edraki dkk. di PubMed Central, Taal dkk., IEEE TASLP 2011.
| Metrik | Nilai | Sumber |
|---|---|---|
| Panjang segmen analisis STOI | 386 ms | Taal dkk., IEEE TASLP 2011 |
| Validasi STOI dalam makalah aslinya | 3 eksperimen uji dengar; korelasi lebih baik daripada 5 model keterpahaman rujukan | Taal dkk., IEEE TASLP 2011 |
| Rata-rata korelasi Pearson dengan keterpahaman terukur pada 13 set data, setelah pemetaan logistik: STOI, eSTOI, HASPI, dan wSTMI secara berurutan | 0,62 / 0,88 / 0,82 / 0,93 | Edraki dkk., IEEE/ACM TASLP 2020 |
| Rata-rata korelasi peringkat Spearman pada 13 set data yang sama: STOI dibandingkan eSTOI | 0,59 dibandingkan 0,82 | Edraki dkk., IEEE/ACM TASLP 2020 |
| Korelasi Pearson STOI pada set data ucapan dalam kebisingan termodulasi (ModN-Fogerty) | -0,77 | Edraki dkk., IEEE/ACM TASLP 2020 |
| Korelasi Pearson STOI pada set data peningkatan pendengaran sisi dekat (NELE-Taal) | 0,90 | Edraki dkk., IEEE/ACM TASLP 2020 |
| Sitasi makalah STOI asli | 2.265 | Catatan OpenAlex, diakses 31 Oktober 2026 |
Catatan pencilan: wSTMI, yang berkinerja terbaik, dilatih dan divalidasi pada dua dari 13 set data, sehingga rata-ratanya tidak sepenuhnya berasal dari data yang ditahan. HASPI adalah metrik yang dirancang dengan memperhatikan pendengar yang memiliki gangguan pendengaran, dan eSTOI melepaskan asumsi STOI bahwa pita-pita frekuensi bersifat independen.
5. Hukum Goodhart: Saat PESQ Berhenti Mengukur Kualitas
Hukum Goodhart menyatakan bahwa ukuran yang menjadi target berhenti menjadi ukuran yang baik. Peningkatan ucapan kini memiliki data untuk membuktikannya. PESQetarian, model yang dilatih untuk memaksimalkan PESQ, meraih 3,82 di VoiceBank-DEMAND sementara SI-SDR-nya (rasio sinyal terhadap distorsi yang invarian terhadap skala, seberapa dekat bentuk gelombang dengan aslinya yang bersih) jatuh ke -19,8 dB, jauh di bawah 8,4 dB milik masukan bising yang belum diproses.
Efeknya tidak terbatas pada satu makalah. Model difusi satu langkah 2025 yang dilatih dengan loss PESQ mencapai PESQ 3,99 tetapi SI-SDR hanya 0,40 dB, sementara versi seimbang dari penulisnya meraih PESQ 3,49 dan SI-SDR 17,8 dB. Bahkan teknik yang sah pun menggeser angkanya: peregangan kontras perseptual, yang memperkuat kontras fitur target berdasarkan kepentingan perseptualnya, menambah 0,14 PESQ pada SEMamba (3,55 menjadi 3,69, hasil pengurangan kami). Pelajarannya bagi pembeli dan peninjau sederhana: rekor PESQ tanpa uji dengar yang sepadan adalah tanda peringatan, bukan berita utama. Sumber: makalah PESQetarian, makalah ROSE-CD.
| Metrik | Nilai | Sumber |
|---|---|---|
| PESQ: masukan bising, model biasa yang dilatih dengan MSE, dan PESQetarian secara berurutan | 1,97 / 2,78 / 3,82 | de Oliveira dkk., makalah PESQetarian, Interspeech 2024 |
| POLQA (penerus PESQ di ITU-T): masukan bising, model MSE, dan PESQetarian secara berurutan | 3,11 / 3,87 / 1,46 | de Oliveira dkk., makalah PESQetarian, Interspeech 2024 |
| Skor keseluruhan DNSMOS: masukan bising, model MSE, dan PESQetarian secara berurutan | 2,69 / 3,13 / 2,06 | de Oliveira dkk., makalah PESQetarian, Interspeech 2024 |
| PESQ setelah menambahkan satu bunyi klik tetap ke setiap berkas uji bising, tanpa peredaman bising | 3,46 | de Oliveira dkk., makalah PESQetarian, Interspeech 2024 |
| Optimasi langsung pada enam berkas: PESQ sebelum dan sesudah, serta POLQA sebelum dan sesudah | 1,91 menjadi 3,76; 3,46 menjadi 2,73 | de Oliveira dkk., makalah PESQetarian, Interspeech 2024 |
| ROSE-CD yang dilatih dengan loss PESQ dibandingkan ROSE-CD final: PESQ, SI-SDR, dan WV-MOS (prediktor skor pendengar neural) | 3,99, 0,40 dB, 2,31 dibandingkan 3,49, 17,8 dB, 4,41 | Xu dkk., makalah ROSE-CD, WASPAA 2025 |
| Peningkatan PESQ dari peregangan kontras perseptual pada SEMamba | +0,14 (3,55 menjadi 3,69) | Chao dkk., makalah SEMamba, IEEE SLT 2024 |
Catatan konteks: uji dengar PESQetarian memakai 10 pakar audio yang menilai 10 sampel uji acak pada skala 0 hingga 100, dan makalahnya melaporkan hasil per sistem hanya dalam bentuk gambar. PESQetarian adalah uji tekan yang disengaja, bukan produk.
6. Dari Tolok Ukur ke Rekaman Nyata: Kesenjangan Generalisasi
Model yang menang pada 2 pembicara uji belum membuktikan bahwa ia mampu menangani pembicara Anda. Sebuah studi 2023 melatih 40 model per arsitektur pada lima basis data ucapan, lima basis data kebisingan, dan lima basis data akustik ruangan, lalu mengukur setiap model terhadap model rujukan yang dilatih pada kondisi ujinya sendiri. Ketika ucapan uji berasal dari korpus yang belum pernah dilihat, Conv-TasNet menunjukkan kesenjangan generalisasi ESTOI sebesar -68% terhadap rujukan itu, dan ketidakcocokan ucapan lebih merugikan daripada ketidakcocokan kebisingan atau ruangan untuk setiap model.
Temuan yang menggembirakan adalah generalisasi terhadap kebisingan bisa diselesaikan dengan data: pelatihan pada empat basis data kebisingan menjaga kesenjangan peningkatan SNR pada -5% atau lebih baik. Uji di luar domain dalam makalah 2025 menunjukkan model generatif yang lebih baru juga kehilangan performa. Sumber: Gonzalez dkk., makalah kesenjangan generalisasi, makalah ROSE-CD, makalah ICASSP 2021 DNS Challenge.
| Metrik | Nilai | Sumber |
|---|---|---|
| Kesenjangan generalisasi ESTOI pada ketidakcocokan korpus ucapan, Conv-TasNet yang dilatih pada 1 basis data ucapan | -68% | Gonzalez dkk., IEEE/ACM TASLP 2023 |
| Kesenjangan generalisasi PESQ pada ketidakcocokan korpus ucapan: MANNER yang dilatih pada 1 basis data dibandingkan Conv-TasNet yang dilatih pada 4 | -50% dibandingkan -35% | Gonzalez dkk., IEEE/ACM TASLP 2023 |
| Kesenjangan peningkatan SNR pada ketidakcocokan kebisingan dengan 4 basis data kebisingan pelatihan (Conv-TasNet, DCCRN, MANNER) | -5% atau lebih baik | Gonzalez dkk., IEEE/ACM TASLP 2023 |
| Ketidakcocokan akustik ruangan dengan 1 basis data pelatihan: kesenjangan PESQ untuk jaringan feedforward dibandingkan kesenjangan ESTOI untuk Conv-TasNet | -10% dibandingkan -17% | Gonzalez dkk., IEEE/ACM TASLP 2023 |
| PESQ ROSE-CD pada VoiceBank-DEMAND dibandingkan pada TIMIT+NOISE92 di luar domain | 3,49 dibandingkan 2,62 | Xu dkk., makalah ROSE-CD, WASPAA 2025 |
| PESQ SGMSE+ (model difusi) pada VoiceBank-DEMAND dibandingkan pada TIMIT+NOISE92 di luar domain | 2,93 dibandingkan 2,08 | Xu dkk., makalah ROSE-CD, WASPAA 2025 |
| Uji buta ICASSP 2021 DNS Challenge Track 1: rekaman nyata dibandingkan klip sintetis | 650 nyata dibandingkan 50 sintetis (700 klip) | Microsoft, makalah ICASSP 2021 DNS Challenge |
Catatan konteks: kesenjangan generalisasi diukur terhadap model rujukan yang dilatih pada kondisi uji, sehingga ini angka relatif, bukan penurunan absolut pada skor ESTOI atau PESQ. Sebaliknya, penurunan mentah ROSE-CD dan SGMSE+ mencampurkan data yang belum pernah dilihat dengan tingkat kesulitan tugas, dua efek yang justru hendak dipisahkan oleh metode model rujukan. Penyelenggara DNS menyusun uji buta mereka sebagian besar dari rekaman nyata dan menilainya dengan pendengar, sambil mencatat bahwa ukuran objektif seperti PESQ, SDR, dan POLQA terbukti tidak berkorelasi baik dengan kualitas subjektif ketika ada kebisingan latar.
7. Bagaimana Tantangan dan Standar Mengubah Evaluasi
Jawaban saat ini terhadap pengakalan metrik adalah kartu skor yang lebih lebar. Di URGENT 2024, tim peringkat pertama pada DNSMOS (3,26) finis di peringkat ke-18 pada MOS pendengar (3,05), dengan akurasi kata hanya 40,73%, sementara tim teratas menggabungkan MOS 3,52 dengan akurasi kata 73,57%. Akurasi kata di sini berarti berapa banyak kata yang masih dikenali dengan benar oleh pengenal ucapan setelah peningkatan, pemeriksaan langsung bahwa model tidak mengarang atau menghapus ucapan; statistik halusinasi pengenalan ucapan kami membahas kegagalan itu dari sisi pengenal.
Peningkat hibrida dan generatif membuat masalahnya makin tajam. Sebuah tantangan restorasi ucapan 2025 mengukur korelasi peringkat -0,8 antara metrik tanpa referensi yang banyak dipakai dan MOS pendengar untuk sistem hibrida, artinya peringkat berdasarkan metrik sebagian besar berlawanan dengan peringkat manusia. Badan standar pun telah bergerak: PESQ bukan lagi rekomendasi ITU-T. Sumber: retrospektif CCF AATC 2025, ikhtisar URGENT 2025, ikhtisar URGENT ICASSP 2026, halaman ITU-T P.862, halaman ITU-T P.863.
| Metrik | Nilai | Sumber |
|---|---|---|
| Uji buta URGENT 2024 dan subset uji dengar | 500 rekaman simulasi ditambah 500 rekaman nyata; subset MOS 300 sampel, 8 pendengar per sampel; 21 tim | Zhang, Saijo dkk., makalah pelajaran URGENT 2024, Interspeech 2025 |
| Data pelatihan URGENT 2024 dengan lebar pita yang dinyatakan dan efektif tidak cocok | sekitar 25% dari LibriTTS; sekitar 100% dari DNS5 LibriVox dan CommonVoice 11.0 | Zhang, Saijo dkk., makalah pelajaran URGENT 2024, Interspeech 2025 |
| CCF AATC 2025: korelasi peringkat antara metrik tanpa referensi dan MOS pendengar untuk sistem hibrida | -0,8 (25 sistem dianalisis dalam tantangan) | Zhang dkk., retrospektif CCF AATC 2025, arXiv 2025 |
| Rangkaian evaluasi URGENT 2025 | 14 metrik dalam 5 kategori; 7 jenis distorsi; 5 bahasa pelatihan | Saijo dkk., ikhtisar URGENT 2025, Interspeech 2025 |
| Data pelatihan ICASSP 2026 URGENT Track 1 | subset terkurasi 700 jam dari set URGENT 2025 sebanyak 2.500 jam | Ikhtisar ICASSP 2026 URGENT Challenge |
| Status PESQ di ITU-T | P.862 dan bagian P.862.1 hingga P.862.3 dihapus pada 5 Januari 2024 | Halaman rekomendasi ITU-T P.862 |
| Status POLQA di ITU-T | P.863 (Maret 2018) berlaku, dengan Amendemen 1 (April 2020) | Halaman rekomendasi ITU-T P.863 |
Catatan konteks: URGENT 2024 juga menandai sekitar 2.000 label ucapan dalam korpus pelatihan ‘berkualitas tinggi’ miliknya dengan nilai WADA-SNR negatif, sebuah estimasi SNR buta, sehingga derau label ada di dalam rujukan bersih yang menjadi pembanding metrik intrusif seperti PESQ.
Ringkasan: Tolok Ukur PESQ dan STOI Peningkatan Ucapan dalam Angka
| Metrik | Nilai | Sumber |
|---|---|---|
| PESQ VoiceBank-DEMAND: SEGAN (2017) dibandingkan CMGAN (2022) | 2,16 dibandingkan 3,41 | Cao dkk., makalah CMGAN, Interspeech 2022 |
| PESQ VoiceBank-DEMAND: SEMamba tanpa peregangan kontras perseptual dibandingkan dengan peregangan tersebut | 3,55 dibandingkan 3,69 | Chao dkk., IEEE SLT 2024 |
| PESQ VoiceBank-DEMAND dan ukuran PrimeK-Net | 3,61; 1,41 juta parameter | Makalah PrimeK-Net, ICASSP 2025 |
| STOI: masukan bising dibandingkan keluaran CMGAN | 0,91 dibandingkan 0,96 | Cao dkk., makalah CMGAN, Interspeech 2022 |
| PESQetarian: PESQ, SI-SDR, dan POLQA (masukan bising dalam tanda kurung) | 3,82, -19,8 dB, 1,46 (1,97, 8,4 dB, 3,11) | de Oliveira dkk., Interspeech 2024 |
| Varian ROSE-CD dengan loss PESQ: PESQ dibandingkan SI-SDR | 3,99 dibandingkan 0,40 dB | Xu dkk., WASPAA 2025 |
| Korelasi STOI dengan keterpahaman terukur: rata-rata pada 13 set data (rata-rata eSTOI dalam tanda kurung) dibandingkan set data kebisingan termodulasi | 0,62 (0,88) dibandingkan -0,77 | Edraki dkk., IEEE/ACM TASLP 2020 |
| PCC skor ucapan DNSMOS P.835: per model dibandingkan per klip | 0,94 dibandingkan 0,71 | Reddy dkk., Microsoft, makalah DNSMOS P.835 2021 |
| Kesenjangan generalisasi ESTOI pada korpus ucapan yang belum pernah dilihat (Conv-TasNet) | -68% | Gonzalez dkk., IEEE/ACM TASLP 2023 |
| Kesenjangan generalisasi PESQ pada korpus ucapan yang belum pernah dilihat (MANNER, 1 basis data pelatihan) | -50% | Gonzalez dkk., IEEE/ACM TASLP 2023 |
| PESQ ROSE-CD di dalam domain dibandingkan di luar domain | 3,49 dibandingkan 2,62 | Xu dkk., WASPAA 2025 |
| URGENT 2024: peringkat DNSMOS dibandingkan peringkat MOS pendengar untuk tim yang sama | ke-1 dibandingkan ke-18 | Zhang, Saijo dkk., Interspeech 2025 |
| PESQ setelah menambahkan satu bunyi klik tetap ke setiap berkas uji bising, tanpa peredaman bising | 3,46 | de Oliveira dkk., Interspeech 2024 |
| Metrik tanpa referensi dibandingkan MOS pendengar untuk sistem hibrida (korelasi peringkat) | -0,8 | Zhang dkk., retrospektif CCF AATC 2025 |
| PESQ dihapus oleh ITU-T | 5 Januari 2024 | Halaman rekomendasi ITU-T P.862 |
Metodologi dan Sumber
- ITU-T, halaman rekomendasi P.862 (PESQ), status diperbarui 9 Januari 2024, dan halaman rekomendasi P.863 (POLQA), diakses Oktober 2026.
- Taal dkk., An Algorithm for Intelligibility Prediction of Time-Frequency Weighted Noisy Speech, IEEE TASLP 2011 (abstrak dibaca lewat catatan OpenAlex; jumlah sitasi dari OpenAlex).
- Edraki, Chan, Jensen, dan Fogerty, Speech Intelligibility Prediction using Spectro-Temporal Modulation Analysis, IEEE/ACM TASLP 2020.
- Cao, Abdulatif, dan Yang, CMGAN: Conformer-based Metric GAN for Speech Enhancement, Interspeech 2022 (sumber angka SEGAN, DEMUCS, dan set data).
- MetricGAN+, Interspeech 2021; MP-SENet, Interspeech 2023; Chao dkk., SEMamba, IEEE SLT 2024; PrimeK-Net, ICASSP 2025.
- de Oliveira, Welker, Richter, dan Gerkmann, The PESQetarian: On the Relevance of Goodhart’s Law for Speech Enhancement, Interspeech 2024.
- Xu, Yan, dan Kleijn, Robust One-step Speech Enhancement via Consistency Distillation (ROSE-CD), WASPAA 2025.
- Gonzalez, Alstrøm, dan May, Assessing the Generalization Gap of Learning-Based Speech Enhancement Systems, IEEE/ACM TASLP 2023.
- Makalah riset Microsoft: Reddy, Gopal, dan Cutler, DNSMOS (2020) dan DNSMOS P.835 (2021); makalah ICASSP 2021 DNS Challenge dan ICASSP 2022 DNS Challenge.
- Mittag, Naderi, Chehadi, dan Möller, NISQA, Interspeech 2021.
- Zhang, Saijo dkk., Lessons Learned from the URGENT 2024 Speech Enhancement Challenge, Interspeech 2025; Saijo dkk., Interspeech 2025 URGENT Challenge; ikhtisar ICASSP 2026 URGENT Challenge (2026).
- Zhang, Zhu, Xu, Bu, Ling, dan Wu, The CCF AATC 2025 Speech Restoration Challenge: A Retrospective, arXiv 2025.
- Catatan data: skor VoiceBank-DEMAND di sini adalah laporan masing-masing makalah, dan angka untuk satu sistem bisa berbeda antarmakalah (MetricGAN+ bernilai 3,15 di makalahnya sendiri dan 3,13 di tabel ROSE-CD). Makalah ROSE-CD tidak konsisten secara internal: tabel hasilnya memberi model final PESQ 3,49, sedangkan kesimpulannya menyatakan 3,99, yang sesuai dengan varian dengan loss PESQ saja; kami melaporkan 3,49 sebagai model final. Jumlah sitasi makalah STOI berbeda menurut sumber (2.265 di OpenAlex, 2.499 di Semantic Scholar, keduanya dibaca 31 Oktober 2026). Korelasi metrik keterpahaman berasal dari studi 2020 dan merupakan perbandingan multi-set data terbaru yang kami temukan. ITU-T menerbitkan edisi baru P.835, metode uji dengar di balik DNSMOS P.835, pada Juli 2026, dan makalah ICASSP 2026 URGENT belum mencantumkan korelasi prediktor kualitasnya di dalam teks.
Terakhir diperbarui: 31 Oktober 2026. Kami memperbarui rangkuman ini setiap kuartal, dan pembaruan berikutnya diperkirakan terjadi ketika prosiding ICASSP 2026 URGENT Challenge menerbitkan korelasi prediktor kualitas Track 2.