Kasıtlı olarak PESQ’i istismar etmek üzere kurulan bir konuşma iyileştirme modeli, VoiceBank-DEMAND test kümesinde 3,82 puan aldı; bu, bu derlemedeki en iyi meşru sistemin bildirdiği 3,69’un üzerinde, buna karşılık POLQA puanı dokunulmamış gürültülü girdinin 3,11’ine karşı 1,46’ya çöktü (de Oliveira ve diğerleri, PESQetarian makalesi, Interspeech 2024). Meşru yarış da gerçek: aynı kıyaslamada PESQ, 2017’de SEGAN için 2,16’dan 2025’te PrimeK-Net için 3,61’e yükseldi. Buna rağmen PESQ’in yanında sıkça verilen anlaşılabilirlik metriği STOI, 13 dinleme veri kümesinde ölçülen anlaşılabilirlikle ortalama yalnızca 0,62 korelasyon gösterdi (Edraki ve diğerleri, IEEE/ACM TASLP 2020). ITU-T, Interspeech, ICASSP, IEEE SLT ve WASPAA’daki hakemli makaleler, IEEE/ACM Transactions on Audio, Speech, and Language Processing, Microsoft Deep Noise Suppression (DNS) Challenge ile URGENT ve CCF AATC yarışma raporlarından veri derledik. Aynı modellerin gecikme ve ürün tarafı için sinirsel gürültü bastırma gecikme istatistiklerimize bakın; bu sayfa puanların kendisi ve onlara ne kadar güvenilebileceği üzerine.
TL;DR
- VoiceBank-DEMAND’de PESQ, 2,16’dan (SEGAN, 2017) 3,41’e (CMGAN, 2022) yükseldi (Cao ve diğerleri, CMGAN makalesi, Interspeech 2022).
- SEMamba 3,55 PESQ’e ulaştı; algısal kontrast germe eklendiğinde 3,69 oldu (Chao ve diğerleri, IEEE SLT 2024).
- PrimeK-Net yalnızca 1,41 milyon parametreyle 3,61 PESQ bildirdi (PrimeK-Net makalesi, ICASSP 2025).
- PESQetarian, gürültülü girdideki 8,4 dB’ye karşılık -19,8 dB SI-SDR ile 3,82 PESQ’e ulaştı (de Oliveira ve diğerleri, Interspeech 2024).
- STOI, 13 veri kümesinde ölçülen anlaşılabilirlikle ortalama 0,62 Pearson korelasyonu gösterdi; eSTOI için bu değer 0,88 oldu (Edraki ve diğerleri, IEEE/ACM TASLP 2020).
- DNSMOS P.835 konuşma kalitesi korelasyonu model başına 0,94’ten klip başına 0,71’e düştü (Reddy ve diğerleri, Microsoft, DNSMOS P.835 makalesi 2021).
- Conv-TasNet’in görülmemiş bir konuşma derleminde ESTOI genelleme boşluğu, eşleşen bir referans modele göre -%68 oldu (Gonzalez ve diğerleri, IEEE/ACM TASLP 2023).
- ROSE-CD’nin PESQ’i alan içinde 3,49’dan alan dışında 2,62’ye düştü (Xu ve diğerleri, WASPAA 2025).
- Referanssız metrikler, hibrit sistemler için dinleyici MOS’uyla -0,8 sıra korelasyonu gösterdi (Zhang ve diğerleri, CCF AATC 2025 retrospektifi).
- ITU-T, PESQ’i (P.862) 5 Ocak 2024’te sildi (ITU-T P.862 tavsiye sayfası).
1. VoiceBank-DEMAND’de PESQ Yarışı, 2017’den 2025’e
PESQ (konuşma kalitesinin algısal değerlendirmesi), iyileştirilmiş bir kaydı temiz orijinaliyle karşılaştırır ve bir dinleyicinin vereceği puanı tahmin eder. Gündelik gürültüyle karıştırılmış okunmuş cümlelerden oluşan küçük bir İngilizce test kümesi olan VoiceBank-DEMAND, onu raporlamak için varsayılan yer haline geldi. PESQ, 2017’de SEGAN için 2,16’dan 2024’te algısal kontrast germeli SEMamba için 3,69’a yükseldi ve ilerleme hızı kendi başına bir hikaye anlatıyor.
SEGAN’dan (2,16) MetricGAN+‘a (3,15) alan dört yılda 0,99 PESQ puanı ekledi. CMGAN’dan (3,41, 2022) PrimeK-Net’e (3,61, 2025) ise üç yılda 0,20 ekledi (yayımlanan rakamlardan kendi çıkarmamız). Kıyaslama doygunluğa yakın; bu yüzden kalan kazanımlar, ek tekniklerin ve metriğe duyarlı eğitimin lider tablosunu belirleyebileceği kadar küçük (bkz. bölüm 5). Kaynaklar: CMGAN makalesi, SEMamba makalesi, PrimeK-Net makalesi.
| Metrik | Değer | Kaynak |
|---|---|---|
| PESQ: işlenmemiş gürültülü test kümesi ile GAN tabanlı bir iyileştirici olan SEGAN (2017) karşılaştırması | 1,97’ye karşı 2,16 | Cao ve diğerleri, CMGAN makalesi, Interspeech 2022 |
| MetricGAN+ (2021) PESQ’i ve MetricGAN’a göre kazancı | 3,15; yaklaşık +0,3 | MetricGAN+ makalesi, Interspeech 2021 |
| CMGAN (2022) PESQ’i | 3,41 | Cao ve diğerleri, CMGAN makalesi, Interspeech 2022 |
| MP-SENet’in PESQ’i, paralel genlik ve faz gürültü giderme (2023) | 3,50 | MP-SENet makalesi, Interspeech 2023 |
| SEMamba’nın PESQ’i, nedensel olmayan: algısal kontrast germesiz ile germeli karşılaştırması | 3,55’e karşı 3,69 | Chao ve diğerleri, SEMamba makalesi, IEEE SLT 2024 |
| PrimeK-Net’in PESQ’i (2025) ve model boyutu | 3,61; 1,41 milyon parametre | PrimeK-Net makalesi, ICASSP 2025 |
Bağlam notu: bunlar, her sistemin tek bir bağımsız çalıştırmada yeniden değerlendirilmesinden değil, aynı kamuya açık test kümesinde her makalenin kendi bildirdiği rakamlardır.
2. Kıyaslama Gerçekte Neyi Ölçüyor
Lider tablosu dar bir tabana dayanıyor. VoiceBank-DEMAND test kümesi, yalnızca 2 görülmemiş konuşmacıdan 824 söylem içeriyor; bunlar 2,5 ila 17,5 dB arasındaki oldukça ılımlı sinyal-gürültü oranlarında (SNR, konuşmanın gürültüden ne kadar daha yüksek olduğu) 5 gürültü türüyle karıştırılmış. Hiçbir test klibi 2,5 dB’nin altında karıştırılmadığından, gerçek çağrıların en zor ucu hiç örneklenmiyor.
Anlaşılabilirlikte neredeyse hiç pay kalmadı. Gürültülü girdi STOI’de (kısa süreli nesnel anlaşılabilirlik, bir dinleyicinin konuşmanın ne kadarını anlayacağının tahmincisi) zaten 0,91 alıyor, CMGAN ise 0,96’ya ulaşıyor. Model boyutu ise bir büyüklük mertebesinden fazla küçüldü: SEGAN 97,47 milyon parametre kullanırken CMGAN 1,83 milyon kullanıyor. Üst üste konuşan kişili kıyaslamalar farklı işliyor; konuşma ayrıştırma istatistiklerimiz bunu gösteriyor. Kaynak: CMGAN makalesi, veri kümesi ve sonuç bölümleri.
| Metrik | Değer | Kaynak |
|---|---|---|
| Eğitim kümesi: boyut ve gürültü koşulları | 28 konuşmacıdan 11.572 söylem; 8 DEMAND gürültü türü artı 2 yapay gürültü türü, 0, 5, 10 ve 15 dB SNR’de | Cao ve diğerleri, CMGAN makalesi, Interspeech 2022 |
| Test kümesi: boyut ve gürültü koşulları | 2 görülmemiş konuşmacıdan 824 söylem; 5 görülmemiş DEMAND gürültü türü, 2,5, 7,5, 12,5 ve 17,5 dB SNR’de | Cao ve diğerleri, CMGAN makalesi, Interspeech 2022 |
| STOI: gürültülü girdi ile CMGAN çıktısı karşılaştırması | 0,91’e karşı 0,96 | Cao ve diğerleri, CMGAN makalesi, Interspeech 2022 |
| Bileşik konuşma sinyali puanı (CSIG) ve genel puan (COVL): gürültülü girdi ile CMGAN çıktısı karşılaştırması | 3,35 ve 2,63’e karşı 4,63 ve 4,12 | Cao ve diğerleri, CMGAN makalesi, Interspeech 2022 |
| Model boyutu: SEGAN, DEMUCS ve CMGAN karşılaştırması | 97,47 milyon, 128 milyon ve 1,83 milyon parametre | Cao ve diğerleri, CMGAN makalesi, Interspeech 2022 |
Bağlam notu: CSIG ve COVL, dinleyicilerin konuşma sinyaline ve genel kaliteye verdiği puanları tahmin etmek için birkaç nesnel metrikten oluşturulmuş bileşik ölçülerdir. Birleştirdikleri metriklerin kör noktalarını devralırlar.
3. Kalite Metrikleri İnsan Dinleyicilerle Örtüşüyor mu?
Yanıt, ortalama alıp almadığınıza bağlı. Buradaki korelasyon PCC (Pearson korelasyonu, değerde uyum), SRCC (Spearman sıra korelasyonu, sıralamada uyum) veya KRCC (Kendall sıra korelasyonu, sıralamanın bir başka sınaması) ile ölçülür; 1,0 mükemmel uyumdur. Temiz referans olmadan dinleyici puanlarını tahmin eden bir sinir ağı olan DNSMOS P.835, model başına ortalamada dinleyicilerin konuşma puanlarıyla 0,94 PCC’ye ulaştı, ancak tek tek kliplerde 0,71’e düştü.
İnsan tarafı da gürültülü. Aynı kliplerde iki ayrı P.808 puanlama turu, klip başına yalnızca yaklaşık 0,5 PCC ile örtüştü; yani tek bir klibin MOS’u (ortalama görüş puanı, dinleyici puanlarının ortalaması) başlı başına kaba bir sayı. Bu, dosyaları değil sistemleri karşılaştırmanın ve tek bir lider tablosu değişimini zayıf kanıt saymanın bir başka nedeni. Klip başına aynı ihtiyat, sentetik konuşma doğallığı MOS istatistiklerimizde ele alınan sentetik seslere de uygulanır. Kaynaklar: DNSMOS P.835 makalesi, DNSMOS makalesi, ICASSP 2022 DNS Challenge makalesi, NISQA makalesi.
| Metrik | Değer | Kaynak |
|---|---|---|
| DNSMOS P.835 konuşma puanı (SIG) ile dinleyici puanları: model başına PCC ile klip başına PCC karşılaştırması | 0,94’e karşı 0,71 | Reddy ve diğerleri, Microsoft, DNSMOS P.835 makalesi 2021 |
| DNSMOS P.835 arka plan gürültüsü puanı (BAK) ile dinleyici puanları: model başına PCC ile klip başına PCC karşılaştırması | 0,98’e karşı 0,83 | Reddy ve diğerleri, Microsoft, DNSMOS P.835 makalesi 2021 |
| Aynı kliplerde iki ayrı insan P.808 puanlama turu arasındaki uyum (klip başına PCC) | yaklaşık 0,5 | Reddy ve diğerleri, Microsoft, DNSMOS makalesi 2020 |
| ICASSP 2022 DNS Challenge Track 1’de DNSMOS P.835 ile dinleyici puanları, konuşma puanı: PCC ile SRCC karşılaştırması | 0,93’e karşı 0,78 | Microsoft, ICASSP 2022 DNS Challenge makalesi |
| DNS Challenge 2 kör kümesinin kategorileri genelinde özgün DNSMOS sıra korelasyonu (SRCC): tek aşamalı model ile çok aşamalı model karşılaştırması | 0,65’e karşı 0,90 | Reddy ve diğerleri, Microsoft, DNSMOS makalesi 2020 |
| NISQA, bir başka sinirsel kalite tahmincisi: yeni eğitim ve doğrulama konuşma dosyaları ile eğitim ve değerlendirmede kullanılan veri kümeleri | 13.000’den fazla dosya; 81 veri kümesi | Mittag ve diğerleri, NISQA makalesi, Interspeech 2021 |
| URGENT 2024: yarışmanın genel sıralama puanı ile dinleyici MOS sıralaması arasındaki KRCC | 0,73 | Zhang, Saijo ve diğerleri, URGENT 2024 çıkarılan dersler makalesi, Interspeech 2025 |
Bağlam notu: DNSMOS P.835 yaklaşık 30.000 puanlanmış klip (75 saat) üzerinde, özgün DNSMOS ise yaklaşık 120.000 klip üzerinde eğitildi. Model başına korelasyonlar klip başına 5 puanla, klip düzeyindeki analiz ise klip başına 30 puanla hesaplandı; dolayısıyla her satırdaki iki rakam aynı kurulumdan gelmiyor.
4. Anlaşılabilirlik Metrikleri: STOI ve Halefleri
STOI, PESQ’ten daha dar bir soruyu yanıtlamak için geliştirildi: konuşmanın ne kadar hoş duyulduğunu değil, kaç kelimenin ayakta kaldığını. 13 dinleme veri kümesinde STOI, ölçülen anlaşılabilirlikle ortalama 0,62 Pearson korelasyonu gösterirken genişletilmiş sürüm eSTOI ortalama 0,88 gösterdi. Güçlü biçimde dalgalanan gürültü içindeki konuşmaya ait bir veri kümesinde STOI’nin korelasyonu negatifti (-0,77): metrik yanlış yöne hareket etti.
Pratik okuma şu: STOI, etrafında tasarlandığı durağan gürültü ve zaman-frekans maskelemesinde en iyi, patlamalı ve modüle gürültüde, yani birbirine karışan konuşmacıların ve kalabalık odaların ürettiği türden gürültüde en kötü çalışır. Mevcut en güncel veri: Edraki ve diğerleri, IEEE/ACM TASLP 2020. Kaynaklar: PubMed Central’daki Edraki ve diğerleri, Taal ve diğerleri, IEEE TASLP 2011.
| Metrik | Değer | Kaynak |
|---|---|---|
| STOI analiz bölütü uzunluğu | 386 ms | Taal ve diğerleri, IEEE TASLP 2011 |
| STOI’nin özgün makalesindeki doğrulaması | 3 dinleme deneyi; 5 referans anlaşılabilirlik modelinden daha iyi korelasyon | Taal ve diğerleri, IEEE TASLP 2011 |
| 13 veri kümesinde ölçülen anlaşılabilirlikle ortalama Pearson korelasyonu, lojistik eşlemeden sonra: sırasıyla STOI, eSTOI, HASPI ve wSTMI | 0,62 / 0,88 / 0,82 / 0,93 | Edraki ve diğerleri, IEEE/ACM TASLP 2020 |
| Aynı 13 veri kümesinde ortalama Spearman sıra korelasyonu: STOI ile eSTOI karşılaştırması | 0,59’a karşı 0,82 | Edraki ve diğerleri, IEEE/ACM TASLP 2020 |
| Modüle gürültü içindeki konuşma veri kümesinde (ModN-Fogerty) STOI Pearson korelasyonu | -0,77 | Edraki ve diğerleri, IEEE/ACM TASLP 2020 |
| Yakın uç dinleme iyileştirme veri kümesinde (NELE-Taal) STOI Pearson korelasyonu | 0,90 | Edraki ve diğerleri, IEEE/ACM TASLP 2020 |
| Özgün STOI makalesinin atıf sayısı | 2.265 | OpenAlex kaydı, 31 Ekim 2026’da erişildi |
Aykırı değer notu: en iyi performansı gösteren wSTMI, 13 veri kümesinden ikisinde eğitildi ve doğrulandı; dolayısıyla ortalaması eğitimden tamamen ayrı tutulmuş değil. HASPI, işitme engelli dinleyiciler gözetilerek tasarlanmış bir metriktir; eSTOI ise STOI’nin frekans bantlarının bağımsız olduğu varsayımını bırakır.
5. Goodhart Yasası: PESQ Kaliteyi Ölçmeyi Bıraktığında
Goodhart yasası, hedef haline gelen bir ölçünün iyi bir ölçü olmaktan çıktığını söyler. Konuşma iyileştirme artık bunu kanıtlayacak veriye sahip. PESQ’i en üst düzeye çıkarmak üzere eğitilen PESQetarian, VoiceBank-DEMAND’de 3,82 aldı; SI-SDR’si (ölçekten bağımsız sinyal-bozulma oranı, dalga biçiminin temiz orijinale ne kadar yakın olduğu) ise işlenmemiş gürültülü girdinin 8,4 dB’sinin çok altında, -19,8 dB’ye düştü.
Etki tek bir makaleyle sınırlı değil. PESQ kaybıyla eğitilen 2025 tarihli tek adımlı bir difüzyon modeli 3,99 PESQ’e ulaştı ama yalnızca 0,40 dB SI-SDR elde etti; yazarların dengeli sürümü ise 3,49 PESQ ve 17,8 dB SI-SDR aldı. Meşru teknikler bile sayıyı oynatıyor: hedef özelliklerin kontrastını algısal öneme göre artıran algısal kontrast germe, SEMamba’ya 0,14 PESQ ekledi (3,55’ten 3,69’a, kendi çıkarmamız). Alıcılar ve değerlendiriciler için ders basit: eşleşen bir dinleme testi olmayan PESQ rekoru bir manşet değil, uyarı işaretidir. Kaynaklar: PESQetarian makalesi, ROSE-CD makalesi.
| Metrik | Değer | Kaynak |
|---|---|---|
| PESQ: sırasıyla gürültülü girdi, yalnızca MSE ile eğitilmiş model ve PESQetarian | 1,97 / 2,78 / 3,82 | de Oliveira ve diğerleri, PESQetarian makalesi, Interspeech 2024 |
| POLQA (PESQ’in ITU-T halefi): sırasıyla gürültülü girdi, MSE modeli ve PESQetarian | 3,11 / 3,87 / 1,46 | de Oliveira ve diğerleri, PESQetarian makalesi, Interspeech 2024 |
| DNSMOS genel puanı: sırasıyla gürültülü girdi, MSE modeli ve PESQetarian | 2,69 / 3,13 / 2,06 | de Oliveira ve diğerleri, PESQetarian makalesi, Interspeech 2024 |
| Gürültü giderme yapılmadan, her gürültülü test dosyasına tek bir sabit tıklama sesi eklendikten sonra PESQ | 3,46 | de Oliveira ve diğerleri, PESQetarian makalesi, Interspeech 2024 |
| Altı dosya üzerinde doğrudan optimizasyon: PESQ öncesi ve sonrası ile POLQA öncesi ve sonrası | 1,91’den 3,76’ya; 3,46’dan 2,73’e | de Oliveira ve diğerleri, PESQetarian makalesi, Interspeech 2024 |
| PESQ kaybıyla eğitilen ROSE-CD ile nihai ROSE-CD karşılaştırması: PESQ, SI-SDR ve WV-MOS (sinirsel dinleyici puanı tahmincisi) | 3,99, 0,40 dB, 2,31’e karşı 3,49, 17,8 dB, 4,41 | Xu ve diğerleri, ROSE-CD makalesi, WASPAA 2025 |
| SEMamba’da algısal kontrast germeden PESQ kazancı | +0,14 (3,55’ten 3,69’a) | Chao ve diğerleri, SEMamba makalesi, IEEE SLT 2024 |
Bağlam notu: PESQetarian dinleme testinde 10 ses uzmanı, 10 rastgele test örneğini 0 ila 100 ölçeğinde puanladı; makale sistem başına sonuçları yalnızca bir şekil olarak veriyor. PESQetarian bilinçli bir stres testidir, ürün değil.
6. Kıyaslamadan Gerçek Kayıtlara: Genelleme Boşluğu
2 test konuşmacısında kazanan bir model, sizinkiyle başa çıkabildiğini kanıtlamış olmaz. 2023 tarihli bir çalışma, beş konuşma, beş gürültü ve beş oda akustiği veri tabanı genelinde mimari başına 40 model eğitti, ardından her modeli test koşulunun kendisinde eğitilmiş bir referans modele göre ölçtü. Test konuşması görülmemiş bir derlemden geldiğinde, Conv-TasNet bu referansa göre -%68’lik bir ESTOI genelleme boşluğu gösterdi ve konuşma uyumsuzluğu, her model için gürültü ya da oda uyumsuzluğundan daha fazla zarar verdi.
Cesaret verici bulgu şu: gürültü genellemesi veriyle çözülebilir; dört gürültü veri tabanıyla eğitim, SNR iyileştirme boşluğunu -%5 veya daha iyi düzeyde tuttu. 2025 tarihli bir makaledeki alan dışı test, daha yeni üretici modellerin de zemin kaybettiğini gösteriyor. Kaynaklar: Gonzalez ve diğerleri, genelleme boşluğu makalesi, ROSE-CD makalesi, ICASSP 2021 DNS Challenge makalesi.
| Metrik | Değer | Kaynak |
|---|---|---|
| Konuşma derlemi uyumsuzluğunda ESTOI genelleme boşluğu, 1 konuşma veri tabanında eğitilmiş Conv-TasNet | -%68 | Gonzalez ve diğerleri, IEEE/ACM TASLP 2023 |
| Konuşma derlemi uyumsuzluğunda PESQ genelleme boşluğu: 1 veri tabanında eğitilmiş MANNER ile 4 veri tabanında eğitilmiş Conv-TasNet karşılaştırması | -%50’ye karşı -%35 | Gonzalez ve diğerleri, IEEE/ACM TASLP 2023 |
| 4 eğitim gürültü veri tabanıyla gürültü uyumsuzluğunda SNR iyileştirme boşluğu (Conv-TasNet, DCCRN, MANNER) | -%5 veya daha iyi | Gonzalez ve diğerleri, IEEE/ACM TASLP 2023 |
| 1 eğitim veri tabanıyla oda akustiği uyumsuzluğu: ileri beslemeli ağ için PESQ boşluğu ile Conv-TasNet için ESTOI boşluğu karşılaştırması | -%10’a karşı -%17 | Gonzalez ve diğerleri, IEEE/ACM TASLP 2023 |
| ROSE-CD PESQ’i: VoiceBank-DEMAND’de ile alan dışı TIMIT+NOISE92’de karşılaştırması | 3,49’a karşı 2,62 | Xu ve diğerleri, ROSE-CD makalesi, WASPAA 2025 |
| SGMSE+ (difüzyon modeli) PESQ’i: VoiceBank-DEMAND’de ile alan dışı TIMIT+NOISE92’de karşılaştırması | 2,93’e karşı 2,08 | Xu ve diğerleri, ROSE-CD makalesi, WASPAA 2025 |
| ICASSP 2021 DNS Challenge Track 1 kör testi: gerçek kayıtlar ile sentetik klipler karşılaştırması | 650 gerçek ve 50 sentetik (700 klip) | Microsoft, ICASSP 2021 DNS Challenge makalesi |
Bağlam notu: genelleme boşluğu, test koşulunda eğitilmiş bir referans modele göre ölçülür; dolayısıyla ESTOI ya da PESQ puanındaki mutlak bir düşüş değil, göreli bir rakamdır. Buna karşılık ham ROSE-CD ve SGMSE+ düşüşleri, referans model yönteminin ayırmak için tasarlandığı iki etkiyi, yani görülmemiş veriyi ve görev zorluğunu karıştırır. DNS organizatörleri kör testlerini çoğunlukla gerçek kayıtlardan oluşturdu ve dinleyicilerle değerlendirdi; PESQ, SDR ve POLQA gibi nesnel ölçülerin arka plan gürültüsü varlığında öznel kaliteyle iyi korelasyon göstermediğinin kanıtlandığını belirttiler.
7. Yarışmalar ve Standartlar Değerlendirmeyi Nasıl Değiştiriyor
Metrik oyunlamasına bugünkü yanıt, daha geniş bir puan kartıdır. URGENT 2024’te DNSMOS’ta (3,26) birinci olan takım, yalnızca %40,73 sözcük doğruluğuyla dinleyici MOS’unda (3,05) 18. oldu; birinci takım ise 3,52 MOS’u %73,57 sözcük doğruluğuyla birleştirdi. Sözcük doğruluğu burada, bir konuşma tanıyıcının iyileştirmeden sonra kaç sözcüğü hâlâ doğru bildiği anlamına gelir; modelin konuşma uydurmadığını ya da silmediğini doğrudan kontrol eder. Konuşma tanıma halüsinasyon istatistiklerimiz bu hatayı tanıyıcı tarafından ele alıyor.
Hibrit ve üretici iyileştiriciler sorunu keskinleştiriyor. 2025 tarihli bir konuşma onarımı yarışması, hibrit sistemler için yaygın kullanılan referanssız metrikler ile dinleyici MOS’u arasında -0,8 sıra korelasyonu ölçtü; yani metrik sıralaması büyük ölçüde insan sıralamasının tersine işledi. Standart kuruluşları da harekete geçti: PESQ artık bir ITU-T tavsiyesi değil. Kaynaklar: CCF AATC 2025 retrospektifi, URGENT 2025 genel bakışı, ICASSP 2026 URGENT genel bakışı, ITU-T P.862 sayfası, ITU-T P.863 sayfası.
| Metrik | Değer | Kaynak |
|---|---|---|
| URGENT 2024 kör testi ve dinleme alt kümesi | 500 simüle artı 500 gerçek kayıt; 300 örneklik MOS alt kümesi, örnek başına 8 dinleyici; 21 takım | Zhang, Saijo ve diğerleri, URGENT 2024 çıkarılan dersler makalesi, Interspeech 2025 |
| URGENT 2024 eğitim verisinde beyan edilen ve etkin bant genişliğinin uyumsuz olduğu kısım | LibriTTS’in yaklaşık %25’i; DNS5 LibriVox ve CommonVoice 11.0’ın yaklaşık %100’ü | Zhang, Saijo ve diğerleri, URGENT 2024 çıkarılan dersler makalesi, Interspeech 2025 |
| CCF AATC 2025: hibrit sistemler için referanssız metrikler ile dinleyici MOS’u arasındaki sıra korelasyonu | -0,8 (yarışmada analiz edilen 25 sistem) | Zhang ve diğerleri, CCF AATC 2025 retrospektifi, arXiv 2025 |
| URGENT 2025 değerlendirme paketi | 5 kategoride 14 metrik; 7 bozulma türü; 5 eğitim dili | Saijo ve diğerleri, URGENT 2025 genel bakışı, Interspeech 2025 |
| ICASSP 2026 URGENT Track 1 eğitim verisi | 2.500 saatlik URGENT 2025 kümesinin 700 saatlik seçilmiş alt kümesi | ICASSP 2026 URGENT Challenge genel bakışı |
| ITU-T’de PESQ’in durumu | P.862 ile P.862.1 ila P.862.3 bölümleri 5 Ocak 2024’te silindi | ITU-T P.862 tavsiye sayfası |
| ITU-T’de POLQA’nın durumu | P.863 (Mart 2018) yürürlükte, Değişiklik 1 (Nisan 2020) ile birlikte | ITU-T P.863 tavsiye sayfası |
Bağlam notu: URGENT 2024 ayrıca, ‘yüksek kaliteli’ eğitim derlemelerindeki yaklaşık 2.000 konuşma etiketinin, kör bir SNR tahmini olan WADA-SNR değerlerinin negatif olduğunu işaretledi; yani PESQ gibi müdahaleci metriklerin karşılaştırdığı temiz referansların içinde etiket gürültüsü bulunuyor.
Özet: Rakamlarla Konuşma İyileştirme PESQ ve STOI Kıyaslamaları
| Metrik | Değer | Kaynak |
|---|---|---|
| VoiceBank-DEMAND PESQ: SEGAN (2017) ile CMGAN (2022) karşılaştırması | 2,16’ya karşı 3,41 | Cao ve diğerleri, CMGAN makalesi, Interspeech 2022 |
| VoiceBank-DEMAND PESQ: algısal kontrast germesiz ile germeli SEMamba karşılaştırması | 3,55’e karşı 3,69 | Chao ve diğerleri, IEEE SLT 2024 |
| VoiceBank-DEMAND PESQ ve PrimeK-Net’in boyutu | 3,61; 1,41 milyon parametre | PrimeK-Net makalesi, ICASSP 2025 |
| STOI: gürültülü girdi ile CMGAN çıktısı karşılaştırması | 0,91’e karşı 0,96 | Cao ve diğerleri, CMGAN makalesi, Interspeech 2022 |
| PESQetarian: PESQ, SI-SDR ve POLQA (gürültülü girdi parantez içinde) | 3,82, -19,8 dB, 1,46 (1,97, 8,4 dB, 3,11) | de Oliveira ve diğerleri, Interspeech 2024 |
| ROSE-CD’nin PESQ kayıplı varyantı: PESQ ile SI-SDR karşılaştırması | 3,99’a karşı 0,40 dB | Xu ve diğerleri, WASPAA 2025 |
| Ölçülen anlaşılabilirlikle STOI korelasyonu: 13 veri kümesi ortalaması (eSTOI ortalaması parantez içinde) ile modüle gürültü veri kümesi karşılaştırması | 0,62 (0,88)‘e karşı -0,77 | Edraki ve diğerleri, IEEE/ACM TASLP 2020 |
| DNSMOS P.835 konuşma puanı PCC’si: model başına ile klip başına karşılaştırması | 0,94’e karşı 0,71 | Reddy ve diğerleri, Microsoft, DNSMOS P.835 makalesi 2021 |
| Görülmemiş konuşma derleminde ESTOI genelleme boşluğu (Conv-TasNet) | -%68 | Gonzalez ve diğerleri, IEEE/ACM TASLP 2023 |
| Görülmemiş konuşma derleminde PESQ genelleme boşluğu (MANNER, 1 eğitim veri tabanı) | -%50 | Gonzalez ve diğerleri, IEEE/ACM TASLP 2023 |
| ROSE-CD PESQ’i: alan içi ile alan dışı karşılaştırması | 3,49’a karşı 2,62 | Xu ve diğerleri, WASPAA 2025 |
| URGENT 2024: aynı takımın DNSMOS sıralaması ile dinleyici MOS sıralaması karşılaştırması | 1.‘ye karşı 18. | Zhang, Saijo ve diğerleri, Interspeech 2025 |
| Gürültü giderme yapılmadan, her gürültülü test dosyasına tek bir sabit tıklama sesi eklendikten sonra PESQ | 3,46 | de Oliveira ve diğerleri, Interspeech 2024 |
| Hibrit sistemler için referanssız metrikler ile dinleyici MOS’u (sıra korelasyonu) | -0,8 | Zhang ve diğerleri, CCF AATC 2025 retrospektifi |
| ITU-T tarafından silinen PESQ | 5 Ocak 2024 | ITU-T P.862 tavsiye sayfası |
Metodoloji ve Kaynaklar
- ITU-T, P.862 (PESQ) tavsiye sayfası, durum güncellemesi 9 Ocak 2024, ve P.863 (POLQA) tavsiye sayfası, Ekim 2026’da erişildi.
- Taal ve diğerleri, An Algorithm for Intelligibility Prediction of Time-Frequency Weighted Noisy Speech, IEEE TASLP 2011 (özet OpenAlex kaydı üzerinden okundu; atıf sayısı OpenAlex’ten).
- Edraki, Chan, Jensen ve Fogerty, Speech Intelligibility Prediction using Spectro-Temporal Modulation Analysis, IEEE/ACM TASLP 2020.
- Cao, Abdulatif ve Yang, CMGAN: Conformer-based Metric GAN for Speech Enhancement, Interspeech 2022 (SEGAN, DEMUCS ve veri kümesi rakamlarının kaynağı).
- MetricGAN+, Interspeech 2021; MP-SENet, Interspeech 2023; Chao ve diğerleri, SEMamba, IEEE SLT 2024; PrimeK-Net, ICASSP 2025.
- de Oliveira, Welker, Richter ve Gerkmann, The PESQetarian: On the Relevance of Goodhart’s Law for Speech Enhancement, Interspeech 2024.
- Xu, Yan ve Kleijn, Robust One-step Speech Enhancement via Consistency Distillation (ROSE-CD), WASPAA 2025.
- Gonzalez, Alstrøm ve May, Assessing the Generalization Gap of Learning-Based Speech Enhancement Systems, IEEE/ACM TASLP 2023.
- Microsoft araştırma makaleleri: Reddy, Gopal ve Cutler, DNSMOS (2020) ve DNSMOS P.835 (2021); ICASSP 2021 DNS Challenge ve ICASSP 2022 DNS Challenge makaleleri.
- Mittag, Naderi, Chehadi ve Möller, NISQA, Interspeech 2021.
- Zhang, Saijo ve diğerleri, Lessons Learned from the URGENT 2024 Speech Enhancement Challenge, Interspeech 2025; Saijo ve diğerleri, Interspeech 2025 URGENT Challenge; ICASSP 2026 URGENT Challenge genel bakışı (2026).
- Zhang, Zhu, Xu, Bu, Ling ve Wu, The CCF AATC 2025 Speech Restoration Challenge: A Retrospective, arXiv 2025.
- Veri notu: buradaki VoiceBank-DEMAND puanları her makalenin kendi bildirimleridir ve tek bir sisteme ait rakamlar makaleler arasında farklılaşabilir (MetricGAN+ kendi makalesinde 3,15, ROSE-CD tablosunda 3,13’tür). ROSE-CD makalesi kendi içinde tutarsızdır: sonuç tablosu nihai modele 3,49 PESQ verirken sonuç bölümü, yalnızca PESQ kayıplı varyantla örtüşen 3,99’u belirtir; nihai model olarak 3,49’u bildiriyoruz. STOI makalesinin atıf sayıları kaynağa göre farklılaşır (OpenAlex’te 2.265, Semantic Scholar’da 2.499; ikisi de 31 Ekim 2026’da okundu). Anlaşılabilirlik metriği korelasyonları 2020 tarihli bir çalışmadan geliyor ve bulduğumuz en güncel çok veri kümeli karşılaştırmadır. ITU-T, DNSMOS P.835’in arkasındaki dinleme testi yöntemi olan P.835’in yeni bir baskısını Temmuz 2026’da yayımladı ve ICASSP 2026 URGENT makalesi kalite tahmincisi korelasyonlarını henüz metin içinde vermiyor.
Son güncelleme: 31 Ekim 2026. Bu derlemeyi üç ayda bir güncelliyoruz ve bir sonraki yenilemenin, ICASSP 2026 URGENT Challenge bildirileri Track 2 kalite tahmincisi korelasyonlarını yayımladığında yapılması bekleniyor.