67 çalışma ve 392 etki büyüklüğü genelinde, makine puanları telaffuza ilişkin insan yargılarıyla r = 0,606 düzeyinde ilişkili; bu, akıcılık veya sunum (delivery) için birleştirilmiş değerlerin altında (Wang ve Min, Language Testing 2026). Kıyaslama sayıları daha ince bir ayrıntı düzeyinde benzer bir hikâye anlatıyor: speechocean762 derleminde anılan en iyi fonem düzeyi Pearson korelasyon katsayısı (PCC) 0,693 ve 2026’nın önde gelen hata tespit sistemi bile gerçek yanlış telaffuzların yaklaşık üçte birini kaçırıyor. Sınav sağlayıcıları tüm sınavlar için 0,97’ye varan çok daha yüksek rakamlar bildiriyor, ancak kendi telaffuz alt puanları bunun epey altında kalıyor. Bu sayılar satışları değil uyumu ölçüyor; bu yüzden bu derleme, daha geniş kapsamlı dil öğrenimi istatistikleri yazımızdan ayrı duruyor. Verileri Language Testing, speechocean762 derlemi, ETS araştırma raporları, Pearson doğrulama raporları, PLOS One, Language Learning ve bir düzine başka makale ile teknik belgeden derledik.
TL;DR
- Telaffuz için birleştirilmiş makine-insan korelasyonu: r = 0,606; tüm konuşma yapılarında r = 0,654 (Wang ve Min, Language Testing 2026).
- speechocean762 üzerinde anılan en yüksek fon düzeyi PCC: 0,693; derlemin temel değeri olan 0,45’ten yükseldi (Cao ve ark., arXiv 2025; Zhang ve ark., 2021).
- Versant English Test Telaffuz alt puanı: 0,88 makine-insan korelasyonu, alt puanları arasında en düşüğü (Pearson, Versant doğrulama özeti 2022).
- TOEFL Junior Speaking için insan-insan r = 0,89, insan-makine r = 0,81 (ETS, TOEFL Junior otomatik puanlama raporu 2015).
- Bir sınıf çalışmasındaki iki öğretmen yalnızca r = 0,583 düzeyinde uyuştu, başka bir çift ise r = 0,901’e ulaştı (Chen ve Sun, PLOS One 2025).
- Kaynaklarımızdaki en iyi L2-ARCTIC yanlış telaffuz tespiti F1 değeri: %71,77 (Geng ve ark., arXiv 2026).
- Bu sistemde gerçek yanlış telaffuzların yanlış kabul oranı %32,76, doğru seslerin yanlış ret oranı ise %3,39 (Geng ve ark., arXiv 2026).
- GPT-4o’nun speechocean762 üzerindeki en iyi sonucu ifade düzeyinde 0,502; Azure Pronunciation Assessment için bu değer 0,782 (Wang ve ark., arXiv 2025).
- Bir tüketici uygulaması öğretmenlerle r = 0,869 düzeyinde ilişkili olmasına rağmen ortalama 92,00 puan verdi; insanların ortalaması 86,41 idi (Chen ve Sun, PLOS One 2025).
- Bir tespit sistemini genel bir modelden hedef öğrenci grubuna uyarlamak ROC-AUC değerini 0,72’den 0,85’e çıkardı (Nijat ve ark., Applied Sciences 2026).
1. Başlangıç Noktası: 67 Çalışma Makine-İnsan Uyumu Hakkında Ne Söylüyor
Pearson r değeri -1 ile 1 arasında değişir ve iki puan kümesinin birlikte yükselip alçalıp alçalmadığını ölçer. r = 0,606 olan birleştirilmiş telaffuz değeri bu ölçekte güçlüdür, ancak karesini almak sınırı gösterir: .606 x .606 = 0,367, yani insan puanlarındaki değişkenliğin yaklaşık %37’si makineyle ortaktır.
Yapıların sıralaması şaşırtıcı. Sunum (delivery; konuşma değerlendirmesinde, konuşmanın ne söylediğinden çok genel olarak nasıl duyulduğu) telaffuzu geniş bir farkla geride bırakıyor; yani sistemler, bu derlemenin izlediği belirli yapıdan çok genel izlenimde daha başarılı. Dilbilgisi ve sözcük dağarcığı her şeyin gerisinde kalıyor. Language Testing meta-analizi ayrıca ASR doğruluğunun anlamlı bir moderatör olmadığını buldu; bu da daha iyi bir konuşma tanıyıcının otomatik olarak daha iyi bir puanlayıcı demek olduğu yönündeki yaygın varsayımı zayıflatıyor.
| Metrik | Değer | Kaynak |
|---|---|---|
| Meta-analizin büyüklüğü ve genel birleştirilmiş makine-insan korelasyonu | 67 çalışma, 392 etki büyüklüğü, r = 0,654 (p < 0,001) | Wang ve Min, Language Testing 2026 |
| Sunum için birleştirilmiş korelasyon ile telaffuz için birleştirilmiş korelasyon | r = 0,784 karşı r = 0,606 | Wang ve Min, Language Testing 2026 |
| Genel konuşma yeterliliği için birleştirilmiş korelasyon ile akıcılık için birleştirilmiş korelasyon | r = 0,686 karşı r = 0,618 | Wang ve Min, Language Testing 2026 |
| İçerik için birleştirilmiş korelasyon ile dilbilgisi ve sözcük dağarcığı için birleştirilmiş korelasyon | r = 0,574 karşı r = 0,499 | Wang ve Min, Language Testing 2026 |
| Anlamlı etkisi olan moderatör değişkenler ile olmayanlar | 10 anlamlı (yaş grubu, değerlendirici uzmanlığı ve değerlendiriciler arası güvenirlik dahil) karşı 4 anlamlı değil (ASR doğruluğu dahil) | Wang ve Min, Language Testing 2026 |
| Bir sağlayıcının insan jüri üyeleriyle ‘Yüksek’ uyum olarak etiketlediği Pearson korelasyon aralığı | 0,5 ile 1,0 | Microsoft, Pronunciation Assessment şeffaflık notu 2026 (sağlayıcının kendi yönergesi) |
Bağlam notu: Microsoft’un kendi ölçeğinde, meta-analizdeki en zayıf yapı bile neredeyse ‘Yüksek’ düzeye ulaşıyor. Bu tür etiketler, bir puana tek bir öğrenci için güvenilip güvenilemeyeceği konusunda çok az şey söyler. Geçme notu olarak kullanılırsa Microsoft yönergesi, yukarıdaki tablodaki birleştirilmiş rakamların neredeyse hepsini geçerdi.
2. İnsan Tavanı: Değerlendiriciler Birbiriyle Ne Kadar Uyuşuyor
Bir makine mükemmel bir ölçüte göre değerlendirilemez, çünkü insan referansı da gürültülüdür. 2025 tarihli bir çalışmada eğitimli öğretmen çiftleri r = 0,901’den r = 0,583’e kadar uzanan değerlere ulaştı ve bu düşük değer, 1. bölümdeki makineler için birleştirilmiş telaffuz korelasyonunun altında kalıyor. Örneklem yalnızca 30 öğrenciydi ve görev genel sözlü yeterlilikti; dolayısıyla bu sonuç dağılımı gösteriyor, makinelerin öğretmenleri geçtiğini kanıtlamıyor.
Aşağıdaki Arapça çalışmasındaki klinisyenler, farklı bir dil ve görev olmasına rağmen öğretmenlerden çok daha yakın uyuştu; ortalama almak da yardımcı oluyor: PLOS One çalışması tek bir değerlendirici için 0,713’ten üç değerlendiricinin ortalaması için 0,882’ye çıkıyor. Sınıf içi korelasyon katsayısı olan ICC, Pearson r’den farklı bir ölçüdür: mutlak uyum biçiminde, değerlendiricileri genel olarak daha sert veya daha cömert oldukları için de cezalandırır. En yararlı karşılaştırma, her iki sayıyı da aynı veri üzerinde bildiren ETS TOEFL Junior çalışmasıdır. İkisi arasındaki fark, otomasyonun hâlâ neyi eksik bıraktığının dürüst ölçüsüdür. Dinleyici yargısı sorunu, sentetik konuşma kalitesi puanlarında da aynı biçimde karşımıza çıkıyor.
| Metrik | Değer | Kaynak |
|---|---|---|
| TOEFL Junior form düzeyi Speaking, beş yanıt: insan-insan korelasyonu ile insan-makine korelasyonunun karşılaştırması | r = 0,89 karşı r = 0,81 | ETS, TOEFL Junior otomatik puanlama raporu 2015 (mevcut en güncel veri) |
| Arapça telaffuzu puanlayan üç dil ve konuşma terapisti: ikili PCC aralığı | 0,858 ile 0,927 | Azad ve ark., Harf-Speech, arXiv 2026 |
| Aynı üç klinisyen: ikili ICC(2,1) aralığı | 0,846 ile 0,922 | Azad ve ark., Harf-Speech, arXiv 2026 |
| Sözlü yeterliliği puanlayan üç İngilizce öğretmeni: tek bir değerlendiricinin uyumu, ICC(2,1) | 0,713 (%95 GA 0,539 ile 0,835) | Chen ve Sun, PLOS One 2025 |
| Aynı üç öğretmen: ortalama puanın uyumu, ICC(2,k) | 0,882 (%95 GA 0,778 ile 0,938) | Chen ve Sun, PLOS One 2025 |
| Aynı üç öğretmen: en güçlü çift ile en zayıf çift | r = 0,901 karşı r = 0,583 | Chen ve Sun, PLOS One 2025 |
| Değerlendirici eğitiminden sonra ölçülen yapıyla ilgisiz dinleyici değişkenlerinin etkisindeki azalma: bütüncül sözlü yeterlilik puanları ile anlaşılabilirlik puanları | %75 karşı %50 | Dalman ve Kang, IntechOpen 2019, Kang ve ark. 2019 çalışmasını özetliyor (mevcut en güncel veri) |
| speechocean762’nin beş uzman işaretleyicisi için yayımlanan uyum istatistiği | Bildirilmemiş | Zhang ve ark., speechocean762 makalesi 2021 |
Aykırı değer notu: son satır göründüğünden daha önemli. Bu alanın başlıca açık kıyaslaması işaretleyiciler arası korelasyon ya da kappa yayımlamıyor; dolayısıyla makalesini okuyan hiç kimse 0,693’ün insan tavanına ne kadar yakın olduğunu söyleyemez.
3. Yüksek Riskli Sınavlar: Sağlayıcı Rakamları ve İçlerindeki Telaffuz Açığı
Tüm sınav düzeyindeki rakamlar neredeyse kusursuz görünüyor; telaffuz ise bu görüntünün sona erdiği yer. Pearson’ın kendi Versant verilerinde Telaffuz, Genel puan 0,97’ye ulaşırken 0,88 ile en zayıf alt puandır. Bu düşüş Pearson’ın belgeleri genelinde tutarlı: bir PTE Academic sunumunda 0,81 ve telaffuzu içeren Versant kategorisi Konuşma Tarzı için 0,85.
Bu rakamlar 1. bölümdeki birleştirilmiş r = 0,606 değerinin çok üzerinde. Farkın bir kısmı örneklemeden kaynaklanıyor: sınav puanları çok sayıda maddeyi toplar ve doğrulama örneklemleri sıklıkla geniş bir yetenek aralığına yayılır (Versant Speaking and Listening raporu 260 yetişkinin arasında anadili İngilizce olan 26 kişi içerir) ve geniş aralıklar korelasyonları yükseltir. Meta-analiz ayrıca sistem geliştiricisini ve örneklem birimini anlamlı moderatörleri arasında sayıyor. Sağlayıcı rakamlarını, elverişli koşullardan gelen üst sınırlar olarak okuyun. Bu sınavların ne kadar ağırlık taşıdığı için İngilizce sınav hacmi istatistiklerimize bakın.
| Metrik | Değer | Kaynak |
|---|---|---|
| Versant English Test, puana göre makine-insan korelasyonu, n = 143 | Genel 0,97, Cümle Hâkimiyeti 0,97, Sözcük Bilgisi 0,96, Akıcılık 0,94, Telaffuz 0,88 | Pearson, Versant doğrulama özeti 2022 (sağlayıcının kendi iddiası, mevcut en güncel veri) |
| Versant English Test Telaffuz puanının yarıya bölme güvenirliği: makine puanlaması karşı insan puanlaması, n = 143 | 0,97 karşı 0,99 | Pearson, Versant doğrulama özeti 2022 (sağlayıcının kendi iddiası) |
| Versant puanlarının dış sınavlarla korelasyonu, her biri n = 130: TOEFL iBT Konuşma ile IELTS Konuşma | 0,75 karşı 0,76 | Pearson, Versant doğrulama özeti 2022 (sağlayıcının kendi iddiası) |
| Versant English Speaking and Listening Test, makine-insan korelasyonu, n = 260 | Genel .96, Konuşma .88, Konuşma Tarzı .85 | Pearson, Versant Speaking and Listening doğrulama raporu 2024 (sağlayıcının kendi iddiası) |
| PTE Academic konuşma, özelliğe göre makine-insan korelasyonu, N = 158 | Telaffuz 0,81, Akıcılık 0,82, Genel 0,96 | Pearson, MELTA otomatik puanlama sunumu 2018 (sağlayıcının kendi iddiası, mevcut en güncel veri) |
| ETS SpeechRater zaman çizelgesi: hizmetin ilk kullanıma alındığı yıl ile 5.0 sürümünün operasyonel olduğu yıl | 2006 karşı 2016 | Chen ve ark., ETS Research Report 2018 |
Bağlam notu: yarıya bölme güvenirliği, bir puanlayıcının bir sınavın iki yarısı arasında kendisiyle ne kadar tutarlı olduğunu gösterir. Bir makine bu ölçüde 0,97’ye ulaşıp yine de insanlarla uyuşmayabilir; Versant Telaffuz satırlarındaki örüntü tam olarak budur.
4. speechocean762 Kıyaslaması: Ayrıntı Düzeyine Göre İlerleme
speechocean762, 250 anadili İngilizce olmayan konuşmacıdan, yarısı çocuk, 5.000 İngilizce ifade içerir ve her biri beş uzman tarafından puanlanmıştır. Puanlar üç düzeyde bulunur: fon (tek bir konuşma sesi, telefon değil), sözcük ve ifade (utterance). Metrikler PCC, burada yüksek olan daha iyidir, ve MSE (ortalama kare hata), burada düşük olan daha iyidir. GOP, yani Goodness of Pronunciation (telaffuz iyiliği), daha yeni modellerin geçmeye çalıştığı klasik istatistiksel puandır.
Fon düzeyi PCC, 2021 temel modeli ile 2023 modeli arasında 0,45’ten 0,693’e yükseldi ve 5 Şubat 2026’da gözden geçirilen bir makale 0,693’ü hâlâ bilinen en yüksek değer olarak anıyor. Birim küçüldükçe uyum düşüyor: ifade puanları 0,80’li değerlere ulaşırken fon ve sözcük puanları 0,60’lı değerlerde kalıyor. Bir cümle üzerinden ortalama almak hataları gizler; dolayısıyla bir öğrencinin genel puanı güvenilir olabilirken tek bir ses üzerindeki geri bildirim güvenilir olmayabilir. Derlem makalesi ayrıca, 0 ile 10 ölçeğine eşlenen fon puanlarının çoğunun 8 ile 10 arasında kaldığını, yani verilerde doğru seslerin baskın olduğunu not ediyor.
| Metrik | Değer | Kaynak |
|---|---|---|
| Özgün fon düzeyi temel modeli: ham GOP değeri karşı GOP tabanlı özellikler | MSE 0,69 ve PCC 0,25 karşı MSE 0,16 ve PCC 0,45 | Zhang ve ark., speechocean762 makalesi 2021 |
| GOPT dönüştürücü modeli, fon düzeyi | MSE 0,085 ± 0,001, PCC 0,612 ± 0,003 | Gong ve ark., GOPT, ICASSP 2022 |
| speechocean762 için anılan en yüksek fon düzeyi PCC | 0,693 | Chao ve ark., Interspeech 2023, Cao ve ark., arXiv 2025 içinde anıldığı üzere |
| GOPT’ye beslenen segmentasyonsuz GOP özellikleri, fon düzeyi | PCC 0,648 ± 0,002 | Cao ve ark., arXiv 2025 |
| Sözcük düzeyi toplam PCC karşı ifade düzeyi toplam PCC, GOPT | 0,549 karşı 0,742 | Gong ve ark., GOPT, ICASSP 2022 |
| Sözcük düzeyi toplam PCC karşı ifade düzeyi toplam PCC, 3MH modeli | 0,694 karşı 0,811 | Wang ve ark., GPT-4o telaffuz çalışması, arXiv 2025 |
| HMamba modeli ifade düzeyinde: doğruluk, akıcılık ve prozodi PCC | 0,807, 0,848 ve 0,843 | Sara ve Chowdhury, arXiv 2026 |
| Teknoloji kuşağına göre birleştirilmiş makine-insan korelasyonu: geleneksel makine öğrenmesi, derin öğrenme, dönüştürücü | r = 0,597, r = 0,641, r = 0,680 | Wang ve Min, Language Testing 2026 |
Aykırı değer notu: aynı 3MH modeli sözcük vurgusu için yalnızca 0,361, ifadenin tamlığı için ise 0,374’e ulaşıyor (Wang ve ark., arXiv 2025). Bu ikisi, kıyaslamadaki en zor etiketlerdir.
5. Fonem Hatası Tespiti: Kesinlik, Duyarlılık ve Kaçırılan Üçte Bir
Puanlama, bir sesin ne kadar iyi olduğunu sorar. Yanlış telaffuz tespiti ise her fonem için evet ya da hayır sorusu sorar ve kesinliği (kaç işaretlemenin doğru olduğu) ile duyarlılığı (kaç gerçek hatanın yakalandığı) dengeleyen tek bir puan olan F1’i bildirir. Kaynaklarımızdaki en iyi L2-ARCTIC sonucu %71,77 F1’dir; bu sonuç bir 2026 ön baskısından geliyor ve bir 2025 karşılaştırmasındaki en iyi temel modelin 8,73 puan üzerinde (71,77 - 63,04).
İki hata türü arasındaki ayrım bir tasarım önceliğini yansıtıyor. Yanlış kabul, yanlış bir sesin doğru olarak geçmesi; yanlış ret ise doğru bir sesin hatalı olarak işaretlenmesi demek. Sayılar duyarlılığı tamamlıyor: 100 - 67,24 = 32,76; yani üç gerçek hatadan biri işaretlenmeden kalıyor. 2025 makalesi, öğrencileri haksız yere düzeltmenin onları hayal kırıklığına uğrattığı için yanlış reddi en kritik metrik olarak adlandırıyor ve sonuçlar bu önceliğe uyuyor: öğrenci az sayıda yanlış alarm görürken birçok gerçek hata işaretlenmeden kalıyor.
| Metrik | Değer | Kaynak |
|---|---|---|
| L2-ARCTIC kıyaslaması: toplam konuşmacı karşı test kümesindeki konuşmacı | 24 karşı 6 | Tu ve ark., PER-MDD, arXiv 2025 |
| Erken bir uçtan uca tespit sisteminin F1 kazancı: GOP yöntemine göre karşı uçtan uca bir temel modele göre | %27,71 karşı %11,05 | Yan ve ark., Interspeech 2020 |
| L2-ARCTIC F1: önceki en iyi temel model (Joint-Align) karşı eğitim gerektirmeyen erişim tabanlı sistem (PER-MDD) | %63,04 karşı %69,60 | Tu ve ark., PER-MDD, arXiv 2025 |
| L2-ARCTIC, CROTTC-IF sistemi: F1, kesinlik ve duyarlılık | %71,77, %76,94 ve %67,24 | Geng ve ark., CROTTC-IF, arXiv 2026 |
| L2-ARCTIC, CROTTC-IF sistemi: yanlış ret karşı yanlış kabul | %3,39 karşı %32,76 | Geng ve ark., CROTTC-IF, arXiv 2026 |
| L2-ARCTIC üzerinde fon hata oranı: CROTTC-IF karşı yalnızca kendi akustik modeli karşı PER-MDD | 46,52 karşı 17,48 karşı 104,08 | Geng ve ark., CROTTC-IF, arXiv 2026 |
| speechocean762 üzerinde tespit F1: CROTTC-IF karşı HMamba karşı MuFFIN | %57,16 karşı %63,85 karşı %67,98 | Geng ve ark., arXiv 2026; Chao ve Chen, HMamba, arXiv 2025 |
Aykırı değer notu: 100’ün üzerindeki fon hata oranları bir yazım hatası değil. Yazarlar bunları eklenen fonlara bağlıyor ve bu oranlar, bir sistemin hataları iyi tespit ederken yazıya dökmede zayıf kalabileceğini gösteriyor. Arapça sonuçlar benzer görünüyor: aynı 2026 makalesindeki Iqra’Eval2 sıralaması %72,01 F1 ile tavana ulaşıyor.
6. Ticari API’ler, Tüketici Uygulamaları ve Sohbet Botları
Hizmetler arasındaki fark, araştırma modelleri arasındaki farktan daha büyük. speechocean762 üzerinde 2025 tarihli bir test, Azure Pronunciation Assessment’ı ifade düzeyinde 0,782’ye yerleştirdi. En iyi GPT-4o kurulumu 0,502’ye ulaştı ve fonem düzeyinde yalnızca 0,249’a ulaştı. Genel amaçlı çok kipli modeller dinleyebiliyor, ancak bu kanıta göre henüz tek bir sesi yargılayamıyor.
Sağlayıcı laboratuvarları dışındaki testler ticari araçlar için daha az olumlu. Won’un 2025 tarihli Koreli ilkokul öğrencilerinin 190 sesli okuma kaydını inceleyen çalışması, Azure fonem puanları ile insan yargıları arasında orta düzeyde korelasyonlar buldu; sıfıra yakın sözcük hata oranına sahip en doğru sistemler ise insan puanlarıyla yalnızca zayıf biçimde ilişkiliydi. Herkesi anlayan bir tanıyıcı, telaffuz için yararlı bir vekil olmaktan çıkar. Aşağıdaki SmartSpeech satırı ikinci bir noktayı gösteriyor: bir araç insanlarla güçlü biçimde ilişkili olup yine de ortalama puanı beş puandan fazla şişirebilir.
| Metrik | Değer | Kaynak |
|---|---|---|
| İnsan jüri üyeleriyle uyuma ilişkin sağlayıcı beyanı | 0,5’in üzerinde Pearson korelasyonu | Microsoft, Pronunciation Assessment şeffaflık notu 2026 (sağlayıcının kendi iddiası) |
| speechocean762 üzerinde Azure Pronunciation Assessment: sözcük doğruluğu PCC karşı ifade toplam PCC | 0,623 karşı 0,782 | Wang ve ark., GPT-4o telaffuz çalışması, arXiv 2025 |
| speechocean762 üzerinde en iyi GPT-4o sonucu: fonem, sözcük toplam ve ifade toplam PCC | 0,249, 0,277 ve 0,502 | Wang ve ark., GPT-4o telaffuz çalışması, arXiv 2025 |
| Klinisyenlerce puanlanan Arapça konuşma, 40 örnek: ortalama klinisyen puanıyla PCC, Harf-Speech karşı Azure | 0,791 karşı 0,635 | Azad ve ark., Harf-Speech, arXiv 2026 |
| Aynı Arapça test: 0 ile 5 ölçeğinde RMSE, Harf-Speech karşı Azure | 1,05 karşı 1,28 | Azad ve ark., Harf-Speech, arXiv 2026 |
| Üç yapay zekâ konuşma uygulaması ile insan değerlendiricilerin ortalaması, 30 öğrenci: AI Speaking Master, TalkAI Language Practice, SmartSpeech AI Assessment | r = 0,854, 0,873 ve 0,869 | Chen ve Sun, PLOS One 2025 |
| SmartSpeech ortalama puanı karşı insan ortalama puanı | 92,00 karşı 86,41, fark 5,589 (%95 GA 5,023 ile 6,155), Cohen’in d değeri = 3,688 | Chen ve Sun, PLOS One 2025 |
| Duolingo telaffuz puanlayıcısı: uzman insan puanlarıyla Spearman korelasyonu | 0,82 | Cai ve ark. 2025 üzerine Duolingo English Test blogu (sağlayıcının kendi özeti) |
Bağlam notu: Harf-Speech rakamları sistemin kendi yazarlarına ait bir ön baskıdan geliyor; bu nedenle Azure karşısındaki üstünlüğünü dikkatle değerlendirin. Duolingo, 0,82’yi insan değerlendiriciler arasındaki uyuma neredeyse eşit olarak tanımlıyor, ancak blog yazısı insan rakamını yazdırmıyor.
7. Aktarım ve Adillik: Kıyaslamanın Dışında Ne Oluyor
Yukarıdaki kıyaslama kanıtlarının büyük bölümü Mandarin konuşan öğrencilerden oluşan tek bir derlemden geliyor ve bu kanıtlar başka bağlamlara temiz biçimde aktarılmıyor. speechocean762 üzerinde doğruluk için 0,661 puan alan aynı sistem, birkaç farklı ana dilden konuşmacı içeren bir derlem olan L2-ARCTIC üzerinde 0,506’ya düştü ve yeni veri üzerinde yeniden eğitim bunu yalnızca 0,527’ye çıkardı. Hedef gruba uyum sağlamak tespit için daha iyi sonuç veriyor: 2026 tarihli bir çalışma, öğrencilerin kendi verisi üzerinde ince ayar yaparak ROC-AUC değerini 0,72’den 0,85’e yükseltti. ROC-AUC, bir sistemin tüm eşik değerlerinde doğruyu yanlıştan ne kadar iyi ayırdığını ölçer; 0,5 şans düzeyidir.
Yanlılık bulguları çoğunlukla yön gösterici nitelikte, çünkü çok az makale grup düzeyinde farkları yayımlıyor. Yine de konuşma bozukluğu olan sınav adaylarına ilişkin ETS çalışması ve Duolingo’nun Language Learning makalesi, büyük sınav kuruluşlarının geliştirdiği puanlayıcılar dahil olmak üzere ölçülebilir sorunlar buldu. Altta yatan tanıma katmanının kendi boşlukları var; bunlar aksan yanlılığı istatistiklerimizde ele alınıyor ve çocukların kendi kanıtlarına ihtiyacı var; çocuk konuşması tanıma istatistiklerimiz bunu gösteriyor.
| Metrik | Değer | Kaynak |
|---|---|---|
| speechocean762 üzerinde eğitilen bir puanlama modelinin doğruluk PCC değeri: speechocean762 üzerinde test edilen karşı L2-ARCTIC üzerinde test edilen | 0,661 karşı 0,506 | Sara ve Chowdhury, arXiv 2026 |
| Aynı model, L2-ARCTIC verisiyle yeniden eğitildikten sonra L2-ARCTIC üzerinde | 0,527 | Sara ve Chowdhury, arXiv 2026 |
| Yanlış telaffuz tespiti ROC-AUC: anadili İngilizce olmayan öğrenciler üzerinde ince ayardan önceki karşı sonraki model | 0,72 karşı 0,85 | Nijat ve ark., Applied Sciences 2026 |
| ERJ derleminde tespit F1: öğrenci verisi yok (sıfır örnekli) karşı ince ayar yapılmış | %78,44 karşı %89,27 | Geng ve ark., CROTTC-IF, arXiv 2026 |
| Çocuk konuşması (CMU Kids), gerçek hatalar, AUC: daha eski GOP-DNN-Avg karşı segmentasyonsuz GOP-CTC-SF-SD | 0,796 karşı 0,914 | Cao ve ark., arXiv 2025 |
| Çocuk konuşmasında GOP-CTC-SF-SD: simüle edilmiş hatalar karşı gerçek hatalar, AUC | 0,986 karşı 0,914 | Cao ve ark., arXiv 2025 |
| Konuşma veya işitme bozukluğu olan sınav adayları, altı TOEFL iBT konuşma maddesi | SpeechRater puanları insan puanlarından daha yüksek olma eğilimindeydi | Loukina ve Buzick, ETS Research Report 2017 (mevcut en güncel veri) |
| Modern bir telaffuz puanlayıcısında bildirilen yanlılık kaynakları | Ses kalitesi ve dil ailesi grupları | Cai ve ark., Language Learning 2025 |
Bağlam notu: ilk iki satırdaki L2-ARCTIC puanlama etiketleri, 10 konuşmacının uzman incelemesinden geçmiş Azure sözde etiketleridir; dolayısıyla bu PCC değerleri insanlarla olduğu kadar başka bir makineyle olan uyumu da ölçer. Microsoft ayrıca kendi hizmeti için 16 kHz veya daha yüksek ses ve tek konuşmacı öneriyor.
Özet: Rakamlarla Yapay Zekâ Telaffuz Değerlendirme Puanlama Doğruluğu
| Metrik | Değer | Kaynak |
|---|---|---|
| Birleştirilmiş makine-insan korelasyonu: telaffuz karşı tüm konuşma yapıları | r = 0,606 karşı r = 0,654 | Wang ve Min, Language Testing 2026 |
| TOEFL Junior Speaking: insan-insan ile insan-makine karşılaştırması | r = 0,89 karşı r = 0,81 | ETS, TOEFL Junior otomatik puanlama raporu 2015 |
| Üç dil ve konuşma terapisti: ikili PCC aralığı | 0,858 ile 0,927 | Azad ve ark., Harf-Speech, arXiv 2026 |
| Üç İngilizce öğretmeni: en güçlü çift ile en zayıf çift | r = 0,901 karşı r = 0,583 | Chen ve Sun, PLOS One 2025 |
| Versant English Test: Genel ile Telaffuz makine-insan korelasyonu | 0,97 karşı 0,88 | Pearson, Versant doğrulama özeti 2022 (sağlayıcının kendi iddiası) |
| PTE Academic konuşma: Telaffuz makine-insan korelasyonu, N = 158 | 0,81 | Pearson, MELTA sunumu 2018 (sağlayıcının kendi iddiası) |
| speechocean762 fon düzeyi temel model PCC | 0,45 | Zhang ve ark., speechocean762 makalesi 2021 |
| GOPT fon düzeyi PCC | 0,612 | Gong ve ark., GOPT, ICASSP 2022 |
| speechocean762 için anılan en yüksek fon düzeyi PCC | 0,693 | Chao ve ark., Interspeech 2023, Cao ve ark., arXiv 2025 içinde anıldığı üzere |
| 3MH ifade düzeyi toplam PCC | 0,811 | Wang ve ark., GPT-4o telaffuz çalışması, arXiv 2025 |
| Kaynaklarımızdaki en iyi L2-ARCTIC tespit F1 değeri | %71,77 | Geng ve ark., CROTTC-IF, arXiv 2026 |
| Bu sistemde yanlış ret karşı yanlış kabul | %3,39 karşı %32,76 | Geng ve ark., CROTTC-IF, arXiv 2026 |
| speechocean762 üzerinde ifade düzeyi PCC: Azure karşı en iyi GPT-4o kurulumu | 0,782 karşı 0,502 | Wang ve ark., GPT-4o telaffuz çalışması, arXiv 2025 |
| Arapça test: ortalama klinisyen puanıyla PCC, Harf-Speech karşı Azure | 0,791 karşı 0,635 | Azad ve ark., Harf-Speech, arXiv 2026 |
| SmartSpeech ortalama puanı karşı insan ortalama puanı | 92,00 karşı 86,41 | Chen ve Sun, PLOS One 2025 |
| Hedef öğrenciler üzerinde ince ayardan önce karşı sonra ROC-AUC | 0,72 karşı 0,85 | Nijat ve ark., Applied Sciences 2026 |
Metodoloji ve Kaynaklar
Her çalışmayı, raporu veya teknik belgeyi doğrudan okuduk ve her kaynağın kendi gösterimini koruduk. Ön baskılar arXiv olarak etiketlenmiştir ve hakem değerlendirmesinden geçmiş olmaları gerekmez.
- Wang ve Min, The human-machine correlation in automated speech evaluation: A three-level meta-analysis, Language Testing, 2026.
- Zhang ve ark., speechocean762: An Open-Source Non-native English Speech Corpus For Pronunciation Assessment, 2021.
- Gong ve ark., Transformer-Based Multi-Aspect Multi-Granularity Non-Native English Speaker Pronunciation Assessment, ICASSP 2022.
- Chao ve ark., A Hierarchical Context-aware Modeling Approach for Multi-aspect and Multi-granular Pronunciation Assessment, Interspeech 2023.
- Cao ve ark., Segmentation-free Goodness of Pronunciation, arXiv 2025, 5 Şubat 2026’da gözden geçirildi.
- Sara ve Chowdhury, Light-weight Pronunciation Assessment via Discrete Speech Token Surprisal, arXiv 2026.
- Wang ve ark., Exploring the Potential of Large Multimodal Models as Effective Alternatives for Pronunciation Assessment, arXiv 2025.
- Chao ve Chen, HMamba makalesi, arXiv 2025.
- Tu ve ark., Mispronunciation Detection and Diagnosis Without Model Training, arXiv 2025.
- Geng ve ark., Beyond Acoustic Sparsity and Linguistic Bias, arXiv 2026.
- Yan ve ark., An End-to-End Mispronunciation Detection System for L2 English Speech, Interspeech 2020.
- Azad ve ark., Harf-Speech: A Clinically Aligned Framework for Arabic Phoneme-Level Speech Assessment, arXiv 2026.
- Chen ve Sun, Evaluating automated evaluation systems for spoken English proficiency, PLOS One, 2025.
- Won, Assessing the efficacy of word error rate as a proxy for pronunciation quality, Journal of Second Language Pronunciation, 2025.
- Nijat ve ark., Beyond Native Norms: A Perceptually Grounded and Fair Framework for Automatic Speech Assessment, Applied Sciences, 2026.
- Cai ve ark., Developing an Automatic Pronunciation Scorer, Language Learning, 2025, ayrıca Duolingo English Test blog özeti ile birlikte.
- Pearson, Versant English Test Description and Validation Summary, 2022.
- Pearson, Versant English Speaking and Listening Test validation report, 2024.
- Pearson, MELTA automated scoring presentation, 2018.
- ETS, Automated Scoring for the TOEFL Junior Comprehensive Writing and Speaking Test, 2015.
- Loukina ve Buzick, Use of Automated Scoring in Spoken Language Assessments for Test Takers With Speech Impairments, ETS Research Report, 2017.
- Chen ve ark., Automated Scoring of Nonnative Speech Using the SpeechRater v. 5.0 Engine, ETS Research Report, 2018.
- Microsoft, Characteristics and limitations of Pronunciation Assessment, 2026.
- Dalman ve Kang, Listener Background in L2 Speech Evaluation, IntechOpen, 2019.
- Veri notu: Mevcut en güncel veriler: ETS 2015 ve 2017, Pearson 2018 ve 2022 ile Dalman ve Kang 2019; çünkü daha yeni kamuya açık eşdeğerlerini bulamadık ve ETS, okuyabildiğimiz belgelerde operasyonel TOEFL iBT uyum rakamlarını yayımlamıyor. Eğitim verisi, bölümlemeler ve sözde etiketler farklı olduğu için kıyaslamalar makaleler arasında doğrudan karşılaştırılamaz; 0,693 rekoru ise Cao ve ark.‘nın bilgilerinin en iyisine göre belirttiği değerdir: HMamba özetini okuyabildik ancak fon düzeyi tablosunu okuyamadık, bu nedenle daha yeni bir fon düzeyi rakamı bulunabilir. CROTTC-IF, speechocean762 üzerindeki en iyi tespit sistemi değil; aynı tabloda MuFFIN’in %67,98’i önde. Sağlayıcı rakamları, sağlayıcıların kendi doğrulama örneklemlerinden geliyor. Okuduğumuz kaynaklarda telaffuz için kullanılabilir bir Cohen kappa değeri bulamadık; bu kaynaklar PCC ve ICC’yi tercih ediyor ve Wang ve Min ile Loukina ve Buzick rakamları yayımlanmış özetlerden alınmıştır. Chen ve Sun’ın örneklemi 30 öğrenci, Harf-Speech ise 40 örnek kullanıyor; dolayısıyla ikisi de küçüktür.
Son güncelleme: 31 Ekim 2026. Bu derlemeyi üç ayda bir güncelliyoruz ve bir sonraki yenilemenin, ISCA Archive bir sonraki Interspeech bildirilerini yayımladığında yapılması bekleniyor.