Dari 67 studi dan 392 ukuran efek, skor mesin berkorelasi dengan penilaian manusia atas pelafalan sebesar r = 0,606, lebih rendah daripada angka gabungan untuk kelancaran atau penyampaian (delivery) (Wang dan Min, Language Testing 2026). Angka-angka tolok ukur menceritakan hal serupa pada tingkat yang lebih rinci: korelasi Pearson (PCC) tingkat fonem terbaik yang dikutip pada korpus speechocean762 adalah 0,693, dan pendeteksi kesalahan terdepan tahun 2026 masih melewatkan sekitar satu dari tiga kesalahan pelafalan yang nyata. Penyedia tes melaporkan angka yang jauh lebih tinggi untuk tes secara utuh, hingga 0,97, meskipun subskor pelafalan mereka sendiri berada jauh di bawahnya. Angka-angka itu mengukur kesesuaian, bukan penjualan, itulah sebabnya rangkuman ini berdiri terpisah dari statistik pembelajaran bahasa kami yang lebih luas. Kami mengumpulkan data dari Language Testing, korpus speechocean762, laporan riset ETS, laporan validasi Pearson, PLOS One, Language Learning, dan selusin makalah serta dokumen teknis lainnya.
TL;DR
- Korelasi mesin-manusia gabungan untuk pelafalan: r = 0,606, dibandingkan r = 0,654 pada seluruh konstruk berbicara (Wang dan Min, Language Testing 2026).
- PCC tingkat fon tertinggi yang dikutip pada speechocean762: 0,693, naik dari 0,45 pada model dasar korpus (Cao dkk., arXiv 2025; Zhang dkk., 2021).
- Subskor Pelafalan Versant English Test: korelasi mesin-manusia 0,88, yang terendah di antara subskornya (Pearson, ringkasan validasi Versant 2022).
- Manusia lawan manusia pada TOEFL Junior Speaking: r = 0,89, dibandingkan r = 0,81 untuk manusia lawan mesin (ETS, laporan penilaian otomatis TOEFL Junior 2015).
- Dua guru dalam satu studi kelas hanya sepakat pada r = 0,583, sementara pasangan lain mencapai r = 0,901 (Chen dan Sun, PLOS One 2025).
- F1 deteksi kesalahan pelafalan L2-ARCTIC terbaik dalam sumber kami: 71,77% (Geng dkk., arXiv 2026).
- Penerimaan keliru atas kesalahan pelafalan nyata pada sistem itu: 32,76%, dibandingkan 3,39% penolakan keliru atas bunyi yang benar (Geng dkk., arXiv 2026).
- Hasil terbaik GPT-4o pada speechocean762: 0,502 di tingkat ujaran, dibandingkan 0,782 untuk Azure Pronunciation Assessment (Wang dkk., arXiv 2025).
- Satu aplikasi konsumen berkorelasi dengan guru pada r = 0,869 namun memberi skor rata-rata 92,00 dibandingkan 86,41 dari manusia (Chen dan Sun, PLOS One 2025).
- Mengalihkan sebuah pendeteksi dari model umum ke kelompok pelajar sasaran menaikkan ROC-AUC dari 0,72 menjadi 0,85 (Nijat dkk., Applied Sciences 2026).
1. Garis Dasar: Apa yang Dikatakan 67 Studi tentang Kesesuaian Mesin-Manusia
r Pearson berkisar dari -1 sampai 1 dan mengukur apakah dua rangkaian skor naik dan turun bersama. Angka gabungan pelafalan sebesar r = 0,606 tergolong kuat menurut skala itu, tetapi mengkuadratkannya menunjukkan batasnya: .606 x .606 = 0,367, sehingga sekitar 37% variasi pada skor manusia dimiliki bersama dengan mesin.
Urutan konstruk adalah kejutannya. Penyampaian (delivery; dalam penilaian berbicara, bagaimana ujaran terdengar secara keseluruhan, bukan apa isinya) mengungguli pelafalan dengan selisih lebar, sehingga sistem lebih baik pada kesan umum daripada pada konstruk spesifik yang dilacak rangkuman ini. Tata bahasa dan kosakata berada di urutan paling bawah. Meta-analisis Language Testing juga menemukan bahwa akurasi ASR bukan moderator yang signifikan, yang melemahkan anggapan umum bahwa pengenal ucapan yang lebih baik otomatis berarti penilai yang lebih baik.
| Metrik | Nilai | Sumber |
|---|---|---|
| Ukuran meta-analisis dan korelasi mesin-manusia gabungan secara keseluruhan | 67 studi, 392 ukuran efek, r = 0,654 (p < 0,001) | Wang dan Min, Language Testing 2026 |
| Korelasi gabungan untuk penyampaian dibandingkan korelasi gabungan untuk pelafalan | r = 0,784 lawan r = 0,606 | Wang dan Min, Language Testing 2026 |
| Korelasi gabungan untuk kemahiran berbicara secara keseluruhan dibandingkan korelasi gabungan untuk kelancaran | r = 0,686 lawan r = 0,618 | Wang dan Min, Language Testing 2026 |
| Korelasi gabungan untuk isi dibandingkan korelasi gabungan untuk tata bahasa dan kosakata | r = 0,574 lawan r = 0,499 | Wang dan Min, Language Testing 2026 |
| Variabel moderator dengan efek signifikan dibandingkan yang tanpa efek signifikan | 10 signifikan (termasuk kelompok usia, keahlian penilai, dan reliabilitas antarpenilai) lawan 4 tidak signifikan (termasuk akurasi ASR) | Wang dan Min, Language Testing 2026 |
| Rentang korelasi Pearson yang oleh satu penyedia diberi label kesesuaian ‘Tinggi’ dengan juri manusia | 0,5 hingga 1,0 | Microsoft, catatan transparansi Pronunciation Assessment 2026 (pedoman penyedia itu sendiri) |
Catatan konteks: pada skala milik Microsoft sendiri, bahkan konstruk terlemah dalam meta-analisis hampir mencapai ‘Tinggi’. Label seperti itu hanya sedikit menjelaskan apakah suatu skor dapat dipercaya untuk satu pelajar. Jika dipakai sebagai nilai kelulusan, pedoman Microsoft akan meloloskan hampir semua angka gabungan pada tabel di atas.
2. Batas Atas Manusia: Seberapa Sepakat Para Penilai Satu Sama Lain
Mesin tidak dapat diukur terhadap standar yang sempurna, karena acuan manusia pun mengandung derau. Pasangan guru terlatih dalam satu studi 2025 berkisar dari r = 0,901 hingga serendah r = 0,583, dan angka yang lebih rendah itu berada di bawah korelasi pelafalan gabungan untuk mesin pada bagian 1. Sampelnya hanya 30 siswa, dan tugasnya adalah kemahiran lisan secara keseluruhan, sehingga ini menggambarkan sebaran dan tidak membuktikan bahwa mesin mengalahkan guru.
Para klinisi dalam studi bahasa Arab di bawah ini sepakat jauh lebih dekat daripada para guru, meskipun untuk bahasa dan tugas yang berbeda, dan merata-ratakan membantu: studi PLOS One bergerak dari 0,713 untuk satu penilai ke 0,882 untuk rata-rata tiga penilai. ICC, koefisien korelasi intrakelas, adalah ukuran yang berbeda dari r Pearson: dalam bentuk kesepakatan absolutnya, ia juga menghukum penilai yang secara umum lebih keras atau lebih longgar. Perbandingan yang paling berguna adalah studi ETS tentang TOEFL Junior, yang melaporkan kedua angka pada data yang sama. Selisih antara keduanya adalah ukuran jujur tentang apa yang masih kurang pada otomatisasi. Masalah penilaian pendengar yang sama juga ada pada skor kualitas ujaran sintetis.
| Metrik | Nilai | Sumber |
|---|---|---|
| TOEFL Junior Speaking tingkat formulir, lima jawaban: korelasi manusia lawan manusia dibandingkan korelasi manusia lawan mesin | r = 0,89 lawan r = 0,81 | ETS, laporan penilaian otomatis TOEFL Junior 2015 (data terbaru yang tersedia) |
| Tiga patolog wicara-bahasa menilai pelafalan bahasa Arab: rentang PCC berpasangan | 0,858 hingga 0,927 | Azad dkk., Harf-Speech, arXiv 2026 |
| Ketiga klinisi yang sama: rentang ICC(2,1) berpasangan | 0,846 hingga 0,922 | Azad dkk., Harf-Speech, arXiv 2026 |
| Tiga guru bahasa Inggris menilai kemahiran lisan: kesepakatan satu penilai, ICC(2,1) | 0,713 (CI 95% 0,539 hingga 0,835) | Chen dan Sun, PLOS One 2025 |
| Ketiga guru yang sama: kesepakatan skor rata-rata, ICC(2,k) | 0,882 (CI 95% 0,778 hingga 0,938) | Chen dan Sun, PLOS One 2025 |
| Ketiga guru yang sama: pasangan terkuat lawan pasangan terlemah | r = 0,901 lawan r = 0,583 | Chen dan Sun, PLOS One 2025 |
| Penurunan pengaruh variabel pendengar yang tidak relevan dengan konstruk setelah pelatihan penilai: penilaian holistik kemahiran lisan lawan penilaian keterpahaman | 75% lawan 50% | Dalman dan Kang, IntechOpen 2019, merangkum Kang dkk. 2019 (data terbaru yang tersedia) |
| Statistik kesepakatan yang dipublikasikan untuk lima penganotasi ahli speechocean762 | Tidak ada yang dilaporkan | Zhang dkk., makalah speechocean762 2021 |
Catatan pencilan: baris terakhir lebih penting daripada kelihatannya. Tolok ukur publik utama di bidang ini tidak menerbitkan korelasi atau kappa antarpenganotasi, sehingga tidak seorang pun yang membaca makalahnya dapat mengatakan seberapa dekat 0,693 dengan batas atas manusia.
3. Tes Berisiko Tinggi: Angka Penyedia, dan Kesenjangan Pelafalan di Dalamnya
Angka tingkat tes utuh tampak nyaris sempurna, dan pelafalan adalah bagian tempat angka itu berhenti terlihat demikian. Dalam data Versant milik Pearson sendiri, Pelafalan adalah subskor terlemah dengan 0,88 sementara skor Keseluruhan mencapai 0,97. Penurunan ini konsisten di berbagai dokumen Pearson: 0,81 dalam presentasi PTE Academic, dan 0,85 untuk Cara Berbicara, kategori Versant yang memuat pelafalan.
Angka-angka ini jauh di atas r = 0,606 gabungan dari bagian 1. Sebagian perbedaannya adalah soal pengambilan sampel: skor tes menggabungkan banyak butir, dan sampel validasi sering mencakup rentang kemampuan yang lebar (laporan Versant Speaking and Listening memuat 26 penutur bahasa Inggris L1 di antara 260 orang dewasa), dan rentang yang lebar menaikkan korelasi. Meta-analisis juga mencantumkan pengembang sistem dan satuan sampel di antara moderator signifikannya. Bacalah angka penyedia sebagai batas atas dari kondisi yang menguntungkan. Untuk melihat seberapa besar bobot ujian-ujian ini, lihat statistik volume tes bahasa Inggris kami.
| Metrik | Nilai | Sumber |
|---|---|---|
| Versant English Test, korelasi mesin-manusia menurut skor, n = 143 | Keseluruhan 0,97, Penguasaan Kalimat 0,97, Kosakata 0,96, Kelancaran 0,94, Pelafalan 0,88 | Pearson, ringkasan validasi Versant 2022 (klaim penyedia itu sendiri, data terbaru yang tersedia) |
| Reliabilitas belah dua pada skor Pelafalan Versant English Test: penilaian mesin lawan penilaian manusia, n = 143 | 0,97 lawan 0,99 | Pearson, ringkasan validasi Versant 2022 (klaim penyedia itu sendiri) |
| Skor Versant berkorelasi dengan ujian luar, n = 130 masing-masing: TOEFL iBT Berbicara lawan IELTS Berbicara | 0,75 lawan 0,76 | Pearson, ringkasan validasi Versant 2022 (klaim penyedia itu sendiri) |
| Versant English Speaking and Listening Test, korelasi mesin-manusia, n = 260 | Keseluruhan .96, Berbicara .88, Cara Berbicara .85 | Pearson, laporan validasi Versant Speaking and Listening Test 2024 (klaim penyedia itu sendiri) |
| Bagian berbicara PTE Academic, korelasi mesin-manusia menurut aspek, N = 158 | Pelafalan 0,81, Kelancaran 0,82, Keseluruhan 0,96 | Pearson, presentasi penilaian otomatis MELTA 2018 (klaim penyedia itu sendiri, data terbaru yang tersedia) |
| Lini masa ETS SpeechRater: tahun layanan pertama kali digunakan lawan tahun versi 5.0 mulai beroperasi | 2006 lawan 2016 | Chen dkk., ETS Research Report 2018 |
Catatan konteks: reliabilitas belah dua menunjukkan seberapa konsisten sebuah penilai dengan dirinya sendiri di dua bagian tes. Sebuah mesin dapat mencapai 0,97 pada ukuran itu dan tetap tidak sependapat dengan manusia, yang persis menjadi pola pada baris Pelafalan Versant.
4. Tolok Ukur speechocean762: Kemajuan menurut Tingkat Granularitas
speechocean762 memuat 5.000 ujaran bahasa Inggris dari 250 penutur bukan penutur asli, separuhnya anak-anak, masing-masing dinilai oleh lima ahli. Skornya ada pada tiga tingkat: fon (satu bunyi ujaran, bukan telepon), kata, dan ujaran. Metriknya adalah PCC, yang lebih tinggi lebih baik, dan MSE (galat kuadrat rata-rata), yang lebih rendah lebih baik. GOP, atau Goodness of Pronunciation (kebaikan pelafalan), adalah skor statistik klasik yang coba dikalahkan model-model yang lebih baru.
PCC tingkat fon naik dari 0,45 menjadi 0,693 antara model dasar 2021 dan model 2023, dan sebuah makalah yang direvisi pada 5 Februari 2026 masih mengutip 0,693 sebagai angka tertinggi yang diketahui. Kesesuaian menurun seiring satuan mengecil: skor ujaran mencapai kisaran 0,80-an sementara skor fon dan kata tetap di kisaran 0,60-an. Merata-ratakan sepanjang kalimat menyembunyikan kesalahan, sehingga skor keseluruhan seorang pelajar bisa dapat dipercaya sementara umpan balik atas satu bunyi tidak. Makalah korpus itu juga mencatat bahwa sebagian besar skor fon, yang dipetakan ke skala 0 sampai 10, berada di antara 8 dan 10, sehingga bunyi yang benar mendominasi data.
| Metrik | Nilai | Sumber |
|---|---|---|
| Model dasar tingkat fon awal: nilai GOP mentah lawan fitur berbasis GOP | MSE 0,69 dan PCC 0,25 lawan MSE 0,16 dan PCC 0,45 | Zhang dkk., makalah speechocean762 2021 |
| Model transformer GOPT, tingkat fon | MSE 0,085 ± 0,001, PCC 0,612 ± 0,003 | Gong dkk., GOPT, ICASSP 2022 |
| PCC tingkat fon tertinggi yang dikutip untuk speechocean762 | 0,693 | Chao dkk., Interspeech 2023, sebagaimana dikutip dalam Cao dkk., arXiv 2025 |
| Fitur GOP tanpa segmentasi yang dimasukkan ke GOPT, tingkat fon | PCC 0,648 ± 0,002 | Cao dkk., arXiv 2025 |
| PCC total tingkat kata lawan PCC total tingkat ujaran, GOPT | 0,549 lawan 0,742 | Gong dkk., GOPT, ICASSP 2022 |
| PCC total tingkat kata lawan PCC total tingkat ujaran, model 3MH | 0,694 lawan 0,811 | Wang dkk., studi pelafalan GPT-4o, arXiv 2025 |
| Model HMamba di tingkat ujaran: PCC akurasi, kelancaran, dan prosodi | 0,807, 0,848, dan 0,843 | Sara dan Chowdhury, arXiv 2026 |
| Korelasi mesin-manusia gabungan menurut generasi teknologi: pembelajaran mesin tradisional, pembelajaran mendalam, transformer | r = 0,597, r = 0,641, r = 0,680 | Wang dan Min, Language Testing 2026 |
Catatan pencilan: model 3MH yang sama hanya mencapai 0,361 untuk penekanan kata dan 0,374 untuk kelengkapan ujaran (Wang dkk., arXiv 2025). Keduanya adalah label tersulit pada tolok ukur ini.
5. Deteksi Kesalahan Fonem: Presisi, Recall, dan Sepertiga yang Terlewat
Penilaian bertanya seberapa baik sebuah bunyi. Deteksi kesalahan pelafalan mengajukan pertanyaan ya atau tidak untuk setiap fonem, dan melaporkan F1, satu skor yang menyeimbangkan presisi (berapa banyak tanda yang benar) dan recall (berapa banyak kesalahan nyata yang tertangkap). Hasil L2-ARCTIC teratas dalam sumber kami adalah F1 sebesar 71,77%, dari sebuah pracetak 2026, 8,73 poin di atas (71,77 - 63,04) model dasar terbaik dalam perbandingan 2025.
Pembagian antara dua jenis kesalahan mencerminkan prioritas perancangan. Penerimaan keliru berarti bunyi yang salah lolos sebagai benar, dan penolakan keliru berarti bunyi yang benar ditandai. Angkanya saling melengkapi dengan recall: 100 - 67,24 = 32,76, sehingga satu dari tiga kesalahan nyata tidak ditandai. Makalah 2025 menyebut penolakan keliru sebagai metrik paling kritis karena mengoreksi pelajar secara keliru membuat mereka frustrasi, dan hasilnya sesuai dengan prioritas itu: pelajar melihat sedikit alarm palsu sementara banyak kesalahan sebenarnya tidak ditandai.
| Metrik | Nilai | Sumber |
|---|---|---|
| Tolok ukur L2-ARCTIC: total penutur lawan penutur pada set uji | 24 lawan 6 | Tu dkk., PER-MDD, arXiv 2025 |
| Peningkatan F1 pendeteksi ujung ke ujung awal dibandingkan metode GOP lawan dibandingkan model dasar ujung ke ujung | 27,71% lawan 11,05% | Yan dkk., Interspeech 2020 |
| F1 L2-ARCTIC: model dasar sebelumnya yang terbaik (Joint-Align) lawan sistem berbasis pencarian yang tidak butuh pelatihan (PER-MDD) | 63,04% lawan 69,60% | Tu dkk., PER-MDD, arXiv 2025 |
| L2-ARCTIC, sistem CROTTC-IF: F1, presisi, dan recall | 71,77%, 76,94%, dan 67,24% | Geng dkk., CROTTC-IF, arXiv 2026 |
| L2-ARCTIC, sistem CROTTC-IF: penolakan keliru lawan penerimaan keliru | 3,39% lawan 32,76% | Geng dkk., CROTTC-IF, arXiv 2026 |
| Tingkat kesalahan fon pada L2-ARCTIC: CROTTC-IF lawan model akustiknya saja lawan PER-MDD | 46,52 lawan 17,48 lawan 104,08 | Geng dkk., CROTTC-IF, arXiv 2026 |
| F1 deteksi pada speechocean762: CROTTC-IF lawan HMamba lawan MuFFIN | 57,16% lawan 63,85% lawan 67,98% | Geng dkk., arXiv 2026; Chao dan Chen, HMamba, arXiv 2025 |
Catatan pencilan: tingkat kesalahan fon di atas 100 bukan salah ketik. Para penulis mengaitkannya dengan fon yang disisipkan, dan angka itu menunjukkan bahwa sebuah sistem dapat mendeteksi kesalahan dengan baik sambil menuliskan transkripsi dengan buruk. Hasil bahasa Arab terlihat serupa: papan peringkat Iqra’Eval2 dalam makalah 2026 yang sama mentok di F1 sebesar 72,01%.
6. API Komersial, Aplikasi Konsumen, dan Chatbot
Kesenjangan antarlayanan lebih besar daripada kesenjangan antarmodel riset. Pengujian 2025 pada speechocean762 menempatkan Azure Pronunciation Assessment di 0,782 pada tingkat ujaran. Konfigurasi GPT-4o terbaik mencapai 0,502, dan pada tingkat fonem hanya 0,249. Model multimodal serbaguna dapat mendengarkan, tetapi berdasarkan bukti ini mereka belum dapat menilai satu bunyi.
Pengujian di luar laboratorium penyedia kurang memuaskan bagi alat komersial. Studi Won tahun 2025 atas 190 rekaman membaca nyaring dari pelajar sekolah dasar Korea menemukan korelasi sedang antara skor fonem Azure dan penilaian manusia, sementara tingkat kesalahan kata dari sistem paling akurat, mendekati nol, hanya berkorelasi lemah dengan penilaian manusia. Pengenal yang memahami semua orang berhenti menjadi proksi yang berguna untuk pelafalan. Baris SmartSpeech di bawah menunjukkan hal kedua: sebuah alat dapat berkorelasi kuat dengan manusia namun tetap menggelembungkan skor rata-rata lebih dari lima poin.
| Metrik | Nilai | Sumber |
|---|---|---|
| Pernyataan penyedia tentang kesesuaian dengan juri manusia | Korelasi Pearson di atas 0,5 | Microsoft, catatan transparansi Pronunciation Assessment 2026 (klaim penyedia itu sendiri) |
| Azure Pronunciation Assessment pada speechocean762: PCC akurasi kata lawan PCC total ujaran | 0,623 lawan 0,782 | Wang dkk., studi pelafalan GPT-4o, arXiv 2025 |
| Hasil GPT-4o terbaik pada speechocean762: PCC fonem, total kata, dan total ujaran | 0,249, 0,277, dan 0,502 | Wang dkk., studi pelafalan GPT-4o, arXiv 2025 |
| Ujaran bahasa Arab dinilai klinisi, 40 sampel: PCC dengan skor rata-rata klinisi, Harf-Speech lawan Azure | 0,791 lawan 0,635 | Azad dkk., Harf-Speech, arXiv 2026 |
| Uji bahasa Arab yang sama: RMSE pada skala 0 sampai 5, Harf-Speech lawan Azure | 1,05 lawan 1,28 | Azad dkk., Harf-Speech, arXiv 2026 |
| Tiga aplikasi berbicara berbasis AI lawan rata-rata penilai manusia, 30 siswa: AI Speaking Master, TalkAI Language Practice, SmartSpeech AI Assessment | r = 0,854, 0,873, dan 0,869 | Chen dan Sun, PLOS One 2025 |
| Skor rata-rata SmartSpeech lawan skor rata-rata manusia | 92,00 lawan 86,41, selisih 5,589 (CI 95% 5,023 hingga 6,155), d Cohen = 3,688 | Chen dan Sun, PLOS One 2025 |
| Penilai pelafalan Duolingo: korelasi Spearman dengan penilaian ahli manusia | 0,82 | Blog Duolingo English Test tentang Cai dkk. 2025 (ringkasan penyedia itu sendiri) |
Catatan konteks: angka Harf-Speech berasal dari pracetak oleh penulis sistemnya sendiri, jadi perlakukan kemenangannya atas Azure dengan hati-hati. Duolingo menggambarkan 0,82 sebagai hampir setara dengan kesepakatan antarpenilai manusia, tetapi pos blog itu tidak mencetak angka manusianya.
7. Transfer dan Keadilan: Apa yang Terjadi di Luar Tolok Ukur
Sebagian besar bukti tolok ukur di atas berasal dari satu korpus pelajar penutur bahasa Mandarin, dan tidak dapat dipindahkan begitu saja. Sistem yang sama yang mendapat 0,661 untuk akurasi pada speechocean762 turun menjadi 0,506 pada L2-ARCTIC, korpus dengan penutur dari beberapa bahasa ibu, dan pelatihan ulang pada data baru hanya mengangkatnya ke 0,527. Menyesuaikan diri dengan kelompok sasaran bekerja lebih baik untuk deteksi: satu studi 2026 menaikkan ROC-AUC dari 0,72 menjadi 0,85 dengan penyetelan halus pada para pelajar itu sendiri. ROC-AUC mengukur seberapa baik sebuah sistem memisahkan benar dari salah di seluruh ambang batas, dengan 0,5 setara tebakan acak.
Temuan bias sebagian besar bersifat arah, karena sedikit makalah yang menerbitkan kesenjangan tingkat kelompok. Meski begitu, studi ETS tentang peserta tes dengan gangguan bicara dan makalah Language Learning dari Duolingo sama-sama menemukan masalah yang terukur, termasuk pada penilai yang dibangun oleh organisasi pengujian besar. Lapisan pengenalan di bawahnya memiliki kesenjangannya sendiri, yang dibahas dalam statistik bias aksen kami, dan anak-anak membutuhkan buktinya sendiri, seperti ditunjukkan statistik pengenalan ucapan anak kami.
| Metrik | Nilai | Sumber |
|---|---|---|
| PCC akurasi satu model penilaian yang dilatih pada speechocean762: diuji pada speechocean762 lawan diuji pada L2-ARCTIC | 0,661 lawan 0,506 | Sara dan Chowdhury, arXiv 2026 |
| Model yang sama pada L2-ARCTIC setelah dilatih ulang dengan data L2-ARCTIC | 0,527 | Sara dan Chowdhury, arXiv 2026 |
| ROC-AUC deteksi kesalahan pelafalan: model sebelum lawan sesudah penyetelan halus pada pelajar bukan penutur asli | 0,72 lawan 0,85 | Nijat dkk., Applied Sciences 2026 |
| F1 deteksi pada korpus ERJ: tanpa data pelajar (zero-shot) lawan setelah penyetelan halus | 78,44% lawan 89,27% | Geng dkk., CROTTC-IF, arXiv 2026 |
| Ujaran anak (CMU Kids), kesalahan nyata, AUC: GOP-DNN-Avg yang lebih lama lawan GOP-CTC-SF-SD tanpa segmentasi | 0,796 lawan 0,914 | Cao dkk., arXiv 2025 |
| GOP-CTC-SF-SD pada ujaran anak: kesalahan simulasi lawan kesalahan nyata, AUC | 0,986 lawan 0,914 | Cao dkk., arXiv 2025 |
| Peserta tes dengan gangguan bicara atau pendengaran, enam butir berbicara TOEFL iBT | Skor SpeechRater cenderung lebih tinggi daripada skor manusia | Loukina dan Buzick, ETS Research Report 2017 (data terbaru yang tersedia) |
| Sumber bias yang dilaporkan pada penilai pelafalan modern | Kualitas audio dan kelompok rumpun bahasa | Cai dkk., Language Learning 2025 |
Catatan konteks: label penilaian L2-ARCTIC pada dua baris pertama adalah pseudo-label Azure dengan tinjauan ahli atas 10 penutur, sehingga PCC itu mengukur kesesuaian dengan mesin lain sama seperti dengan manusia. Microsoft secara terpisah menyarankan audio 16 kHz atau lebih tinggi dan satu penutur untuk layanannya sendiri.
Ringkasan: Akurasi Penilaian Pelafalan oleh AI dalam Angka
| Metrik | Nilai | Sumber |
|---|---|---|
| Korelasi mesin-manusia gabungan: pelafalan lawan seluruh konstruk berbicara | r = 0,606 lawan r = 0,654 | Wang dan Min, Language Testing 2026 |
| TOEFL Junior Speaking: manusia lawan manusia dibandingkan manusia lawan mesin | r = 0,89 lawan r = 0,81 | ETS, laporan penilaian otomatis TOEFL Junior 2015 |
| Tiga patolog wicara-bahasa: rentang PCC berpasangan | 0,858 hingga 0,927 | Azad dkk., Harf-Speech, arXiv 2026 |
| Tiga guru bahasa Inggris: pasangan terkuat lawan pasangan terlemah | r = 0,901 lawan r = 0,583 | Chen dan Sun, PLOS One 2025 |
| Versant English Test: korelasi mesin-manusia Keseluruhan lawan Pelafalan | 0,97 lawan 0,88 | Pearson, ringkasan validasi Versant 2022 (klaim penyedia itu sendiri) |
| PTE Academic berbicara: korelasi mesin-manusia Pelafalan, N = 158 | 0,81 | Pearson, presentasi MELTA 2018 (klaim penyedia itu sendiri) |
| PCC model dasar tingkat fon speechocean762 | 0,45 | Zhang dkk., makalah speechocean762 2021 |
| PCC tingkat fon GOPT | 0,612 | Gong dkk., GOPT, ICASSP 2022 |
| PCC tingkat fon tertinggi yang dikutip pada speechocean762 | 0,693 | Chao dkk., Interspeech 2023, sebagaimana dikutip dalam Cao dkk., arXiv 2025 |
| PCC total tingkat ujaran 3MH | 0,811 | Wang dkk., studi pelafalan GPT-4o, arXiv 2025 |
| F1 deteksi L2-ARCTIC teratas dalam sumber kami | 71,77% | Geng dkk., CROTTC-IF, arXiv 2026 |
| Penolakan keliru lawan penerimaan keliru pada sistem itu | 3,39% lawan 32,76% | Geng dkk., CROTTC-IF, arXiv 2026 |
| PCC tingkat ujaran pada speechocean762: Azure lawan konfigurasi GPT-4o terbaik | 0,782 lawan 0,502 | Wang dkk., studi pelafalan GPT-4o, arXiv 2025 |
| Uji bahasa Arab: PCC dengan skor rata-rata klinisi, Harf-Speech lawan Azure | 0,791 lawan 0,635 | Azad dkk., Harf-Speech, arXiv 2026 |
| Skor rata-rata SmartSpeech lawan skor rata-rata manusia | 92,00 lawan 86,41 | Chen dan Sun, PLOS One 2025 |
| ROC-AUC sebelum lawan sesudah penyetelan halus pada pelajar sasaran | 0,72 lawan 0,85 | Nijat dkk., Applied Sciences 2026 |
Metodologi dan Sumber
Kami membaca setiap studi, laporan, atau dokumen teknis secara langsung dan mempertahankan notasi asli setiap sumber. Pracetak diberi label arXiv dan belum tentu telah ditelaah sejawat.
- Wang dan Min, The human-machine correlation in automated speech evaluation: A three-level meta-analysis, Language Testing, 2026.
- Zhang dkk., speechocean762: An Open-Source Non-native English Speech Corpus For Pronunciation Assessment, 2021.
- Gong dkk., Transformer-Based Multi-Aspect Multi-Granularity Non-Native English Speaker Pronunciation Assessment, ICASSP 2022.
- Chao dkk., A Hierarchical Context-aware Modeling Approach for Multi-aspect and Multi-granular Pronunciation Assessment, Interspeech 2023.
- Cao dkk., Segmentation-free Goodness of Pronunciation, arXiv 2025, direvisi 5 Februari 2026.
- Sara dan Chowdhury, Light-weight Pronunciation Assessment via Discrete Speech Token Surprisal, arXiv 2026.
- Wang dkk., Exploring the Potential of Large Multimodal Models as Effective Alternatives for Pronunciation Assessment, arXiv 2025.
- Chao dan Chen, makalah HMamba, arXiv 2025.
- Tu dkk., Mispronunciation Detection and Diagnosis Without Model Training, arXiv 2025.
- Geng dkk., Beyond Acoustic Sparsity and Linguistic Bias, arXiv 2026.
- Yan dkk., An End-to-End Mispronunciation Detection System for L2 English Speech, Interspeech 2020.
- Azad dkk., Harf-Speech: A Clinically Aligned Framework for Arabic Phoneme-Level Speech Assessment, arXiv 2026.
- Chen dan Sun, Evaluating automated evaluation systems for spoken English proficiency, PLOS One, 2025.
- Won, Assessing the efficacy of word error rate as a proxy for pronunciation quality, Journal of Second Language Pronunciation, 2025.
- Nijat dkk., Beyond Native Norms: A Perceptually Grounded and Fair Framework for Automatic Speech Assessment, Applied Sciences, 2026.
- Cai dkk., Developing an Automatic Pronunciation Scorer, Language Learning, 2025, beserta ringkasan blog Duolingo English Test.
- Pearson, Versant English Test Description and Validation Summary, 2022.
- Pearson, Versant English Speaking and Listening Test validation report, 2024.
- Pearson, MELTA automated scoring presentation, 2018.
- ETS, Automated Scoring for the TOEFL Junior Comprehensive Writing and Speaking Test, 2015.
- Loukina dan Buzick, Use of Automated Scoring in Spoken Language Assessments for Test Takers With Speech Impairments, ETS Research Report, 2017.
- Chen dkk., Automated Scoring of Nonnative Speech Using the SpeechRater v. 5.0 Engine, ETS Research Report, 2018.
- Microsoft, Characteristics and limitations of Pronunciation Assessment, 2026.
- Dalman dan Kang, Listener Background in L2 Speech Evaluation, IntechOpen, 2019.
- Catatan data: data terbaru yang tersedia: ETS 2015 dan 2017, Pearson 2018 dan 2022, serta Dalman dan Kang 2019, karena kami tidak menemukan padanan publik yang lebih baru, dan ETS tidak menerbitkan angka kesepakatan operasional TOEFL iBT dalam dokumen yang dapat kami baca. Tolok ukur tidak dapat dibandingkan secara langsung antarmakalah karena data pelatihan, pembagian data, dan pseudo-label berbeda, dan rekor 0,693 adalah yang dinyatakan Cao dkk. sepanjang pengetahuan mereka: kami dapat membaca abstrak HMamba tetapi tidak tabel tingkat fonnya, sehingga angka tingkat fon yang lebih baru mungkin ada. CROTTC-IF bukan pendeteksi teratas pada speechocean762, tempat 67,98% milik MuFFIN memimpin pada tabel yang sama. Angka penyedia berasal dari sampel validasi milik penyedia itu sendiri. Kami tidak menemukan kappa Cohen yang dapat dipakai untuk pelafalan dalam sumber yang kami baca, yang lebih memilih PCC dan ICC, dan angka Wang dan Min serta Loukina dan Buzick berasal dari abstrak yang dipublikasikan. Sampel Chen dan Sun adalah 30 siswa, dan Harf-Speech memakai 40 sampel, sehingga keduanya kecil.
Terakhir diperbarui: 31 Oktober 2026. Kami memperbarui rangkuman ini setiap kuartal, dan pembaruan berikutnya diperkirakan terjadi ketika ISCA Archive memublikasikan prosiding Interspeech berikutnya.