Trên 67 nghiên cứu và 392 kích thước hiệu ứng, điểm của máy tương quan với đánh giá của con người về phát âm ở mức r = 0,606, thấp hơn các giá trị tổng hợp cho độ trôi chảy hoặc cách trình bày (delivery) (Wang và Min, Language Testing 2026). Các con số bộ chuẩn kể một câu chuyện tương tự ở mức chi tiết hơn: tương quan Pearson (PCC) cấp độ âm vị tốt nhất được dẫn trên kho ngữ liệu speechocean762 là 0,693, và một bộ phát hiện lỗi hàng đầu năm 2026 vẫn bỏ sót khoảng một trong ba lỗi phát âm thật. Các nhà cung cấp bài thi báo cáo những con số cao hơn nhiều cho toàn bài thi, lên tới 0,97, dù điểm thành phần phát âm của chính họ thấp hơn đáng kể. Những con số đó đo mức tương đồng chứ không phải doanh số, đó là lý do bài tổng hợp này đứng riêng so với thống kê học ngoại ngữ rộng hơn của chúng tôi. Chúng tôi đã tổng hợp dữ liệu từ Language Testing, kho ngữ liệu speechocean762, các báo cáo nghiên cứu của ETS, các báo cáo thẩm định của Pearson, PLOS One, Language Learning và hàng chục bài báo cùng tài liệu kỹ thuật khác.
Tóm tắt nhanh
- Tương quan máy-người tổng hợp cho phát âm: r = 0,606, so với r = 0,654 trên toàn bộ các cấu phần nói (Wang và Min, Language Testing 2026).
- PCC cấp độ âm tố cao nhất được dẫn trên speechocean762: 0,693, tăng từ mức cơ sở 0,45 của kho ngữ liệu (Cao và cộng sự, arXiv 2025; Zhang và cộng sự, 2021).
- Điểm thành phần Phát âm của Versant English Test: tương quan máy-người 0,88, thấp nhất trong các điểm thành phần của bài thi (Pearson, bản tóm tắt thẩm định Versant 2022).
- Người so với người trên TOEFL Junior Speaking: r = 0,89, so với r = 0,81 cho người so với máy (ETS, báo cáo chấm điểm tự động TOEFL Junior 2015).
- Hai giáo viên trong một nghiên cứu ở lớp học chỉ thống nhất ở mức r = 0,583, trong khi một cặp khác đạt r = 0,901 (Chen và Sun, PLOS One 2025).
- F1 phát hiện phát âm sai trên L2-ARCTIC tốt nhất trong các nguồn của chúng tôi: 71,77% (Geng và cộng sự, arXiv 2026).
- Tỷ lệ chấp nhận sai các lỗi phát âm thật ở hệ thống đó: 32,76%, so với 3,39% từ chối sai các âm đúng (Geng và cộng sự, arXiv 2026).
- Kết quả tốt nhất của GPT-4o trên speechocean762: 0,502 ở cấp độ câu nói, so với 0,782 của Azure Pronunciation Assessment (Wang và cộng sự, arXiv 2025).
- Một ứng dụng dành cho người dùng phổ thông tương quan với giáo viên ở mức r = 0,869 nhưng cho điểm trung bình 92,00 so với 86,41 của con người (Chen và Sun, PLOS One 2025).
- Chuyển một bộ phát hiện từ mô hình chung sang nhóm người học mục tiêu đã nâng ROC-AUC từ 0,72 lên 0,85 (Nijat và cộng sự, Applied Sciences 2026).
1. Mức Nền: 67 Nghiên Cứu Nói Gì Về Mức Tương Đồng Giữa Máy và Người
Hệ số r của Pearson chạy từ -1 đến 1 và đo xem hai chuỗi điểm có cùng tăng giảm hay không. Giá trị tổng hợp cho phát âm là r = 0,606 là mạnh theo thang đó, nhưng bình phương nó cho thấy giới hạn: .606 x .606 = 0,367, tức khoảng 37% biến thiên trong điểm của người được chia sẻ với máy.
Thứ hạng của các cấu phần mới là điều bất ngờ. Cách trình bày (delivery; trong đánh giá kỹ năng nói, là lời nói nghe như thế nào nói chung chứ không phải nói điều gì) vượt phát âm với khoảng cách lớn, nên các hệ thống làm tốt ấn tượng chung hơn so với cấu phần cụ thể mà bài tổng hợp này theo dõi. Ngữ pháp và từ vựng đứng sau tất cả. Phân tích gộp trên Language Testing cũng cho thấy độ chính xác của ASR không phải là biến điều tiết có ý nghĩa, điều này làm lung lay giả định phổ biến rằng một bộ nhận dạng giọng nói tốt hơn tự động đồng nghĩa với một bộ chấm điểm tốt hơn.
| Chỉ số | Giá trị | Nguồn |
|---|---|---|
| Quy mô phân tích gộp và tương quan máy-người tổng hợp chung | 67 nghiên cứu, 392 kích thước hiệu ứng, r = 0,654 (p < 0,001) | Wang và Min, Language Testing 2026 |
| Tương quan tổng hợp cho cách trình bày so với tương quan tổng hợp cho phát âm | r = 0,784 so với r = 0,606 | Wang và Min, Language Testing 2026 |
| Tương quan tổng hợp cho năng lực nói tổng thể so với tương quan tổng hợp cho độ trôi chảy | r = 0,686 so với r = 0,618 | Wang và Min, Language Testing 2026 |
| Tương quan tổng hợp cho nội dung so với tương quan tổng hợp cho ngữ pháp và từ vựng | r = 0,574 so với r = 0,499 | Wang và Min, Language Testing 2026 |
| Biến điều tiết có ảnh hưởng đáng kể so với biến không có ảnh hưởng đáng kể | 10 biến có ý nghĩa (gồm nhóm tuổi, chuyên môn của người chấm và độ tin cậy giữa các người chấm) so với 4 biến không có ý nghĩa (gồm độ chính xác của ASR) | Wang và Min, Language Testing 2026 |
| Dải tương quan Pearson mà một nhà cung cấp gắn nhãn mức tương đồng ‘Cao’ với giám khảo là con người | 0,5 đến 1,0 | Microsoft, ghi chú minh bạch của Pronunciation Assessment 2026 (hướng dẫn của chính nhà cung cấp) |
Ghi chú bối cảnh: trên thang của chính Microsoft, ngay cả cấu phần yếu nhất trong phân tích gộp cũng gần chạm mức ‘Cao’. Những nhãn như vậy cho biết rất ít về việc một điểm số có đáng tin cho một người học cụ thể hay không. Nếu dùng làm điểm đạt, hướng dẫn của Microsoft sẽ cho qua gần như mọi con số tổng hợp trong bảng trên.
2. Trần Của Con Người: Những Người Chấm Thống Nhất Với Nhau Đến Đâu
Không thể đo một cỗ máy so với một chuẩn hoàn hảo, vì chuẩn tham chiếu của con người cũng có nhiễu. Các cặp giáo viên được đào tạo trong một nghiên cứu năm 2025 dao động từ r = 0,901 xuống tới r = 0,583, và giá trị thấp hơn đó nằm dưới tương quan phát âm tổng hợp của máy ở mục 1. Mẫu chỉ có 30 học sinh và nhiệm vụ là năng lực nói tổng thể, nên nó minh họa độ phân tán chứ không chứng minh máy vượt giáo viên.
Các bác sĩ lâm sàng trong nghiên cứu tiếng Ả Rập dưới đây thống nhất sát nhau hơn nhiều so với các giáo viên, dù là ngôn ngữ và nhiệm vụ khác, và việc lấy trung bình có ích: nghiên cứu trên PLOS One chuyển từ 0,713 cho một người chấm lên 0,882 cho trung bình của ba người. ICC, hệ số tương quan nội lớp, là thước đo khác với r của Pearson: ở dạng thống nhất tuyệt đối, nó còn phạt những người chấm nhìn chung khắt khe hơn hoặc dễ dãi hơn. So sánh hữu ích nhất là nghiên cứu TOEFL Junior của ETS, báo cáo cả hai con số trên cùng một dữ liệu. Khoảng cách giữa hai con số là thước đo trung thực về những gì tự động hóa còn thiếu. Cùng vấn đề về phán đoán của người nghe cũng xuất hiện ở điểm chất lượng giọng nói tổng hợp.
| Chỉ số | Giá trị | Nguồn |
|---|---|---|
| TOEFL Junior Speaking cấp độ biểu mẫu, năm câu trả lời: tương quan người-người so với tương quan người-máy | r = 0,89 so với r = 0,81 | ETS, báo cáo chấm điểm tự động TOEFL Junior 2015 (dữ liệu mới nhất hiện có) |
| Ba chuyên viên ngôn ngữ trị liệu chấm phát âm tiếng Ả Rập: dải PCC theo cặp | 0,858 đến 0,927 | Azad và cộng sự, Harf-Speech, arXiv 2026 |
| Cũng ba bác sĩ lâm sàng đó: dải ICC(2,1) theo cặp | 0,846 đến 0,922 | Azad và cộng sự, Harf-Speech, arXiv 2026 |
| Ba giáo viên tiếng Anh chấm năng lực nói: mức thống nhất của một người chấm, ICC(2,1) | 0,713 (KTC 95% 0,539 đến 0,835) | Chen và Sun, PLOS One 2025 |
| Cũng ba giáo viên đó: mức thống nhất của điểm trung bình, ICC(2,k) | 0,882 (KTC 95% 0,778 đến 0,938) | Chen và Sun, PLOS One 2025 |
| Cũng ba giáo viên đó: cặp mạnh nhất so với cặp yếu nhất | r = 0,901 so với r = 0,583 | Chen và Sun, PLOS One 2025 |
| Mức giảm ảnh hưởng của các biến người nghe không liên quan đến cấu phần sau khi huấn luyện người chấm: điểm tổng thể về năng lực nói so với điểm về độ dễ hiểu | 75% so với 50% | Dalman và Kang, IntechOpen 2019, tóm tắt Kang và cộng sự 2019 (dữ liệu mới nhất hiện có) |
| Thống kê mức thống nhất được công bố cho năm người chú thích chuyên gia của speechocean762 | Không có báo cáo | Zhang và cộng sự, bài báo speechocean762 2021 |
Ghi chú về giá trị ngoại lai: dòng cuối quan trọng hơn vẻ ngoài của nó. Bộ chuẩn công khai chính của lĩnh vực này không công bố tương quan hay kappa giữa những người chú thích, nên không ai đọc bài báo của nó có thể nói 0,693 nằm gần trần của con người đến mức nào.
3. Các Bài Thi Quan Trọng: Số Liệu Của Nhà Cung Cấp và Khoảng Trống Phát Âm Bên Trong
Các con số ở cấp độ toàn bài thi trông gần như hoàn hảo, và phát âm là nơi chúng không còn như vậy. Trong dữ liệu Versant của chính Pearson, Phát âm là điểm thành phần yếu nhất với 0,88 trong khi điểm Tổng thể đạt 0,97. Mức sụt giảm này nhất quán trong các tài liệu của Pearson: 0,81 trong một bài thuyết trình về PTE Academic, và 0,85 cho Cách Nói, nhóm của Versant có chứa phát âm.
Những con số này cao hơn nhiều so với r = 0,606 tổng hợp ở mục 1. Một phần chênh lệch đến từ cách lấy mẫu: điểm bài thi gộp nhiều câu hỏi, và các mẫu thẩm định thường trải trên dải năng lực rộng (báo cáo Versant Speaking and Listening gồm 26 người nói tiếng Anh bản ngữ L1 trong số 260 người trưởng thành), và dải rộng làm tăng tương quan. Phân tích gộp cũng liệt kê nhà phát triển hệ thống và đơn vị mẫu trong số các biến điều tiết có ý nghĩa. Hãy đọc số liệu của nhà cung cấp như các cận trên trong điều kiện thuận lợi. Để biết các kỳ thi này có trọng lượng đến đâu, xem thống kê quy mô thí sinh các bài thi tiếng Anh của chúng tôi.
| Chỉ số | Giá trị | Nguồn |
|---|---|---|
| Versant English Test, tương quan máy-người theo điểm, n = 143 | Tổng thể 0,97, Nắm vững câu 0,97, Từ vựng 0,96, Trôi chảy 0,94, Phát âm 0,88 | Pearson, bản tóm tắt thẩm định Versant 2022 (tuyên bố của chính nhà cung cấp, dữ liệu mới nhất hiện có) |
| Độ tin cậy chia đôi của điểm Phát âm trong Versant English Test: chấm bằng máy so với chấm bằng người, n = 143 | 0,97 so với 0,99 | Pearson, bản tóm tắt thẩm định Versant 2022 (tuyên bố của chính nhà cung cấp) |
| Điểm Versant tương quan với các kỳ thi bên ngoài, mỗi kỳ n = 130: TOEFL iBT Nói so với IELTS Nói | 0,75 so với 0,76 | Pearson, bản tóm tắt thẩm định Versant 2022 (tuyên bố của chính nhà cung cấp) |
| Versant English Speaking and Listening Test, tương quan máy-người, n = 260 | Tổng thể .96, Nói .88, Cách Nói .85 | Pearson, báo cáo thẩm định Versant Speaking and Listening Test 2024 (tuyên bố của chính nhà cung cấp) |
| Phần nói của PTE Academic, tương quan máy-người theo tiêu chí, N = 158 | Phát âm 0,81, Trôi chảy 0,82, Tổng thể 0,96 | Pearson, bài thuyết trình chấm điểm tự động MELTA 2018 (tuyên bố của chính nhà cung cấp, dữ liệu mới nhất hiện có) |
| Mốc thời gian của ETS SpeechRater: năm dịch vụ được triển khai lần đầu so với năm phiên bản 5.0 đi vào vận hành | 2006 so với 2016 | Chen và cộng sự, ETS Research Report 2018 |
Ghi chú bối cảnh: độ tin cậy chia đôi cho biết một bộ chấm điểm nhất quán với chính nó đến đâu giữa hai nửa của bài thi. Một cỗ máy có thể đạt 0,97 trên thước đo đó mà vẫn bất đồng với con người, và đó chính xác là mô hình ở các dòng Phát âm của Versant.
4. Bộ Chuẩn speechocean762: Tiến Bộ Theo Mức Độ Chi Tiết
speechocean762 gồm 5.000 câu nói tiếng Anh của 250 người nói không phải bản ngữ, một nửa là trẻ em, mỗi câu được năm chuyên gia chấm điểm. Điểm của nó tồn tại ở ba cấp độ: âm tố (một âm lời nói đơn lẻ, không phải điện thoại), từ và câu nói. Các thước đo là PCC, càng cao càng tốt, và MSE (sai số bình phương trung bình), càng thấp càng tốt. GOP, hay Goodness of Pronunciation (độ tốt của phát âm), là điểm thống kê kinh điển mà các mô hình mới hơn cố gắng vượt qua.
PCC cấp độ âm tố tăng từ 0,45 lên 0,693 giữa mức cơ sở năm 2021 và một mô hình năm 2023, và một bài báo được sửa đổi ngày 5 tháng 2 năm 2026 vẫn dẫn 0,693 là con số cao nhất được biết. Mức tương đồng giảm khi đơn vị nhỏ đi: điểm cấp câu nói đạt khoảng 0,80 trong khi điểm âm tố và từ vẫn ở khoảng 0,60. Lấy trung bình trên cả câu che giấu lỗi, nên điểm tổng thể của người học có thể đáng tin trong khi phản hồi cho một âm đơn lẻ thì không. Bài báo của kho ngữ liệu cũng ghi nhận rằng phần lớn điểm âm tố, quy về thang 0 đến 10, nằm trong khoảng 8 đến 10, nên các âm đúng chiếm ưu thế trong dữ liệu.
| Chỉ số | Giá trị | Nguồn |
|---|---|---|
| Mức cơ sở ban đầu ở cấp độ âm tố: giá trị GOP thô so với đặc trưng dựa trên GOP | MSE 0,69 và PCC 0,25 so với MSE 0,16 và PCC 0,45 | Zhang và cộng sự, bài báo speechocean762 2021 |
| Mô hình transformer GOPT, cấp độ âm tố | MSE 0,085 ± 0,001, PCC 0,612 ± 0,003 | Gong và cộng sự, GOPT, ICASSP 2022 |
| PCC cấp độ âm tố cao nhất được dẫn cho speechocean762 | 0,693 | Chao và cộng sự, Interspeech 2023, như được dẫn trong Cao và cộng sự, arXiv 2025 |
| Đặc trưng GOP không cần phân đoạn đưa vào GOPT, cấp độ âm tố | PCC 0,648 ± 0,002 | Cao và cộng sự, arXiv 2025 |
| PCC tổng cấp độ từ so với PCC tổng cấp độ câu nói, GOPT | 0,549 so với 0,742 | Gong và cộng sự, GOPT, ICASSP 2022 |
| PCC tổng cấp độ từ so với PCC tổng cấp độ câu nói, mô hình 3MH | 0,694 so với 0,811 | Wang và cộng sự, nghiên cứu phát âm GPT-4o, arXiv 2025 |
| Mô hình HMamba ở cấp độ câu nói: PCC về độ chính xác, độ trôi chảy và ngữ điệu | 0,807, 0,848 và 0,843 | Sara và Chowdhury, arXiv 2026 |
| Tương quan máy-người tổng hợp theo thế hệ công nghệ: học máy truyền thống, học sâu, transformer | r = 0,597, r = 0,641, r = 0,680 | Wang và Min, Language Testing 2026 |
Ghi chú về giá trị ngoại lai: chính mô hình 3MH đó chỉ đạt 0,361 cho trọng âm từ và 0,374 cho độ hoàn chỉnh của câu nói (Wang và cộng sự, arXiv 2025). Đó là hai nhãn khó nhất của bộ chuẩn.
5. Phát Hiện Lỗi Âm Vị: Độ Chuẩn Xác, Độ Phủ và Một Phần Ba Bị Bỏ Sót
Chấm điểm hỏi một âm tốt đến mức nào. Phát hiện phát âm sai đặt câu hỏi có hoặc không cho từng âm vị, và báo cáo F1, một điểm duy nhất cân bằng độ chuẩn xác (precision; bao nhiêu cảnh báo là đúng) và độ phủ (recall; bao nhiêu lỗi thật được bắt). Kết quả L2-ARCTIC cao nhất trong các nguồn của chúng tôi là F1 71,77%, từ một bản in trước năm 2026, cao hơn 8,73 điểm (71,77 - 63,04) so với mức cơ sở tốt nhất trong một so sánh năm 2025.
Sự phân chia giữa hai loại lỗi phản ánh một ưu tiên thiết kế. Chấp nhận sai nghĩa là một âm sai được cho qua như đúng, còn từ chối sai nghĩa là một âm đúng bị gắn cờ. Các con số bổ sung cho độ phủ: 100 - 67,24 = 32,76, nên cứ ba lỗi thật thì có một lỗi không bị gắn cờ. Bài báo năm 2025 gọi từ chối sai là thước đo quan trọng nhất vì việc sửa nhầm người học làm họ nản lòng, và kết quả phù hợp với ưu tiên đó: người học thấy ít cảnh báo giả trong khi nhiều lỗi thật không bị gắn cờ.
| Chỉ số | Giá trị | Nguồn |
|---|---|---|
| Bộ chuẩn L2-ARCTIC: tổng số người nói so với số người nói trong tập kiểm tra | 24 so với 6 | Tu và cộng sự, PER-MDD, arXiv 2025 |
| Mức tăng F1 của một bộ phát hiện đầu cuối thời kỳ đầu so với phương pháp GOP và so với một mức cơ sở đầu cuối | 27,71% so với 11,05% | Yan và cộng sự, Interspeech 2020 |
| F1 trên L2-ARCTIC: mức cơ sở trước đó tốt nhất (Joint-Align) so với hệ thống truy xuất không cần huấn luyện (PER-MDD) | 63,04% so với 69,60% | Tu và cộng sự, PER-MDD, arXiv 2025 |
| L2-ARCTIC, hệ thống CROTTC-IF: F1, độ chuẩn xác và độ phủ | 71,77%, 76,94% và 67,24% | Geng và cộng sự, CROTTC-IF, arXiv 2026 |
| L2-ARCTIC, hệ thống CROTTC-IF: từ chối sai so với chấp nhận sai | 3,39% so với 32,76% | Geng và cộng sự, CROTTC-IF, arXiv 2026 |
| Tỷ lệ lỗi âm tố trên L2-ARCTIC: CROTTC-IF so với riêng mô hình âm học của nó so với PER-MDD | 46,52 so với 17,48 so với 104,08 | Geng và cộng sự, CROTTC-IF, arXiv 2026 |
| F1 phát hiện trên speechocean762: CROTTC-IF so với HMamba so với MuFFIN | 57,16% so với 63,85% so với 67,98% | Geng và cộng sự, arXiv 2026; Chao và Chen, HMamba, arXiv 2025 |
Ghi chú về giá trị ngoại lai: tỷ lệ lỗi âm tố trên 100 không phải lỗi gõ. Các tác giả cho rằng đó là do các âm tố bị chèn thêm, và chúng cho thấy một hệ thống có thể phát hiện lỗi tốt trong khi phiên âm kém. Kết quả tiếng Ả Rập trông tương tự: bảng xếp hạng Iqra’Eval2 trong cùng bài báo năm 2026 dừng ở F1 72,01%.
6. API Thương Mại, Ứng Dụng Cho Người Dùng Phổ Thông và Chatbot
Khoảng cách giữa các dịch vụ lớn hơn khoảng cách giữa các mô hình nghiên cứu. Một thử nghiệm năm 2025 trên speechocean762 xếp Azure Pronunciation Assessment ở mức 0,782 ở cấp độ câu nói. Thiết lập GPT-4o tốt nhất đạt 0,502, và ở cấp độ âm vị chỉ đạt 0,249. Các mô hình đa phương thức đa dụng có thể nghe, nhưng theo bằng chứng này chúng chưa thể đánh giá một âm đơn lẻ.
Các thử nghiệm bên ngoài phòng thí nghiệm của nhà cung cấp kém thuận lợi hơn cho các công cụ thương mại. Nghiên cứu năm 2025 của Won trên 190 bản ghi đọc to từ học sinh tiểu học Hàn Quốc cho thấy tương quan ở mức vừa phải giữa điểm âm vị của Azure và đánh giá của con người, trong khi tỷ lệ lỗi từ của các hệ thống chính xác nhất, gần bằng không, chỉ tương quan yếu với điểm của con người. Một bộ nhận dạng hiểu được mọi người thì không còn là chỉ báo thay thế hữu ích cho phát âm. Dòng SmartSpeech bên dưới đưa ra ý thứ hai: một công cụ có thể tương quan mạnh với con người mà vẫn thổi phồng điểm trung bình hơn năm điểm.
| Chỉ số | Giá trị | Nguồn |
|---|---|---|
| Tuyên bố của nhà cung cấp về mức tương đồng với giám khảo là con người | Tương quan Pearson trên 0,5 | Microsoft, ghi chú minh bạch của Pronunciation Assessment 2026 (tuyên bố của chính nhà cung cấp) |
| Azure Pronunciation Assessment trên speechocean762: PCC độ chính xác từ so với PCC tổng câu nói | 0,623 so với 0,782 | Wang và cộng sự, nghiên cứu phát âm GPT-4o, arXiv 2025 |
| Kết quả GPT-4o tốt nhất trên speechocean762: PCC âm vị, tổng cấp độ từ và tổng cấp độ câu nói | 0,249, 0,277 và 0,502 | Wang và cộng sự, nghiên cứu phát âm GPT-4o, arXiv 2025 |
| Lời nói tiếng Ả Rập do bác sĩ lâm sàng chấm, 40 mẫu: PCC với điểm trung bình của bác sĩ lâm sàng, Harf-Speech so với Azure | 0,791 so với 0,635 | Azad và cộng sự, Harf-Speech, arXiv 2026 |
| Cùng bài kiểm tra tiếng Ả Rập: RMSE trên thang 0 đến 5, Harf-Speech so với Azure | 1,05 so với 1,28 | Azad và cộng sự, Harf-Speech, arXiv 2026 |
| Ba ứng dụng luyện nói bằng AI so với trung bình của những người chấm là con người, 30 học sinh: AI Speaking Master, TalkAI Language Practice, SmartSpeech AI Assessment | r = 0,854, 0,873 và 0,869 | Chen và Sun, PLOS One 2025 |
| Điểm trung bình của SmartSpeech so với điểm trung bình của con người | 92,00 so với 86,41, chênh lệch 5,589 (KTC 95% 5,023 đến 6,155), d của Cohen = 3,688 | Chen và Sun, PLOS One 2025 |
| Bộ chấm điểm phát âm của Duolingo: tương quan Spearman với điểm của chuyên gia là con người | 0,82 | Blog Duolingo English Test về Cai và cộng sự 2025 (bản tóm tắt của chính nhà cung cấp) |
Ghi chú bối cảnh: các số liệu của Harf-Speech đến từ một bản in trước do chính các tác giả của hệ thống viết, nên hãy thận trọng với chiến thắng của nó trước Azure. Duolingo mô tả 0,82 là gần bằng mức thống nhất giữa những người chấm là con người, nhưng bài đăng trên blog không in ra con số của con người.
7. Chuyển Giao và Tính Công Bằng: Điều Xảy Ra Bên Ngoài Bộ Chuẩn
Phần lớn bằng chứng bộ chuẩn ở trên đến từ một kho ngữ liệu gồm những người học nói tiếng Quan Thoại, và nó không chuyển giao gọn gàng. Chính hệ thống đã đạt 0,661 về độ chính xác trên speechocean762 đã tụt xuống 0,506 trên L2-ARCTIC, một kho ngữ liệu có người nói của nhiều tiếng mẹ đẻ, và việc huấn luyện lại trên dữ liệu mới chỉ nâng nó lên 0,527. Thích nghi với nhóm mục tiêu hiệu quả hơn cho việc phát hiện: một nghiên cứu năm 2026 đã nâng ROC-AUC từ 0,72 lên 0,85 bằng cách tinh chỉnh trên chính những người học. ROC-AUC đo mức độ một hệ thống tách đúng khỏi sai trên mọi ngưỡng, trong đó 0,5 là ngẫu nhiên.
Các phát hiện về thiên lệch chủ yếu mang tính định hướng, vì rất ít bài báo công bố khoảng cách ở cấp độ nhóm. Dù vậy, nghiên cứu của ETS về thí sinh bị khiếm khuyết lời nói và bài báo Language Learning của Duolingo đều tìm thấy các vấn đề đo được, kể cả ở những bộ chấm điểm do các tổ chức khảo thí lớn xây dựng. Tầng nhận dạng bên dưới có những khoảng trống riêng, được đề cập trong thống kê thiên lệch giọng vùng miền của chúng tôi, và trẻ em cần bằng chứng riêng, như thống kê nhận dạng giọng nói trẻ em của chúng tôi cho thấy.
| Chỉ số | Giá trị | Nguồn |
|---|---|---|
| PCC độ chính xác của một mô hình chấm điểm được huấn luyện trên speechocean762: kiểm tra trên speechocean762 so với kiểm tra trên L2-ARCTIC | 0,661 so với 0,506 | Sara và Chowdhury, arXiv 2026 |
| Cùng mô hình đó trên L2-ARCTIC sau khi huấn luyện lại bằng dữ liệu L2-ARCTIC | 0,527 | Sara và Chowdhury, arXiv 2026 |
| ROC-AUC phát hiện phát âm sai: mô hình trước so với sau khi tinh chỉnh trên người học không phải bản ngữ | 0,72 so với 0,85 | Nijat và cộng sự, Applied Sciences 2026 |
| F1 phát hiện trên kho ngữ liệu ERJ: không có dữ liệu người học (zero-shot) so với đã tinh chỉnh | 78,44% so với 89,27% | Geng và cộng sự, CROTTC-IF, arXiv 2026 |
| Giọng nói trẻ em (CMU Kids), lỗi thật, AUC: GOP-DNN-Avg cũ hơn so với GOP-CTC-SF-SD không cần phân đoạn | 0,796 so với 0,914 | Cao và cộng sự, arXiv 2025 |
| GOP-CTC-SF-SD trên giọng nói trẻ em: lỗi mô phỏng so với lỗi thật, AUC | 0,986 so với 0,914 | Cao và cộng sự, arXiv 2025 |
| Thí sinh bị khiếm khuyết lời nói hoặc thính giác, sáu câu hỏi nói của TOEFL iBT | Điểm của SpeechRater có xu hướng cao hơn điểm của con người | Loukina và Buzick, ETS Research Report 2017 (dữ liệu mới nhất hiện có) |
| Nguồn thiên lệch được báo cáo trong một bộ chấm điểm phát âm hiện đại | Chất lượng âm thanh và nhóm ngữ hệ | Cai và cộng sự, Language Learning 2025 |
Ghi chú bối cảnh: các nhãn chấm điểm L2-ARCTIC ở hai dòng đầu là nhãn giả của Azure với sự rà soát của chuyên gia trên 10 người nói, nên các PCC đó đo mức tương đồng với một cỗ máy khác nhiều như với con người. Microsoft còn riêng khuyến nghị âm thanh từ 16 kHz trở lên và một người nói duy nhất cho dịch vụ của họ.
Tổng Kết: Độ Chính Xác Chấm Điểm Phát Âm Bằng AI Qua Các Con Số
| Chỉ số | Giá trị | Nguồn |
|---|---|---|
| Tương quan máy-người tổng hợp: phát âm so với toàn bộ các cấu phần nói | r = 0,606 so với r = 0,654 | Wang và Min, Language Testing 2026 |
| TOEFL Junior Speaking: người-người so với người-máy | r = 0,89 so với r = 0,81 | ETS, báo cáo chấm điểm tự động TOEFL Junior 2015 |
| Ba chuyên viên ngôn ngữ trị liệu: dải PCC theo cặp | 0,858 đến 0,927 | Azad và cộng sự, Harf-Speech, arXiv 2026 |
| Ba giáo viên tiếng Anh: cặp mạnh nhất so với cặp yếu nhất | r = 0,901 so với r = 0,583 | Chen và Sun, PLOS One 2025 |
| Versant English Test: tương quan máy-người Tổng thể so với Phát âm | 0,97 so với 0,88 | Pearson, bản tóm tắt thẩm định Versant 2022 (tuyên bố của chính nhà cung cấp) |
| Phần nói của PTE Academic: tương quan máy-người của Phát âm, N = 158 | 0,81 | Pearson, bài thuyết trình MELTA 2018 (tuyên bố của chính nhà cung cấp) |
| PCC mức cơ sở cấp độ âm tố của speechocean762 | 0,45 | Zhang và cộng sự, bài báo speechocean762 2021 |
| PCC cấp độ âm tố của GOPT | 0,612 | Gong và cộng sự, GOPT, ICASSP 2022 |
| PCC cấp độ âm tố cao nhất được dẫn trên speechocean762 | 0,693 | Chao và cộng sự, Interspeech 2023, như được dẫn trong Cao và cộng sự, arXiv 2025 |
| PCC tổng cấp độ câu nói của 3MH | 0,811 | Wang và cộng sự, nghiên cứu phát âm GPT-4o, arXiv 2025 |
| F1 phát hiện L2-ARCTIC cao nhất trong các nguồn của chúng tôi | 71,77% | Geng và cộng sự, CROTTC-IF, arXiv 2026 |
| Từ chối sai so với chấp nhận sai ở hệ thống đó | 3,39% so với 32,76% | Geng và cộng sự, CROTTC-IF, arXiv 2026 |
| PCC cấp độ câu nói trên speechocean762: Azure so với thiết lập GPT-4o tốt nhất | 0,782 so với 0,502 | Wang và cộng sự, nghiên cứu phát âm GPT-4o, arXiv 2025 |
| Bài kiểm tra tiếng Ả Rập: PCC với điểm trung bình của bác sĩ lâm sàng, Harf-Speech so với Azure | 0,791 so với 0,635 | Azad và cộng sự, Harf-Speech, arXiv 2026 |
| Điểm trung bình của SmartSpeech so với điểm trung bình của con người | 92,00 so với 86,41 | Chen và Sun, PLOS One 2025 |
| ROC-AUC trước so với sau khi tinh chỉnh trên người học mục tiêu | 0,72 so với 0,85 | Nijat và cộng sự, Applied Sciences 2026 |
Phương pháp luận và Nguồn
Chúng tôi đọc trực tiếp từng nghiên cứu, báo cáo hoặc tài liệu kỹ thuật và giữ nguyên ký hiệu của từng nguồn. Các bản in trước được gắn nhãn arXiv và không nhất thiết đã qua bình duyệt.
- Wang và Min, The human-machine correlation in automated speech evaluation: A three-level meta-analysis, Language Testing, 2026.
- Zhang và cộng sự, speechocean762: An Open-Source Non-native English Speech Corpus For Pronunciation Assessment, 2021.
- Gong và cộng sự, Transformer-Based Multi-Aspect Multi-Granularity Non-Native English Speaker Pronunciation Assessment, ICASSP 2022.
- Chao và cộng sự, A Hierarchical Context-aware Modeling Approach for Multi-aspect and Multi-granular Pronunciation Assessment, Interspeech 2023.
- Cao và cộng sự, Segmentation-free Goodness of Pronunciation, arXiv 2025, sửa đổi ngày 5 tháng 2 năm 2026.
- Sara và Chowdhury, Light-weight Pronunciation Assessment via Discrete Speech Token Surprisal, arXiv 2026.
- Wang và cộng sự, Exploring the Potential of Large Multimodal Models as Effective Alternatives for Pronunciation Assessment, arXiv 2025.
- Chao và Chen, bài báo HMamba, arXiv 2025.
- Tu và cộng sự, Mispronunciation Detection and Diagnosis Without Model Training, arXiv 2025.
- Geng và cộng sự, Beyond Acoustic Sparsity and Linguistic Bias, arXiv 2026.
- Yan và cộng sự, An End-to-End Mispronunciation Detection System for L2 English Speech, Interspeech 2020.
- Azad và cộng sự, Harf-Speech: A Clinically Aligned Framework for Arabic Phoneme-Level Speech Assessment, arXiv 2026.
- Chen và Sun, Evaluating automated evaluation systems for spoken English proficiency, PLOS One, 2025.
- Won, Assessing the efficacy of word error rate as a proxy for pronunciation quality, Journal of Second Language Pronunciation, 2025.
- Nijat và cộng sự, Beyond Native Norms: A Perceptually Grounded and Fair Framework for Automatic Speech Assessment, Applied Sciences, 2026.
- Cai và cộng sự, Developing an Automatic Pronunciation Scorer, Language Learning, 2025, kèm bản tóm tắt trên blog Duolingo English Test.
- Pearson, Versant English Test Description and Validation Summary, 2022.
- Pearson, Versant English Speaking and Listening Test validation report, 2024.
- Pearson, MELTA automated scoring presentation, 2018.
- ETS, Automated Scoring for the TOEFL Junior Comprehensive Writing and Speaking Test, 2015.
- Loukina và Buzick, Use of Automated Scoring in Spoken Language Assessments for Test Takers With Speech Impairments, ETS Research Report, 2017.
- Chen và cộng sự, Automated Scoring of Nonnative Speech Using the SpeechRater v. 5.0 Engine, ETS Research Report, 2018.
- Microsoft, Characteristics and limitations of Pronunciation Assessment, 2026.
- Dalman và Kang, Listener Background in L2 Speech Evaluation, IntechOpen, 2019.
- Lưu ý về dữ liệu: dữ liệu mới nhất hiện có gồm ETS 2015 và 2017, Pearson 2018 và 2022, và Dalman và Kang 2019, vì chúng tôi không tìm thấy bản tương đương công khai nào mới hơn, và ETS không công bố các con số mức thống nhất vận hành của TOEFL iBT trong những tài liệu chúng tôi đọc được. Các bộ chuẩn không thể so sánh trực tiếp giữa các bài báo vì dữ liệu huấn luyện, cách chia dữ liệu và nhãn giả khác nhau, và kỷ lục 0,693 là điều Cao và cộng sự nêu theo hiểu biết tốt nhất của họ: chúng tôi đọc được phần tóm tắt của HMamba nhưng không đọc được bảng cấp độ âm tố của nó, nên có thể tồn tại một con số cấp độ âm tố mới hơn. CROTTC-IF không phải bộ phát hiện đứng đầu trên speechocean762, nơi 67,98% của MuFFIN dẫn đầu trong cùng bảng. Số liệu của nhà cung cấp đến từ các mẫu thẩm định của chính họ. Chúng tôi không tìm thấy hệ số kappa của Cohen dùng được cho phát âm trong các nguồn đã đọc, vốn ưu tiên PCC và ICC, và các con số của Wang và Min cũng như Loukina và Buzick lấy từ phần tóm tắt đã công bố. Mẫu của Chen và Sun là 30 học sinh, còn Harf-Speech dùng 40 mẫu, nên cả hai đều nhỏ.
Cập nhật lần cuối: ngày 31 tháng 10 năm 2026. Chúng tôi cập nhật bài tổng hợp này hàng quý, và lần làm mới tiếp theo dự kiến diễn ra khi ISCA Archive đăng kỷ yếu Interspeech tiếp theo.