จาก 67 งานวิจัยและ 392 ขนาดอิทธิพล คะแนนจากเครื่องมีสหสัมพันธ์กับการตัดสินของมนุษย์ด้านการออกเสียงที่ r = .606 ซึ่งต่ำกว่าค่ารวมของความคล่องหรือการถ่ายทอดเสียงพูด (delivery) (Wang และ Min, Language Testing 2026) ตัวเลขจากชุดเกณฑ์วัดผลเล่าเรื่องคล้ายกันในระดับที่ละเอียดกว่า ค่าสหสัมพันธ์เพียร์สัน (PCC) ระดับหน่วยเสียงที่ดีที่สุดที่อ้างถึงบนคลังข้อมูล speechocean762 คือ 0.693 และตัวตรวจจับข้อผิดพลาดชั้นนำของปี 2026 ก็ยังพลาดการออกเสียงผิดจริงราวหนึ่งในสาม ผู้ให้บริการข้อสอบรายงานตัวเลขที่สูงกว่ามากสำหรับข้อสอบทั้งฉบับ สูงถึง 0.97 แม้คะแนนย่อยด้านการออกเสียงของตนเองจะอยู่ต่ำกว่านั้นมาก ตัวเลขเหล่านี้วัดความสอดคล้อง ไม่ใช่ยอดขาย ซึ่งเป็นเหตุผลที่บทสรุปนี้แยกออกจากสถิติการเรียนภาษาที่กว้างกว่าของเรา เรารวบรวมข้อมูลจาก Language Testing คลังข้อมูล speechocean762 รายงานวิจัยของ ETS รายงานการตรวจสอบความตรงของ Pearson PLOS One Language Learning และบทความกับเอกสารทางเทคนิคอื่น ๆ อีกราวสิบสองฉบับ
สรุปโดยย่อ
- ค่าสหสัมพันธ์รวมระหว่างเครื่องกับมนุษย์ด้านการออกเสียง: r = .606 เทียบกับ r = .654 ในทุกองค์ประกอบของการพูด (Wang และ Min, Language Testing 2026)
- ค่า PCC ระดับโฟนสูงสุดที่อ้างถึงบน speechocean762: 0.693 เพิ่มจากค่าพื้นฐาน 0.45 ของคลังข้อมูล (Cao และคณะ, arXiv 2025; Zhang และคณะ, 2021)
- คะแนนย่อยด้านการออกเสียงของ Versant English Test: สหสัมพันธ์ระหว่างเครื่องกับมนุษย์ 0.88 ต่ำที่สุดในบรรดาคะแนนย่อยของข้อสอบ (Pearson, สรุปการตรวจสอบความตรงของ Versant 2022)
- มนุษย์กับมนุษย์ใน TOEFL Junior ส่วนการพูด: r = .89 เทียบกับ r = .81 สำหรับมนุษย์กับเครื่อง (ETS, รายงานการให้คะแนนอัตโนมัติของ TOEFL Junior 2015)
- ครูสองคนในการศึกษาห้องเรียนเดียวกันเห็นตรงกันเพียง r = 0.583 ขณะที่อีกคู่หนึ่งได้ r = 0.901 (Chen และ Sun, PLOS One 2025)
- ค่า F1 ของการตรวจจับการออกเสียงผิดบน L2-ARCTIC ที่ดีที่สุดในแหล่งข้อมูลของเรา: 71.77% (Geng และคณะ, arXiv 2026)
- การยอมรับผิดพลาดต่อการออกเสียงผิดจริงในระบบนั้น: 32.76% เทียบกับการปฏิเสธผิดพลาดต่อเสียงที่ถูกต้อง 3.39% (Geng และคณะ, arXiv 2026)
- ผลลัพธ์ที่ดีที่สุดของ GPT-4o บน speechocean762: 0.502 ในระดับถ้อยคำ เทียบกับ 0.782 ของ Azure Pronunciation Assessment (Wang และคณะ, arXiv 2025)
- แอปสำหรับผู้บริโภคตัวหนึ่งมีสหสัมพันธ์กับครูที่ r = 0.869 แต่ให้คะแนนเฉลี่ย 92.00 เทียบกับ 86.41 จากมนุษย์ (Chen และ Sun, PLOS One 2025)
- การย้ายตัวตรวจจับจากโมเดลทั่วไปไปสู่กลุ่มผู้เรียนเป้าหมายทำให้ค่า ROC-AUC เพิ่มจาก 0.72 เป็น 0.85 (Nijat และคณะ, Applied Sciences 2026)
1. ค่าพื้นฐาน: 67 งานวิจัยบอกอะไรเกี่ยวกับความสอดคล้องระหว่างเครื่องกับมนุษย์
ค่า r ของเพียร์สันมีช่วงตั้งแต่ -1 ถึง 1 และวัดว่าคะแนนสองชุดขึ้นลงไปด้วยกันหรือไม่ ค่ารวมด้านการออกเสียงที่ r = .606 ถือว่าแข็งแรงตามมาตรวัดนั้น แต่การยกกำลังสองแสดงขีดจำกัด: .606 x .606 = .367 หมายความว่าราว 37% ของความแปรผันในคะแนนจากมนุษย์ใช้ร่วมกับเครื่อง
ลำดับขององค์ประกอบคือเรื่องที่น่าประหลาดใจ การถ่ายทอดเสียงพูด (delivery ในการประเมินการพูด หมายถึงเสียงพูดโดยรวมฟังดูเป็นอย่างไร ไม่ใช่พูดเนื้อหาอะไร) ทำคะแนนนำการออกเสียงอย่างมาก ระบบจึงจับความประทับใจโดยรวมได้ดีกว่าองค์ประกอบเฉพาะที่บทสรุปนี้ติดตาม ส่วนไวยากรณ์และคำศัพท์ตามหลังทุกด้าน การวิเคราะห์อภิมานใน Language Testing ยังพบว่าความแม่นยำของ ASR ไม่ใช่ตัวแปรกำกับที่มีนัยสำคัญ ซึ่งทำให้ข้อสันนิษฐานทั่วไปที่ว่าตัวรู้จำเสียงพูดที่ดีกว่าย่อมหมายถึงระบบให้คะแนนที่ดีกว่าอัตโนมัตินั้นอ่อนลง
| ตัวชี้วัด | ค่า | แหล่งที่มา |
|---|---|---|
| ขนาดของการวิเคราะห์อภิมานและค่าสหสัมพันธ์รวมโดยรวมระหว่างเครื่องกับมนุษย์ | 67 งานวิจัย, 392 ขนาดอิทธิพล, r = .654 (p < .001) | Wang และ Min, Language Testing 2026 |
| ค่าสหสัมพันธ์รวมของการถ่ายทอดเสียงพูดเทียบกับค่าสหสัมพันธ์รวมของการออกเสียง | r = .784 เทียบกับ r = .606 | Wang และ Min, Language Testing 2026 |
| ค่าสหสัมพันธ์รวมของความสามารถในการพูดโดยรวมเทียบกับค่าสหสัมพันธ์รวมของความคล่อง | r = .686 เทียบกับ r = .618 | Wang และ Min, Language Testing 2026 |
| ค่าสหสัมพันธ์รวมของเนื้อหาเทียบกับค่าสหสัมพันธ์รวมของไวยากรณ์และคำศัพท์ | r = .574 เทียบกับ r = .499 | Wang และ Min, Language Testing 2026 |
| ตัวแปรกำกับที่มีผลอย่างมีนัยสำคัญเทียบกับที่ไม่มี | มีนัยสำคัญ 10 ตัว (รวมถึงกลุ่มอายุ, ความเชี่ยวชาญของผู้ให้คะแนน และความน่าเชื่อถือระหว่างผู้ให้คะแนน) เทียบกับไม่มีนัยสำคัญ 4 ตัว (รวมถึงความแม่นยำของ ASR) | Wang และ Min, Language Testing 2026 |
| ช่วงค่าสหสัมพันธ์เพียร์สันที่ผู้ให้บริการรายหนึ่งระบุว่าเป็นความสอดคล้องระดับ ‘สูง’ กับผู้ตัดสินที่เป็นมนุษย์ | 0.5 ถึง 1.0 | Microsoft, หมายเหตุความโปร่งใสของ Pronunciation Assessment 2026 (แนวทางของผู้ให้บริการเอง) |
หมายเหตุบริบท: ตามมาตรวัดของ Microsoft เอง แม้แต่องค์ประกอบที่อ่อนที่สุดในการวิเคราะห์อภิมานก็เกือบถึงระดับ ‘สูง’ ป้ายกำกับแบบนี้บอกได้น้อยว่าคะแนนหนึ่งไว้วางใจได้หรือไม่สำหรับผู้เรียนรายเดียว หากใช้เป็นเกณฑ์ผ่าน แนวทางของ Microsoft จะผ่านตัวเลขรวมเกือบทั้งหมดในตารางข้างต้น
2. เพดานของมนุษย์: ผู้ให้คะแนนเห็นตรงกันเองแค่ไหน
ไม่สามารถวัดเครื่องเทียบกับมาตรฐานที่สมบูรณ์แบบได้ เพราะเกณฑ์อ้างอิงที่เป็นมนุษย์เองก็มีสัญญาณรบกวน คู่ครูที่ผ่านการฝึกอบรมในการศึกษาปี 2025 ได้ค่าตั้งแต่ r = 0.901 ลงไปถึง r = 0.583 และค่าที่ต่ำกว่านั้นอยู่ต่ำกว่าค่าสหสัมพันธ์รวมด้านการออกเสียงของเครื่องในหัวข้อที่ 1 ตัวอย่างมีเพียงนักเรียน 30 คน และงานคือความสามารถในการพูดโดยรวม จึงเป็นเพียงภาพของการกระจายตัว ไม่ได้พิสูจน์ว่าเครื่องเอาชนะครูได้
แพทย์ผู้ประเมินในการศึกษาภาษาอาหรับด้านล่างเห็นตรงกันมากกว่าครูอย่างชัดเจน แม้จะเป็นคนละภาษาและคนละงาน และการหาค่าเฉลี่ยก็ช่วยได้ การศึกษาใน PLOS One เพิ่มจาก 0.713 สำหรับผู้ให้คะแนนคนเดียวเป็น 0.882 สำหรับค่าเฉลี่ยของสามคน ICC หรือสัมประสิทธิ์สหสัมพันธ์ภายในชั้น เป็นมาตรวัดที่ต่างจาก r ของเพียร์สัน ในรูปแบบความสอดคล้องสัมบูรณ์ ค่านี้ยังลงโทษผู้ให้คะแนนที่เข้มงวดหรือผ่อนปรนกว่าปกติโดยรวมด้วย การเปรียบเทียบที่มีประโยชน์ที่สุดคือการศึกษา TOEFL Junior ของ ETS ซึ่งรายงานตัวเลขทั้งสองแบบบนข้อมูลชุดเดียวกัน ช่องว่างระหว่างทั้งสองคือเครื่องวัดที่ตรงไปตรงมาของสิ่งที่ระบบอัตโนมัติยังขาดอยู่ ปัญหาเรื่องการตัดสินของผู้ฟังเดียวกันนี้ปรากฏในคะแนนคุณภาพเสียงพูดสังเคราะห์ด้วย
| ตัวชี้วัด | ค่า | แหล่งที่มา |
|---|---|---|
| TOEFL Junior ส่วนการพูดระดับฟอร์ม ห้าคำตอบ: สหสัมพันธ์มนุษย์กับมนุษย์เทียบกับสหสัมพันธ์มนุษย์กับเครื่อง | r = .89 เทียบกับ r = .81 | ETS, รายงานการให้คะแนนอัตโนมัติของ TOEFL Junior 2015 (ข้อมูลล่าสุดที่มี) |
| นักแก้ไขการพูดและภาษาสามคนให้คะแนนการออกเสียงภาษาอาหรับ: ช่วง PCC รายคู่ | 0.858 ถึง 0.927 | Azad และคณะ, Harf-Speech, arXiv 2026 |
| แพทย์ผู้ประเมินสามคนเดิม: ช่วง ICC(2,1) รายคู่ | 0.846 ถึง 0.922 | Azad และคณะ, Harf-Speech, arXiv 2026 |
| ครูสอนภาษาอังกฤษสามคนให้คะแนนความสามารถในการพูด: ความสอดคล้องของผู้ให้คะแนนคนเดียว ICC(2,1) | 0.713 (ช่วงความเชื่อมั่น 95% 0.539 ถึง 0.835) | Chen และ Sun, PLOS One 2025 |
| ครูสามคนเดิม: ความสอดคล้องของคะแนนเฉลี่ย ICC(2,k) | 0.882 (ช่วงความเชื่อมั่น 95% 0.778 ถึง 0.938) | Chen และ Sun, PLOS One 2025 |
| ครูสามคนเดิม: คู่ที่แข็งแรงที่สุดเทียบกับคู่ที่อ่อนที่สุด | r = 0.901 เทียบกับ r = 0.583 | Chen และ Sun, PLOS One 2025 |
| การลดลงของอิทธิพลจากตัวแปรของผู้ฟังที่ไม่เกี่ยวกับองค์ประกอบที่วัดหลังฝึกอบรมผู้ให้คะแนน: คะแนนความสามารถในการพูดแบบองค์รวมเทียบกับคะแนนความเข้าใจได้ | 75% เทียบกับ 50% | Dalman และ Kang, IntechOpen 2019 สรุปจาก Kang และคณะ 2019 (ข้อมูลล่าสุดที่มี) |
| สถิติความสอดคล้องที่เผยแพร่สำหรับผู้ทำเครื่องหมายกำกับที่เป็นผู้เชี่ยวชาญห้าคนของ speechocean762 | ไม่มีการรายงาน | Zhang และคณะ, บทความ speechocean762 2021 |
หมายเหตุค่าผิดปกติ: แถวสุดท้ายสำคัญกว่าที่เห็น ชุดเกณฑ์วัดผลสาธารณะหลักของสาขานี้ไม่เผยแพร่ค่าสหสัมพันธ์หรือค่าแคปปาระหว่างผู้ทำเครื่องหมายกำกับ ดังนั้นไม่มีใครที่อ่านบทความนั้นบอกได้ว่า 0.693 อยู่ใกล้เพดานของมนุษย์เพียงใด
3. ข้อสอบที่มีเดิมพันสูง: ตัวเลขของผู้ให้บริการ และช่องว่างด้านการออกเสียงที่ซ่อนอยู่
ตัวเลขระดับข้อสอบทั้งฉบับดูเกือบสมบูรณ์แบบ และการออกเสียงคือจุดที่มันไม่เป็นเช่นนั้น ในข้อมูล Versant ของ Pearson เอง การออกเสียงเป็นคะแนนย่อยที่อ่อนที่สุดที่ 0.88 ขณะที่คะแนนภาพรวมไปถึง 0.97 การลดลงนี้สอดคล้องกันตลอดเอกสารของ Pearson: 0.81 ในงานนำเสนอเรื่อง PTE Academic และ 0.85 สำหรับลีลาการพูด ซึ่งเป็นหมวดของ Versant ที่มีการออกเสียงรวมอยู่
ตัวเลขเหล่านี้สูงกว่าค่ารวม r = .606 จากหัวข้อที่ 1 มาก ส่วนหนึ่งของความต่างเกิดจากการสุ่มตัวอย่าง: คะแนนข้อสอบรวมหลายข้อ และกลุ่มตัวอย่างสำหรับการตรวจสอบมักครอบคลุมช่วงความสามารถกว้าง (รายงาน Versant Speaking and Listening มีผู้พูดภาษาอังกฤษเป็นภาษาแม่ (L1) 26 คนในผู้ใหญ่ 260 คน) และช่วงที่กว้างทำให้สหสัมพันธ์สูงขึ้น การวิเคราะห์อภิมานยังระบุผู้พัฒนาระบบและหน่วยของตัวอย่างไว้ในตัวแปรกำกับที่มีนัยสำคัญด้วย ควรอ่านตัวเลขของผู้ให้บริการเป็นขอบเขตบนจากเงื่อนไขที่เอื้อ หากต้องการดูว่าข้อสอบเหล่านี้มีน้ำหนักเพียงใด ดูสถิติจำนวนผู้เข้าสอบภาษาอังกฤษของเรา
| ตัวชี้วัด | ค่า | แหล่งที่มา |
|---|---|---|
| Versant English Test สหสัมพันธ์ระหว่างเครื่องกับมนุษย์แยกตามคะแนน n = 143 | ภาพรวม 0.97, ความชำนาญด้านประโยค 0.97, คำศัพท์ 0.96, ความคล่อง 0.94, การออกเสียง 0.88 | Pearson, สรุปการตรวจสอบความตรงของ Versant 2022 (ข้ออ้างของผู้ให้บริการเอง ข้อมูลล่าสุดที่มี) |
| ความน่าเชื่อถือแบบแบ่งครึ่งของคะแนนการออกเสียงใน Versant English Test: การให้คะแนนด้วยเครื่องเทียบกับด้วยมนุษย์ n = 143 | 0.97 เทียบกับ 0.99 | Pearson, สรุปการตรวจสอบความตรงของ Versant 2022 (ข้ออ้างของผู้ให้บริการเอง) |
| คะแนน Versant ที่สัมพันธ์กับข้อสอบภายนอก ข้อสอบละ n = 130: TOEFL iBT ส่วนการพูดเทียบกับ IELTS ส่วนการพูด | 0.75 เทียบกับ 0.76 | Pearson, สรุปการตรวจสอบความตรงของ Versant 2022 (ข้ออ้างของผู้ให้บริการเอง) |
| Versant English Speaking and Listening Test สหสัมพันธ์ระหว่างเครื่องกับมนุษย์ n = 260 | ภาพรวม .96, การพูด .88, ลีลาการพูด .85 | Pearson, รายงานการตรวจสอบความตรงของ Versant Speaking and Listening Test 2024 (ข้ออ้างของผู้ให้บริการเอง) |
| ส่วนการพูดของ PTE Academic สหสัมพันธ์ระหว่างเครื่องกับมนุษย์แยกตามลักษณะ N = 158 | การออกเสียง 0.81, ความคล่อง 0.82, ภาพรวม 0.96 | Pearson, งานนำเสนอเรื่องการให้คะแนนอัตโนมัติ MELTA 2018 (ข้ออ้างของผู้ให้บริการเอง ข้อมูลล่าสุดที่มี) |
| ไทม์ไลน์ของ ETS SpeechRater: ปีที่เริ่มใช้งานบริการครั้งแรกเทียบกับปีที่เวอร์ชัน 5.0 เริ่มใช้งานจริง | 2006 เทียบกับ 2016 | Chen และคณะ, ETS Research Report 2018 |
หมายเหตุบริบท: ความน่าเชื่อถือแบบแบ่งครึ่งแสดงว่าระบบให้คะแนนมีความสม่ำเสมอกับตัวเองเพียงใดระหว่างสองครึ่งของข้อสอบ เครื่องอาจทำได้ 0.97 ในมาตรวัดนี้แต่ก็ยังเห็นไม่ตรงกับมนุษย์ ซึ่งเป็นรูปแบบเดียวกับแถวการออกเสียงของ Versant
4. ชุดเกณฑ์วัดผล speechocean762: ความก้าวหน้าตามระดับความละเอียด
speechocean762 ประกอบด้วยถ้อยคำภาษาอังกฤษ 5,000 รายการจากผู้พูดที่ไม่ใช่เจ้าของภาษา 250 คน ครึ่งหนึ่งเป็นเด็ก แต่ละรายการให้คะแนนโดยผู้เชี่ยวชาญห้าคน คะแนนมีสามระดับ ได้แก่ โฟน (เสียงพูดหน่วยเดียว ไม่ใช่โทรศัพท์) คำ และถ้อยคำ ตัวชี้วัดคือ PCC ซึ่งยิ่งสูงยิ่งดี และ MSE (ค่าคลาดเคลื่อนกำลังสองเฉลี่ย) ซึ่งยิ่งต่ำยิ่งดี GOP หรือ Goodness of Pronunciation (ความดีของการออกเสียง) คือคะแนนทางสถิติแบบดั้งเดิมที่โมเดลรุ่นใหม่พยายามเอาชนะ
ค่า PCC ระดับโฟนเพิ่มจาก 0.45 เป็น 0.693 ระหว่างค่าพื้นฐานปี 2021 กับโมเดลปี 2023 และบทความที่ปรับปรุงเมื่อ 5 กุมภาพันธ์ 2026 ก็ยังอ้างถึง 0.693 ว่าเป็นค่าสูงสุดเท่าที่ทราบ ความสอดคล้องลดลงเมื่อหน่วยเล็กลง: คะแนนระดับถ้อยคำไปถึงช่วง 0.80 ขณะที่คะแนนระดับโฟนและคำอยู่ในช่วง 0.60 การหาค่าเฉลี่ยทั้งประโยคซ่อนข้อผิดพลาดไว้ ดังนั้นคะแนนโดยรวมของผู้เรียนอาจเชื่อถือได้ ในขณะที่ข้อเสนอแนะต่อเสียงเดียวอาจเชื่อถือไม่ได้ บทความของคลังข้อมูลยังระบุว่าคะแนนระดับโฟนส่วนใหญ่ เมื่อแปลงเป็นมาตรา 0 ถึง 10 จะอยู่ระหว่าง 8 ถึง 10 ดังนั้นเสียงที่ถูกต้องจึงครอบงำข้อมูล
| ตัวชี้วัด | ค่า | แหล่งที่มา |
|---|---|---|
| ค่าพื้นฐานเดิมระดับโฟน: ค่า GOP ดิบเทียบกับคุณลักษณะที่อิง GOP | MSE 0.69 และ PCC 0.25 เทียบกับ MSE 0.16 และ PCC 0.45 | Zhang และคณะ, บทความ speechocean762 2021 |
| โมเดลทรานส์ฟอร์เมอร์ GOPT ระดับโฟน | MSE 0.085 ± 0.001, PCC 0.612 ± 0.003 | Gong และคณะ, GOPT, ICASSP 2022 |
| ค่า PCC ระดับโฟนสูงสุดที่อ้างถึงสำหรับ speechocean762 | 0.693 | Chao และคณะ, Interspeech 2023 ตามที่อ้างใน Cao และคณะ, arXiv 2025 |
| คุณลักษณะ GOP แบบไม่ต้องแบ่งส่วนที่ป้อนเข้า GOPT ระดับโฟน | PCC 0.648 ± 0.002 | Cao และคณะ, arXiv 2025 |
| PCC รวมระดับคำเทียบกับ PCC รวมระดับถ้อยคำ GOPT | 0.549 เทียบกับ 0.742 | Gong และคณะ, GOPT, ICASSP 2022 |
| PCC รวมระดับคำเทียบกับ PCC รวมระดับถ้อยคำ โมเดล 3MH | 0.694 เทียบกับ 0.811 | Wang และคณะ, การศึกษาการออกเสียงด้วย GPT-4o, arXiv 2025 |
| โมเดล HMamba ระดับถ้อยคำ: PCC ของความถูกต้อง ความคล่อง และอัตราจังหวะเสียง | 0.807, 0.848 และ 0.843 | Sara และ Chowdhury, arXiv 2026 |
| สหสัมพันธ์รวมระหว่างเครื่องกับมนุษย์แยกตามยุคเทคโนโลยี: การเรียนรู้ของเครื่องแบบดั้งเดิม การเรียนรู้เชิงลึก ทรานส์ฟอร์เมอร์ | r = .597, r = .641, r = .680 | Wang และ Min, Language Testing 2026 |
หมายเหตุค่าผิดปกติ: โมเดล 3MH ตัวเดียวกันทำได้เพียง 0.361 สำหรับการเน้นเสียงคำ และ 0.374 สำหรับความสมบูรณ์ของถ้อยคำ (Wang และคณะ, arXiv 2025) สองรายการนี้เป็นป้ายกำกับที่ยากที่สุดในชุดเกณฑ์วัดผล
5. การตรวจจับข้อผิดพลาดของหน่วยเสียง: ความแม่นยำ ความครอบคลุม และหนึ่งในสามที่หลุดไป
การให้คะแนนถามว่าเสียงหนึ่งดีเพียงใด การตรวจจับการออกเสียงผิดถามคำถามใช่หรือไม่ใช่สำหรับแต่ละหน่วยเสียง และรายงานค่า F1 ซึ่งเป็นคะแนนเดียวที่ถ่วงดุลระหว่างความแม่นยำ (precision คือสัญญาณที่แจ้งถูกกี่รายการ) กับความครอบคลุม (recall คือจับข้อผิดพลาดจริงได้กี่รายการ) ผลลัพธ์สูงสุดบน L2-ARCTIC ในแหล่งข้อมูลของเราคือ F1 71.77% จากพรีปรินต์ปี 2026 สูงกว่า 8.73 จุด (71.77 - 63.04) เมื่อเทียบกับค่าพื้นฐานที่ดีที่สุดในการเปรียบเทียบปี 2025
การแบ่งระหว่างข้อผิดพลาดสองชนิดสะท้อนลำดับความสำคัญของการออกแบบ การยอมรับผิดพลาดหมายถึงเสียงผิดผ่านไปเป็นเสียงถูก และการปฏิเสธผิดพลาดหมายถึงเสียงที่ถูกต้องถูกแจ้งว่าผิด ตัวเลขเหล่านี้เป็นส่วนเติมเต็มของความครอบคลุม: 100 - 67.24 = 32.76 ดังนั้นข้อผิดพลาดจริงหนึ่งในสามจะไม่ถูกแจ้ง บทความปี 2025 เรียกการปฏิเสธผิดพลาดว่าเป็นตัวชี้วัดที่สำคัญที่สุด เพราะการแก้ไขผู้เรียนอย่างผิด ๆ ทำให้พวกเขาท้อใจ และผลลัพธ์ก็สอดคล้องกับลำดับความสำคัญนั้น: ผู้เรียนเห็นสัญญาณเตือนผิดพลาดน้อย ขณะที่ข้อผิดพลาดจริงจำนวนมากไม่ถูกแจ้ง
| ตัวชี้วัด | ค่า | แหล่งที่มา |
|---|---|---|
| ชุดเกณฑ์วัดผล L2-ARCTIC: ผู้พูดทั้งหมดเทียบกับผู้พูดในชุดทดสอบ | 24 เทียบกับ 6 | Tu และคณะ, PER-MDD, arXiv 2025 |
| ค่า F1 ที่เพิ่มขึ้นของตัวตรวจจับแบบครบวงจรรุ่นแรกเมื่อเทียบกับวิธี GOP เทียบกับเมื่อเทียบกับค่าพื้นฐานแบบครบวงจร | 27.71% เทียบกับ 11.05% | Yan และคณะ, Interspeech 2020 |
| ค่า F1 บน L2-ARCTIC: ค่าพื้นฐานก่อนหน้าที่ดีที่สุด (Joint-Align) เทียบกับระบบแบบค้นคืนที่ไม่ต้องฝึกสอน (PER-MDD) | 63.04% เทียบกับ 69.60% | Tu และคณะ, PER-MDD, arXiv 2025 |
| L2-ARCTIC ระบบ CROTTC-IF: ค่า F1 ความแม่นยำ และความครอบคลุม | 71.77%, 76.94% และ 67.24% | Geng และคณะ, CROTTC-IF, arXiv 2026 |
| L2-ARCTIC ระบบ CROTTC-IF: การปฏิเสธผิดพลาดเทียบกับการยอมรับผิดพลาด | 3.39% เทียบกับ 32.76% | Geng และคณะ, CROTTC-IF, arXiv 2026 |
| อัตราข้อผิดพลาดของโฟนบน L2-ARCTIC: CROTTC-IF เทียบกับโมเดลเสียงของมันเพียงอย่างเดียวเทียบกับ PER-MDD | 46.52 เทียบกับ 17.48 เทียบกับ 104.08 | Geng และคณะ, CROTTC-IF, arXiv 2026 |
| ค่า F1 ของการตรวจจับบน speechocean762: CROTTC-IF เทียบกับ HMamba เทียบกับ MuFFIN | 57.16% เทียบกับ 63.85% เทียบกับ 67.98% | Geng และคณะ, arXiv 2026; Chao และ Chen, HMamba, arXiv 2025 |
หมายเหตุค่าผิดปกติ: อัตราข้อผิดพลาดของโฟนที่เกิน 100 ไม่ใช่การพิมพ์ผิด ผู้เขียนอธิบายว่าเกิดจากโฟนที่ถูกแทรกเข้ามา และตัวเลขนี้แสดงว่าระบบอาจตรวจจับข้อผิดพลาดได้ดีแต่ถอดเสียงได้ไม่ดี ผลลัพธ์ภาษาอาหรับดูคล้ายกัน: กระดานจัดอันดับ Iqra’Eval2 ในบทความปี 2026 ฉบับเดียวกันสูงสุดที่ F1 72.01%
6. API เชิงพาณิชย์ แอปสำหรับผู้บริโภค และแชตบอต
ช่องว่างระหว่างบริการต่าง ๆ ใหญ่กว่าช่องว่างระหว่างโมเดลวิจัย การทดสอบปี 2025 บน speechocean762 วาง Azure Pronunciation Assessment ไว้ที่ 0.782 ในระดับถ้อยคำ การตั้งค่า GPT-4o ที่ดีที่สุดทำได้ 0.502 และในระดับหน่วยเสียงทำได้เพียง 0.249 โมเดลมัลติโมดัลอเนกประสงค์ฟังได้ แต่จากหลักฐานนี้ยังตัดสินเสียงเดี่ยวไม่ได้
การทดสอบนอกห้องปฏิบัติการของผู้ให้บริการไม่ค่อยเป็นผลดีต่อเครื่องมือเชิงพาณิชย์ การศึกษาของ Won ปี 2025 บนการบันทึกเสียงอ่านออกเสียง 190 รายการจากผู้เรียนระดับประถมชาวเกาหลี พบสหสัมพันธ์ระดับปานกลางระหว่างคะแนนหน่วยเสียงของ Azure กับการตัดสินของมนุษย์ ขณะที่อัตราข้อผิดพลาดของคำของระบบที่แม่นยำที่สุดซึ่งใกล้ศูนย์ มีสหสัมพันธ์เพียงเล็กน้อยกับคะแนนของมนุษย์ ตัวรู้จำที่เข้าใจทุกคนไม่ได้เป็นตัวแทนที่มีประโยชน์ของการออกเสียงอีกต่อไป แถว SmartSpeech ด้านล่างชี้ประเด็นที่สอง: เครื่องมือหนึ่งอาจมีสหสัมพันธ์กับมนุษย์สูงแต่ยังดันคะแนนเฉลี่ยให้สูงเกินจริงมากกว่าห้าคะแนน
| ตัวชี้วัด | ค่า | แหล่งที่มา |
|---|---|---|
| ข้อความของผู้ให้บริการเกี่ยวกับความสอดคล้องกับผู้ตัดสินที่เป็นมนุษย์ | ค่าสหสัมพันธ์เพียร์สันสูงกว่า 0.5 | Microsoft, หมายเหตุความโปร่งใสของ Pronunciation Assessment 2026 (ข้ออ้างของผู้ให้บริการเอง) |
| Azure Pronunciation Assessment บน speechocean762: PCC ความถูกต้องระดับคำเทียบกับ PCC รวมระดับถ้อยคำ | 0.623 เทียบกับ 0.782 | Wang และคณะ, การศึกษาการออกเสียงด้วย GPT-4o, arXiv 2025 |
| ผลลัพธ์ที่ดีที่สุดของ GPT-4o บน speechocean762: PCC ระดับหน่วยเสียง รวมระดับคำ และรวมระดับถ้อยคำ | 0.249, 0.277 และ 0.502 | Wang และคณะ, การศึกษาการออกเสียงด้วย GPT-4o, arXiv 2025 |
| เสียงพูดภาษาอาหรับที่ให้คะแนนโดยแพทย์ผู้ประเมิน 40 ตัวอย่าง: PCC กับคะแนนเฉลี่ยของแพทย์ Harf-Speech เทียบกับ Azure | 0.791 เทียบกับ 0.635 | Azad และคณะ, Harf-Speech, arXiv 2026 |
| การทดสอบภาษาอาหรับเดียวกัน: RMSE บนมาตรา 0 ถึง 5 Harf-Speech เทียบกับ Azure | 1.05 เทียบกับ 1.28 | Azad และคณะ, Harf-Speech, arXiv 2026 |
| แอปฝึกพูดด้วย AI สามตัวเทียบกับค่าเฉลี่ยของผู้ให้คะแนนที่เป็นมนุษย์ นักเรียน 30 คน: AI Speaking Master, TalkAI Language Practice, SmartSpeech AI Assessment | r = 0.854, 0.873 และ 0.869 | Chen และ Sun, PLOS One 2025 |
| คะแนนเฉลี่ยของ SmartSpeech เทียบกับคะแนนเฉลี่ยของมนุษย์ | 92.00 เทียบกับ 86.41, ผลต่าง 5.589 (ช่วงความเชื่อมั่น 95% 5.023 ถึง 6.155), ค่า d ของโคเฮน = 3.688 | Chen และ Sun, PLOS One 2025 |
| ระบบให้คะแนนการออกเสียงของ Duolingo: สหสัมพันธ์สเปียร์แมนกับคะแนนของผู้เชี่ยวชาญที่เป็นมนุษย์ | 0.82 | บล็อก Duolingo English Test เรื่อง Cai และคณะ 2025 (บทสรุปของผู้ให้บริการเอง) |
หมายเหตุบริบท: ตัวเลขของ Harf-Speech มาจากพรีปรินต์ของผู้เขียนระบบเอง จึงควรพิจารณาชัยชนะเหนือ Azure ด้วยความระมัดระวัง Duolingo อธิบายว่า 0.82 เกือบเท่าความสอดคล้องระหว่างผู้ให้คะแนนที่เป็นมนุษย์ แต่โพสต์บล็อกไม่ได้พิมพ์ตัวเลขของมนุษย์
7. การถ่ายโอนและความเป็นธรรม: สิ่งที่เกิดขึ้นนอกชุดเกณฑ์วัดผล
หลักฐานจากชุดเกณฑ์วัดผลข้างต้นส่วนใหญ่มาจากคลังข้อมูลของผู้เรียนที่พูดภาษาจีนกลางเพียงชุดเดียว และไม่สามารถนำไปใช้ที่อื่นได้อย่างราบรื่น ระบบเดียวกันที่ทำความถูกต้องได้ 0.661 บน speechocean762 ตกลงเหลือ 0.506 บน L2-ARCTIC ซึ่งเป็นคลังข้อมูลของผู้พูดที่มีภาษาแม่หลายภาษา และการฝึกสอนใหม่ด้วยข้อมูลใหม่ช่วยให้ขึ้นไปได้เพียง 0.527 การปรับให้เข้ากับกลุ่มเป้าหมายได้ผลดีกว่าสำหรับการตรวจจับ: การศึกษาหนึ่งในปี 2026 เพิ่มค่า ROC-AUC จาก 0.72 เป็น 0.85 ด้วยการปรับจูนบนผู้เรียนกลุ่มนั้นเอง ROC-AUC วัดว่าระบบแยกถูกออกจากผิดได้ดีเพียงใดในทุกเกณฑ์ตัดสิน โดย 0.5 เท่ากับการเดาสุ่ม
ข้อค้นพบเรื่องความลำเอียงส่วนใหญ่บ่งชี้เพียงทิศทาง เพราะมีบทความน้อยที่เผยแพร่ช่องว่างระดับกลุ่ม อย่างไรก็ตาม การศึกษาของ ETS เรื่องผู้เข้าสอบที่มีความบกพร่องด้านการพูดและบทความของ Duolingo ใน Language Learning ต่างพบปัญหาที่วัดได้ รวมถึงในระบบให้คะแนนที่องค์กรทดสอบขนาดใหญ่สร้างขึ้น ชั้นการรู้จำเสียงด้านล่างก็มีช่องว่างของตัวเอง ซึ่งครอบคลุมในสถิติความลำเอียงเรื่องสำเนียงของเรา และเด็กต้องการหลักฐานเฉพาะของตนเอง ดังที่สถิติการรู้จำเสียงพูดของเด็กของเราแสดงไว้
| ตัวชี้วัด | ค่า | แหล่งที่มา |
|---|---|---|
| PCC ความถูกต้องของโมเดลให้คะแนนหนึ่งที่ฝึกสอนบน speechocean762: ทดสอบบน speechocean762 เทียบกับทดสอบบน L2-ARCTIC | 0.661 เทียบกับ 0.506 | Sara และ Chowdhury, arXiv 2026 |
| โมเดลเดียวกันบน L2-ARCTIC หลังฝึกสอนใหม่ด้วยข้อมูล L2-ARCTIC | 0.527 | Sara และ Chowdhury, arXiv 2026 |
| ค่า ROC-AUC ของการตรวจจับการออกเสียงผิด: โมเดลก่อนเทียบกับหลังปรับจูนบนผู้เรียนที่ไม่ใช่เจ้าของภาษา | 0.72 เทียบกับ 0.85 | Nijat และคณะ, Applied Sciences 2026 |
| ค่า F1 ของการตรวจจับบนคลังข้อมูล ERJ: ไม่มีข้อมูลผู้เรียนเลย (zero-shot) เทียบกับปรับจูนแล้ว | 78.44% เทียบกับ 89.27% | Geng และคณะ, CROTTC-IF, arXiv 2026 |
| เสียงพูดของเด็ก (CMU Kids) ข้อผิดพลาดจริง AUC: GOP-DNN-Avg รุ่นเก่าเทียบกับ GOP-CTC-SF-SD แบบไม่ต้องแบ่งส่วน | 0.796 เทียบกับ 0.914 | Cao และคณะ, arXiv 2025 |
| GOP-CTC-SF-SD บนเสียงพูดของเด็ก: ข้อผิดพลาดจำลองเทียบกับข้อผิดพลาดจริง AUC | 0.986 เทียบกับ 0.914 | Cao และคณะ, arXiv 2025 |
| ผู้เข้าสอบที่มีความบกพร่องด้านการพูดหรือการได้ยิน ข้อสอบพูด TOEFL iBT หกข้อ | คะแนนของ SpeechRater มีแนวโน้มสูงกว่าคะแนนของมนุษย์ | Loukina และ Buzick, ETS Research Report 2017 (ข้อมูลล่าสุดที่มี) |
| แหล่งที่มาของความลำเอียงที่รายงานในระบบให้คะแนนการออกเสียงสมัยใหม่ | คุณภาพเสียงและกลุ่มตระกูลภาษา | Cai และคณะ, Language Learning 2025 |
หมายเหตุบริบท: ป้ายกำกับคะแนน L2-ARCTIC ในสองแถวแรกเป็นป้ายกำกับเทียมของ Azure ที่ผู้เชี่ยวชาญตรวจทานผู้พูด 10 คน ค่า PCC เหล่านั้นจึงวัดความสอดคล้องกับเครื่องอีกตัวหนึ่งพอ ๆ กับกับมนุษย์ Microsoft ยังแนะนำแยกต่างหากให้ใช้เสียง 16 kHz ขึ้นไปและผู้พูดคนเดียวสำหรับบริการของตนเอง
สรุป: ความแม่นยำของการให้คะแนนการออกเสียงด้วย AI ในรูปแบบตัวเลข
| ตัวชี้วัด | ค่า | แหล่งที่มา |
|---|---|---|
| สหสัมพันธ์รวมระหว่างเครื่องกับมนุษย์: การออกเสียงเทียบกับทุกองค์ประกอบของการพูด | r = .606 เทียบกับ r = .654 | Wang และ Min, Language Testing 2026 |
| TOEFL Junior ส่วนการพูด: มนุษย์กับมนุษย์เทียบกับมนุษย์กับเครื่อง | r = .89 เทียบกับ r = .81 | ETS, รายงานการให้คะแนนอัตโนมัติของ TOEFL Junior 2015 |
| นักแก้ไขการพูดและภาษาสามคน: ช่วง PCC รายคู่ | 0.858 ถึง 0.927 | Azad และคณะ, Harf-Speech, arXiv 2026 |
| ครูสอนภาษาอังกฤษสามคน: คู่ที่แข็งแรงที่สุดเทียบกับคู่ที่อ่อนที่สุด | r = 0.901 เทียบกับ r = 0.583 | Chen และ Sun, PLOS One 2025 |
| Versant English Test: สหสัมพันธ์ระหว่างเครื่องกับมนุษย์ ภาพรวมเทียบกับการออกเสียง | 0.97 เทียบกับ 0.88 | Pearson, สรุปการตรวจสอบความตรงของ Versant 2022 (ข้ออ้างของผู้ให้บริการเอง) |
| ส่วนการพูดของ PTE Academic: สหสัมพันธ์ระหว่างเครื่องกับมนุษย์ด้านการออกเสียง N = 158 | 0.81 | Pearson, งานนำเสนอ MELTA 2018 (ข้ออ้างของผู้ให้บริการเอง) |
| ค่า PCC พื้นฐานระดับโฟนของ speechocean762 | 0.45 | Zhang และคณะ, บทความ speechocean762 2021 |
| ค่า PCC ระดับโฟนของ GOPT | 0.612 | Gong และคณะ, GOPT, ICASSP 2022 |
| ค่า PCC ระดับโฟนสูงสุดที่อ้างถึงบน speechocean762 | 0.693 | Chao และคณะ, Interspeech 2023 ตามที่อ้างใน Cao และคณะ, arXiv 2025 |
| PCC รวมระดับถ้อยคำของ 3MH | 0.811 | Wang และคณะ, การศึกษาการออกเสียงด้วย GPT-4o, arXiv 2025 |
| ค่า F1 ของการตรวจจับบน L2-ARCTIC สูงสุดในแหล่งข้อมูลของเรา | 71.77% | Geng และคณะ, CROTTC-IF, arXiv 2026 |
| การปฏิเสธผิดพลาดเทียบกับการยอมรับผิดพลาดในระบบนั้น | 3.39% เทียบกับ 32.76% | Geng และคณะ, CROTTC-IF, arXiv 2026 |
| PCC ระดับถ้อยคำบน speechocean762: Azure เทียบกับการตั้งค่า GPT-4o ที่ดีที่สุด | 0.782 เทียบกับ 0.502 | Wang และคณะ, การศึกษาการออกเสียงด้วย GPT-4o, arXiv 2025 |
| การทดสอบภาษาอาหรับ: PCC กับคะแนนเฉลี่ยของแพทย์ผู้ประเมิน Harf-Speech เทียบกับ Azure | 0.791 เทียบกับ 0.635 | Azad และคณะ, Harf-Speech, arXiv 2026 |
| คะแนนเฉลี่ยของ SmartSpeech เทียบกับคะแนนเฉลี่ยของมนุษย์ | 92.00 เทียบกับ 86.41 | Chen และ Sun, PLOS One 2025 |
| ค่า ROC-AUC ก่อนเทียบกับหลังปรับจูนบนผู้เรียนเป้าหมาย | 0.72 เทียบกับ 0.85 | Nijat และคณะ, Applied Sciences 2026 |
ระเบียบวิธีและแหล่งที่มา
เราอ่านแต่ละการศึกษา รายงาน หรือเอกสารทางเทคนิคโดยตรง และคงสัญกรณ์ของแต่ละแหล่งไว้ รวมถึงค่า r ที่เขียนโดยไม่มีเลขศูนย์นำหน้า พรีปรินต์ติดป้ายว่า arXiv และไม่จำเป็นต้องผ่านการพิจารณาโดยผู้ทรงคุณวุฒิ
- Wang และ Min, The human-machine correlation in automated speech evaluation: A three-level meta-analysis, Language Testing, 2026
- Zhang และคณะ, speechocean762: An Open-Source Non-native English Speech Corpus For Pronunciation Assessment, 2021
- Gong และคณะ, Transformer-Based Multi-Aspect Multi-Granularity Non-Native English Speaker Pronunciation Assessment, ICASSP 2022
- Chao และคณะ, A Hierarchical Context-aware Modeling Approach for Multi-aspect and Multi-granular Pronunciation Assessment, Interspeech 2023
- Cao และคณะ, Segmentation-free Goodness of Pronunciation, arXiv 2025 ปรับปรุงเมื่อ 5 กุมภาพันธ์ 2026
- Sara และ Chowdhury, Light-weight Pronunciation Assessment via Discrete Speech Token Surprisal, arXiv 2026
- Wang และคณะ, Exploring the Potential of Large Multimodal Models as Effective Alternatives for Pronunciation Assessment, arXiv 2025
- Chao และ Chen, บทความ HMamba, arXiv 2025
- Tu และคณะ, Mispronunciation Detection and Diagnosis Without Model Training, arXiv 2025
- Geng และคณะ, Beyond Acoustic Sparsity and Linguistic Bias, arXiv 2026
- Yan และคณะ, An End-to-End Mispronunciation Detection System for L2 English Speech, Interspeech 2020
- Azad และคณะ, Harf-Speech: A Clinically Aligned Framework for Arabic Phoneme-Level Speech Assessment, arXiv 2026
- Chen และ Sun, Evaluating automated evaluation systems for spoken English proficiency, PLOS One, 2025
- Won, Assessing the efficacy of word error rate as a proxy for pronunciation quality, Journal of Second Language Pronunciation, 2025
- Nijat และคณะ, Beyond Native Norms: A Perceptually Grounded and Fair Framework for Automatic Speech Assessment, Applied Sciences, 2026
- Cai และคณะ, Developing an Automatic Pronunciation Scorer, Language Learning, 2025 พร้อมบทสรุปในบล็อก Duolingo English Test
- Pearson, Versant English Test Description and Validation Summary, 2022
- Pearson, Versant English Speaking and Listening Test validation report, 2024
- Pearson, MELTA automated scoring presentation, 2018
- ETS, Automated Scoring for the TOEFL Junior Comprehensive Writing and Speaking Test, 2015
- Loukina และ Buzick, Use of Automated Scoring in Spoken Language Assessments for Test Takers With Speech Impairments, ETS Research Report, 2017
- Chen และคณะ, Automated Scoring of Nonnative Speech Using the SpeechRater v. 5.0 Engine, ETS Research Report, 2018
- Microsoft, Characteristics and limitations of Pronunciation Assessment, 2026
- Dalman และ Kang, Listener Background in L2 Speech Evaluation, IntechOpen, 2019
- ข้อสังเกตเกี่ยวกับข้อมูล: ข้อมูลล่าสุดที่มีคือ ETS 2015 และ 2017, Pearson 2018 และ 2022 และ Dalman และ Kang 2019 เนื่องจากเราไม่พบข้อมูลสาธารณะที่ใหม่กว่าในลักษณะเดียวกัน และ ETS ไม่เผยแพร่ตัวเลขความสอดคล้องในการใช้งานจริงของ TOEFL iBT ในเอกสารที่เราอ่านได้ ชุดเกณฑ์วัดผลเปรียบเทียบกันตรง ๆ ข้ามบทความไม่ได้ เพราะข้อมูลฝึกสอน การแบ่งข้อมูล และป้ายกำกับเทียมต่างกัน และสถิติสูงสุด 0.693 คือสิ่งที่ Cao และคณะ ระบุตามความรู้ที่ดีที่สุดของพวกเขา: เราอ่านบทคัดย่อของ HMamba ได้แต่ไม่ได้อ่านตารางระดับโฟนของมัน จึงอาจมีตัวเลขระดับโฟนที่ใหม่กว่า CROTTC-IF ไม่ใช่ตัวตรวจจับอันดับหนึ่งบน speechocean762 ซึ่ง 67.98% ของ MuFFIN นำอยู่ในตารางเดียวกัน ตัวเลขของผู้ให้บริการมาจากกลุ่มตัวอย่างสำหรับการตรวจสอบของผู้ให้บริการเอง เราไม่พบค่าแคปปาของโคเฮนที่ใช้ได้สำหรับการออกเสียงในแหล่งข้อมูลที่อ่าน ซึ่งนิยมใช้ PCC และ ICC และตัวเลขของ Wang และ Min กับ Loukina และ Buzick มาจากบทคัดย่อที่เผยแพร่ ตัวอย่างของ Chen และ Sun คือนักเรียน 30 คน และ Harf-Speech ใช้ 40 ตัวอย่าง ทั้งสองจึงมีขนาดเล็ก
อัปเดตล่าสุด: 31 ตุลาคม 2026 เราจะทบทวนและอัปเดตบทสรุปนี้ทุกไตรมาส และคาดว่าการรีเฟรชครั้งถัดไปจะเกิดขึ้นเมื่อ ISCA Archive เผยแพร่รายงานการประชุม Interspeech ครั้งถัดไป