67건의 연구와 392개의 효과 크기를 통틀어, 기계 점수와 발음에 대한 사람의 판단 사이의 상관은 r = .606으로, 유창성이나 전달력(delivery)의 통합 수치보다 낮았다 (Wang·Min, Language Testing 2026). 벤치마크 수치도 더 세밀한 단위에서 비슷한 이야기를 한다. speechocean762 코퍼스에서 인용되는 음소 수준 최고 피어슨 상관계수(PCC)는 0.693이며, 2026년의 선도적인 오류 탐지기도 실제 발음 오류 세 건 중 약 한 건을 여전히 놓친다. 시험 공급업체는 시험 전체에 대해 훨씬 높은 수치, 최대 0.97까지 보고하지만, 이들의 발음 하위 점수는 그보다 한참 아래에 있다. 이 수치들은 일치도를 측정할 뿐 판매량이 아니므로, 이 정리는 더 폭넓은 언어 학습 통계와는 따로 다룬다. Language Testing, speechocean762 코퍼스, ETS 연구 보고서, Pearson 검증 보고서, PLOS One, Language Learning, 그리고 십여 편의 다른 논문과 기술 문서에서 데이터를 모았다.
요약
- 발음에 대한 기계-사람 상관의 통합 값: r = .606. 모든 말하기 구성 요소를 통틀어서는 r = .654 (Wang·Min, Language Testing 2026).
- speechocean762에서 인용되는 음소 수준 최고 PCC: 0.693. 코퍼스 기준선 0.45에서 상승 (Cao 외, arXiv 2025; Zhang 외, 2021).
- Versant English Test 발음 하위 점수: 기계-사람 상관 0.88로 하위 점수 중 가장 낮다 (Pearson, Versant 검증 요약 2022).
- TOEFL Junior Speaking에서 사람 대 사람은 r = .89, 사람 대 기계는 r = .81 (ETS, TOEFL Junior 자동 채점 보고서 2015).
- 한 교실 연구에서 두 교사는 r = 0.583으로만 일치했고, 다른 한 쌍은 r = 0.901에 도달했다 (Chen·Sun, PLOS One 2025).
- 우리 출처에서 보고된 L2-ARCTIC 발음 오류 탐지 최고 F1: 71.77% (Geng 외, arXiv 2026).
- 해당 시스템에서 실제 발음 오류의 거짓 수락: 32.76%, 올바른 소리의 거짓 거부는 3.39% (Geng 외, arXiv 2026).
- speechocean762에서 GPT-4o의 최고 결과: 발화 수준 0.502, Azure Pronunciation Assessment는 0.782 (Wang 외, arXiv 2025).
- 한 소비자용 앱은 교사와 r = 0.869로 상관했지만 평균 점수는 사람의 86.41에 비해 92.00이었다 (Chen·Sun, PLOS One 2025).
- 탐지기를 일반 모델에서 대상 학습자 집단으로 옮기자 ROC-AUC가 0.72에서 0.85로 올랐다 (Nijat 외, Applied Sciences 2026).
1. 기준선: 67건의 연구가 말하는 기계-사람 일치도
피어슨의 r은 -1에서 1 사이의 값을 가지며, 두 점수 집합이 함께 오르내리는지를 측정한다. 발음의 통합 값 r = .606은 이 척도에서는 강하지만, 제곱해 보면 한계가 드러난다. .606 x .606 = .367, 즉 사람 점수 변동 중 기계와 공유되는 부분은 약 37%다.
놀라운 것은 구성 요소의 순위다. 전달력(delivery, 말하기 평가에서 무엇을 말하는지가 아니라 말이 전체적으로 어떻게 들리는지)이 발음을 큰 차이로 앞서므로, 시스템은 이 정리가 추적하는 구체적인 구성 요소보다 전반적인 인상에 더 능하다. 문법과 어휘는 모든 항목 중 가장 뒤처진다. Language Testing의 메타분석은 ASR 정확도가 유의미한 조절변수가 아니었다는 점도 밝혔는데, 이는 더 나은 음성 인식기가 자동으로 더 나은 채점기를 뜻한다는 흔한 가정을 흔든다.
| 지표 | 값 | 출처 |
|---|---|---|
| 메타분석의 규모와 전체 기계-사람 상관 통합 값 | 67건의 연구, 392개의 효과 크기, r = .654 (p < .001) | Wang·Min, Language Testing 2026 |
| 전달력의 상관 통합 값과 발음의 상관 통합 값 비교 | r = .784 대 r = .606 | Wang·Min, Language Testing 2026 |
| 말하기 능숙도 전반의 상관 통합 값과 유창성의 상관 통합 값 비교 | r = .686 대 r = .618 | Wang·Min, Language Testing 2026 |
| 내용의 상관 통합 값과 문법·어휘의 상관 통합 값 비교 | r = .574 대 r = .499 | Wang·Min, Language Testing 2026 |
| 유의한 효과가 있는 조절변수와 없는 조절변수 | 유의함 10개 (연령대, 평가자 전문성, 평가자 간 신뢰도 포함) 대 유의하지 않음 4개 (ASR 정확도 포함) | Wang·Min, Language Testing 2026 |
| 한 공급업체가 사람 심사위원과의 ‘높음’ 일치로 분류하는 피어슨 상관 구간 | 0.5에서 1.0 | Microsoft, Pronunciation Assessment 투명성 노트 2026 (공급업체 자체 가이드라인) |
맥락 참고: Microsoft 자체 척도에서는 메타분석에서 가장 약한 구성 요소조차 거의 ‘높음’에 이른다. 이런 라벨은 한 명의 학습자 점수를 신뢰할 수 있는지에 대해서는 거의 알려주지 않는다. 합격선으로 쓴다면 Microsoft의 가이드라인은 위 표의 거의 모든 통합 수치를 통과시킬 것이다.
2. 사람의 한계: 평가자들은 서로 얼마나 일치하는가
기계를 완벽한 기준에 비춰 측정할 수는 없다. 사람이라는 기준 자체에도 잡음이 있기 때문이다. 2025년의 한 연구에서 훈련받은 교사 쌍은 r = 0.901부터 r = 0.583까지 벌어졌고, 그 낮은 값은 섹션 1에서 기계의 발음 통합 상관보다 낮다. 표본은 학생 30명에 불과했고 과제는 말하기 능숙도 전반이었으므로, 이는 편차를 보여줄 뿐 기계가 교사를 앞선다는 증거는 아니다.
아래 아랍어 연구의 임상가들은 교사들보다 훨씬 가깝게 일치했지만 언어와 과제가 달랐고, 평균을 내면 도움이 된다. PLOS One 연구는 평가자 한 명의 0.713에서 세 명 평균의 0.882로 올라간다. ICC, 즉 급내상관계수는 피어슨의 r과는 다른 잣대다. 절대 일치 형태에서는 평가자가 전반적으로 더 엄격하거나 더 관대한 점도 감점한다. 가장 유용한 비교는 같은 데이터에서 두 수치를 모두 보고하는 ETS의 TOEFL Junior 연구다. 두 값의 차이가 자동화에 여전히 부족한 것을 보여주는 정직한 척도다. 청자 판단이라는 같은 문제는 합성 음성 품질 점수에도 이어진다.
| 지표 | 값 | 출처 |
|---|---|---|
| TOEFL Junior Speaking 양식 단위, 응답 5개: 사람 대 사람 상관과 사람 대 기계 상관의 비교 | r = .89 대 r = .81 | ETS, TOEFL Junior 자동 채점 보고서 2015 (입수 가능한 최신 데이터) |
| 아랍어 발음을 채점한 세 명의 언어재활사: 쌍별 PCC 범위 | 0.858에서 0.927 | Azad 외, Harf-Speech, arXiv 2026 |
| 같은 세 명의 임상가: 쌍별 ICC(2,1) 범위 | 0.846에서 0.922 | Azad 외, Harf-Speech, arXiv 2026 |
| 말하기 능숙도를 채점한 세 명의 영어 교사: 평가자 한 명의 일치도, ICC(2,1) | 0.713 (95% 신뢰구간 0.539에서 0.835) | Chen·Sun, PLOS One 2025 |
| 같은 세 명의 교사: 평균 점수의 일치도, ICC(2,k) | 0.882 (95% 신뢰구간 0.778에서 0.938) | Chen·Sun, PLOS One 2025 |
| 같은 세 명의 교사: 가장 강한 쌍과 가장 약한 쌍 | r = 0.901 대 r = 0.583 | Chen·Sun, PLOS One 2025 |
| 평가자 훈련 후 특성과 무관한 청자 변수의 영향 감소: 총체적 구두 능숙도 평가와 이해 용이성 평가 비교 | 75% 대 50% | Dalman·Kang, IntechOpen 2019, Kang 외 2019 요약 (입수 가능한 최신 데이터) |
| speechocean762의 전문가 주석자 다섯 명에 대해 공개된 일치도 통계 | 보고 없음 | Zhang 외, speechocean762 논문 2021 |
이상치 참고: 마지막 행은 보기보다 중요하다. 이 분야의 주요 공개 벤치마크는 주석자 간 상관이나 카파를 공개하지 않으므로, 그 논문을 읽는 누구도 0.693이 사람의 한계에 얼마나 가까운지 말할 수 없다.
3. 고부담 시험: 공급업체 수치와 그 안의 발음 격차
시험 전체 수치는 거의 완벽해 보이지만, 발음에서는 그렇지 않다. Pearson 자체의 Versant 데이터에서 발음은 0.88로 가장 약한 하위 점수이며, 종합 점수는 0.97에 이른다. 이 하락은 Pearson의 문서 전반에서 일관된다. PTE Academic 발표 자료에서는 0.81이고, 발음을 포함하는 Versant 범주인 말하기 방식(Manner of Speaking)에서는 0.85다.
이 수치들은 섹션 1의 통합 값 r = .606을 훨씬 웃돈다. 차이의 일부는 표본 추출에서 나온다. 시험 점수는 많은 문항을 집계하고, 검증 표본은 종종 넓은 능력 범위에 걸치며 (Versant Speaking and Listening 보고서는 성인 260명 중에 L1 영어 화자 26명을 포함한다), 범위가 넓으면 상관이 높아진다. 메타분석도 시스템 개발자와 표본 단위를 유의미한 조절변수로 꼽는다. 공급업체 수치는 유리한 조건에서 나온 상한값으로 읽어야 한다. 이 시험들의 비중은 영어 시험 응시자 수 통계를 참고하라.
| 지표 | 값 | 출처 |
|---|---|---|
| Versant English Test, 점수별 기계-사람 상관, n = 143 | 종합 0.97, 문장 숙달도 0.97, 어휘 0.96, 유창성 0.94, 발음 0.88 | Pearson, Versant 검증 요약 2022 (공급업체 자체 주장, 입수 가능한 최신 데이터) |
| Versant English Test 발음 점수의 반분 신뢰도: 기계 채점과 사람 채점 비교, n = 143 | 0.97 대 0.99 | Pearson, Versant 검증 요약 2022 (공급업체 자체 주장) |
| 외부 시험과의 상관(각 n = 130): Versant 점수와 TOEFL iBT 말하기 및 IELTS 말하기 비교 | 0.75 대 0.76 | Pearson, Versant 검증 요약 2022 (공급업체 자체 주장) |
| Versant English Speaking and Listening Test, 기계-사람 상관, n = 260 | 종합 .96, 말하기 .88, 말하기 방식 .85 | Pearson, Versant Speaking and Listening 검증 보고서 2024 (공급업체 자체 주장) |
| PTE Academic 말하기, 특성별 기계-사람 상관, N = 158 | 발음 0.81, 유창성 0.82, 종합 0.96 | Pearson, MELTA 자동 채점 발표 자료 2018 (공급업체 자체 주장, 입수 가능한 최신 데이터) |
| ETS SpeechRater 연표: 서비스가 처음 배포된 해와 5.0 버전이 운영에 들어간 해 비교 | 2006 대 2016 | Chen 외, ETS 연구 보고서 2018 |
맥락 참고: 반분 신뢰도는 채점기가 시험의 두 절반에 걸쳐 스스로와 얼마나 일관되는지를 보여준다. 기계는 이 척도에서 0.97에 이르면서도 사람과는 어긋날 수 있으며, Versant 발음 행이 바로 그 패턴이다.
4. speechocean762 벤치마크: 세분화 수준별 진전
speechocean762는 250명의 비원어민 화자가 낸 영어 발화 5,000건(그중 절반은 어린이)을 담고 있으며, 각각을 다섯 명의 전문가가 채점했다. 점수는 세 수준, 즉 음소(개별 말소리로, 전화기가 아닌 음성학상의 단위), 단어, 발화로 존재한다. 지표는 PCC(높을수록 좋음)와 MSE(평균 제곱 오차, 낮을수록 좋음)다. GOP, 즉 Goodness of Pronunciation(발음 양호도)은 최신 모델들이 뛰어넘으려는 고전적인 통계 점수다.
음소 수준 PCC는 2021년 기준선과 2023년 모델 사이에 0.45에서 0.693으로 올랐고, 2026년 2월 5일에 개정된 논문은 여전히 0.693을 알려진 최고치로 인용한다. 단위가 작아질수록 일치도는 떨어진다. 발화 점수는 0.80대에 이르지만 음소와 단어 점수는 0.60대에 머문다. 문장 전체로 평균을 내면 오류가 가려지므로, 학습자의 전체 점수는 믿을 만해도 개별 소리에 대한 피드백은 그렇지 않을 수 있다. 코퍼스 논문은 0에서 10 척도로 환산한 음소 점수 대부분이 8에서 10 사이에 놓여 올바른 소리가 데이터를 지배한다는 점도 짚는다.
| 지표 | 값 | 출처 |
|---|---|---|
| 원래의 음소 수준 기준선: 원시 GOP 값과 GOP 기반 특징 비교 | MSE 0.69, PCC 0.25 대 MSE 0.16, PCC 0.45 | Zhang 외, speechocean762 논문 2021 |
| GOPT 트랜스포머 모델, 음소 수준 | MSE 0.085 ± 0.001, PCC 0.612 ± 0.003 | Gong 외, GOPT, ICASSP 2022 |
| speechocean762에서 인용되는 음소 수준 최고 PCC | 0.693 | Chao 외, Interspeech 2023, Cao 외, arXiv 2025에서 인용 |
| 분할이 필요 없는 GOP 특징을 GOPT에 입력, 음소 수준 | PCC 0.648 ± 0.002 | Cao 외, arXiv 2025 |
| 단어 수준 총합 PCC와 발화 수준 총합 PCC 비교, GOPT | 0.549 대 0.742 | Gong 외, GOPT, ICASSP 2022 |
| 단어 수준 총합 PCC와 발화 수준 총합 PCC 비교, 3MH 모델 | 0.694 대 0.811 | Wang 외, GPT-4o 발음 연구, arXiv 2025 |
| HMamba 모델의 발화 수준: 정확성, 유창성, 운율 PCC | 0.807, 0.848, 0.843 | Sara·Chowdhury, arXiv 2026 |
| 기술 세대별 기계-사람 상관 통합 값: 전통적 기계 학습, 딥러닝, 트랜스포머 | r = .597, r = .641, r = .680 | Wang·Min, Language Testing 2026 |
이상치 참고: 같은 3MH 모델은 단어 강세에서 0.361, 발화 완결성에서 0.374에 그친다 (Wang 외, arXiv 2025). 이 둘이 벤치마크에서 가장 어려운 라벨이다.
5. 음소 오류 탐지: 정밀도, 재현율, 그리고 놓친 3분의 1
채점은 소리가 얼마나 좋았는지를 묻는다. 발음 오류 탐지는 음소마다 예, 아니오 질문을 던지고, 정밀도(표시한 것 중 맞은 비율)와 재현율(실제 오류 중 잡아낸 비율)의 균형을 잡는 단일 점수인 F1을 보고한다. **우리 출처에서 L2-ARCTIC 최고 결과는 F1 71.77%**로, 2026년 프리프린트에서 나왔으며, 2025년 비교의 최고 기준선보다 8.73포인트(71.77 - 63.04) 높다.
두 가지 오류 유형의 구분은 설계 우선순위를 반영한다. 거짓 수락은 틀린 소리가 올바른 것으로 통과하는 것을, 거짓 거부는 올바른 소리가 오류로 표시되는 것을 뜻한다. 이 수치들은 재현율의 보수다. 100 - 67.24 = 32.76이므로 실제 오류 세 건 중 한 건은 표시되지 않는다. 2025년 논문은 학습자를 잘못 교정하면 의욕을 꺾으므로 거짓 거부를 가장 중요한 지표라고 부르며, 결과는 이 우선순위에 부합한다. 학습자는 거짓 경보를 거의 보지 못하지만 많은 진짜 오류는 표시되지 않은 채 남는다.
| 지표 | 값 | 출처 |
|---|---|---|
| L2-ARCTIC 벤치마크: 전체 화자와 테스트 세트의 화자 비교 | 24 대 6 | Tu 외, PER-MDD, arXiv 2025 |
| 초기 엔드투엔드 탐지기의 F1 향상: GOP 방식 대비와 엔드투엔드 기준선 대비 비교 | 27.71% 대 11.05% | Yan 외, Interspeech 2020 |
| L2-ARCTIC F1: 이전 최고 기준선(Joint-Align)과 훈련이 필요 없는 검색 시스템(PER-MDD) 비교 | 63.04% 대 69.60% | Tu 외, PER-MDD, arXiv 2025 |
| L2-ARCTIC, CROTTC-IF 시스템: F1, 정밀도, 재현율 | 71.77%, 76.94%, 67.24% | Geng 외, CROTTC-IF, arXiv 2026 |
| L2-ARCTIC, CROTTC-IF 시스템: 거짓 거부와 거짓 수락 비교 | 3.39% 대 32.76% | Geng 외, CROTTC-IF, arXiv 2026 |
| L2-ARCTIC의 음소 오류율: CROTTC-IF, 그 음향 모델 단독, PER-MDD 비교 | 46.52 대 17.48 대 104.08 | Geng 외, CROTTC-IF, arXiv 2026 |
| speechocean762의 탐지 F1: CROTTC-IF, HMamba, MuFFIN 비교 | 57.16% 대 63.85% 대 67.98% | Geng 외, arXiv 2026; Chao·Chen, HMamba, arXiv 2025 |
이상치 참고: 100을 넘는 음소 오류율은 오타가 아니다. 저자들은 이를 삽입된 음소 탓으로 돌리며, 시스템이 오류는 잘 탐지하면서도 받아쓰기는 형편없을 수 있음을 보여준다. 아랍어 결과도 비슷하다. 같은 2026년 논문의 Iqra’Eval2 리더보드는 F1 72.01%에서 정점을 찍는다.
6. 상용 API, 소비자용 앱, 챗봇
서비스 간 격차는 연구 모델 간 격차보다 크다. speechocean762에서의 2025년 테스트는 Azure Pronunciation Assessment의 발화 수준을 0.782로 놓았다. GPT-4o의 최고 설정은 0.502에 도달했고, 음소 수준에서는 0.249에 그쳤다. 범용 멀티모달 모델은 들을 수는 있지만, 이 증거로는 아직 개별 소리를 판단하지 못한다.
공급업체 연구실 밖의 테스트는 상용 도구에 덜 호의적이다. Won의 2025년 연구는 한국 초등학교 학습자의 소리 내어 읽기 녹음 190건에서 Azure 음소 점수와 사람의 판단 사이에 중간 정도의 상관을 발견했으며, 가장 정확한 시스템들의 단어 오류율은 0에 가까웠는데도 사람의 평가와는 약하게만 상관했다. 모든 사람의 말을 알아듣는 인식기는 더 이상 유용한 발음 대리 지표가 되지 못한다. 아래 SmartSpeech 행은 두 번째 요점을 보여준다. 도구가 사람과 강하게 상관하면서도 평균 점수를 5점 넘게 부풀릴 수 있다는 것이다.
| 지표 | 값 | 출처 |
|---|---|---|
| 사람 심사위원과의 일치에 관한 공급업체 진술 | 피어슨 상관 0.5 초과 | Microsoft, Pronunciation Assessment 투명성 노트 2026 (공급업체 자체 주장) |
| speechocean762에서 Azure Pronunciation Assessment: 단어 정확성 PCC와 발화 총합 PCC 비교 | 0.623 대 0.782 | Wang 외, GPT-4o 발음 연구, arXiv 2025 |
| speechocean762에서 GPT-4o의 최고 결과: 음소, 단어 총합, 발화 총합 PCC | 0.249, 0.277, 0.502 | Wang 외, GPT-4o 발음 연구, arXiv 2025 |
| 임상가가 채점한 아랍어 음성, 40개 표본: 임상가 평균 점수와의 PCC, Harf-Speech와 Azure 비교 | 0.791 대 0.635 | Azad 외, Harf-Speech, arXiv 2026 |
| 같은 아랍어 테스트: 0에서 5 척도의 RMSE, Harf-Speech와 Azure 비교 | 1.05 대 1.28 | Azad 외, Harf-Speech, arXiv 2026 |
| 세 개의 AI 말하기 앱과 사람 평가자 평균 비교, 학생 30명: AI Speaking Master, TalkAI Language Practice, SmartSpeech AI Assessment | r = 0.854, 0.873, 0.869 | Chen·Sun, PLOS One 2025 |
| SmartSpeech 평균 점수와 사람 평균 점수 비교 | 92.00 대 86.41, 차이 5.589 (95% 신뢰구간 5.023에서 6.155), Cohen’s d = 3.688 | Chen·Sun, PLOS One 2025 |
| Duolingo 발음 채점기: 전문가 평가와의 스피어만 상관 | 0.82 | Cai 외 2025에 관한 Duolingo English Test 블로그 (공급업체 자체 요약) |
맥락 참고: Harf-Speech 수치는 시스템 저자들 스스로 쓴 프리프린트에서 나왔으므로 Azure에 대한 우위는 신중히 받아들여야 한다. Duolingo는 0.82를 사람 평가자 간 일치도에 거의 맞먹는다고 설명하지만, 블로그 글에는 사람의 수치가 나와 있지 않다.
7. 전이와 공정성: 벤치마크 밖에서 일어나는 일
위 벤치마크 증거의 상당 부분은 중국어(만다린) 화자 학습자로 이루어진 하나의 코퍼스에서 나오며, 깔끔하게 옮겨지지 않는다. speechocean762에서 정확성 0.661을 기록한 같은 시스템은 여러 모국어 화자가 있는 코퍼스인 L2-ARCTIC에서 0.506으로 떨어졌고, 새 데이터로 재훈련해도 0.527까지만 올랐다. 대상 집단에 맞추는 적응은 탐지에서 더 효과적이다. 2026년의 한 연구는 학습자 자신에 대한 파인튜닝으로 ROC-AUC를 0.72에서 0.85로 끌어올렸다. ROC-AUC는 모든 임계값에 걸쳐 시스템이 옳고 그름을 얼마나 잘 분리하는지를 측정하며, 0.5는 우연 수준이다.
편향에 관한 발견은 대부분 방향성에 그친다. 집단별 격차를 공개하는 논문이 드물기 때문이다. 그럼에도 말하기 장애가 있는 응시자에 관한 ETS 연구와 Duolingo의 Language Learning 논문은 대형 시험 기관이 만든 채점기를 포함해 측정 가능한 문제를 발견했다. 그 밑의 인식 계층에도 고유의 격차가 있으며 억양 편향 통계에서 다루었고, 어린이에게는 별도의 증거가 필요하다는 점은 어린이 음성 인식 통계가 보여준다.
| 지표 | 값 | 출처 |
|---|---|---|
| speechocean762로 학습한 한 채점 모델의 정확성 PCC: speechocean762에서 테스트한 경우와 L2-ARCTIC에서 테스트한 경우 비교 | 0.661 대 0.506 | Sara·Chowdhury, arXiv 2026 |
| 같은 모델의 L2-ARCTIC 결과(L2-ARCTIC 데이터로 재훈련 후) | 0.527 | Sara·Chowdhury, arXiv 2026 |
| 발음 오류 탐지 ROC-AUC: 비원어민 학습자에 대한 파인튜닝 전과 후의 모델 비교 | 0.72 대 0.85 | Nijat 외, Applied Sciences 2026 |
| ERJ 코퍼스의 탐지 F1: 학습자 데이터 없음(제로샷)과 파인튜닝 후 비교 | 78.44% 대 89.27% | Geng 외, CROTTC-IF, arXiv 2026 |
| 어린이 음성(CMU Kids), 실제 오류, AUC: 이전의 GOP-DNN-Avg와 분할이 필요 없는 GOP-CTC-SF-SD 비교 | 0.796 대 0.914 | Cao 외, arXiv 2025 |
| 어린이 음성에서 GOP-CTC-SF-SD: 모의 오류와 실제 오류 비교, AUC | 0.986 대 0.914 | Cao 외, arXiv 2025 |
| 말하기 또는 청각 장애가 있는 응시자, TOEFL iBT 말하기 문항 6개 | SpeechRater 점수가 사람 점수보다 높은 경향이 있었다 | Loukina·Buzick, ETS 연구 보고서 2017 (입수 가능한 최신 데이터) |
| 최신 발음 채점기에서 보고된 편향의 원인 | 음질과 언어 계통 그룹 | Cai 외, Language Learning 2025 |
맥락 참고: 처음 두 행의 L2-ARCTIC 채점 라벨은 화자 10명에 대해 전문가가 검토한 Azure의 의사 레이블이므로, 이 PCC들은 사람과의 일치도만큼이나 다른 기계와의 일치도를 측정한다. Microsoft는 별도로 자사 서비스에 16 kHz 이상의 오디오와 단일 화자를 권고한다.
정리: 숫자로 보는 AI 발음 평가 채점 정확도
| 지표 | 값 | 출처 |
|---|---|---|
| 기계-사람 상관 통합 값: 발음과 모든 말하기 구성 요소 비교 | r = .606 대 r = .654 | Wang·Min, Language Testing 2026 |
| TOEFL Junior Speaking: 사람 대 사람과 사람 대 기계 비교 | r = .89 대 r = .81 | ETS, TOEFL Junior 자동 채점 보고서 2015 |
| 세 명의 언어재활사: 쌍별 PCC 범위 | 0.858에서 0.927 | Azad 외, Harf-Speech, arXiv 2026 |
| 세 명의 영어 교사: 가장 강한 쌍과 가장 약한 쌍 | r = 0.901 대 r = 0.583 | Chen·Sun, PLOS One 2025 |
| Versant English Test: 종합과 발음의 기계-사람 상관 비교 | 0.97 대 0.88 | Pearson, Versant 검증 요약 2022 (공급업체 자체 주장) |
| PTE Academic 말하기: 발음의 기계-사람 상관, N = 158 | 0.81 | Pearson, MELTA 발표 자료 2018 (공급업체 자체 주장) |
| speechocean762 음소 수준 기준선 PCC | 0.45 | Zhang 외, speechocean762 논문 2021 |
| GOPT 음소 수준 PCC | 0.612 | Gong 외, GOPT, ICASSP 2022 |
| speechocean762에서 인용되는 음소 수준 최고 PCC | 0.693 | Chao 외, Interspeech 2023, Cao 외, arXiv 2025에서 인용 |
| 3MH 발화 수준 총합 PCC | 0.811 | Wang 외, GPT-4o 발음 연구, arXiv 2025 |
| 우리 출처의 L2-ARCTIC 탐지 최고 F1 | 71.77% | Geng 외, CROTTC-IF, arXiv 2026 |
| 해당 시스템의 거짓 거부와 거짓 수락 비교 | 3.39% 대 32.76% | Geng 외, CROTTC-IF, arXiv 2026 |
| speechocean762 발화 수준 PCC: Azure와 GPT-4o 최고 설정 비교 | 0.782 대 0.502 | Wang 외, GPT-4o 발음 연구, arXiv 2025 |
| 아랍어 테스트: 임상가 평균 점수와의 PCC, Harf-Speech와 Azure 비교 | 0.791 대 0.635 | Azad 외, Harf-Speech, arXiv 2026 |
| SmartSpeech 평균 점수와 사람 평균 점수 비교 | 92.00 대 86.41 | Chen·Sun, PLOS One 2025 |
| 대상 학습자에 대한 파인튜닝 전과 후의 ROC-AUC | 0.72 대 0.85 | Nijat 외, Applied Sciences 2026 |
방법론과 출처
각 연구, 보고서, 기술 문서를 직접 읽었으며, 앞의 0 없이 표기된 r 값을 포함해 각 출처의 표기를 그대로 유지했다. 프리프린트는 arXiv로 표시했으며 반드시 동료 심사를 거친 것은 아니다.
- Wang·Min, The human-machine correlation in automated speech evaluation: A three-level meta-analysis, Language Testing, 2026.
- Zhang 외, speechocean762: An Open-Source Non-native English Speech Corpus For Pronunciation Assessment, 2021.
- Gong 외, Transformer-Based Multi-Aspect Multi-Granularity Non-Native English Speaker Pronunciation Assessment, ICASSP 2022.
- Chao 외, A Hierarchical Context-aware Modeling Approach for Multi-aspect and Multi-granular Pronunciation Assessment, Interspeech 2023.
- Cao 외, Segmentation-free Goodness of Pronunciation, arXiv 2025, 2026년 2월 5일 개정.
- Sara·Chowdhury, Light-weight Pronunciation Assessment via Discrete Speech Token Surprisal, arXiv 2026.
- Wang 외, Exploring the Potential of Large Multimodal Models as Effective Alternatives for Pronunciation Assessment, arXiv 2025.
- Chao·Chen, HMamba 논문, arXiv 2025.
- Tu 외, Mispronunciation Detection and Diagnosis Without Model Training, arXiv 2025.
- Geng 외, Beyond Acoustic Sparsity and Linguistic Bias, arXiv 2026.
- Yan 외, An End-to-End Mispronunciation Detection System for L2 English Speech, Interspeech 2020.
- Azad 외, Harf-Speech: A Clinically Aligned Framework for Arabic Phoneme-Level Speech Assessment, arXiv 2026.
- Chen·Sun, Evaluating automated evaluation systems for spoken English proficiency, PLOS One, 2025.
- Won, Assessing the efficacy of word error rate as a proxy for pronunciation quality, Journal of Second Language Pronunciation, 2025.
- Nijat 외, Beyond Native Norms: A Perceptually Grounded and Fair Framework for Automatic Speech Assessment, Applied Sciences, 2026.
- Cai 외, Developing an Automatic Pronunciation Scorer, Language Learning, 2025, 그리고 Duolingo English Test 블로그 요약.
- Pearson, Versant English Test Description and Validation Summary, 2022.
- Pearson, Versant English Speaking and Listening Test 검증 보고서, 2024.
- Pearson, MELTA 자동 채점 발표 자료, 2018.
- ETS, Automated Scoring for the TOEFL Junior Comprehensive Writing and Speaking Test, 2015.
- Loukina·Buzick, Use of Automated Scoring in Spoken Language Assessments for Test Takers With Speech Impairments, ETS 연구 보고서, 2017.
- Chen 외, Automated Scoring of Nonnative Speech Using the SpeechRater v. 5.0 Engine, ETS 연구 보고서, 2018.
- Microsoft, Characteristics and limitations of Pronunciation Assessment, 2026.
- Dalman·Kang, Listener Background in L2 Speech Evaluation, IntechOpen, 2019.
- 데이터 참고 사항: 입수 가능한 최신 데이터는 ETS 2015년과 2017년, Pearson 2018년과 2022년, Dalman·Kang 2019년이다. 더 새로운 공개 자료를 찾지 못했기 때문이며, ETS는 우리가 읽을 수 있었던 문서에서 TOEFL iBT의 운영상 일치도 수치를 공개하지 않는다. 벤치마크는 훈련 데이터, 분할, 의사 레이블이 달라 논문 간에 직접 비교할 수 없으며, 0.693이라는 기록은 Cao 외가 자신들이 아는 한도에서 밝힌 값이다. HMamba의 초록은 읽을 수 있었지만 음소 수준 표는 읽지 못했으므로 더 새로운 음소 수준 수치가 있을 수 있다. CROTTC-IF는 speechocean762에서 최고의 탐지기가 아니며, 같은 표에서는 MuFFIN의 67.98%가 앞선다. 공급업체 수치는 공급업체 자체의 검증 표본에서 나온 것이다. 우리가 읽은 출처에서는 발음에 쓸 만한 코언의 카파(Cohen’s kappa)를 찾지 못했으며, 이 출처들은 PCC와 ICC를 선호하고, Wang·Min 및 Loukina·Buzick의 수치는 공개된 초록에서 가져왔다. Chen·Sun의 표본은 학생 30명이고 Harf-Speech는 40개 표본을 사용하므로 둘 다 작다.
마지막 업데이트: 2026년 10월 31일. 저희는 이 정리를 분기마다 업데이트하며, 다음 갱신은 ISCA Archive가 다음 Interspeech 논문집을 게시할 때 이루어질 것으로 예상한다.