По данным 67 исследований и 392 размеров эффекта, оценки машин коррелируют с суждениями людей о произношении на уровне r = 0,606, ниже объединённых показателей для беглости или подачи речи (Wang и Min, Language Testing 2026). Цифры бенчмарков рассказывают похожую историю в более мелком масштабе: лучшая корреляция Пирсона (PCC) на уровне фонем, упоминаемая для корпуса speechocean762, составляет 0,693, а ведущий детектор ошибок 2026 года по-прежнему пропускает примерно одну из трёх реальных ошибок произношения. Поставщики экзаменов сообщают о гораздо более высоких значениях для тестов целиком, до 0,97, хотя их собственные субоценки за произношение заметно ниже. Эти цифры измеряют согласованность, а не продажи, поэтому данный обзор стоит отдельно от нашей более широкой статистики изучения языков. Мы собрали данные из Language Testing, корпуса speechocean762, исследовательских отчётов ETS, отчётов о валидации Pearson, PLOS One, Language Learning и ещё десятка статей и технических документов.
Кратко (TL;DR)
- Объединённая корреляция между машиной и человеком для произношения: r = 0,606 против r = 0,654 по всем конструктам говорения (Wang и Min, Language Testing 2026).
- Самый высокий PCC на уровне фона, упоминаемый для speechocean762: 0,693, при базовом уровне корпуса 0,45 (Cao и др., arXiv 2025; Zhang и др., 2021).
- Субоценка за произношение в Versant English Test: корреляция между машиной и человеком 0,88, самая низкая среди его субоценок (Pearson, сводка валидации Versant 2022).
- Человек против человека в части говорения TOEFL Junior: r = 0,89 против r = 0,81 для человека против машины (ETS, отчёт об автоматической оценке TOEFL Junior 2015).
- Два учителя в одном классном исследовании согласились лишь на уровне r = 0,583, а другая пара достигла r = 0,901 (Chen и Sun, PLOS One 2025).
- Лучший F1 обнаружения ошибок произношения на L2-ARCTIC в наших источниках: 71,77% (Geng и др., arXiv 2026).
- Ложное принятие реальных ошибок произношения в этой системе: 32,76% против 3,39% ложных отклонений верных звуков (Geng и др., arXiv 2026).
- Лучший результат GPT-4o на speechocean762: 0,502 на уровне высказывания против 0,782 у Azure Pronunciation Assessment (Wang и др., arXiv 2025).
- Одно потребительское приложение коррелировало с учителями на уровне r = 0,869, но выставляло в среднем 92,00 против 86,41 у людей (Chen и Sun, PLOS One 2025).
- Переход детектора от общей модели к целевой группе обучающихся поднял ROC-AUC с 0,72 до 0,85 (Nijat и др., Applied Sciences 2026).
1. Исходный уровень: что говорят 67 исследований о согласованности машины и человека
Коэффициент r Пирсона изменяется от -1 до 1 и показывает, растут и падают ли два набора оценок вместе. Объединённый показатель для произношения, r = 0,606, по этой шкале силён, но возведение в квадрат показывает предел: 0,606 x 0,606 = 0,367, то есть примерно 37% дисперсии человеческих оценок совпадает с оценками машины.
Неожиданность в порядке конструктов. Подача речи (в оценке говорения это то, как речь звучит в целом, а не то, что в ней сказано) заметно опережает произношение, так что системы лучше справляются с общим впечатлением, чем с конкретным конструктом, который отслеживает этот обзор. Грамматика и словарный запас отстают от всех остальных. Метаанализ в Language Testing также показал, что точность автоматического распознавания речи (ASR) не была значимым модератором, что подрывает распространённое допущение: лучший распознаватель речи автоматически означает лучшую систему оценки.
| Показатель | Значение | Источник |
|---|---|---|
| Объём метаанализа и общая объединённая корреляция между машиной и человеком | 67 исследований, 392 размера эффекта, r = 0,654 (p < 0,001) | Wang и Min, Language Testing 2026 |
| Объединённая корреляция для подачи речи против объединённой корреляции для произношения | r = 0,784 против r = 0,606 | Wang и Min, Language Testing 2026 |
| Объединённая корреляция для общей устной компетенции против объединённой корреляции для беглости | r = 0,686 против r = 0,618 | Wang и Min, Language Testing 2026 |
| Объединённая корреляция для содержания против объединённой корреляции для грамматики и словарного запаса | r = 0,574 против r = 0,499 | Wang и Min, Language Testing 2026 |
| Переменные-модераторы со значимым эффектом против переменных без него | 10 значимых (включая возрастную группу, опыт оценщика и межэкспертную надёжность) против 4 незначимых (включая точность ASR) | Wang и Min, Language Testing 2026 |
| Диапазон корреляции Пирсона, который один поставщик называет «высокой» согласованностью с судьями-людьми | от 0,5 до 1,0 | Microsoft, примечание о прозрачности Pronunciation Assessment 2026 (собственное руководство поставщика) |
Пояснение к контексту: по собственной шкале Microsoft даже самый слабый конструкт метаанализа почти достигает уровня «высокой». Такие ярлыки мало говорят о том, можно ли доверять оценке для конкретного обучающегося. Если использовать руководство Microsoft как проходной балл, оно пропустило бы почти все объединённые значения из таблицы выше.
2. Человеческий потолок: насколько согласуются между собой оценщики
Машину нельзя мерить по идеальному эталону, потому что человеческий эталон тоже зашумлён. Пары обученных учителей в одном исследовании 2025 года показали результаты от r = 0,901 до r = 0,583, и это нижнее значение ниже объединённой корреляции машин для произношения из раздела 1. Выборка составила всего 30 учащихся, а задачей была общая устная компетенция, поэтому исследование иллюстрирует разброс, но не доказывает, что машины превосходят учителей.
Клиницисты в арабском исследовании ниже согласовывались между собой гораздо лучше, чем учителя, хотя язык и задача были другими, а усреднение помогает: исследование в PLOS One переходит от 0,713 для одного оценщика к 0,882 для среднего из трёх. ICC, внутриклассовый коэффициент корреляции, - иная мерка, чем r Пирсона: в форме абсолютного согласия он дополнительно штрафует оценщиков за то, что они в целом строже или мягче. Самое полезное сравнение - исследование ETS по TOEFL Junior, в котором приведены оба числа на одних и тех же данных. Разрыв между ними - честная мера того, чего автоматизации пока не хватает. Та же проблема суждения слушателя проходит через оценки качества синтетической речи.
| Показатель | Значение | Источник |
|---|---|---|
| Говорение TOEFL Junior на уровне формы, пять ответов: корреляция человек против человека в сравнении с корреляцией человек против машины | r = 0,89 против r = 0,81 | ETS, отчёт об автоматической оценке TOEFL Junior 2015 (самые свежие доступные данные) |
| Три логопеда оценивают произношение на арабском: диапазон парного PCC | от 0,858 до 0,927 | Azad и др., Harf-Speech, arXiv 2026 |
| Те же три клинициста: диапазон парного ICC(2,1) | от 0,846 до 0,922 | Azad и др., Harf-Speech, arXiv 2026 |
| Три учителя английского оценивают устную компетенцию: согласие одного оценщика, ICC(2,1) | 0,713 (95% ДИ от 0,539 до 0,835) | Chen и Sun, PLOS One 2025 |
| Те же три учителя: согласие усреднённой оценки, ICC(2,k) | 0,882 (95% ДИ от 0,778 до 0,938) | Chen и Sun, PLOS One 2025 |
| Те же три учителя: самая сильная пара против самой слабой пары | r = 0,901 против r = 0,583 | Chen и Sun, PLOS One 2025 |
| Снижение влияния переменных слушателя, не относящихся к оцениваемому признаку, после обучения оценщиков: целостные оценки устной компетенции против оценок понятности | 75% против 50% | Dalman и Kang, IntechOpen 2019, обобщающая Kang и др. 2019 (самые свежие доступные данные) |
| Опубликованная статистика согласия для пяти экспертов-разметчиков speechocean762 | Не приводится | Zhang и др., статья о speechocean762 2021 |
Замечание о выбросах: последняя строка важнее, чем кажется. Главный публичный бенчмарк этой области не публикует ни корреляцию, ни каппу между разметчиками, поэтому никто, читая его статью, не может сказать, насколько близко 0,693 находится к человеческому потолку.
3. Экзамены с высокими ставками: цифры поставщиков и разрыв по произношению внутри них
Показатели для тестов целиком выглядят почти идеальными, а произношение - то место, где они перестают так выглядеть. В собственных данных Pearson по Versant произношение - самая слабая субоценка с 0,88, тогда как общая оценка достигает 0,97. Это снижение устойчиво проходит через документы Pearson: 0,81 в презентации о PTE Academic и 0,85 для категории «манера речи» Versant, которая включает произношение.
Эти значения намного выше объединённого r = 0,606 из раздела 1. Отчасти разница связана с выборкой: оценки за тест агрегируют много заданий, а валидационные выборки часто охватывают широкий диапазон уровней (в отчёте Versant Speaking and Listening среди 260 взрослых есть 26 носителей английского как L1), а широкие диапазоны повышают корреляции. Метаанализ также относит разработчика системы и единицу выборки к своим значимым модераторам. Цифры поставщиков следует читать как верхние границы, полученные в благоприятных условиях. О том, какой вес имеют эти экзамены, читайте в нашей статистике экзаменов по английскому.
| Показатель | Значение | Источник |
|---|---|---|
| Versant English Test, корреляция машины и человека по оценкам, n = 143 | Общая 0,97, владение предложениями 0,97, словарный запас 0,96, беглость 0,94, произношение 0,88 | Pearson, сводка валидации Versant 2022 (собственное заявление поставщика, самые свежие доступные данные) |
| Надёжность по методу расщепления для оценки произношения в Versant English Test: машинная оценка против человеческой, n = 143 | 0,97 против 0,99 | Pearson, сводка валидации Versant 2022 (собственное заявление поставщика) |
| Оценки Versant в корреляции с внешними экзаменами, по n = 130: говорение TOEFL iBT против говорения IELTS | 0,75 против 0,76 | Pearson, сводка валидации Versant 2022 (собственное заявление поставщика) |
| Versant English Speaking and Listening Test, корреляция машины и человека, n = 260 | Общая 0,96, говорение 0,88, манера речи 0,85 | Pearson, отчёт о валидации Versant Speaking and Listening 2024 (собственное заявление поставщика) |
| Говорение PTE Academic, корреляция машины и человека по признакам, N = 158 | Произношение 0,81, беглость 0,82, общая 0,96 | Pearson, презентация об автоматической оценке на MELTA 2018 (собственное заявление поставщика, самые свежие доступные данные) |
| Хронология SpeechRater от ETS: год первого внедрения сервиса против года ввода в эксплуатацию версии 5.0 | 2006 против 2016 | Chen и др., исследовательский отчёт ETS 2018 |
Пояснение к контексту: надёжность по методу расщепления показывает, насколько система оценки согласована сама с собой на двух половинах теста. Машина может достичь 0,97 по этому показателю и всё же расходиться с людьми, что в точности соответствует строкам о произношении в Versant.
4. Бенчмарк speechocean762: прогресс по уровням детализации
В speechocean762 содержится 5 000 английских высказываний 250 неносителей языка, половина из них дети, и каждое оценено пятью экспертами. Оценки даны на трёх уровнях: фон (отдельный звук речи, а не телефон), слово и высказывание. Метрики - PCC, где выше лучше, и MSE (среднеквадратичная ошибка), где ниже лучше. GOP, или Goodness of Pronunciation, - классическая статистическая оценка, которую пытаются превзойти новые модели.
PCC на уровне фона вырос с 0,45 до 0,693 между базовым уровнем 2021 года и моделью 2023 года, а статья, пересмотренная 5 февраля 2026 года, по-прежнему называет 0,693 самым высоким известным значением. Согласованность падает по мере уменьшения единицы: оценки высказываний достигают 0,80-х, а оценки фонов и слов остаются в пределах 0,60-х. Усреднение по предложению скрывает ошибки, поэтому общая оценка обучающегося может заслуживать доверия, в то время как обратная связь по отдельному звуку - нет. В статье о корпусе также отмечено, что большинство оценок фонов, приведённых к шкале от 0 до 10, лежат между 8 и 10, то есть верные звуки преобладают в данных.
| Показатель | Значение | Источник |
|---|---|---|
| Исходный базовый уровень на уровне фона: сырое значение GOP против признаков на основе GOP | MSE 0,69 и PCC 0,25 против MSE 0,16 и PCC 0,45 | Zhang и др., статья о speechocean762 2021 |
| Модель-трансформер GOPT, уровень фона | MSE 0,085 ± 0,001, PCC 0,612 ± 0,003 | Gong и др., GOPT, ICASSP 2022 |
| Самый высокий PCC на уровне фона, упоминаемый для speechocean762 | 0,693 | Chao и др., Interspeech 2023, цитируется в Cao и др., arXiv 2025 |
| Признаки GOP без сегментации на входе GOPT, уровень фона | PCC 0,648 ± 0,002 | Cao и др., arXiv 2025 |
| Итоговый PCC на уровне слова против итогового PCC на уровне высказывания, GOPT | 0,549 против 0,742 | Gong и др., GOPT, ICASSP 2022 |
| Итоговый PCC на уровне слова против итогового PCC на уровне высказывания, модель 3MH | 0,694 против 0,811 | Wang и др., исследование произношения с GPT-4o, arXiv 2025 |
| Модель HMamba на уровне высказывания: PCC для точности, беглости и просодии | 0,807, 0,848 и 0,843 | Sara и Chowdhury, arXiv 2026 |
| Объединённая корреляция машины и человека по поколениям технологий: классическое машинное обучение, глубокое обучение, трансформер | r = 0,597, r = 0,641, r = 0,680 | Wang и Min, Language Testing 2026 |
Замечание о выбросах: та же модель 3MH достигает лишь 0,361 для словесного ударения и 0,374 для полноты высказывания (Wang и др., arXiv 2025). Это самые трудные метки на бенчмарке.
5. Обнаружение ошибок фонем: точность, полнота и пропущенная треть
Оценка отвечает на вопрос, насколько хорош был звук. Обнаружение ошибок произношения задаёт для каждой фонемы вопрос с ответом «да» или «нет» и сообщает F1, единый показатель, уравновешивающий точность (сколько пометок было верными) и полноту (сколько реальных ошибок удалось поймать). Лучший результат на L2-ARCTIC в наших источниках - F1 71,77%, из препринта 2026 года, что на 8,73 пункта выше (71,77 - 63,04) лучшего базового уровня из сравнения 2025 года.
Разделение между двумя видами ошибок отражает проектный приоритет. Ложное принятие означает, что неверный звук проходит как верный, а ложное отклонение означает, что верный звук помечается. Эти числа дополняют полноту: 100 - 67,24 = 32,76, поэтому одна из трёх реальных ошибок остаётся без пометки. В статье 2025 года ложное отклонение названо самой критичной метрикой, потому что необоснованные поправки раздражают обучающихся, и результаты укладываются в этот приоритет: обучающийся видит мало ложных тревог, в то время как многие настоящие ошибки остаются без пометки.
| Показатель | Значение | Источник |
|---|---|---|
| Бенчмарк L2-ARCTIC: всего дикторов против дикторов в тестовой выборке | 24 против 6 | Tu и др., PER-MDD, arXiv 2025 |
| Прирост F1 раннего сквозного детектора над методом GOP против прироста над сквозным базовым уровнем | 27,71% против 11,05% | Yan и др., Interspeech 2020 |
| F1 на L2-ARCTIC: лучший прежний базовый уровень (Joint-Align) против поисковой системы без обучения (PER-MDD) | 63,04% против 69,60% | Tu и др., PER-MDD, arXiv 2025 |
| L2-ARCTIC, система CROTTC-IF: F1, точность и полнота | 71,77%, 76,94% и 67,24% | Geng и др., CROTTC-IF, arXiv 2026 |
| L2-ARCTIC, система CROTTC-IF: ложное отклонение против ложного принятия | 3,39% против 32,76% | Geng и др., CROTTC-IF, arXiv 2026 |
| Частота ошибок по фонам на L2-ARCTIC: CROTTC-IF против его одной акустической модели против PER-MDD | 46,52 против 17,48 против 104,08 | Geng и др., CROTTC-IF, arXiv 2026 |
| F1 обнаружения на speechocean762: CROTTC-IF против HMamba против MuFFIN | 57,16% против 63,85% против 67,98% | Geng и др., arXiv 2026; Chao и Chen, HMamba, arXiv 2025 |
Замечание о выбросах: значения частоты ошибок по фонам выше 100 - не опечатка. Авторы объясняют их вставленными фонами, и они показывают, что система может хорошо находить ошибки и плохо транскрибировать. Результаты для арабского похожи: в таблице лидеров Iqra’Eval2 из той же статьи 2026 года максимум F1 составляет 72,01%.
6. Коммерческие API, потребительские приложения и чат-боты
Разрыв между сервисами больше, чем разрыв между исследовательскими моделями. Тест 2025 года на speechocean762 показал для Azure Pronunciation Assessment 0,782 на уровне высказывания. Лучшая конфигурация GPT-4o достигла 0,502, а на уровне фонемы - всего 0,249. Универсальные мультимодальные модели умеют слушать, но по этим данным пока не могут оценить отдельный звук.
Тесты за пределами лабораторий поставщиков менее лестны для коммерческих инструментов. В исследовании Won 2025 года на 190 записях чтения вслух корейских младших школьников обнаружены умеренные корреляции между оценками фонем Azure и суждениями людей, тогда как частота ошибок в словах у самых точных систем, близкая к нулю, лишь слабо коррелировала с человеческими оценками. Распознаватель, который понимает всех, перестаёт быть полезным косвенным показателем произношения. Строка о SmartSpeech ниже добавляет второй вывод: инструмент может сильно коррелировать с людьми и всё же завышать среднюю оценку более чем на пять баллов.
| Показатель | Значение | Источник |
|---|---|---|
| Заявление поставщика о согласованности с судьями-людьми | Корреляция Пирсона выше 0,5 | Microsoft, примечание о прозрачности Pronunciation Assessment 2026 (собственное заявление поставщика) |
| Azure Pronunciation Assessment на speechocean762: PCC точности слов против итогового PCC высказывания | 0,623 против 0,782 | Wang и др., исследование произношения с GPT-4o, arXiv 2025 |
| Лучший результат GPT-4o на speechocean762: PCC для фонемы, итоговый для слова и итоговый для высказывания | 0,249, 0,277 и 0,502 | Wang и др., исследование произношения с GPT-4o, arXiv 2025 |
| Арабская речь, оценённая клиницистами, 40 образцов: PCC со средней оценкой клиницистов, Harf-Speech против Azure | 0,791 против 0,635 | Azad и др., Harf-Speech, arXiv 2026 |
| Тот же арабский тест: RMSE по шкале от 0 до 5, Harf-Speech против Azure | 1,05 против 1,28 | Azad и др., Harf-Speech, arXiv 2026 |
| Три приложения для говорения с ИИ против среднего оценщиков-людей, 30 учащихся: AI Speaking Master, TalkAI Language Practice, SmartSpeech AI Assessment | r = 0,854, 0,873 и 0,869 | Chen и Sun, PLOS One 2025 |
| Средняя оценка SmartSpeech против средней человеческой оценки | 92,00 против 86,41, разница 5,589 (95% ДИ от 5,023 до 6,155), d Коэна = 3,688 | Chen и Sun, PLOS One 2025 |
| Система оценки произношения Duolingo: корреляция Спирмена с оценками экспертов-людей | 0,82 | Блог Duolingo English Test о Cai и др. 2025 (собственное краткое изложение поставщика) |
Пояснение к контексту: значения Harf-Speech взяты из препринта самих авторов системы, поэтому её преимущество над Azure стоит воспринимать осторожно. Duolingo описывает 0,82 как почти равное согласованности между оценщиками-людьми, но в записи блога человеческое значение не приведено.
7. Перенос и справедливость: что происходит за пределами бенчмарка
Значительная часть приведённых выше данных бенчмарков получена на одном корпусе обучающихся, говорящих на мандаринском, и она переносится нечисто. Та же система, показавшая 0,661 по точности на speechocean762, упала до 0,506 на L2-ARCTIC, корпусе с дикторами нескольких родных языков, а переобучение на новых данных подняло её лишь до 0,527. Адаптация к целевой группе лучше работает для обнаружения: одно исследование 2026 года подняло ROC-AUC с 0,72 до 0,85 дообучением на самих обучающихся. ROC-AUC измеряет, насколько хорошо система отделяет верное от неверного при всех порогах, где 0,5 соответствует случайному угадыванию.
Выводы о смещении в основном указывают лишь направление, поскольку немногие работы публикуют разрывы по группам. Тем не менее исследование ETS об участниках тестирования с нарушениями речи и статья Duolingo в Language Learning обнаружили измеримые проблемы, в том числе у систем оценки, созданных крупными экзаменационными организациями. У лежащего в основе слоя распознавания свои пробелы, описанные в нашей статистике смещения по акценту, а детям нужны собственные данные, как показывает наша статистика распознавания детской речи.
| Показатель | Значение | Источник |
|---|---|---|
| PCC точности одной модели оценки, обученной на speechocean762: проверка на speechocean762 против проверки на L2-ARCTIC | 0,661 против 0,506 | Sara и Chowdhury, arXiv 2026 |
| Та же модель на L2-ARCTIC после переобучения на данных L2-ARCTIC | 0,527 | Sara и Chowdhury, arXiv 2026 |
| ROC-AUC обнаружения ошибок произношения: модель до против после дообучения на неносителях | 0,72 против 0,85 | Nijat и др., Applied Sciences 2026 |
| F1 обнаружения на корпусе ERJ: без данных обучающихся (без дообучения) против с дообучением | 78,44% против 89,27% | Geng и др., CROTTC-IF, arXiv 2026 |
| Детская речь (CMU Kids), реальные ошибки, AUC: прежний GOP-DNN-Avg против GOP-CTC-SF-SD без сегментации | 0,796 против 0,914 | Cao и др., arXiv 2025 |
| GOP-CTC-SF-SD на детской речи: смоделированные ошибки против реальных ошибок, AUC | 0,986 против 0,914 | Cao и др., arXiv 2025 |
| Участники тестирования с нарушениями речи или слуха, шесть заданий на говорение в TOEFL iBT | Оценки SpeechRater, как правило, выше человеческих | Loukina и Buzick, исследовательский отчёт ETS 2017 (самые свежие доступные данные) |
| Источники смещения, о которых сообщено для современной системы оценки произношения | Качество аудио и группы языковых семей | Cai и др., Language Learning 2025 |
Пояснение к контексту: метки оценок L2-ARCTIC в первых двух строках - это псевдоразметка Azure с экспертной проверкой 10 дикторов, поэтому эти PCC измеряют согласованность с другой машиной не меньше, чем с людьми. Microsoft отдельно рекомендует для своего сервиса аудио от 16 кГц и одного диктора.
Итоги: точность оценки произношения ИИ в цифрах
| Показатель | Значение | Источник |
|---|---|---|
| Объединённая корреляция машины и человека: произношение против всех конструктов говорения | r = 0,606 против r = 0,654 | Wang и Min, Language Testing 2026 |
| Говорение TOEFL Junior: человек против человека в сравнении с человеком против машины | r = 0,89 против r = 0,81 | ETS, отчёт об автоматической оценке TOEFL Junior 2015 |
| Три логопеда: диапазон парного PCC | от 0,858 до 0,927 | Azad и др., Harf-Speech, arXiv 2026 |
| Три учителя английского: самая сильная пара против самой слабой пары | r = 0,901 против r = 0,583 | Chen и Sun, PLOS One 2025 |
| Versant English Test: корреляция машины и человека, общая против произношения | 0,97 против 0,88 | Pearson, сводка валидации Versant 2022 (собственное заявление поставщика) |
| Говорение PTE Academic: корреляция машины и человека для произношения, N = 158 | 0,81 | Pearson, презентация на MELTA 2018 (собственное заявление поставщика) |
| PCC базового уровня на уровне фона для speechocean762 | 0,45 | Zhang и др., статья о speechocean762 2021 |
| PCC GOPT на уровне фона | 0,612 | Gong и др., GOPT, ICASSP 2022 |
| Самый высокий PCC на уровне фона, упоминаемый для speechocean762 | 0,693 | Chao и др., Interspeech 2023, цитируется в Cao и др., arXiv 2025 |
| Итоговый PCC модели 3MH на уровне высказывания | 0,811 | Wang и др., исследование произношения с GPT-4o, arXiv 2025 |
| Лучший F1 обнаружения на L2-ARCTIC в наших источниках | 71,77% | Geng и др., CROTTC-IF, arXiv 2026 |
| Ложное отклонение против ложного принятия в этой системе | 3,39% против 32,76% | Geng и др., CROTTC-IF, arXiv 2026 |
| PCC на уровне высказывания на speechocean762: Azure против лучшей конфигурации GPT-4o | 0,782 против 0,502 | Wang и др., исследование произношения с GPT-4o, arXiv 2025 |
| Арабский тест: PCC со средней оценкой клиницистов, Harf-Speech против Azure | 0,791 против 0,635 | Azad и др., Harf-Speech, arXiv 2026 |
| Средняя оценка SmartSpeech против средней человеческой оценки | 92,00 против 86,41 | Chen и Sun, PLOS One 2025 |
| ROC-AUC до против после дообучения на целевых обучающихся | 0,72 против 0,85 | Nijat и др., Applied Sciences 2026 |
Методология и источники
Мы читали каждое исследование, отчёт или технический документ напрямую и сохраняли собственную запись значений в каждом источнике. Препринты помечены как arXiv и не обязательно прошли рецензирование.
- Wang и Min, Корреляция человека и машины в автоматической оценке речи: трёхуровневый метаанализ, Language Testing, 2026.
- Zhang и др., speechocean762: открытый корпус неродной английской речи для оценки произношения, 2021.
- Gong и др., Оценка произношения неносителей английского на основе трансформера: многоаспектная и многоуровневая, ICASSP 2022.
- Chao и др., Иерархический контекстно-зависимый подход к многоаспектной и многоуровневой оценке произношения, Interspeech 2023.
- Cao и др., Оценка качества произношения (GOP) без сегментации, arXiv 2025, пересмотрено 5 февраля 2026 года.
- Sara и Chowdhury, Облегчённая оценка произношения через неожиданность дискретных речевых токенов, arXiv 2026.
- Wang и др., Изучение потенциала больших мультимодальных моделей как эффективной альтернативы для оценки произношения, arXiv 2025.
- Chao и Chen, статья о HMamba, arXiv 2025.
- Tu и др., Обнаружение и диагностика ошибок произношения без обучения модели, arXiv 2025.
- Geng и др., За пределами акустической разреженности и лингвистического смещения, arXiv 2026.
- Yan и др., Сквозная система обнаружения ошибок произношения в английской речи изучающих его как L2, Interspeech 2020.
- Azad и др., Harf-Speech: клинически согласованная система оценки арабской речи на уровне фонем, arXiv 2026.
- Chen и Sun, Оценка автоматизированных систем оценки владения устным английским, PLOS One, 2025.
- Won, Оценка пригодности частоты ошибок в словах как показателя качества произношения, Journal of Second Language Pronunciation, 2025.
- Nijat и др., За пределами норм носителей: перцептивно обоснованная и справедливая система автоматической оценки речи, Applied Sciences, 2026.
- Cai и др., Разработка автоматической системы оценки произношения, Language Learning, 2025, вместе с кратким изложением в блоге Duolingo English Test.
- Pearson, Описание и сводка валидации Versant English Test, 2022.
- Pearson, отчёт о валидации Versant English Speaking and Listening Test, 2024.
- Pearson, презентация об автоматической оценке на MELTA, 2018.
- ETS, Автоматическая оценка тестов письма и говорения TOEFL Junior Comprehensive, 2015.
- Loukina и Buzick, Использование автоматической оценки в тестах устной речи для участников с нарушениями речи, исследовательский отчёт ETS, 2017.
- Chen и др., Автоматическая оценка речи неносителей с помощью движка SpeechRater v. 5.0, исследовательский отчёт ETS, 2018.
- Microsoft, Характеристики и ограничения Pronunciation Assessment, 2026.
- Dalman и Kang, Профиль слушателя при оценке речи на втором языке, IntechOpen, 2019.
- Наблюдение по данным: самые свежие доступные данные: ETS 2015 и 2017, Pearson 2018 и 2022, Dalman и Kang 2019, поскольку более новых публичных аналогов мы не нашли, а ETS не публикует операционные показатели согласованности TOEFL iBT в документах, которые мы смогли прочитать. Бенчмарки нельзя напрямую сравнивать между статьями, потому что обучающие данные, разбиения и псевдоразметка различаются, а рекорд 0,693 - это то, что Cao и др. указывают по своим сведениям: мы смогли прочитать аннотацию HMamba, но не её таблицу на уровне фона, поэтому может существовать более новое значение на уровне фона. CROTTC-IF не является лучшим детектором на speechocean762, где в той же таблице лидирует MuFFIN с 67,98%. Цифры поставщиков взяты из собственных валидационных выборок поставщиков. В прочитанных нами источниках, которые отдают предпочтение PCC и ICC, мы не нашли пригодной каппы Коэна для произношения, а значения Wang и Min и Loukina и Buzick взяты из опубликованных аннотаций. Выборка Chen и Sun составляет 30 учащихся, а Harf-Speech использует 40 образцов, поэтому обе невелики.
Последнее обновление: 31 октября 2026 года. Мы обновляем этот обзор ежеквартально, и следующее обновление ожидается, когда ISCA Archive опубликует очередные труды конференции Interspeech.