Пять коммерческих систем распознавания речи показали в среднем долю ошибочных слов (WER) 0,35 у чернокожих говорящих против 0,19 у белых (Стэнфорд, Koenecke и др., PNAS 2020), а исследование, опубликованное в 2026 году, по-прежнему выявило среднюю WER 20% против 15% у четырёх коммерческих систем (Вашингтонский университет, Scott и др., LREC 2026). Эталонные тесты скрывают этот разрыв: Whisper large показывает 2,7% на LibriSpeech test-clean и 19,7% на корпусе международных акцентов английского языка (Эдинбургский университет, статья EdAcc 2023). Для говорящих с дизартрией при болезни Паркинсона распознаватель, который ошибается в 3,4% случаев на типичной речи, ошибается в 36,3% (Speech Accessibility Project, JSLHR 2024). Мы собрали данные из PNAS, статьи об OpenAI Whisper, набора данных Fair-Speech компании Meta, Speech Accessibility Project, Mozilla Common Voice и более чем десятка других рецензируемых источников, сохранив обозначения каждого источника (одни приводят WER как долю, например 0,35, большинство как процент, например 19,7%). Та же метрика лежит в основе правил точности субтитров в прямом эфире, поэтому несколько пунктов WER имеют значение далеко за пределами лаборатории.
Кратко (TL;DR)
- Пять коммерческих систем ASR показали в среднем WER 0,35 у чернокожих говорящих против 0,19 у белых, а 23% против 1,6% фрагментов оказались непригодными при WER выше 0,5 (Стэнфорд, Koenecke и др., PNAS 2020).
- Четыре коммерческие системы показали в среднем WER 20% у афроамериканских говорящих против 15% у американцев европеоидной расы, относительный рост на 33% (Вашингтонский университет, Scott и др., LREC 2026).
- Whisper large показывает WER 2,7% на LibriSpeech test-clean и 19,7% на тестовом наборе английской речи с акцентами EdAcc (Эдинбургский университет, статья EdAcc 2023).
- Whisper-large-v2 показал 9,52 для чернокожих или афроамериканских говорящих против 3,96 для белых на голосовых командах (Meta, Fair-Speech Dataset 2024).
- Нидерландский распознаватель показал WER 55,9% на читаемой речи неносителей против 26,1% у носителей (TU Delft, Feng и др., Количественная оценка предвзятости в ASR 2021).
- Дизартричная речь подняла базовую WER с 3,4% до 36,3%, а дообучение снизило её до 23,7% (Speech Accessibility Project, JSLHR 2024).
- Лучшая система конкурса Interspeech 2025 Speech Accessibility Project Challenge достигла WER 8,11% против 17,82% у базовой модели whisper-large-v2 (Zheng и др., Interspeech 2025).
- Шесть систем ASR показали в среднем WER 0,281 на заикающейся речи против 0,105 после удаления неплавностей (Mujtaba и др., NAACL 2024).
- Common Voice Scripted Speech v27.0 содержит 29 295 проверенных часов на 295 языках при общем числе языков мира более 7 000 (Mozilla Common Voice 2026; Pratap и др., статья MMS 2023).
- У AWS General Transcribe медианная WER составила 50% для чернокожих пациентов, получающих помощь на дому, против 33% для белых, P = 0,016 (Zolnoori и др., JAMIA Open 2024).
- Судебные стенографисты с сертифицированной точностью 95% показали в среднем 82,9% точности по словам на афроамериканском английском (Jones и др., Language 2019).
- 93% афроамериканских участников двухнедельного дневникового исследования изменяли свой диалект, чтобы их понимали голосовые технологии (Mengesha и др., Frontiers in Artificial Intelligence 2021).
1. Расовые и диалектные разрывы в коммерческом и открытом ASR
Канонической цифре шесть лет, и более убедительные данные её не заменили. В аудите PNAS систем Amazon, Apple, Google, IBM и Microsoft средняя WER составила 0,35 для чернокожих говорящих и 0,19 для белых, разрыв в 0,16 (0,35 минус 0,19), измеренный на 19,8 часа аудио 73 чернокожих и 42 белых говорящих, подобранных по возрасту и полу. Авторы увидели проблему в акустических моделях, потому что разрыв сохранялся на одинаковых фразах: Microsoft, лучшая система, показала 0,13 против 0,07 на парных высказываниях. Самые свежие доступные данные для аудита пяти поставщиков: Koenecke и др., PNAS 2020.
Более новые данные, полученные на других корпусах, показывают в целом более низкие доли ошибок и разрыв, который не закрылся. Команда Вашингтонского университета сообщает об относительном росте на 33% для афроамериканских говорящих на четырёх коммерческих системах, а собственный набор голосовых команд Meta показывает Whisper-large-v2 на уровне 9,52 для чернокожих или афроамериканских говорящих против 3,96 для белых. Вашингтонская команда связывает свои ошибки с различиями в качестве гласных между диалектами, что перекликается с диагнозом по акустическим моделям 2020 года.
| Показатель | Значение | Источник |
|---|---|---|
| Средняя WER, чернокожие против белых говорящих, пять коммерческих систем | 0,35 против 0,19 | Стэнфорд (Koenecke и др.), PNAS 2020 |
| Лучший и худший поставщик, чернокожие против белых говорящих | Microsoft 0,27 против 0,15; Apple 0,45 против 0,23 | Стэнфорд (Koenecke и др.), PNAS 2020 |
| Фрагменты с WER выше 0,5 (непригодные транскрипты) | 23% фрагментов чернокожих говорящих против 1,6% фрагментов белых | Стэнфорд (Koenecke и др.), PNAS 2020 |
| Средняя WER, афроамериканские говорящие против американцев европеоидной расы, четыре коммерческие системы | 20% против 15% (относительный рост на 33%) | Вашингтонский университет (Scott и др.), LREC 2026 |
| Средняя WER, говорящие ChicanX и Yakama, те же четыре системы | 23% и 21% | Вашингтонский университет (Scott и др.), LREC 2026 |
| WER, чернокожие или афроамериканские против белых говорящих, Whisper-large-v2 и Whisper-small | 9,52 против 3,96; 16,99 против 4,51 | Meta (Veliche и др.), Fair-Speech Dataset 2024 |
| Относительный разрыв WER между этническими группами, Whisper-large-v2 против полуконтролируемой видеомодели Meta | 61,13% против 31,04% | Meta (Veliche и др.), Fair-Speech Dataset 2024 |
Контекст: вашингтонская оценка использовала 16 говорящих (по четыре на группу) и отражает работу систем в 2022 году, хотя статья вышла в трудах LREC 2026. Fair-Speech охватывает 593 говорящих из США и около 26,5 тыс. высказываний, а его авторы утверждают, что для моделей Whisper относительный разрыв превышает 40% по всем измеренным ими параметрам.
2. WER на эталонных тестах против реальной речи
Главный эталонный тест - это чистая читаемая речь, а не разговор. Статья о Whisper показывает это в собственной таблице: та же модель, которая получает 2,7 на LibriSpeech Clean, получает 25,5 на CHiME6 и 16,2 на CORAAL, корпусе интервью на African American Language. Whisper large переходит от WER 2,7% на LibriSpeech test-clean к 19,7% на EdAcc, наборе разговоров друзей по видеосвязи с более чем 40 самостоятельно заявленными акцентами английского языка.
И это ещё устойчивая модель. Система wav2vec 2.0 с результатом 2,9% на LibriSpeech показала 36,1% на тех же разговорах с акцентами. Один лишь стиль речи меняет картину: нидерландский распознаватель показал в среднем WER 36,2% на читаемой речи и 47,5% на речи при взаимодействии человека с машиной от того же круга говорящих (TU Delft, Feng и др., Количественная оценка предвзятости в ASR 2021).
| Показатель | Значение | Источник |
|---|---|---|
| WER Whisper Large V2, LibriSpeech Clean | 2,7 | OpenAI (Radford и др.), статья о Whisper 2022 |
| WER Whisper Large V2, CHiME6 и CORAAL | 25,5 и 16,2 | OpenAI (Radford и др.), статья о Whisper 2022 |
| Средняя WER по наборам данных таблицы 2 статьи, wav2vec 2.0 Large против Whisper Large V2 | 29,3 против 12,8 (среднее относительное снижение ошибок на 55,2%) | OpenAI (Radford и др.), статья о Whisper 2022 |
| WER Whisper large, EdAcc test против LibriSpeech test-clean | 19,7% против 2,7% | Эдинбургский университет (Sanabria и др.), статья EdAcc 2023 |
| WER wav2vec 2.0 и коммерческой системы, EdAcc test против LibriSpeech test-clean | 36,1 против 2,9; 18,7 против 3,8 | Эдинбургский университет (Sanabria и др.), статья EdAcc 2023 |
| Лучшая средняя WER, английская дорожка коротких записей; Whisper Large v3 на той же дорожке | 5,42; 7,44 | Статья Open ASR Leaderboard (Srivastav и др.), v4, март 2026 |
| Протестированные системы | 86 систем от 26 организаций на 12 наборах данных; 74 с открытым исходным кодом | Статья Open ASR Leaderboard (Srivastav и др.), v4, март 2026 |
Контекст: Open ASR Leaderboard приводит средние по отобранным тестовым наборам, а в прочитанных нами таблицах нет демографической разбивки говорящих, поэтому среднее 5,42 ничего не говорит о том, кто оказывается в хвосте распределения. Показатель CORAAL - самое близкое к диалектной цифре, что есть в статье о Whisper: Whisper снизил ошибку wav2vec 2.0 на этом корпусе с 35,6 до 16,2, и она всё равно осталась в шесть раз выше результата на LibriSpeech Clean (16,2 делить на 2,7).
3. Акценты неносителей и региональные акценты
Разрывы по акцентам измеряют в основном на английском и в основном на небольших или самоотобранных корпусах. Самый широкий найденный нами аудит, охвативший 2 713 говорящих Speech Accent Archive, родившихся в 171 стране, вообще не использует WER: он приводит потерянную информацию о словах (WIL) и обнаруживает, что она на 0,14 ниже у говорящих, для которых английский - родной язык (P<0,001). На панафриканском английском с акцентом Whisper-large показал WER 0,240 на общей речи и 0,375 на клинической, а все три протестированные коммерческие облачные системы оказались хуже.
Региональные акценты родного языка следуют той же закономерности. В автоматических субтитрах YouTube 80 говорящих из пяти диалектных регионов (Калифорния, Джорджия, Новая Англия, Новая Зеландия и Шотландия) показали устойчиво худшее распознавание для шотландцев (Вашингтонский университет, Tatman, семинар ACL по этике в NLP 2017). В нидерландском языке фламандские подростки, читавшие вслух, распознавались с WER 40,5% моделью, обученной на нидерландском языке Нидерландов. Эти ошибки накапливаются дальше по цепочке, ведь неверно распознанное исходное предложение становится входом для любого конвейера перевода речи в речь.
| Показатель | Значение | Источник |
|---|---|---|
| Размер корпуса EdAcc | Почти 40 часов, более 40 самостоятельно заявленных акцентов, 51 родной язык | Эдинбургский университет (Sanabria и др.), статья EdAcc 2023 |
| Разрыв WIL, говорящие с английским и с другим родным языком, все сервисы | На 0,14 ниже у говорящих с английским как родным (P<0,001); 2 713 говорящих, 212 родных языков | DiChristofano и др., Глобальные различия в качестве между акцентами английского языка (arXiv) 2023 |
| Разрыв WIL по сервисам | Google 0,17; Amazon 0,14; Microsoft 0,11 | DiChristofano и др., Глобальные различия в качестве между акцентами английского языка (arXiv) 2023 |
| WER Whisper-large на панафриканском английском, общая против клинической области | 0,240 против 0,375 | Olatunji и др., AfriSpeech-200, TACL 2023 |
| WER коммерческих облачных систем на панафриканском английском, обе области | Azure 0,391; AWS 0,442; GCP 0,578 | Olatunji и др., AfriSpeech-200, TACL 2023 |
| WER Whisper-medium на панафриканском английском, предобученная против дообученной на AfriSpeech | 0,332 против 0,216 | Olatunji и др., AfriSpeech-200, TACL 2023 |
| WER нидерландского ASR на читаемой речи, неносители против носителей | 55,9% против 26,1% | TU Delft (Feng и др.), Количественная оценка предвзятости в ASR 2021 |
| WER нидерландского ASR на читаемой речи, фламандские подростки против подростков из четырёх регионов Нидерландов | 40,5% против 19,3%, 22,9%, 16,8% и 17,9% | TU Delft (Feng и др.), Количественная оценка предвзятости в ASR 2021 |
Исключение: статус неносителя не всегда предсказывает худшие результаты. На голосовых командах Fair-Speech Whisper-large-v2 показал 3,78 для говорящих на втором языке и 6,11 для говорящих на родном (Meta, Fair-Speech Dataset 2024), что напоминает: групповые разрывы - это свойства набора данных и задачи, а не константы. В нидерландских данных ошибка не снижалась с ростом уровня владения языком у взрослых учащихся: 57,2, 56,5 и 57,0 на уровнях A1, A2 и B1 по CEF. Самые свежие доступные данные: транскрипции архива акцентов были выполнены в 2021 году, а AfriSpeech-200 (200,70 часа, 2 463 говорящих, 120 акцентов, 13 стран) вышел в 2023 году.
4. Разрывы по полу, возрасту и доходу
Ни у одной демографической оси нет фиксированного направления, и в этом и состоит вывод. Субтитры YouTube хуже справлялись с женщинами в 2017 году. Коммерческие системы хуже справлялись с мужчинами в 2020 году. Whisper-large-v2 показал 7,91 для мужчин против 3,86 для женщин на Fair-Speech, то есть примерно вдвое больше (7,91 делить на 3,86 равно 2,05). Система, проверенная на одном наборе данных, может выглядеть справедливой по полу и провалиться на другом.
Возраст ведёт себя так же. Группой Fair-Speech с самой высокой ошибкой оказалась не самая старшая, а возрастная полоса от 31 до 45 лет, тогда как в нидерландском языке хуже всех среди носителей справились дети. Детская речь - постоянное слабое место: Whisper-Small начал с WER 13,93% на тестовом наборе детской речи MyST до какой-либо адаптации (Kid-Whisper, 2024).
| Показатель | Значение | Источник |
|---|---|---|
| Средняя WER по пяти коммерческим системам, чернокожие мужчины против чернокожих женщин; белые мужчины против белых женщин | 0,41 против 0,30; 0,21 против 0,17 | Стэнфорд (Koenecke и др.), PNAS 2020 |
| WER Whisper-large-v2, мужчины против женщин | 7,91 против 3,86 | Meta (Veliche и др.), Fair-Speech Dataset 2024 |
| WER Whisper-large-v2 по возрастным группам, 18-22, 23-30, 31-45, 46-65 | 4,46, 4,62, 7,48, 3,65 | Meta (Veliche и др.), Fair-Speech Dataset 2024 |
| WER Whisper-large-v2 по доходу домохозяйства, низкий, средний, высокий | 5,4, 6,38, 3,62 | Meta (Veliche и др.), Fair-Speech Dataset 2024 |
| WER субтитров YouTube, женщины против мужчин | Выше у женщин (t(78) = -3,5, p < 0,01), 80 говорящих | Вашингтонский университет (Tatman), семинар ACL по этике в NLP 2017 |
| WER нидерландского ASR на читаемой речи, дети, подростки, пожилые люди среди носителей | 35,3%, 18,4%, 24,2% | TU Delft (Feng и др.), Количественная оценка предвзятости в ASR 2021 |
| WER Whisper на детской речи MyST, до и после дообучения | Small с 13,93% до 9,11%; Medium с 13,23% до 8,61% | Attia и др., Kid-Whisper 2024 |
Контекст: группы дохода в Fair-Speech - низкий (50 тыс. долларов США или меньше), средний (от 50 до 100 тыс. долларов) и высокий (100 тыс. долларов и больше), и группа с высоким доходом - самая малочисленная в наборе данных (41 говорящий в таблице статьи). Самые свежие доступные данные о гендерных разрывах в субтитрах: Tatman 2017, измерены на задаче со списком отдельных слов, которую автор называет особенно трудной для ASR.
5. Нетипичная, дизартричная и неплавная речь
Здесь разрывы составляют порядок величины, а не несколько пунктов. В первом пакете данных Speech Accessibility Project базовый распознаватель с WER 3,4% для говорящих с типичной речью транскрибировал речь с дизартрией при болезни Паркинсона с WER 36,3%. Дообучение на 190 обучающих говорящих снизило её до 23,7%, а двое из 42 тестовых говорящих остались на уровне 67,10% и 93,08%.
Эти цифры двигают данные, а не архитектура. Конкурс Interspeech 2025 Speech Accessibility Project Challenge дал командам около 415 часов от 524 участников, и 12 из 22 команд превзошли базовую модель whisper-large-v2; пять лучших моделей показали в среднем WER 10,06% при болезни Паркинсона и 7,36% при БАС против базовых 17,09% и 16,88%. Персонализация идёт ещё дальше: Project Euphonia компании Google сообщил о WER 4,6% для персонализированных моделей на коротких фразах. Паузы создают отдельный режим сбоя: Whisper галлюцинировал текст в 1,7% сегментов говорящих с афазией против 1,2% в контрольной группе (Koenecke и др., Careless Whisper, FAccT 2024).
| Показатель | Значение | Источник |
|---|---|---|
| Базовая WER, типичная речь против дизартрии при болезни Паркинсона; после дообучения | 3,4% против 36,3%; 23,7% | Speech Accessibility Project (Hasegawa-Johnson и др.), JSLHR 2024 |
| Базовая модель Whisper-large-v2 против лучшей команды, тестовый набор Test2 конкурса | WER 17,82% против 8,11% (лучший SemScore 88,44%) | Zheng и др., Interspeech 2025 Speech Accessibility Project Challenge |
| Данные и участие в конкурсе | Около 415 часов, 524 участника, пять этиологий; 12 из 22 команд превзошли базовую модель по WER | Zheng и др., Interspeech 2025 Speech Accessibility Project Challenge |
| Персонализированные модели против независимых от говорящего, 432 говорящих с нарушенной речью | WER 4,6% против 31% | Google Research (Green и др.), Interspeech 2021 |
| Медианная WER на фразах для умного дома, тяжёлые нарушения речи, до и после персонализации | Около 89% до 13% | Google Research, блог Project Euphonia 2021 |
| Корпус Project Euphonia (на август 2021 года) | Более 1 миллиона высказываний, более 1 400 часов, 1 330 говорящих | Google Research, блог Project Euphonia 2021 |
| Средняя WER по шести системам ASR, заикающаяся речь против речи без неплавностей | 0,281 против 0,105 | Mujtaba и др., Потерянные при транскрипции, NAACL 2024 |
| WER распознавания речи у людей, которые заикаются, до и после изменений в системе (записано 91 участник) | 25,4% до 9,9%; высказывания обрезались на 79,1% реже | Lea и др., CHI 2023 |
Контекст: на болезнь Паркинсона приходится 73,4% обучающего корпуса конкурса по длительности, поэтому заглавные 8,11% описывают в основном одну этиологию; синдром Дауна, детский церебральный паралич и инсульт не приводились отдельно из-за малого числа тестов. В исследовании заикания Whisper оказался самой точной из шести систем и всё равно перешёл с 0,063 на 0,121. Самые свежие доступные данные о точности персонализированных моделей: Green и др., Interspeech 2021.
6. Малоресурсные языки и охват наборов данных
Ошибка почти механически следует за часами обучения. Авторы Whisper сообщают о квадрате корреляции 0,83 между логарифмом WER и логарифмом часов обучения на язык и оценивают, что WER снижается вдвое при каждом увеличении объёма обучающих данных в 16 раз. Из 680 000 часов обучения Whisper 117 000 покрывают 96 языков, кроме английского, а в статье отмечено, что у большинства языков меньше 1 000 часов.
Охват вырос быстрее, чем данные о точности. Статья о MMS оценила мир более чем в 7 000 языков, из которых речевые технологии поддерживали около 100, а Omnilingual ASR теперь заявляет более 1 600. Стандартный многоязычный эталонный тест FLEURS охватывает 102 языка примерно по 12 часов размеченных данных на каждый (Conneau и др., FLEURS 2022), так что у большинства недавно добавленных языков нет общей публичной мерки. Мы подробнее отслеживаем охват на стороне моделей в нашей статистике многоязычных базовых речевых моделей.
| Показатель | Значение | Источник |
|---|---|---|
| Обучающие данные Whisper | 680 000 часов всего; 117 000 часов на 96 языках, кроме английского | OpenAI (Radford и др.), статья о Whisper 2022 |
| Связь между часами обучения на язык и WER | Квадрат корреляции 0,83; WER снижается вдвое при каждом увеличении данных в 16 раз | OpenAI (Radford и др.), статья о Whisper 2022 |
| Языки мира против языков, поддерживаемых речевыми технологиями | Более 7 000 против около 100 | Pratap и др., статья о MMS (Масштабирование речевых технологий до 1000+ языков) 2023 |
| Охват и точность MMS | ASR для 1 107 языков; WER снижена более чем вдвое по сравнению с Whisper на 54 языках FLEURS | Pratap и др., статья о MMS (Масштабирование речевых технологий до 1000+ языков) 2023 |
| Охват Omnilingual ASR | Более 1 600 языков, более 500 из них прежде не поддерживались ASR | Команда Omnilingual ASR, arXiv 2511.09690, 2025 |
| Данные предобучения Google USM | 12 миллионов часов неразмеченного аудио на более чем 300 языках; размеченный набор размером 1/7 от набора Whisper | Статья о Google USM (Zhang и др.) 2023 |
| Common Voice Scripted Speech v27.0 | 295 языков; 42 593 часа всего; 29 295 проверенных часов | Mozilla Common Voice, cv-dataset v27.0 2026 |
| Распределение по полу в Common Voice v27.0, английский и немецкий | Английский 0,4318 мужчины, 0,1776 женщины, 0,3894 не указан; немецкий 0,5786 мужчины, 0,0818 женщины | Mozilla Common Voice, cv-dataset v27.0 2026 |
Исключение: в статистике Common Voice v27.0 у каталанского языка записано больше аудио, чем у английского (3 940,31 часа всего против 3 795,9), а самая маленькая из прочитанных нами локалей содержит 25 клипов от 2 пользователей. Какие языки получают данные, решает усилие добровольцев, а не число говорящих. Набор Spontaneous Speech, который ближе к реальному использованию, гораздо меньше: 541 час всего на 80 языках в версии v5.0.
7. Последствия в судах, клиниках, при найме и в голосовых ассистентах
Ставки растут там, где транскрипт становится официальной записью. Люди задают невысокую планку: судебные стенографисты с сертифицированной точностью 95% показали в среднем 82,9% точности по словам и 59,5% точности на уровне предложений на афроамериканском английском, а их транскрипции меняли “кто, что, когда или где” в 31% случаев (Jones и др., Language 2019). Наша статистика точности распознавания речи в судах охватывает автоматизированные пилотные проекты, наследующие эту проблему.
Клинические данные свежие и основаны на малых выборках. В записанных визитах медицинской помощи на дому две системы Amazon показали разрыв медианной WER в 17 пунктов между чернокожими и белыми пациентами (50 минус 33 и 54 минус 37), тогда как Whisper был одинаково плох для обеих групп. Найм - единственная сфера с обнадёживающим результатом: предвзятость транскрибации проявилась почти во всех сравнениях, но авторы установили, что она не перешла в оценки собеседований. Цена, о которой сообщают пользователи, касается поведения: почти все участники двухнедельного дневникового исследования изменили манеру говорить.
| Показатель | Значение | Источник |
|---|---|---|
| Точность судебных стенографистов на афроамериканском английском, уровень слов против уровня предложений (стандарт сертификации 95%) | 82,9% против 59,5% | Jones и др., Дача показаний будучи чернокожим, Language 2019 |
| Транскрипции, изменившие “кто, что, когда или где” | 31%; 27 судебных стенографистов, 9 говорящих, 83 предложения | Jones и др., Дача показаний будучи чернокожим, Language 2019 |
| Медианная WER, чернокожие против белых пациентов на домашней помощи, AWS General и AWS Medical | 50% против 33% (P = 0,016); 54% против 37% (P = 0,0012) | Zolnoori и др., JAMIA Open 2024 |
| Медианная WER, чернокожие против белых пациентов, Whisper large-v3 | 75% против 72% (P = 0,66); 35 пациентов | Zolnoori и др., JAMIA Open 2024 |
| Доля ошибок в диктуемых клинических записях: черновик распознавания речи, после транскрибента, подписанная запись | 7,4%, 0,4%, 0,3%; 217 записей | Zhou и др., JAMA Network Open 2018 |
| Транскрипции Whisper с галлюцинированным текстом; доля галлюцинаций с явным вредом | 1,4% из 13 140 сегментов; 38% | Koenecke и др., Careless Whisper, FAccT 2024 |
| Имитированные видеособеседования, транскрибированные четырьмя методами ASR и одним человеком | N = 1 014 и N = 414; значимая предвзятость ASR почти во всех сравнениях, без существенной ошибки измерения в оценках | Hickman и др., Journal of Applied Psychology 2025 |
| Афроамериканские пользователи голосовых технологий, изменявшие диалект, чтобы их понимали | 93% (n = 28 из 30); 77% сообщили о раздражении из-за ошибок | Mengesha и др., Frontiers in Artificial Intelligence 2021 |
Контекст: исследование судебных стенографистов измеряет людей-транскрибентов, а не программы, а исследование клинической диктовки - самые свежие доступные данные о доле ошибок в подписанных записях (Zhou и др., JAMA Network Open 2018). Эксперименты с галлюцинациями проводились в 2023 году; авторы обнаружили, что 19% из 312 галлюцинированных транскрипций касались насилия, 13% - неточных ассоциаций и 8% - ложного авторитета, а сопоставимых галлюцинаций не возникло, когда затронутые сегменты повторно прогнали через системы других поставщиков (Careless Whisper). Результат по найму (Hickman и др.) получен на имитированных собеседованиях, а не на реальных решениях об отборе.
Итоги: предвзятость к акцентам и доля ошибочных слов в распознавании речи в цифрах
| Показатель | Значение | Источник |
|---|---|---|
| Средняя WER, чернокожие против белых говорящих, пять коммерческих систем | 0,35 против 0,19 | Стэнфорд (Koenecke и др.), PNAS 2020 |
| Средняя WER, афроамериканские говорящие против американцев европеоидной расы, четыре коммерческие системы | 20% против 15% | Вашингтонский университет (Scott и др.), LREC 2026 |
| WER Whisper-large-v2, чернокожие или афроамериканские против белых говорящих | 9,52 против 3,96 | Meta (Veliche и др.), Fair-Speech Dataset 2024 |
| WER Whisper-large-v2, мужчины против женщин | 7,91 против 3,86 | Meta (Veliche и др.), Fair-Speech Dataset 2024 |
| WER Whisper large, английский с акцентами EdAcc против LibriSpeech test-clean | 19,7% против 2,7% | Эдинбургский университет (Sanabria и др.), статья EdAcc 2023 |
| WER Whisper Large V2, CORAAL против LibriSpeech Clean | 16,2 против 2,7 | OpenAI (Radford и др.), статья о Whisper 2022 |
| Лучшая средняя WER, английская дорожка коротких записей Open ASR Leaderboard | 5,42 среди 86 протестированных систем | Статья Open ASR Leaderboard (Srivastav и др.), v4, март 2026 |
| WER Whisper-large на панафриканском английском, общая против клинической | 0,240 против 0,375 | Olatunji и др., AfriSpeech-200, TACL 2023 |
| Разрыв WIL, говорящие с английским и с другим родным языком | 0,14 (P<0,001) | DiChristofano и др., arXiv 2023 |
| WER нидерландского ASR на читаемой речи, неносители против носителей | 55,9% против 26,1% | TU Delft (Feng и др.), Количественная оценка предвзятости в ASR 2021 |
| Базовая WER, типичная речь против дизартричной при болезни Паркинсона | 3,4% против 36,3% | Speech Accessibility Project (Hasegawa-Johnson и др.), JSLHR 2024 |
| Базовая модель Whisper-large-v2 против лучшей системы конкурса на дизартричной речи | 17,82% против 8,11% | Zheng и др., Interspeech 2025 Speech Accessibility Project Challenge |
| WER персонализированных против независимых от говорящего моделей, нарушенная речь | 4,6% против 31% | Google Research (Green и др.), Interspeech 2021 |
| Средняя WER по шести системам, заикающаяся против плавной версии | 0,281 против 0,105 | Mujtaba и др., Потерянные при транскрипции, NAACL 2024 |
| Часы обучения Whisper, всего против языков, кроме английского | 680 000 против 117 000 (96 языков) | OpenAI (Radford и др.), статья о Whisper 2022 |
| Common Voice Scripted Speech v27.0 | 295 языков, 29 295 проверенных часов | Mozilla Common Voice, cv-dataset v27.0 2026 |
| Медианная WER, чернокожие против белых пациентов на домашней помощи, AWS General | 50% против 33% (P = 0,016) | Zolnoori и др., JAMIA Open 2024 |
| Точность по словам судебных стенографистов на афроамериканском английском против стандарта сертификации | 82,9% против 95% | Jones и др., Дача показаний будучи чернокожим, Language 2019 |
| Пользователи голосовых технологий, изменявшие диалект | 93% (n = 28 из 30) | Mengesha и др., Frontiers in Artificial Intelligence 2021 |
Методология и источники
Мы выполнили 23 поисковых запроса и прочитали первичную статью, страницу набора данных или запись в журнале для каждой цифры выше. WER приводится в обозначениях самого источника: как доли у Koenecke и др., AfriSpeech-200 и Mujtaba и др., в остальных случаях в процентах. Цифры старше трёх лет помечены в разделах как самые свежие доступные данные.
- Koenecke и др., Расовые различия в автоматическом распознавании речи, PNAS 2020
- Scott, Liang, Wassink и Levow, Социофонетический анализ расовой предвзятости коммерческих систем ASR на корпусе английского языка северо-запада Тихоокеанского побережья, LREC 2026
- Veliche и др. (Meta), К измерению справедливости распознавания речи: набор данных Fair-Speech, 2024
- Radford и др. (OpenAI), Надёжное распознавание речи на основе крупномасштабного слабого надзора, 2022
- Sanabria и др. (Эдинбургский университет), Эдинбургский международный корпус акцентов английского языка, ICASSP 2023
- Srivastav и др., статья Open ASR Leaderboard, v4, март 2026
- DiChristofano, Shuster, Chandra и Patwari, Глобальные различия в качестве автоматического распознавания речи между акцентами английского языка, 2023
- Olatunji и др., AfriSpeech-200: панафриканский набор данных речи с акцентами для клинической и общей областей ASR, TACL 2023
- Feng, Kudina, Halpern и Scharenborg (TU Delft), Количественная оценка предвзятости в автоматическом распознавании речи, 2021
- Tatman (Вашингтонский университет), Гендерная и диалектная предвзятость в автоматических субтитрах YouTube, семинар ACL по этике в NLP 2017
- Attia и др., Kid-Whisper, 2024
- Hasegawa-Johnson и др., Общая инфраструктура, поддерживаемая сообществом, для доступности речевых технологий, JSLHR 2024
- Zheng и др., Конкурс Interspeech 2025 Speech Accessibility Project Challenge
- Green и др. (Google Research), Автоматическое распознавание нарушенной речи, Interspeech 2021 и блог о наборе данных Project Euphonia, 2021
- Mujtaba и др., Потерянные при транскрипции, NAACL 2024
- Lea и др., От восприятия пользователей к техническим улучшениям: как помочь людям, которые заикаются, лучше пользоваться распознаванием речи, CHI 2023
- Koenecke и др., Careless Whisper: вред от галлюцинаций при преобразовании речи в текст, FAccT 2024
- Pratap и др., Масштабирование речевых технологий до 1000+ языков (MMS), 2023; Omnilingual ASR, 2025; Google USM, 2023; FLEURS, 2022
- Mozilla Common Voice, репозиторий cv-dataset и статистика v27.0, 2026
- Jones, Kalbfeld, Hancock и Clark, Дача показаний будучи чернокожим, Language 95(2), 2019
- Zolnoori и др., Расшифровка различий, JAMIA Open 2024
- Zhou и др., Анализ ошибок в диктуемых клинических документах при помощи программ распознавания речи и профессиональных транскрибентов, JAMA Network Open 2018
- Hickman, Langer, Saef и Tay, Предвзятость автоматического распознавания речи при отборе персонала, Journal of Applied Psychology 2025
- Mengesha и др., Влияние ошибок автоматического распознавания речи на афроамериканцев, Frontiers in Artificial Intelligence 2021
- Наблюдение по данным: ряд источников противоречат сами себе или измеряют разное. В тексте статьи о Whisper WER на LibriSpeech clean указана как 2,5, а в её таблице 2 - 2,7 (мы используем таблицу). В аннотации Careless Whisper сказано, что галлюцинациями было затронуто примерно 1% транскрипций, а в разделе результатов - 1,4% (мы используем 1,4%), и авторы отмечают, что эксперименты относятся к 2023 году. Цифры 36,3% и 23,7% из аннотации Speech Accessibility Project совпадают со строками статьи для неразделяемых подсказок; на всех тестовых подсказках показатель после дообучения составляет 18,72%. В тексте Fair-Speech упомянуто 50 говорящих в верхней группе дохода, а в его таблице указано 41. DiChristofano и др. приводят потерянную информацию о словах, а не WER, поэтому их разрывы несопоставимы с остальными строками. Оценка Scott и др. проводилась в 2022 году на 16 говорящих, а опубликована в 2026. Open ASR Leaderboard постоянно меняется: в октябрьской версии статьи 2025 года было 64 модели при лучшей средней WER 5,63, в мартовской версии 2026 года - 86 систем и 5,42. Суммы часов Common Voice взяты из данных диаграммы релизов репозитория, а доли по полу - из его файла статистики v27.0. Для Testifying While Black страница журнала закрыта проверкой доступа, поэтому цифры прочитаны в опубликованном ведущим автором кратком изложении статьи; в нём приведены две разные цифры по пониманию перефразирования, которые мы поэтому исключили. Мы не смогли проверить широко повторяемое утверждение о WER одного поставщика решений для найма на речи неносителей и убрали его.
Последнее обновление: 11 октября 2026 года. Мы обновляем этот обзор ежеквартально, и следующее обновление ожидается, когда Mozilla опубликует Common Voice Scripted Speech v28.0.