Данные для обучения распознаванию речи, на которых построен Whisper от OpenAI, содержали 438 218 часов английского языка, но лишь по 0,1 часа лаосского, сунданского и бирманского (OpenAI, статья о Whisper 2022). Этот разрыв - длинный хвост распознавания речи в одной строке, на фоне 7 170 языков, которые используются в мире (Ethnologue, How Many Languages 2026). Порог полезной точности, судя по всему, ниже, чем подсказывает этот разрыв: одно исследование 2025 года достигло доли ошибок в словах ниже 13% всего с 50 часами обучающих данных (Akera и соавторы, исследование масштабирования данных для киньяруанда и кикуйю 2025). Краудсорсинг закрывает часть разрыва: у Mozilla Common Voice 29 295 проверенных часов (Mozilla, репозиторий cv-dataset Common Voice 2026). Разрывы в точности между акцентами внутри крупных языков разобраны в нашей статистике предвзятости распознавания речи к акцентам; этот обзор рассматривает языки целиком. Мы собрали данные Ethnologue, статьи об OpenAI Whisper, статей Meta о MMS и Omnilingual ASR, статей Google об USM и FLEURS, данные Mozilla Common Voice, Project Vaani, IndicVoices, NaijaVoices, African Next Voices и недавних тестовых наборов ASR для африканских языков.
Кратко (TL;DR)
- Сегодня в употреблении 7 170 языков, и около 44% из них находятся под угрозой исчезновения, часто с числом носителей менее 1 000 (Ethnologue, How Many Languages 2026).
- Лишь 195 из 546 малоресурсных языков (36%) достигли доли ошибок в символах ниже 10 в модели Meta на 7 млрд параметров, против 236 из 249 высокоресурсных языков (Meta FAIR, статья об Omnilingual ASR 2025).
- 65% обучающего аудио Whisper составляло распознавание английской речи, 438 218 часов, тогда как остальные 96 языков делили между собой 117 113 часов (OpenAI, статья о Whisper 2022).
- Модель для киньяруанда достигла доли ошибок в словах ниже 13% всего с 50 часами обучающих данных (Akera и соавторы, исследование масштабирования данных 2025).
- Лучшая модель для суахили снизила WER с 24,81% при 1 часе данных до 11,36% при 400 часах (Nahabwe и соавторы, Benchmarking ASR Models for African Languages 2025).
- Mozilla Common Voice Scripted Speech содержит 42 593 часа, из них 29 295 проверены, в версии 27.0 (Mozilla, репозиторий cv-dataset Common Voice 2026).
- Project Vaani записал 31 278,37 часа индийской речи, но расшифровано лишь около 6,8% (IISc и ARTPARK, панель Project Vaani 2026).
- African Next Voices записал более 9 000 часов на 18 языках в Кении, Нигерии и Южной Африке (Университет Претории, новость об African Next Voices 2025).
- Дообучение на корпусе NaijaVoices объёмом 1 800 часов улучшило среднюю долю ошибок в словах у Whisper на 75,86% для игбо, хауса и йоруба (статья о наборе данных NaijaVoices, Interspeech 2025).
- Universal Speech Model от Google превзошёл Whisper на 66% по относительному WER на 62 языках FLEURS при размеченной выборке примерно в семь раз меньше (Google, статья об USM 2023).
- IndicVoices содержит 7 348 часов речи 16 237 говорящих на 22 индийских языках (статья о наборе данных IndicVoices 2024).
1. Для скольких языков мира существует хоть какое-то распознавание речи
Знаменатель и есть главная история. Ethnologue насчитывает 7 170 языков, которые используются сегодня, и лишь 20 из них, 0,3% от общего числа, являются родными для более чем 3,7 миллиарда человек (Ethnologue, How Many Languages 2026). Распознавание речи последовало за этой концентрацией: ещё в 2023 году Universal Speech Model от Google охватывал более 100 языков.
Даже самая широкая из открытых систем сегодня, с более чем 1 600 языками, охватывает лишь около пятой части числа Ethnologue. Утрата языков - оборотная сторона этого разрыва, о которой рассказывает наша статистика исчезающих языков. Только в Африке насчитывается более 2 000 языков, и для многих из них нет расшифрованных речевых данных.
| Показатель | Значение | Источник |
|---|---|---|
| Языки, используемые в мире | 7 170 | Ethnologue, How Many Languages 2026 |
| Доля живых языков, находящихся под угрозой исчезновения | Около 44%, часто с числом оставшихся носителей менее 1 000 | Ethnologue, How Many Languages 2026 |
| Носители 20 крупнейших языков как родного | Более 3,7 миллиарда человек, почти половина населения мира, при 0,3% всех языков | Ethnologue, How Many Languages 2026 |
| Языки, на которых говорят в Африке | Более 2 000, для многих нет расшифрованных речевых данных | Nahabwe и соавторы, Benchmarking ASR Models for African Languages 2025 |
| Языки, охваченные Universal Speech Model от Google для распознавания речи | Более 100 | Google, статья об USM 2023 |
| Языки Восьмого приложения к Конституции Индии, охваченные IndicASR, который его авторы называют первой моделью, поддерживающей все эти языки | 22 | Статья о наборе данных IndicVoices 2024 |
| Языки, охваченные самой широкой открытой системой ASR | Более 1 600 (более 500 ранее не обслуживались ни одной системой ASR), около 22% от 7 170 используемых (1 600 / 7 170) | Meta FAIR, статья об Omnilingual ASR 2025; Ethnologue 2026 |
Контекст: эта система с более чем 1 600 языков намеренно не включает около 150 жестовых языков, искусственных языков и языков без устоявшейся письменности, поэтому часть непокрытого остатка лежит за пределами возможностей распознавания речи, которое выдаёт текст. Последние доступные данные по USM: 2023 год.
2. Часы обучения: английский против длинного хвоста
Обучающие данные для распознавания речи - это не распределение, а обрыв. Данные Whisper по распознаванию английской речи (438 218 часов) были примерно в 81 000 раз больше данных по суахили (5,4 часа) (438 218 / 5,4 = 81 151), а лаосский, сунданский и бирманский получили по 0,1 часа. Даже по сравнению с китайским, лучше всех обеспеченным неанглийским языком с 23 446 часами, у английского было примерно в 19 раз больше аудио (438 218 / 23 446 = 18,7).
Более новые системы сортируют языки по группам ресурсов, и границы здесь показательны: язык считается высокоресурсным (хорошо обеспеченным обучающими данными) уже при более чем 50 часах. Специально созданные наборы данных могут перевести язык через эту черту: IndicVoices сообщает о медиане в 73 расшифрованных часа на язык по своим 22 языкам (статья о наборе данных IndicVoices 2024).
| Показатель | Значение | Источник |
|---|---|---|
| Обучающее аудио Whisper: распознавание английской речи против 96 других языков | 438 218 часов (65%) против 117 113 часов (17%) | OpenAI, статья о Whisper 2022 |
| Часы распознавания речи Whisper на язык, наибольшие против наименьших | Китайский 23 446; немецкий 13 344; испанский 11 100 против суахили 5,4; лаосский, сунданский и бирманский по 0,1 | OpenAI, статья о Whisper 2022 |
| Языки тестового набора FLEURS, вообще не имевшие обучающих данных Whisper | 20 из 102 | OpenAI, статья о Whisper 2022 |
| Языки Omnilingual ASR по объёму размеченных обучающих данных: более 50 часов / от 10 до 50 часов / менее 10 часов | 249 / 881 / 546 языков | Meta FAIR, статья об Omnilingual ASR 2025 |
| Оценочные данные FLEURS на язык | Около 12 часов речи на каждом из 102 языков | Google, статья о FLEURS 2022 |
| Расшифрованное аудио IndicVoices | 1 639 часов, медиана 73 часа на язык | Статья о наборе данных IndicVoices 2024 |
Последние доступные данные по Whisper: 2022 год. Приведённые выше часы относятся только к данным для распознавания речи и не включают аудио Whisper для перевода. Аналогичной разбивки по языкам для более поздних версий Whisper мы не нашли.
3. Доля ошибок: малоресурсные против высокоресурсных языков
Доля ошибок в словах (WER) - это доля слов, в которых система ошибается, с учётом замен, пропусков и вставок; поскольку вставленные слова учитываются, она может превышать 100%, когда модель выдаёт больше неверных слов, чем содержит эталон. Whisper large-v2 показал WER 4,2% для английского, но 121,0% для шона в тестовом наборе FLEURS, так что для шона ошибок оказалось больше, чем реально произнесённых слов (OpenAI, статья о Whisper 2022). Один из известных путей к такому результату - когда модель пишет гладкий текст, которого никто не произносил; этот вид сбоя мы отслеживаем в нашей статистике галлюцинаций при распознавании речи.
Более новые модели по-прежнему не устраняют разрыв. В таблице ниже доля ошибок в символах (CER, та же идея, но подсчёт идёт по буквам, а не по словам) оставалась ниже 10 примерно для 95% языков с 10 и более часами данных (1 077 из 1 130), но лишь чуть более чем для трети группы с менее чем 10 часами. Внутри одной модели эти исходы разделяет один лишь объём данных.
| Показатель | Значение | Источник |
|---|---|---|
| Доля ошибок в словах Whisper large-v2 на FLEURS: английский / испанский / суахили | 4,2% / 3,0% / 39,3% | OpenAI, статья о Whisper 2022 |
| Доля ошибок в словах Whisper large-v2 на FLEURS: йоруба / сомали / шона / синдхи | 94,8% / 102,9% / 121,0% / 156,5% | OpenAI, статья о Whisper 2022 |
| Языки Omnilingual 7B LLM-ASR с долей ошибок в символах ниже 10, по уровню ресурсов: высокий / средний / низкий | 236 из 249 / 841 из 881 / 195 из 546 (в статье доля малоресурсных языков округлена до 36%) | Meta FAIR, статья об Omnilingual ASR 2025 |
| Средняя доля ошибок в символах Omnilingual 7B LLM-ASR: высокоресурсные против малоресурсных языков | 3,13 против 18,0 | Meta FAIR, статья об Omnilingual ASR 2025 |
Замечание о выбросах: строки Whisper взяты из таблицы для large-v2 в статье 2022 года, самой свежей из доступных таблиц такого рода по языкам. WER и CER - разные меры, поэтому строки Whisper и Omnilingual нельзя сравнивать напрямую.
4. Сколько данных закрывает разрыв
Обнадёживающий вывод 2025 года состоит в том, что порог пригодного распознавания измеряется десятками часов, а не тысячами. Модель для киньяруанда достигла практической точности, доли ошибок в словах ниже 13%, всего с 50 часами обучающих данных, а к 200 часам опустилась ниже 10% (Akera и соавторы, исследование масштабирования данных 2025). Если это верно и для других языков, одной профинансированной кампании по записи достаточно для первой пригодной модели.
Качество данных тоже важно. То же исследование связало 38,6% случаев с высокой долей ошибок с зашумлёнными эталонными расшифровками, то есть часть «ошибок» объяснялась неверным эталонным текстом. А результаты по суахили в отдельном тестовом наборе из 13 языков показывают, что даёт один лишь объём: переход от 1 к 400 часам более чем вдвое снизил лучшую долю ошибок, однако 11,36% всё ещё заметно выше результата Whisper для английского из раздела 3.
| Показатель | Значение | Источник |
|---|---|---|
| Обучающие данные для киньяруанда, нужные для доли ошибок в словах ниже 13% | Всего 50 часов | Akera и соавторы, исследование масштабирования данных для киньяруанда и кикуйю 2025 |
| Доля ошибок в словах для киньяруанда при 200 часах обучающих данных | Ниже 10% | Akera и соавторы, исследование масштабирования данных для киньяруанда и кикуйю 2025 |
| Случаи с высокой долей ошибок, вызванные зашумлёнными эталонными расшифровками | 38,6% | Akera и соавторы, исследование масштабирования данных для киньяруанда и кикуйю 2025 |
| Протестированные африканские языки, с выборками для дообучения в 1, 5, 10, 20, 50, 100 и 200 часов | 13 языков (только у суахили была ещё и выборка в 400 часов) | Nahabwe и соавторы, Benchmarking ASR Models for African Languages 2025 |
| Лучшая доля ошибок в словах для суахили при 400 часах данных для дообучения (XLS-R против Whisper) | 11,36% против 16,88% | Nahabwe и соавторы, Benchmarking ASR Models for African Languages 2025 |
Контекст: 13 языков в тестовом наборе Nahabwe и соавторов - это африкаанс, акан, бамбара, бемба, эве, киньяруанда, лингала, луганда, шона, суахили, волоф, коса и зулу.
5. Речевые наборы данных, собранные краудсорсингом и сообществами
Открытые наборы данных, создаваемые сообществами, - это то место, где речевые данные длинного хвоста становятся общедоступными. Набор Scripted Speech от Mozilla Common Voice вырос примерно в 31 раз, с 1 368 часов в первой версии до 42 593 часов в версии 27.0 (42 593 / 1 368 = 31,1), а в репозитории перечислено 295 языков (Mozilla, репозиторий cv-dataset Common Voice 2026). Узкое место сместилось с записи на проверку: около 31% этих часов не проверены (29 295 / 42 593 = 68,8% проверено).
Региональные проекты показывают ту же картину в большем масштабе. Project Vaani собрал более 31 000 часов индийской речи, но расшифровал лишь около 6,8% (2 122,21 / 31 278,37) и охватил 165 из 773 округов Индии (21,3%). В Африке два проекта, о которых сообщалось в 2025 году, вместе содержат более 10 800 часов (более 9 000 плюс 1 800), против 5,4 часа суахили в данных Whisper для распознавания речи.
| Показатель | Значение | Источник |
|---|---|---|
| Всего часов Common Voice Scripted Speech: версия 1 против версии 27.0 (срез данных на сентябрь 2026 года) | 1 368 против 42 593 часов | Mozilla, репозиторий cv-dataset Common Voice 2026 |
| Проверенные часы Common Voice Scripted Speech, версия 27.0 | 29 295 (68,8% от общего числа) | Mozilla, репозиторий cv-dataset Common Voice 2026 |
| Языки, указанные для Common Voice Scripted Speech: версия 19.0 (2024) против версии 27.0 (2026) | 131 против 295 | Mozilla, выпуск Common Voice 19.0 2024; репозиторий cv-dataset 2026 |
| Common Voice Spontaneous Speech, версия 5.0 | 541 час (302 проверено), 80 языков | Mozilla, репозиторий cv-dataset Common Voice 2026 |
| Речь, собранная Project Vaani в Индии | 31 278,37 часа от 156 208 говорящих на 105 языках, 165 из 773 округов | IISc и ARTPARK, панель Project Vaani 2026 |
| Расшифрованная речь Project Vaani | 2 122,21 часа (около 6,8% собранного аудио) | IISc и ARTPARK, панель Project Vaani 2026 |
| Речь, записанная African Next Voices | Более 9 000 часов на 18 языках в 3 странах | Университет Претории, новость об African Next Voices 2025 |
| Речевые и текстовые данные NaijaVoices | 1 800 часов от более чем 5 000 говорящих на игбо, хауса и йоруба | Статья о наборе данных NaijaVoices, Interspeech 2025 |
Контекст: заявленная цель Project Vaani - более 150 000 часов речи из всех 773 округов, так что текущая панель отражает около пятой части запланированного аудио (31 278,37 / 150 000 = 20,9%).
6. Подходы: самоконтролируемое предварительное обучение, чтение религиозных текстов и расширение по нескольким примерам
До длинного хвоста добираются тремя приёмами. Самоконтролируемое предварительное обучение (модель сначала учится на нерасшифрованном аудио, а затем ей нужна лишь небольшая размеченная выборка) - базовый слой; Universal Speech Model от Google превзошёл Whisper на 66% по относительной доле ошибок в словах на 62 языках FLEURS, используя размеченную выборку примерно в семь раз меньше (Google, статья об USM 2023). Чтение общедоступных религиозных текстов дало проекту MMS в среднем 32 часа на язык, и это среднее лежит внутри диапазона от 10 до 50 часов из раздела 2.
Новейший приём - расширение по нескольким примерам: модели при запуске дают горсть парных примеров аудио и текста и позволяют ей адаптироваться без дообучения. Более широкая картина общих моделей, работающих сразу со многими языками, рассмотрена в нашей статистике многоязычных базовых речевых моделей. Эффективность использования данных зависит и от архитектуры: при 1 часе данных на суахили MMS, построенная на самоконтролируемом предварительном обучении, превзошла Whisper на 26,52 пункта WER (51,33 - 24,81).
| Показатель | Значение | Источник |
|---|---|---|
| Размеченные данные MMS, созданные на основе чтения религиозных текстов | 44,7 тыс. часов на 1 107 языках, в среднем около 32 часов на язык | Meta AI, статья и блог о MMS 2023 |
| Доля ошибок в символах на языках, не встречавшихся при обучении: базовая модель CTC против модели в режиме нулевых примеров (без дообучения) при 10 контекстных примерах | 26,33% против 14,4% | Meta FAIR, статья об Omnilingual ASR 2025 |
| Данные USM для обучения с учителем против данных Whisper, без английского | 90 тыс. часов против 117 тыс. часов, при этом Whisper превзойдён на 66% по относительному WER на 62 языках FLEURS | Google, статья об USM 2023 |
| Доля ошибок в словах для суахили после 1 часа дообучения: MMS / W2v-BERT / Whisper / XLS-R | 24,81% / 32,36% / 51,33% / 58,23% | Nahabwe и соавторы, Benchmarking ASR Models for African Languages 2025 |
| Среднее улучшение доли ошибок в словах после дообучения на NaijaVoices: Whisper / MMS / XLSR | 75,86% / 52,06% / 42,33% | Статья о наборе данных NaijaVoices, Interspeech 2025 |
Замечание о выбросах: статья об USM описывает свою размеченную выборку с YouTube как охватывающую 73 языка во введении и 75 в разделе 3.1. Последние доступные данные по MMS и USM: 2023 год.
Итоги: охват распознавания речи для малоресурсных языков в цифрах
| Показатель | Значение | Источник |
|---|---|---|
| Языки, используемые в мире | 7 170 | Ethnologue, How Many Languages 2026 |
| Языки, охваченные самой широкой открытой системой ASR | Более 1 600, более 500 ранее не обслуживались | Meta FAIR, статья об Omnilingual ASR 2025 |
| Малоресурсные языки (менее 10 часов) с долей ошибок в символах ниже 10 | 195 из 546 (36%) | Meta FAIR, статья об Omnilingual ASR 2025 |
| Доля обучающего аудио Whisper, составлявшая распознавание английской речи | 65% (438 218 часов) | OpenAI, статья о Whisper 2022 |
| Языки, на которых говорят в Африке | Более 2 000 | Nahabwe и соавторы, Benchmarking ASR Models for African Languages 2025 |
| Данные для киньяруанда, нужные для доли ошибок в словах ниже 13% | Всего 50 часов | Akera и соавторы, исследование масштабирования данных 2025 |
| Доля ошибок в словах для киньяруанда при 200 часах | Ниже 10% | Akera и соавторы, исследование масштабирования данных 2025 |
| Лучшая доля ошибок в словах для суахили: 1 час против 400 часов данных для дообучения | 24,81% против 11,36% | Nahabwe и соавторы, Benchmarking ASR Models for African Languages 2025 |
| Часы Common Voice Scripted Speech, версия 27.0 | 42 593 всего, 29 295 проверено | Mozilla, репозиторий cv-dataset Common Voice 2026 |
| Языки, указанные для Common Voice Scripted Speech | 295 | Mozilla, репозиторий cv-dataset Common Voice 2026 |
| Аудио Project Vaani: собрано против расшифровано | 31 278,37 против 2 122,21 часа | IISc и ARTPARK, панель Project Vaani 2026 |
| Аудио IndicVoices | 7 348 часов, 16 237 говорящих, 22 языка | Статья о наборе данных IndicVoices 2024 |
| Речь, записанная African Next Voices | Более 9 000 часов, 18 языков | Университет Претории, новость об African Next Voices 2025 |
| Речевые и текстовые данные NaijaVoices | 1 800 часов, 3 языка | Статья о наборе данных NaijaVoices, Interspeech 2025 |
| USM против Whisper на 62 языках FLEURS | На 66% ниже относительный WER | Google, статья об USM 2023 |
Методология и источники
- Ethnologue, How Many Languages Are There in the World? (страница просмотрена в октябре 2026 года): живые языки, доля исчезающих языков, концентрация 20 крупнейших языков.
- OpenAI, Robust Speech Recognition via Large-Scale Weak Supervision (статья о Whisper), 2022: часы обучения на язык (рисунок 11) и доли ошибок в словах на FLEURS (таблица 13).
- Meta, Scaling Speech Technology to 1,000+ Languages (статья о MMS), 2023, вместе с анонсом MMS; и Omnilingual ASR: Open-Source Multilingual Speech Recognition for 1600+ Languages, 10 ноября 2025 года.
- Google, статья о Universal Speech Model, 2023, и статья о тестовом наборе FLEURS, 2022.
- Mozilla, репозиторий cv-dataset Common Voice (версия 27.0, срез данных на сентябрь 2026 года), публикация о выпуске Common Voice 19.0 (анонсирован 18 сентября 2024 года) и примечания к выпуску Scripted Speech 26.0 (19 июня 2026 года).
- IISc и ARTPARK, актуальная панель Project Vaani (просмотрена в октябре 2026 года).
- Статья о наборе данных IndicVoices, 4 марта 2024 года.
- Akera и соавторы, How much speech data is necessary for ASR in African languages?, 8 октября 2025 года.
- Nahabwe и соавторы, Benchmarking Automatic Speech Recognition Models for African Languages, 30 ноября 2025 года.
- The NaijaVoices Dataset, принято на Interspeech 2025.
- Университет Претории, African Next Voices featured in Nature, 1 августа 2025 года.
- Наблюдение по данным: число языков различается в зависимости от источника и метода (7 170 у Ethnologue - это языки в употреблении; статьи по ASR считают коды ISO 639-3 и исключают жестовые и бесписьменные языки), поэтому доли охвата являются приближёнными. Число языков Common Voice выросло со 131 (версия 19.0) до 295 (версия 27.0); репозиторий не уточняет, учитывает ли новая цифра только языки с опубликованным аудио, поэтому её следует считать числом указанных языков. Доля проверенных часов 68,8% рассчитана по данным диаграммы из репозитория, тогда как примечания к выпуску 26.0 описывают около 25% аудио Scripted Speech как всё ещё ожидающее проверки; эти две меры не тождественны. Когда был анонсирован выпуск 19.0, комментарий на форуме отметил, что скачать можно лишь 129 из его 131 языка, так что число указанных и опубликованных языков может различаться. Цифры African Next Voices взяты со страницы новостей университета, пересказывающей публикацию в Nature, и статью о наборе данных мы не читали. Цифры Whisper (2022), FLEURS (2022), MMS (2023) и USM (2023) старше трёх лет и помечены как последние доступные данные. Текст статьи об Omnilingual (549) и её таблица 8 (546) расходятся в числе малоресурсных языков; мы используем значения из таблицы.
Последнее обновление: 31 октября 2026 года. Мы обновляем этот обзор ежеквартально, и следующее обновление ожидается, когда Mozilla опубликует версию 28.0 Common Voice Scripted Speech.