В корейско-английском бенчмарке HiKE Whisper-Large ошибалась в 26,1% речи с переключением кодов против 4,4% на одноязычном английском и 3,2% на одноязычном корейском (Paik и др., бенчмарк HiKE 2026). Для той же модели это примерно в шесть раз выше доли ошибок на английском (26,1 / 4,4 = 5,9). Картина повторяется для разных пар языков: авторы CS-FLEURS измерили частоту ошибок по символам более чем вдвое выше на записях с переключением кодов, чем на одноязычном FLEURS (Yan и др., Interspeech 2025), а в китайско-английском соревновании ASRU 2019 система-победитель всё равно ошибалась в 12,33% вложенных английских слов против 4,04% китайских иероглифов (Shi и др., отчёт о соревновании ASRU 2019). Переключение кодов (переход между двумя языками внутри одного разговора, предложения или даже слова) - обычное поведение для многих людей, описанных в нашем обзоре о двуязычии и многоязычных семьях, и всё же системы распознавания по-прежнему настраивают и ранжируют по одному языку за раз, так же как и разрывы по акцентам, измеренные в одноязычных бенчмарках. Мы свели данные корпуса SEAME из Linguistic Data Consortium, соревнований MUCS 2021 и ASRU 2019, CS-FLEURS, HiKE, CS-Dialogue, ASCEND, работы о метрике PIER, соревнования DISPLACE 2023, Pew Research Center и обзорных работ ACL об исследованиях переключения кодов.
Пояснение к терминам, используемым далее: «матричный» язык - это основной язык предложения, «вложенный» язык - тот, на который переключаются, а «точка переключения» - это конкретное слово, на котором меняется язык.
Кратко (TL;DR)
- Whisper-Large: смешанная частота ошибок 26,1% на корейско-английской речи с переключением кодов против 4,4% WER на одноязычном английском (Paik и др., HiKE 2026).
- CER более чем вдвое выше на наборах CS-FLEURS с переключением кодов, чем на одноязычном FLEURS (Yan и др., Interspeech 2025).
- Лучшая система ASRU 2019: 4,04% CER на китайском, но 12,33% WER на английском внутри тех же смешанных предложений (Shi и др., ASRU 2019).
- Ошибка на токенах сразу после переключения на йоруба: от 0,95 до 1,00 у ASR-систем и аудиоязыковых моделей (Okocha и Grant, arXiv 2026).
- Дообучение улучшило WER Whisper-large на испанско-английской речи на 5,06%, тогда как ошибка в точках переключения (PIER) ухудшилась на 39,47% (Ugan и др., ICASSP 2025).
- Средний отрезок на одном языке в индийских двуязычных разговорах: около 500 мс, у многих всего около 200 мс (Baghel и др., DISPLACE 2023).
- Whisper-small без дообучения на наборе для разработки DevSge корпуса SEAME: 157,5% MER, когда ожидается китайский, против 83,6%, когда ожидается английский (Yang и др., 2023).
- TALCS, крупнейший перечисленный китайско-английский корпус, содержит 587 часов, около 0,09% от 680 000 часов обучения Whisper (Zhou и др., CS-Dialogue 2025; Radford и др., OpenAI 2022).
- 72 из 114 корпусов с переключением кодов, представленных в литературе по NLP, закрыты (Winata и др., ACL Findings 2023).
- 63% взрослых латиноамериканцев в США используют Spanglish хотя бы иногда; среди двуязычных латиноамериканцев - 77% (Pew Research Center 2023).
- Около 3,5% из 50 миллионов твитов на семи языках содержали переключение кодов (Rijhwani и др., ACL 2017).
1. Штраф за переключение кодов: смешанные и одноязычные показатели ошибок
Главный вывод согласуется во всех бенчмарках, где одна и та же модель обрабатывает оба типа речи: показатели ошибок вырастают в разы, как только два языка делят одно предложение. В HiKE показатель ошибок Whisper-Large на речи с переключением кодов был в 5,9 раза выше её WER на английском (26,1 / 4,4) и в 8,2 раза выше её CER на корейском (26,1 / 3,2). HiKE - самое чистое сравнение, потому что рядом с результатами на речи с переключением кодов он приводит одноязычные оценки FLEURS для тех же моделей. GPT-4o-transcribe, сильнейшая система в этой таблице, всё равно выросла с 3,3% WER на английском до 21,8% MER на смешанной речи.
Разрыв несимметричен. В смешанных предложениях больше всего страдает вложенный язык: победитель ASRU 2019 допускал примерно в три раза больше ошибок на английских словах, чем на китайских иероглифах (12,33 / 4,04 = 3,05), хотя английский составлял лишь малую часть каждого предложения: в среднем 1,6 английского слова на 8,6 китайского иероглифа. В англо-йорубской оценке дисбаланс крайний: язык с меньшим объёмом ресурсов распознаётся почти полностью неверно.
| Показатель | Значение | Источник |
|---|---|---|
| Whisper-Large, корейско-английская речь с переключением кодов (смешанный показатель ошибок) против WER на одноязычном английском против CER на одноязычном корейском | 26,1% против 4,4% против 3,2% | Paik и др., бенчмарк HiKE 2026 |
| GPT-4o-transcribe, корейско-английская речь с переключением кодов (смешанный показатель ошибок) против WER на одноязычном английском | 21,8% против 3,3% | Paik и др., бенчмарк HiKE 2026 |
| Частота ошибок по символам на CS-FLEURS с переключением кодов против исходного одноязычного FLEURS | Более чем вдвое выше | Yan и др., CS-FLEURS, Interspeech 2025 |
| Лучшая система ASRU 2019 (Трек 1): CER на китайском против WER на английском в тех же предложениях с переключением кодов | 4,04% против 12,33% | Shi и др., отчёт о соревновании ASRU 2019 (2020) |
| WER Whisper-large-v3: одноязычные английские доклады TED против испанско-английского Fisher против египетско-арабско-английского ArzEn | 6,07% против 29,43% против 52,80% | Ugan и др., работа о PIER, ICASSP 2025 |
| Англо-йорубский тестовый набор: частота ошибок на английских токенах против токенов йоруба (восемь систем, точно передающих оригинал) | от 33% до 46% против не менее 96,6% | Okocha и Grant, arXiv 2026 |
Замечание о контексте: строка Ugan и др. сравнивает разные наборы данных (английский в докладах против разговорной телефонной речи), поэтому часть этого разрыва отражает условия записи, а не только переключение. В строках HiKE и CS-FLEURS модель остаётся неизменной. Полные данные: работа о HiKE и работа о CS-FLEURS.
2. Бенчмарки смешанной частоты ошибок (MER): где сейчас область
Смешанная частота ошибок существует потому, что для китайского и английского нет единого «слова»: MER считает ошибки по символам для языков с символьной записью (китайский, корейский) и по словам для английского, а затем объединяет их в одну величину. Это делает MER общей валютой работ о переключении кодов, но одновременно скрывает, какой именно язык даёт сбой, поэтому лучшие работы приводят CER и WER отдельно.
Если смотреть по бенчмаркам, цифры сильно расходятся: система-победитель показала 4,94% MER на китайско-английском тесте ASRU 2019, тогда как лучшая базовая система на спонтанных разговорах ASCEND дала 27,05%. Одна и та же пара языков может выглядеть почти решённой или сильно сломанной в зависимости от стиля записи и объёма обучения: ASRU 2019 поставил 200 часов обучающего аудио с переключением кодов, ASCEND - всего 10,62 часа спонтанного диалога. Среди готовых моделей SenseVoice-Small достигла 6,71% MER на CS-Dialogue против 15,29% у Whisper Large-V2.
| Показатель | Значение | Источник |
|---|---|---|
| Лучшая смешанная частота ошибок, ASRU 2019 китайско-английский, Трек 1 (традиционный ASR, фиксированная языковая модель) против Трека 3 (сквозной ASR) | 4,94% против 5,91% | Shi и др., отчёт о соревновании ASRU 2019 (2020) |
| Лучшая базовая система на спонтанных гонконгских разговорах ASCEND: CER против MER | 22,69% против 27,05% | Lovenia и др., корпус ASCEND (2021) |
| Тестовый набор CS-Dialogue, предобученные модели (MER): SenseVoice-Small против Paraformer против Qwen2-Audio против Whisper Large-V2 | 6,71% против 9,65% против 9,76% против 15,29% | Zhou и др., CS-Dialogue 2025 |
| CS-Dialogue, Conformer, обученный с нуля: CER на китайском против WER на английском против MER | 15,45% против 32,36% против 18,91% | Zhou и др., CS-Dialogue 2025 |
| WER сквозной базовой системы MUCS 2021 на тестовом наборе: хинди-английский против бенгальско-английского | 25,9% против 31,0% | Diwan и др., соревнование MUCS 2021 (Interspeech 2021) |
Замечание о выбросе: строка Conformer на CS-Dialogue снова показывает проблему вложенного языка: WER на английском более чем вдвое превышает CER на китайском в том же тестовом наборе. Это самые свежие доступные данные для строк ASRU 2019, ASCEND (2021) и MUCS 2021, которые их авторы не перезапускали на современных моделях. Источники: отчёт о соревновании ASRU 2019, CS-Dialogue, MUCS 2021.
3. Сбои в точках переключения: что скрывают общие показатели ошибок
Транскрипт может получить высокую общую оценку и при этом ошибаться на каждом переключении, ведь переключаемые слова составляют малую долю целого. PIER (Point-of-Interest Error Rate) создали, чтобы измерять точность только на словах, где меняется язык, и результаты неутешительны: после дообучения Whisper-large улучшила общий WER на испанско-английском корпусе Fisher на 5,06% относительно, тогда как её ошибка в точках переключения выросла на 39,47%. Иными словами, привычная метрика рейтингов вознаградила модель, которая стала хуже именно в переключении кодов.
Направление тоже имеет значение. На англо-йорубском наборе системы вполне справлялись с переключениями обратно на английский и рушились на переключениях на йоруба. Более плотные переключения повышали показатели ошибок у сильнейших систем, а переключения внутри одного слова (основа на одном языке, аффикс на другом) оказались самыми сложными. Некоторые показатели ошибок превышают 100%, потому что вставки засчитываются как ошибки; три генеративные аудиомодели на наборе йоруба выдавали избыточный текст, этот режим сбоя разобран в нашем обзоре галлюцинаций при распознавании речи.
| Показатель | Значение | Источник |
|---|---|---|
| Дообученная Whisper-large на испанско-английском Fisher: изменение общего WER против изменения ошибки в точках переключения (PIER) | на 5,06% лучше против на 39,47% хуже (относительно) | Ugan и др., работа о PIER, ICASSP 2025 |
| Дообученная Whisper-large на Fisher: WER против PIER | 27,94% против 50,78% | Ugan и др., работа о PIER, ICASSP 2025 |
| Whisper-large на арабско-английском ArzEn: ошибка в точках переключения между словами против внутри слов | 49,50% против 105,71% | Ugan и др., работа о PIER, ICASSP 2025 |
| Ошибка на первом токене после переключения: с английского на йоруба против с йоруба на английский | от 0,95 до 1,00 против от 0,40 до 0,53 | Okocha и Grant, arXiv 2026 |
| Средний WER сильнейших систем при низкой против высокой плотности переключений (англо-йорубский набор) | 66,9% против 71,2% | Okocha и Grant, arXiv 2026 |
| Частота ошибок на токенах, высказывания с преобладанием английского против сбалансированных против с преобладанием йоруба | Около 0,42 против 0,65 против 0,83 | Okocha и Grant, arXiv 2026 |
Методологическая оговорка: в англо-йорубском наборе в среднем 2,60 переключения на высказывание (максимум 9) на 9,54 часа аудио от 100 дикторов, поэтому это стресс-тест, а не типичный разговор. Полные таблицы: работа о PIER и англо-йорубская оценка с учётом переключений.
4. Определение языка в точках переключения
Большинство многоязычных моделей решают, какой язык они слышат, ещё до транскрибирования. На речи с переключением кодов это единое решение по построению неверно для части каждого предложения. В реальных индийских двуязычных разговорах средний отрезок на одном языке длился около 500 миллисекунд, а многие реплики состояли из отдельных слов длиной около 200 миллисекунд (Baghel и др., обзор DISPLACE 2023). Диаризация языков (разметка того, кто на каком языке и когда говорит, языковой аналог диаризации дикторов) испытывала соответствующие трудности, а путаница между языками была крупнейшей составляющей ошибки.
Та же слабость проявляется как чувствительность к промпту. Указание Whisper, какой язык ожидать, может менять результаты на десятки пунктов, а автоматическое определение языка на англо-йорубском наборе оказалось хуже фиксированного. Важна и письменность: на CS-FLEURS пары, записанные двумя разными системами письма, в среднем имели в 3 раза более высокий CER, чем пары с общей системой письма, - проблема, родственная вопросам межъязыкового представления, которые разобраны в нашей статистике многоязычных речевых эмбеддингов.
| Показатель | Значение | Источник |
|---|---|---|
| Доля ошибок диаризации языков в DISPLACE 2023, оценка этапа 2: базовая система (B2) против лучшей команды | 41,67% против 37,60% | Baghel и др., обзор соревнования DISPLACE 2023 |
| Составляющая ошибок путаницы у базовой системы (B2), оценка этапа 2 | 26,40% (крупнейшая составляющая) | Baghel и др., обзор соревнования DISPLACE 2023 |
| Корпус DISPLACE 2023: общее число часов и языков | 32 часа; семь языков (шесть индийских языков плюс индийский английский) | Baghel и др., обзор соревнования DISPLACE 2023 |
| MER Whisper-small без дообучения на наборе для разработки DevSge корпуса SEAME: промпт на китайском против промпта на английском | 157,5% против 83,6% | Yang и др., Whisper на SEAME и ASRU 2019 (2023) |
| Whisper-large-v3 на англо-йорубском наборе: WER с автоматическим определением языка против фиксированного промпта | 74,8% против 71,2% | Okocha и Grant, arXiv 2026 |
| Ошибка в точках переключения (PIER) Whisper-large-v3 на тестовой выборке SEAME.sge: декодирование без привязки к языку против декодирования с принудительным английским | 64,51% против 36,10% | Ugan и др., работа о PIER, ICASSP 2025 |
| CER Whisper-Large-v3 на читаемой речи CS-FLEURS: пары с общей системой письма против пар с разными системами письма | 7,32% против 32,33% | Yan и др., CS-FLEURS, Interspeech 2025 |
Замечание о контексте: обзор DISPLACE приводит также мягкую оценку (DER**, 34,72% для базовой системы на этапе 2), в которой применяется допуск 250 мс, исключающий из оценки короткие иноязычные слова длительностью 500 мс и менее. Авторы работы заключают, что основная ошибка вызвана малой длительностью отрезков со смешением языков. Источник: обзор соревнования DISPLACE 2023.
5. Дефицит данных: сколько часов речи с переключением кодов существует
Дефицит - первопричина, стоящая за разделами 1-4. Крупнейший китайско-английский корпус в сравнительной таблице CS-Dialogue, TALCS, содержит 587 часов; Whisper обучался на 680 000 часов аудио, поэтому TALCS составляет около 0,09% от этого объёма (587 / 680 000 = 0,086%). Большинство корпусов с переключением кодов намного меньше, охватывают одну пару языков, а многие вообще нельзя скачать.
Даже бенчмарк, который цитируют все, трудно точно описать: SEAME указан как 192 часа в каталоге Linguistic Data Consortium, но как 30 часов в одной сравнительной таблице 2025 года (см. наблюдение по данным). Вторая брешь - покрытие словаря: в MUCS 2021 доля слов вне словаря (доля тестовых слов, отсутствующих в обучающем словаре) достигла 27,3% на закрытом тестовом наборе бенгальско-английского.
| Показатель | Значение | Источник |
|---|---|---|
| Китайско-английский корпус SEAME (Сингапур и Малайзия): часы и дикторы | Около 192 часов; 156 дикторов в возрасте от 19 до 33 лет | Linguistic Data Consortium, SEAME LDC2015S04 (2015) |
| Обучающие данные MUCS 2021 с переключением кодов: хинди-английский против бенгальско-английского | 89,86 часа против 46,11 часа | Diwan и др., соревнование MUCS 2021 |
| Доля слов вне словаря в MUCS 2021, закрытый тест: хинди-английский против бенгальско-английского | 19,6% против 27,3% | Diwan и др., соревнование MUCS 2021 |
| Данные соревнования ASRU 2019: обучение только на китайском против обучения с переключением кодов против набора для разработки с переключением кодов | 500 против 200 против 40 часов | Shi и др., отчёт о соревновании ASRU 2019 (2020) |
| Спонтанные китайско-английские корпуса: ASCEND против CS-Dialogue против TALCS | 10,62 часа (23 диктора) против 104,02 часа (200 дикторов) против 587 часов | Zhou и др., CS-Dialogue 2025 (сравнительная таблица) |
| CS-FLEURS: языки, пары с переключением кодов, общее число часов | 52 языка, 113 пар, 294 часа | Yan и др., CS-FLEURS, Interspeech 2025 |
| Объём корейско-английского бенчмарка HiKE | 1 121 высказывание, около 2,2 часа, 13 дикторов | Paik и др., бенчмарк HiKE 2026 |
| Корпуса с переключением кодов, представленные в литературе по NLP: всего против закрытых | 114 против 72 (63%) | Winata и др., ACL Findings 2023 |
Пометка об актуальности: данные по SEAME, MUCS и обзору корпусов - самые свежие из доступных (LDC 2015, MUCS 2021, Winata и др. 2023). Следует также учесть, что 128 из 294 часов CS-FLEURS - это обучающий набор синтетической речи, созданной с помощью синтеза речи, и большинство тестовых наборов тоже синтетические; только его 17-часовой тестовый набор READ использует настоящие двуязычные голоса. Источники: запись каталога LDC о SEAME, обзор Winata и др., работа о Whisper.
6. Результаты дообучения и адаптации
Небольшие объёмы предметных данных с переключением кодов дают очень много. Дообучение Whisper-Medium на естественной корейско-английской речи снизило смешанную частоту ошибок на HiKE с 31,3 до 9,0, то есть на 22,3 пункта, а Whisper-small на SEAME снизилась со 101,9 до 14,3 MER на наборе для разработки DevMan при том же промпте. Команда Yang и др. сообщила, что прирост на SEAME насыщался примерно после 1-10 часов данных для адаптации.
Однако есть и компромисс. То же дообучение на HiKE повысило CER одноязычного корейского с 3,4 до 6,0, то есть модель, настроенная на смешанную речь, может терять точность на речи на одном языке. Масштаб всё же побеждает настройку: собственный Conformer, обученный более чем на 40 000 часов, превзошёл дообученную Whisper-small примерно на 18% на SEAME (Yang и др., 2023).
| Показатель | Значение | Источник |
|---|---|---|
| Whisper-Medium на HiKE: MER до и после дообучения на естественной корейско-английской речи | 31,3 против 9,0 | Paik и др., бенчмарк HiKE 2026 |
| То же дообучение: CER одноязычного корейского до и после | 3,4 против 6,0 | Paik и др., бенчмарк HiKE 2026 |
| Whisper-small на SEAME, английский промпт: MER без дообучения против после дообучения, набор для разработки DevMan и набор для разработки DevSge | 101,9 против 14,3; 83,6 против 20,4 | Yang и др., Whisper на SEAME и ASRU 2019 (2023) |
| Объём данных для адаптации, при котором прирост на SEAME насыщался | Около 1-10 часов | Yang и др., Whisper на SEAME и ASRU 2019 (2023) |
| Whisper-Medium на CS-Dialogue: MER без дообучения против после дообучения | 15,88% против 7,53% (относительное снижение на 52,6%) | Zhou и др., CS-Dialogue 2025 |
| Читаемый тест CS-FLEURS, знакомые пары языков: показатель ошибок без против с синтетической аугментацией данными с переключением кодов | 31,77 против 26,24 | Yan и др., CS-FLEURS, Interspeech 2025 |
Замечание о расчёте: относительное снижение на CS-Dialogue равно (15,88 - 7,53) / 15,88 = 52,6%. Дообучение помогает не всегда: в работе о PIER Whisper-small, дообученная на SEAME, выросла с 68,24 до 87,67 MER на тестовой выборке SEAME.sge. Источник: Yang и др. 2023.
7. Насколько распространено переключение кодов среди двуязычных говорящих
Системы распознавания считают переключение кодов пограничным случаем; данные опросов показывают, что это повседневная речь. 63% взрослых латиноамериканцев в США говорят, что используют Spanglish хотя бы иногда, а 40% - что делают это часто (Pew Research Center 2023, опрос 3 029 взрослых испаноязычных респондентов, проведённый с 1 по 14 августа 2022 года). Среди двуязычных латиноамериканцев доля возрастает до 77%, а 52% из них используют Spanglish очень или чрезвычайно часто. Для системы распознавания речи это означает, что смешение языков - обычный ввод для большой группы пользователей, а не редкое исключение.
Текстовые данные показывают то же самое в большом масштабе. Среди примерно 50 миллионов твитов на семи языках (нидерландском, английском, французском, немецком, португальском, испанском и турецком) около 3,5% содержали переключение кодов, причём английский присутствовал в 85,4% из них. Внимание исследователей следует за крупнейшими двуязычными группами населения: в литературе доминируют хинди-английский и испанско-английский, а большинство работ в ISCA, основной площадке исследований речи, ведутся на речевых данных.
| Показатель | Значение | Источник |
|---|---|---|
| Взрослые латиноамериканцы в США, использующие Spanglish хотя бы иногда против часто | 63% против 40% | Pew Research Center, Latinos’ Views of and Experiences With the Spanish Language (2023) |
| Использование Spanglish хотя бы иногда: двуязычные против англодоминантных против испанодоминантных латиноамериканцев | 77% против 54% против 56% | Pew Research Center (2023) |
| Использование Spanglish хотя бы иногда: второе поколение против третьего и более поздних поколений | 72% против 45% | Pew Research Center (2023) |
| Двуязычные родители, сообщившие, что смешивают языки в разговоре с детьми | 90% из 181 родителя | Concordia University, исследование Byers-Heinlein (2013) |
| Доля переключения кодов среди примерно 50 миллионов твитов на семи языках | Около 3,5% | Rijhwani и др., ACL 2017 |
| Самые смешиваемые пары как доля твитов с переключением кодов: английский-испанский, английский-французский, английский-португальский | 21,5%, 20,8%, 18,4% | Rijhwani и др., ACL 2017 |
| Город с наибольшей долей твитов с переключением кодов против наименьшей | Стамбул 12% против Хьюстон 1% | Rijhwani и др., ACL 2017 |
| Исследовательские работы о переключении кодов по парам языков: хинди-английский против испанско-английского против китайско-английского | 128 против 86 против 47 | Winata и др., ACL Findings 2023 |
Пометка об актуальности: исследование родителей (2013) и анализ Twitter (2017) - самые свежие доступные данные по этим показателям; цифры Pew взяты из его опроса 2022 года. Источники: отчёт Pew Research Center, Rijhwani и др. 2017, пресс-релиз об исследовании Concordia.
Итоги: распознавание речи с переключением кодов в цифрах
| Показатель | Значение | Источник |
|---|---|---|
| Whisper-Large: MER на корейско-английской речи с переключением кодов против WER на одноязычном английском | 26,1% против 4,4% | Paik и др., бенчмарк HiKE 2026 |
| CER на CS-FLEURS с переключением кодов против одноязычного FLEURS | Более чем вдвое выше | Yan и др., CS-FLEURS, Interspeech 2025 |
| Победитель ASRU 2019: CER на китайском против WER на вложенном английском | 4,04% против 12,33% | Shi и др., отчёт о соревновании ASRU 2019 (2020) |
| Лучший MER базовой системы на спонтанных разговорах ASCEND | 27,05% | Lovenia и др., корпус ASCEND (2021) |
| MER на CS-Dialogue: SenseVoice-Small против Whisper Large-V2 | 6,71% против 15,29% | Zhou и др., CS-Dialogue 2025 |
| WER сквозной базовой системы MUCS 2021: хинди-английский против бенгальско-английского | 25,9% против 31,0% | Diwan и др., соревнование MUCS 2021 |
| Дообученная Whisper-large на Fisher: изменение WER против изменения ошибки в точках переключения | на 5,06% лучше против на 39,47% хуже | Ugan и др., работа о PIER, ICASSP 2025 |
| Ошибка после переключения на йоруба против на английский | от 0,95 до 1,00 против от 0,40 до 0,53 | Okocha и Grant, arXiv 2026 |
| Средний отрезок на одном языке в индийских двуязычных разговорах | Около 500 мс | Baghel и др., обзор соревнования DISPLACE 2023 |
| Лучшая доля ошибок диаризации языков, DISPLACE 2023 | 37,60% | Baghel и др., обзор соревнования DISPLACE 2023 |
| CER читаемой речи CS-FLEURS: пары с общей системой письма против пар с разными системами письма | 7,32% против 32,33% | Yan и др., CS-FLEURS, Interspeech 2025 |
| Крупнейший перечисленный китайско-английский корпус (TALCS) против обучающих данных Whisper | 587 часов против 680 000 часов | Zhou и др., CS-Dialogue 2025; Radford и др., OpenAI 2022 |
| Объём корпуса SEAME | Около 192 часов, 156 дикторов | Linguistic Data Consortium, LDC2015S04 |
| Закрытая доля корпусов с переключением кодов | 72 из 114 (63%) | Winata и др., ACL Findings 2023 |
| Взрослые латиноамериканцы в США, использующие Spanglish хотя бы иногда | 63% | Pew Research Center (2023) |
| Доля твитов с переключением кодов на семи языках | Около 3,5% | Rijhwani и др., ACL 2017 |
Методология и источники
- Paik и др., HiKE: Hierarchical Evaluation Framework for Korean-English Code-Switching Speech Recognition, arXiv v4, 13 января 2026 года: arxiv.org/html/2509.24613v4
- Yan и др., CS-FLEURS: A Massively Multilingual and Code-Switched Speech Dataset, Interspeech 2025: arxiv.org/abs/2509.14161v1
- Okocha и Grant, Beyond Word Error Rate: A Switch Aware Evaluation of ASR and Audio Language Models on English Yoruba Code-Switched Speech, arXiv, 10 сентября 2026 года: arxiv.org/abs/2609.11786
- Ugan, Pham, Barmann и Waibel, PIER: A Novel Metric for Evaluating What Matters in Code-Switching, ICASSP 2025: arxiv.org/html/2501.09512
- Zhou и др., CS-Dialogue: A 104-Hour Dataset of Spontaneous Mandarin-English Code-Switching Dialogues for Speech Recognition, arXiv v2, 12 марта 2025 года: arxiv.org/html/2502.18913v2
- Shi, Feng и Xie, The ASRU 2019 Mandarin-English Code-Switching Speech Recognition Challenge: Open Datasets, Tracks, Methods and Results, 2020: arxiv.org/abs/2007.05916
- Diwan и др., Multilingual and code-switching ASR challenges for low resource Indian languages (MUCS 2021), 2021: arxiv.org/abs/2104.00235
- Lovenia и др., ASCEND: A Spontaneous Chinese-English Dataset for Code-switching in Multi-turn Conversation, 2021: arxiv.org/abs/2112.06223v4
- Yang, Peng, Zhong, Huang и Chng, Adapting OpenAI’s Whisper for Speech Recognition on Code-Switch Mandarin-English SEAME and ASRU2019 Datasets, 29 ноября 2023 года: arxiv.org/html/2311.17382v1
- Baghel и др., Summary of the DISPLACE Challenge 2023, пересмотрено 3 января 2024 года: arxiv.org/abs/2311.12564
- Linguistic Data Consortium, запись каталога SEAME LDC2015S04, выпущена 15 апреля 2015 года: catalog.ldc.upenn.edu/LDC2015S04
- Winata, Aji, Yong и Solorio, The Decades Progress on Code-Switching Research in NLP, ACL Findings 2023: arxiv.org/abs/2212.09660
- Radford и др. (OpenAI), Robust Speech Recognition via Large-Scale Weak Supervision, 2022: arxiv.org/abs/2212.04356
- Pew Research Center, Latinos’ Views of and Experiences With the Spanish Language, 20 сентября 2023 года: pewresearch.org
- Rijhwani и др., Estimating Code-Switching on Twitter with a Novel Generalized Word-Level Language Detection Technique, ACL 2017: aclanthology.org/P17-1180
- Concordia University, исследование Byers-Heinlein с участием 181 двуязычного родителя, пресс-релиз от 16 января 2013 года: sciencedaily.com
- Наблюдение по данным: объём SEAME различается по источникам: каталог LDC указывает около 192 часов и 156 дикторов, сравнительная таблица CS-Dialogue - 30 часов и 157 дикторов (в её собственном тексте говорится о 92 дикторах), а Yang и др. использовали обучающий набор в 93,6 часа, поэтому цифры, вероятно, описывают разные подмножества. В аннотации MUCS 2021 приведён базовый WER для переключения кодов 32,45%, соответствующий среднему значению сквозной системы без перевыравнивания, а не перевыровненным результатам, цитируемым здесь, а заявленный общий объём около 600 часов не совпадает с суммой по её собственным таблицам. В аннотации ASRU 2019 говорится о 240 часах данных с переключением кодов, это 200 обучающих часов плюс 40 часов набора для разработки. Цифры HiKE менялись между версиями arXiv (общий MER Whisper-Tiny 103,8 в v2, 93,6 в v4); мы цитируем v4. Англо-йорубская работа опубликована 10 сентября 2026 года, и её цифры могут измениться после рецензирования. MER, CER, WER и PIER могут превышать 100%, потому что вставки засчитываются как ошибки. Показатели распространённости измеряют разные вещи (самостоятельно заявленная речь, речь по сообщениям родителей, письменные твиты) и их не следует объединять.
- Последнее обновление: 31 октября 2026 года. Мы обновляем этот обзор ежеквартально, и следующее обновление ожидается после публикации работ о переключении кодов с Interspeech 2026 и ICASSP 2027 и окончательной рецензированной версии бенчмарка HiKE.