На 301 317 клипах чисто неречевого звука Whisper large-v3 выдал текст для 121 378 из них (40,3%), а 9,1% этих выдуманных результатов были зацикленными повторами одной и той же фразы (Barański и др., ICASSP 2025). На библиотеке городских звуков UrbanSound8K другая команда зафиксировала текстовый вывод на 99,97% клипов (Wang и др., Calm-Whisper, Interspeech 2025). На настоящей речи доля гораздо ниже, но распределена неравномерно: в корпусе AphasiaBank сегменты говорящих с афазией галлюцинировали чаще контрольных, а более продолжительные невокальные участки предсказывали галлюцинации (Koenecke и др., ACM FAccT 2024). Рейтинги этого не ловят, потому что Open ASR Leaderboard ранжирует модели только по доле ошибок на уровне слов и скорости (Srivastav и др., статья Open ASR Leaderboard 2026), а именно эта метрика стоит и за разрывами по акцентам и диалектам, которые мы разбирали отдельно. Мы свели данные из статей Cornell, Carnegie Mellon, Hugging Face, Interspeech и ICASSP, материалов AssemblyAI, Associated Press и работ 2026 года на arXiv об обнаружении и снижении галлюцинаций.
В этом обзоре «галлюцинация» означает текст в транскрипте, у которого нет основы в аудио: выдуманные слова, фразы или целые предложения, в отличие от ослышки слова, которое действительно прозвучало.
Кратко (TL;DR)
- Whisper large-v3 выдал текст для 40,3% из 301 317 неречевых клипов, причём 9,1% из них зациклились (Barański и др., ICASSP 2025).
- Whisper large-v3 выдал текст для 99,97% шумовых клипов UrbanSound8K до целенаправленного дообучения (Wang и др., Calm-Whisper, Interspeech 2025).
- Клипы с заиканием галлюцинировали в 14% случаев у Whisper v2 и в 2,9% у v3 (Sridhar и Wu, Interspeech 2025).
- Universal-1 заявил об относительном снижении частоты галлюцинаций на 30% по сравнению с Whisper large-v3, это собственное заявление поставщика (AssemblyAI, Anatomy of Industrial Scale Multilingual ASR 2024).
- Частота галлюцинационных ошибок коррелирует со сдвигом распределения при α = 0,91 (Atwany и др., arXiv 2025).
- Оценки галлюцинаций SHALLOW следуют за WER при ρs > 0,80 только в диапазоне WER 10-30% (Koudounas и др., arXiv 2025).
- Whisper turbo по-прежнему выдавал лексический вывод на 74,3% неречевых клипов (Borodin и др., The Null Token Knows, arXiv 2026).
- Open ASR Leaderboard приводит только WER и RTFx, при этом системы на основе Conformer в 3,77 раза быстрее систем на основе Whisper (Srivastav и др., статья Open ASR Leaderboard 2026).
- Исправление Calm-Whisper подняло WER на LibriSpeech test-clean лишь с 2,12% до 2,19% (Wang и др., Calm-Whisper, Interspeech 2025).
- Базовый вариант WhisperX с VAD в среднем дал 5,24% галлюцинаций на неречевом звуке при 0% ложного отклонения (Abbasihafshejani и Jadliwala, arXiv 2026).
1. Как часто ASR выдумывает текст на настоящей речи
Контролируемые цифры на настоящей речи невелики, и в этом как раз ловушка. 187 из 13 140 сегментов AphasiaBank (1,4%) стабильно давали выдуманный текст в Whisper в исследовании Careless Whisper, тогда как те же сегменты, пропущенные через Amazon и Google, не дали ни одной сопоставимой выдумки. Низкая доля, пришедшаяся на историю болезни, интервью или судебный протокол, - это иной риск, чем ослышка слова, потому что выдуманные предложения читаются гладко, и никому не приходит в голову их проверять.
Полевые сообщения, собранные Associated Press в октябре 2024 года, гораздо выше и несопоставимы с лабораторными цифрами: инженер по машинному обучению рассказал AP, что нашёл галлюцинации примерно в половине из более чем 100 часов стенограмм Whisper, которые он проанализировал. Это проверки отдельных пользователей без общего определения, поэтому их стоит считать сигналом о степени подверженности, а не долей.
| Показатель | Значение | Источник |
|---|---|---|
| Сегменты AphasiaBank, стабильно давшие галлюцинированный текст в Whisper (прогоны апрель-май 2023) | 187 из 13 140 сегментов (1,4%) | Koenecke и др., Careless Whisper, ACM FAccT 2024 |
| Галлюцинировавшие сегменты, которые продолжили галлюцинировать при повторном прогоне в декабре 2023 | 12 из 187 | Koenecke и др., Careless Whisper, ACM FAccT 2024 |
| Частота галлюцинационных ошибок Whisper large-v3, LibriSpeech против LibriSpeech с добавленным шумом | 0,3% против 0,4% | Atwany и др., Lost in Transcription, arXiv 2025 |
| Стенограммы публичных заседаний с галлюцинациями, проверенные исследователем из University of Michigan | 8 из каждых 10 | Расследование Associated Press, октябрь 2024 |
| Стенограммы Whisper с галлюцинациями, о которых сообщил один разработчик | Почти все из 26 000 | Расследование Associated Press, октябрь 2024 |
| Частота выдумок (5 и более подряд вставленных или замещённых слов в час), Universal-1 против Whisper large-v3 | Относительное снижение на 41% (собственное заявление поставщика) | AssemblyAI, Anatomy of Industrial Scale Multilingual ASR 2024 |
| Общая частота галлюцинаций (5 и более подряд идущих ошибок в час), Universal-1 против Whisper large-v3 и против Canary-1B | Относительное снижение на 30% и 22% (собственное заявление поставщика) | AssemblyAI, Anatomy of Industrial Scale Multilingual ASR 2024 |
Контекст: к повторному прогону в декабре 2023 года большинство, но не все воспроизводимые случаи перестали галлюцинировать: 12 из 187 - это 6,4% (наш расчёт). Сравнение с Amazon и Google проводилось 27 января 2024 года. Цифры AssemblyAI - это относительные снижения, измеренные на 146 часах англоязычных тестовых данных, выбранных поставщиком, а абсолютные показатели в час приводятся только на рисунке.
2. Тишина, шум и неречевой звук: худший случай
В аудио без какой-либо речи правильный транскрипт пуст, поэтому каждое выведенное слово выдумано. Это делает неречевой звук самым чистым стресс-тестом, а результаты красноречивы: в зависимости от набора данных и правила подсчёта Whisper large-v3 пишет текст для доли неречевых клипов от 21,35% до 100% в приведённых ниже исследованиях. Разброс - это не шум исследований. Он отражает разные звуковые библиотеки, длительность клипов и определения, поэтому единой «частоты галлюцинаций Whisper» не существует.
Больше - не обязательно лучше. В аудите нулевого токена от августа 2026 года Whisper small выдал лексический вывод на большем числе клипов, чем large-v3, тогда как в исследовании стиринга от июня 2026 года large-v3 оказался хуже small на объединённом тестовом наборе. Canary-1B, модель не из семейства Whisper, оказалась в том же диапазоне. Отделение голосов от фонового звука - отдельная область исследований (см. нашу статистику разделения речи); распознаватели, пропускающие этот шаг, наследуют проблему.
| Показатель | Значение | Источник |
|---|---|---|
| Прогоны Whisper large-v3 на неречевом звуке (AudioSet, MUSAN, UrbanSound8K, FSD50K, шум и тишина), давшие текст | 121 378 из 301 317 (40,3%); 11 049 из них (9,1%) с зацикливанием | Barański и др., ICASSP 2025 |
| Частота галлюцинаций Whisper large-v3 на клипах городских звуков UrbanSound8K | 99,97% | Wang и др., Calm-Whisper, Interspeech 2025 |
| Whisper large-v3 против Whisper small, частота галлюцинаций на объединённом неречевом тестовом наборе (WHAM!, FSD50k, UrbanSound8K) | 86,8% против 72,6% | Aparin и др., Whisper Hallucination Detection and Mitigation, arXiv 2026 |
| Частота галлюцинаций Whisper large-v3 на UrbanSound8K, отдельное измерение 2026 года | 95,2% | Aparin и др., Whisper Hallucination Detection and Mitigation, arXiv 2026 |
| Доля неречевых клипов с лексическим выводом, Whisper small, large-v3 и turbo | 96,2%, 77,0% и 74,3% | Borodin и др., The Null Token Knows, arXiv 2026 |
| Доля неречевых клипов с лексическим выводом, Canary-1B (подмножество) | 79,3% | Borodin и др., The Null Token Knows, arXiv 2026 |
| Непустой вывод на 200 образцах фонового шума AudioSet, Whisper large-v3, Canary-1B и Universal-1 | 100%, 100% и 10,5% (тест самого поставщика) | AssemblyAI, Anatomy of Industrial Scale Multilingual ASR 2024 |
Контекст: третья статья 2026 года измерила Whisper large-v3 на уровне 76,08% на UrbanSound8K, 44,25% на ESC-50 и 21,35% на отфильтрованном подмножестве FSD50K (Abbasihafshejani и Jadliwala, arXiv 2026). «Лексический вывод» в статье о нулевом токене означает любую букву, оставшуюся после того, как нормализатор убирает метки событий, пунктуацию и цифры, то есть более широкий подсчёт, чем сопоставление целых фраз.
3. Что выдумывается: типичные фразы и длительность клипа
Галлюцинации Whisper на неречевом звуке не случайны. Две фразы, «thank you» (24,76%) и «thanks for watching» (10,32%), составляют около 35% всех галлюцинаций на неречевом звуке в исследовании ICASSP 2025. Это прощальные фразы из видео, что согласуется с обучающим текстом, взятым из субтитров онлайн-видео, а не из проверенных транскриптов (наша интерпретация, а не измерение авторов).
Повторяемость - это ещё и практическая лазейка для защиты: поскольку небольшой набор результатов повторяется, авторы составили «мешок галлюцинаций», список частых выдуманных результатов, который можно отфильтровать после транскрипции. Длительность важна не меньше содержания. Добавление 30 секунд неречевого звука к речевым клипам по 10 секунд дало обнаруженные галлюцинации в 44,5% файлов против 0,3% при добавлении 1 секунды.
| Показатель | Значение | Источник |
|---|---|---|
| Доля галлюцинаций на неречевом звуке, пришедшаяся на «thank you» и «thanks for watching» | 24,76% и 10,32% | Barański и др., ICASSP 2025 |
| Уникальные галлюцинированные результаты; результаты, встретившиеся более одного раза; доля всех галлюцинаций, покрытая этими повторами | 41 231 уникальный; 1 270 повторяющихся; 67,08% | Barański и др., ICASSP 2025 |
| Обнаруженные галлюцинации при добавлении 1 с против 30 с неречевого звука до или после речи | 0,3% против 44,5% | Barański и др., ICASSP 2025 |
| Обучающие данные Whisper large-v3 | 1 миллион часов аудио со слабой разметкой плюс 4 миллиона часов с псевдоразметкой | OpenAI, карточка модели Whisper large-v3 |
| Обучающие данные исходного Whisper (выпуск 2022 года) | 680 000 часов многоязычного и многозадачного обучения с учителем | Radford и др., статья Whisper 2022 |
| Галлюцинации у моделей, построенных с 8% внесённого шума, доля оценочных наборов данных | 1-2% для большинства моделей; 8% для одной модели | Frieske и Shi, Hallucinations in Neural ASR, arXiv 2024 |
Контекст: «слабая разметка» означает, что текст, сопоставленный с каждой записью, не сверялся с аудио слово за словом, а «псевдоразметка» означает, что текст создала более ранняя модель. Сами авторы Whisper называют среди известных режимов сбоя на длинных записях «полную галлюцинацию, при которой модель выдаёт транскрипт, совершенно не связанный с реальным аудио» (Radford и др., 2022). Самые свежие доступные данные по исходному обучающему набору: статья Whisper, 2022.
4. У кого бывают галлюцинации: речевые паттерны с паузами и повторами
Риск галлюцинаций следует форме аудио, а некоторые говорящие дают аудио с большим количеством тишины или повторяющихся звуков. Whisper v2 галлюцинировал на 14% клипов подкастов с заиканием против 3,3% беглых клипов, согласно бенчмарку по заиканию Interspeech 2025, в котором взято 2 621 клипов из набора подкастов SEP-28K. Whisper v3 резко снизил оба показателя, но клипы с заиканием всё равно галлюцинировали примерно втрое чаще беглых (2,9% против 0,9%).
При афазии (нарушении, затрагивающем речь) команда Careless Whisper нашла механизм в паузах: у говорящих с афазией доля невокальных участков в записях была гораздо больше, и большая доля невокальных участков предсказывала галлюцинации. О том, насколько распространены такие речевые паттерны, см. нашу демографическую статистику заикания.
| Показатель | Значение | Источник |
|---|---|---|
| Аудиосегменты с афазией против контрольных, давшие галлюцинации в Whisper | 1,7% против 1,2% (регрессия: p=0,019) | Koenecke и др., Careless Whisper, ACM FAccT 2024 |
| Частота галлюцинаций при афазии против контроля, группы сопоставлены по демографии участников | 1,82% против 1,16% (p-значение = 0,044) | Koenecke и др., Careless Whisper, ACM FAccT 2024 |
| Доля невокальной части в общей длительности записи, говорящие с афазией против контрольных говорящих | 41% против 15% | Koenecke и др., Careless Whisper, ACM FAccT 2024 |
| Клипы с заиканием против беглых клипов с галлюцинациями, Whisper v2 | 14% (293 из 2 086) против 3,3% (18 из 534) | Sridhar и Wu, Interspeech 2025 |
| Клипы с заиканием против беглых клипов с галлюцинациями, Whisper v3 | 2,9% (61 из 2 086) против 0,9% (5 из 534) | Sridhar и Wu, Interspeech 2025 |
| Клипы с повторами звуков (повтор первого звука слова), давшие галлюцинации, Whisper v2 против v3 | 22,6% против 6,9% | Sridhar и Wu, Interspeech 2025 |
| Клипы с протяжением звуков (растягивание звука), давшие галлюцинации, Whisper v2 против v3 | 15,4% против 1,47% | Sridhar и Wu, Interspeech 2025 |
Контекст: в статье о заикании кандидаты в галлюцинации выявлялись так: Whisper запускали дважды на каждом клипе и помечали сильные расхождения, а затем каждую пометку проверяли вручную. Число клипов немного различается между разделами (2 079 отобранных клипов с заиканием, 2 086 в подсчёте галлюцинаций), поэтому каждую цифру мы приводим с её собственным знаменателем.
5. Как измерять галлюцинации: метрики, предложенные помимо WER
Доля ошибок на уровне слов считает замены, пропуски и вставки, но не отличает ослышку слова от выдуманного предложения. Частота галлюцинационных ошибок, предложенная исследователями Carnegie Mellon и MBZUAI, коррелирует со сдвигом распределения при α = 0,91, то есть галлюцинации растут вместе с тем, насколько тестовое аудио отходит от обучающего (Atwany и др., 2025). В их конвейере судьёй служит LLM, что делает его достаточно дешёвым для запуска в больших масштабах.
Бенчмарк SHALLOW делит галлюцинации на четыре оси: лексическую (выдуманные слова), фонетическую (ошибки на созвучиях), морфологическую (неверные формы слов) и семантическую (изменённый смысл). Его главный вывод - в том, где WER перестаёт быть информативным: корреляции сильны при низких долях ошибок и рушатся по мере роста WER, а именно там галлюцинации важнее всего.
| Показатель | Значение | Источник |
|---|---|---|
| Согласие по меткам галлюцинаций, человек с человеком и человек с GPT-4o-mini | 0,71 против 0,60 | Atwany и др., Lost in Transcription, arXiv 2025 |
| Стоимость конвейера разметки с помощью LLM против оценки людьми | $78 за 1 млн сегментов, примерно в 375 раз дешевле | Atwany и др., Lost in Transcription, arXiv 2025 |
| Корреляция оценок SHALLOW с WER при WER 10-30% против WER 90% (лексико-семантическая пара) | ρs > 0,80 против ниже -0,45 | Koudounas и др., SHALLOW, arXiv 2025 |
| Синтетический тест: корреляция с WER, лексическая выдумка против семантических ошибок | ρ = 0,98 против ρ = 0,15 | Koudounas и др., SHALLOW, arXiv 2025 |
| Модели и тестовые наборы данных в оценке SHALLOW | 12 моделей, 10 наборов данных | Koudounas и др., SHALLOW, arXiv 2025 |
| Пороги для отделения галлюцинаций от фонетических ошибок | Косинусное сходство 0,2; WER 30; перплексия 200 | Frieske и Shi, Hallucinations in Neural ASR, arXiv 2024 |
| Пометка галлюцинации по двум прогонам в бенчмарке по заиканию | WER между прогонами выше 0,6, F1 по BERT ниже 0,6 или более 4 вставленных слов | Sridhar и Wu, Interspeech 2025 |
Контекст: эти метрики не взаимозаменяемы. AssemblyAI считает серии из 5 и более подряд идущих ошибок на час аудио, статья о нулевом токене считает клипы с любой буквой на аудио с пустым эталоном, а частота галлюцинационных ошибок считает примеры, помеченные как галлюцинации. 2% по одной шкале ничего не говорят о 2% по другой.
6. WER в рейтинге против галлюцинаций: сравнение моделей
Статья об Open ASR Leaderboard от Hugging Face - отраслевой эталон по точности и скорости, а её рамки заданы прямо: она приводит WER и RTFx (обратный коэффициент реального времени, то есть сколько секунд аудио система обрабатывает за секунду) и больше ничего. В статье галлюцинации и циклы повторов не рассматриваются как ошибки моделей. Тем не менее данные о скорости важны для этой темы, потому что более быстрые семейства Conformer (архитектура кодировщика, сочетающая свёртку и внимание) - очевидные альтернативы Whisper в этом рейтинге.
Таблицы CMU и SHALLOW показывают, почему ранжирование по WER - это не ранжирование по безопасности. Whisper large-v3 показал WER выше 65% на имитированной речи диспетчеров управления воздушным движением, а частота его галлюцинаций осталась гораздо ниже, и обратное произошло на состязательном наборе. Стандарты точности субтитров в телевещании сталкиваются с похожим разделением между синхронностью, полнотой и правильностью (см. нашу статистику стандартов точности субтитров).
| Показатель | Значение | Источник |
|---|---|---|
| Метрики, которые приводит Open ASR Leaderboard | Только WER и RTFx | Srivastav и др., статья Open ASR Leaderboard, v4, март 2026 |
| Средний RTFx, системы на основе Conformer против систем на основе Whisper | 758 против 201 (в 3,77 раза быстрее) | Srivastav и др., статья Open ASR Leaderboard, v4, март 2026 |
| WER и RTFx Whisper Large v3 на треке длинных записей на английском | 11,2 WER; RTFx 68,6 | Srivastav и др., статья Open ASR Leaderboard, v4, март 2026 |
| Место лучшей модели TDT и лучшей модели CTC по точности на коротких английских записях | 10-е и 34-е | Srivastav и др., статья Open ASR Leaderboard, v4, март 2026 |
| WER против частоты галлюцинационных ошибок Whisper large-v3 на ATCOsim (имитированная речь диспетчеров управления воздушным движением) | 65,3% против 17,6% | Atwany и др., Lost in Transcription, arXiv 2025 |
| WER против частоты галлюцинационных ошибок Whisper large-v3 на состязательном тестовом наборе | 33,3% против 49,8% | Atwany и др., Lost in Transcription, arXiv 2025 |
| Whisper-Large-v3 против Canary, средний WER; средняя оценка лексической выдумки | 14,20 против 14,26; 6,74 против 5,43 | Koudounas и др., SHALLOW, arXiv 2025 |
Контекст: TDT и CTC - методы декодирования, которые выдают текст, привязанный к аудиокадрам, а не генерируют свободный текст токен за токеном, как декодер Whisper. В рейтинге отмечено, что они дают существенно лучший RTFx при меньшей точности. Почти одинаковый средний WER у Whisper-Large-v3 и Canary в SHALLOW скрывает, что Canary допускал меньше лексических выдумок.
7. Результаты снижения галлюцинаций: VAD, изменения декодирования и правки модели
Самый надёжный способ по-прежнему - не подавать тишину на вход модели. Silero VAD снизил WER на речи с добавленным неречевым звуком со 104,8% до 8,0% в экспериментах с добавлением звука, описанных в разделе 3, а устранение зацикливания вместе с фильтром мешка галлюцинаций довело его до 6,5%. VAD (детектор речевой активности) - отдельная модель, которая решает, содержит ли участок аудио речь. В самой статье о Whisper VAD был одной из эвристик декодирования на пути от среднего WER 11,0 на длинных записях при жадном декодировании до 10,0 со всеми эвристиками (Radford и др., 2022).
Исправления на стороне модели работают, но каждое переносит ошибку в другое место. Calm-Whisper дообучил лишь 3 головы внимания (номера 1, 6 и 11) и почти не изменил WER. Вмешательства через стиринг и токен конца текста тоже подавили большую часть выдумок, но стали удалять настоящую речь или разрушать распознавание китайского. Авторы работы о нулевом токене говорят прямо: методы воздержания следует оценивать и по издержкам подавления, и по издержкам удаления, а не только по снижению галлюцинаций.
| Показатель | Значение | Источник |
|---|---|---|
| WER на речи с добавленным неречевым звуком: без обработки против Silero VAD против Silero VAD плюс устранение зацикливания и фильтр мешка галлюцинаций | 104,8% против 8,0% против 6,5% | Barański и др., ICASSP 2025 |
| Обнаруженные галлюцинации при ширине луча 1 против ширины луча 5 | 19,5% против 28,2% | Barański и др., ICASSP 2025 |
| Calm-Whisper: частота галлюцинаций на UrbanSound8K до против после; WER на LibriSpeech test-clean до против после | 99,97% против 15,51%; 2,12% против 2,19% | Wang и др., Calm-Whisper, Interspeech 2025 |
| Стиринг на разреженном автокодировщике, Whisper small, объединённый неречевой тестовый набор | 72,63% против 14,11% | Aparin и др., Whisper Hallucination Detection and Mitigation, arXiv 2026 |
| Тот же стиринг на Whisper large-v3: доля символьных ошибок на китайском в AISHELL-1 до против после | 10,54 против 66,24 | Aparin и др., Whisper Hallucination Detection and Mitigation, arXiv 2026 |
| Вмешательство в токен конца текста (нулевой токен), Whisper small: доля лексического вывода; удалённые эталонные слова в минуту | 91,7% против 3,3%; 33,05 против 1,58 | Borodin и др., The Null Token Knows, arXiv 2026 |
| Базовый вариант WhisperX с VAD: средняя частота галлюцинаций на неречевом звуке; ложное отклонение настоящей речи | 5,24%; 0% | Abbasihafshejani и Jadliwala, arXiv 2026 |
| Whisper против WhisperX на TED-LIUM: доля ошибок вставки; повторяющиеся последовательности из 5 слов | 7,7 против 6,7; 221 против 189 | Bain и др., статья WhisperX 2023 |
Контекст: результат по ширине луча противоречит интуиции, поскольку авторы Whisper используют лучевой поиск с 5 лучами, чтобы уменьшить зацикливание повторов на речи, тогда как при добавлении неречевого звука более широкий луч давал больше обнаруженных галлюцинаций. Calm-Whisper также снизил многотокенные галлюцинации (более пяти токенов) с 742 до 91. Данные WhisperX относятся к 2023 году, так что это самые свежие доступные данные по этому бенчмарку.
Итоги: галлюцинации распознавания речи в цифрах
| Показатель | Значение | Источник |
|---|---|---|
| Неречевые клипы Whisper large-v3, давшие текст | 40,3% из 301 317 | Barański и др., ICASSP 2025 |
| Частота галлюцинаций Whisper large-v3 на шуме UrbanSound8K | 99,97% | Wang и др., Calm-Whisper, Interspeech 2025 |
| Whisper large-v3 против Whisper small, объединённый неречевой тестовый набор | 86,8% против 72,6% | Aparin и др., arXiv 2026 |
| Лексический вывод Whisper turbo на неречевых клипах | 74,3% | Borodin и др., The Null Token Knows, arXiv 2026 |
| Сегменты AphasiaBank с воспроизводимыми галлюцинациями Whisper | 187 из 13 140 (1,4%) | Koenecke и др., Careless Whisper, ACM FAccT 2024 |
| Стенограммы публичных заседаний с галлюцинациями, один исследователь из Мичигана | 8 из каждых 10 | Расследование Associated Press, октябрь 2024 |
| Частота галлюцинаций, Universal-1 против Whisper large-v3 | Относительное снижение на 30% (собственное заявление поставщика) | AssemblyAI, 2024 |
| Клипы с заиканием против беглых клипов с галлюцинациями, Whisper v2 | 14% против 3,3% | Sridhar и Wu, Interspeech 2025 |
| WER против HER Whisper large-v3 на состязательном наборе | 33,3% против 49,8% | Atwany и др., arXiv 2025 |
| Корреляция SHALLOW с WER, диапазон WER 10-30% | ρs > 0,80 | Koudounas и др., SHALLOW, arXiv 2025 |
| Средний RTFx, системы на основе Conformer против систем на основе Whisper | 758 против 201 | Srivastav и др., v4, март 2026 |
| WER Calm-Whisper на LibriSpeech test-clean до против после исправления | 2,12% против 2,19% | Wang и др., Calm-Whisper, Interspeech 2025 |
| Вмешательство через нулевой токен: удалённые слова в минуту | 33,05 против 1,58 | Borodin и др., arXiv 2026 |
| Стиринг на разреженном автокодировщике, частота галлюцинаций Whisper small | 72,63% против 14,11% | Aparin и др., arXiv 2026 |
| Базовый вариант WhisperX с VAD, частота галлюцинаций и ложное отклонение | 5,24%; 0% | Abbasihafshejani и Jadliwala, arXiv 2026 |
| Доля ошибок вставки Whisper против WhisperX на TED-LIUM | 7,7 против 6,7 | Bain и др., статья WhisperX 2023 |
Методология и источники
Мы прочли первичную статью, карточку модели или журналистское расследование, стоящие за каждой приведённой выше цифрой, и цитируем каждую в нотации самого источника (проценты, дроби, ρ или α). Там, где текст и таблицы статьи расходятся, мы взяли значение из таблицы или явное утверждение и отметили расхождение ниже.
- Koenecke et al., Careless Whisper: Speech-to-Text Hallucination Harms, ACM FAccT 2024
- Burke и Schellmann, расследование Associated Press о транскрибации Whisper, октябрь 2024, с обзором Cornell Chronicle об исследовании Careless Whisper, июнь 2024
- Barański et al., Investigation of Whisper ASR Hallucinations Induced by Non-Speech Audio, ICASSP 2025
- Wang et al., Calm-Whisper: Reduce Whisper Hallucination On Non-Speech By Calming Crazy Heads Down, Interspeech 2025
- Sridhar и Wu, J-j-j-just Stutter: Benchmarking Whisper’s Performance Disparities on Different Stuttering Patterns, Interspeech 2025
- Atwany et al., Lost in Transcription, Found in Distribution Shift: Demystifying Hallucination in Speech Foundation Models, arXiv 2025
- Koudounas et al., Hallucination Benchmark for Speech Foundation Models (SHALLOW), arXiv 2025
- Srivastav и др., статья Open ASR Leaderboard, v4, март 2026
- Borodin et al., The Null Token Knows: Reducing Message-Free Hallucination in ASR and NMT, arXiv 2026
- Aparin et al., Whisper Hallucination Detection and Mitigation via Hidden Representation Steering and Sparse AutoEncoders, arXiv 2026
- Abbasihafshejani и Jadliwala, Reducing Hallucinated Transcripts in Whisper via Hallucination Space Projection, arXiv 2026
- AssemblyAI (McCann Ramirez, Chkhetiani и др.), Anatomy of Industrial Scale Multilingual ASR, 2024
- Bain et al., WhisperX: Time-Accurate Speech Transcription of Long-Form Audio, 2023
- Radford et al., Robust Speech Recognition via Large-Scale Weak Supervision (статья Whisper), 2022
- OpenAI, карточка модели Whisper large-v3 на Hugging Face
- Frieske и Shi, Hallucinations in Neural Automatic Speech Recognition: Identifying Errors and Hallucinatory Models, arXiv 2024
- Наблюдение по данным: в аннотации Careless Whisper сказано, что около 1% транскрипций содержали галлюцинации, тогда как в основном тексте приведено 1,4% (187 из 13 140 сегментов) и 312 транскрипций с галлюцинациями за два прогона; AP описала ту же работу как 187 галлюцинаций более чем в 13 000 клипов. Статья Hallucination Space Projection приводит среднюю базовую величину 31,31%, не совпадающую с её же значениями по отдельным наборам данных (мы цитируем только значения по наборам данных и её базовый вариант WhisperX). Статья о стиринге даёт для Whisper large-v3 на UrbanSound8K 95,2% в одной таблице и 95,98% в другой. Бенчмарк по заиканию использует 2 079 и 2 086 как общее число клипов с заиканием в разных разделах. Atwany и др., SHALLOW, статья о нулевом токене (подана на AAAI-27), статья о стиринге и статья о проекции - это препринты arXiv без подтверждённой рецензируемой публикации на момент прочтения. Цифры AssemblyAI - собственные заявления поставщика, а цифры AP - отдельные полевые сообщения, а не контролируемые измерения. Статья Whisper (2022), WhisperX (2023) и работа Frieske и Shi (2024) - самые свежие доступные данные по своим конкретным бенчмаркам.
Последнее обновление: 24 октября 2026 года. Мы обновляем этот обзор ежеквартально, и следующее обновление ожидается после публикации трудов ICASSP 2027 и следующей редакции статьи Open ASR Leaderboard.