Добавление видео губ говорящего снизило долю ошибочных слов (WER) распознавателя речи с 88,9% до 24,2% при сильном белом шуме на уровне -7,5 дБ (Ma и др., Auto-AVSR, ICASSP 2023). Одни только губы по-прежнему работают намного хуже звука: система чтения по губам 2025 года показывает 18,7% WER на эталонном наборе LRS3 из выступлений TED (Thomas, Fish и Bowden, VALLR 2025), а аудиовизуальная система на основе LLM достигает 0,77% (Cappellazzo и др., Llama-AVSR, ICASSP 2025). Чтение по губам у людей - ещё более низкая планка: профессиональные чтецы по губам показали от 86,4% до 92,9% WER на роликах YouTube (Shillingford и др., DeepMind и Google, Large-Scale Visual Speech Recognition 2018). Мы свели данные наборов LRS2 и LRS3 группы Oxford Visual Geometry Group (VGG), статей об AV-HuBERT от Meta AI, исследования обобщения WildVSR, Всемирной организации здравоохранения и рецензируемых работ о слухе в JASA, JSLHR и Trends in Hearing. О том, как системы, работающие только со звуком, ошибаются на разных говорящих, читайте в нашей статистике предвзятости распознавания речи к акцентам.
Пояснение к терминам, используемым в тексте: WER (доля ошибочных слов) - это доля слов, которые система распознаёт неверно, с учётом замен, пропусков и лишних слов, поэтому чем меньше, тем лучше. VSR (визуальное распознавание речи) - это машинное чтение по губам по беззвучному видео, ASR - распознавание только по звуку, а AVSR - аудиовизуальное распознавание, использующее и то и другое. SNR (отношение сигнал/шум) показывает, насколько речь громче фонового шума; отрицательное SNR означает, что шум громче голоса.
Кратко (TL;DR)
- Английская WER при шуме многоголосого разговора на уровне 0 дБ снизилась с 13,8% у Whisper-Large, работающей только со звуком, до 7,2% у аудиовизуальной Whisper-Flamingo (Rouditchenko и др., Interspeech 2024).
- Система на основе LLM показывает на LRS3 0,77% WER в аудиовизуальном режиме и 0,79% только со звуком (Cappellazzo и др., Llama-AVSR, ICASSP 2025).
- Модель чтения по губам от Google показывает на LRS3 12,8% WER, что описано как сопоставимо с моделями только со звуком четырёхлетней давности (Chang и др., Google, статья о Conformers 2023).
- Система чтения по губам на основе фонем достигла на LRS3 18,7% WER, используя на 99,4% меньше размеченных данных, чем следующий по результату подход (Thomas, Fish и Bowden, VALLR 2025).
- Профессиональные чтецы по губам показали 92,9% WER без контекста и 86,4% с контекстом против 40,9% у машинной системы (Shillingford и др., DeepMind и Google 2018).
- 84 студента колледжа с нормальным слухом распознали 12,4% слов по беззвучному видео предложений (Altieri, Pisoni и Townsend, JASA 2011).
- Взрослые с потерей слуха, возникшей в раннем возрасте, прочитали по губам 43,55% слов против 18,57% у взрослых с нормальным слухом (Auer и Bernstein, JSLHR 2007).
- Всего с 30 размеченными часами AV-HuBERT достигла 32,5% WER при чтении по губам и превзошла систему с 33,6%, обученную на 31 000 часов (Shi и др., Meta AI, ICLR 2022).
- Передовые модели чтения по губам теряют в среднем 30 пунктов WER при переходе с LRS3 на тестовый набор WildVSR (Djilali и др., WildVSR 2023).
- Видимые лица снизили порог шума для понимания чёткой речи на 3,74 дБ (Blackburn и др., Trends in Hearing 2019).
- 430 миллионов человек нуждаются в реабилитации из-за инвалидизирующей потери слуха (Всемирная организация здравоохранения, информационный бюллетень Deafness and hearing loss 2026).
1. Губы, звук или оба: разрыв между модальностями по доле ошибочных слов
Разрыв между зрением и слухом по-прежнему составляет больше порядка величины. Самые низкие результаты чтения по губам на LRS3 в этом обзоре - 12,8% и 18,7% WER, тогда как самые низкие результаты по звуку и аудиовизуальные лежат ниже 1%. Разные звуки могут давать абсолютно одинаковое движение губ (‘p’ и ‘b’ - классический пример), поэтому беззвучной модели приходится выводить из контекста то, что звуковая модель просто слышит.
Более неожиданное число - на другом конце. При чистом звуке видео добавляет почти ничего и даже может немного навредить: Whisper-Flamingo показала на LRS3 0,76% WER в аудиовизуальном режиме против 0,68% только со звуком (Rouditchenko и др., Interspeech 2024). Польза губ проявляется в шуме (см. раздел 2), а не на выступлениях TED студийного качества. Статья о Llama-AVSR показывает такую же почти ничью, 0,79% против 0,77%.
| Показатель | Значение | Источник |
|---|---|---|
| WER на LRS3, только чтение по губам против только звука против звука плюс видео, модель, обученная на 3 448 часов | 19,1% против 1,0% против 0,9% | Ma и др., Auto-AVSR, ICASSP 2023 |
| WER на LRS3, только звук против звука плюс видео, система на основе LLM | 0,79% против 0,77% | Cappellazzo и др., Llama-AVSR, ICASSP 2025 |
| WER на LRS3, только звук против звука плюс видео, система на основе Whisper | 0,68% против 0,76% | Rouditchenko и др., Whisper-Flamingo, Interspeech 2024 |
| WER чтения по губам на LRS3, модель Google Conformer | 12,8% | Chang и др. (Google), Conformers Are All You Need for Visual Speech Recognition, 2023 |
| WER чтения по губам на LRS3, модель на основе фонем с большой языковой моделью | 18,7% | Thomas, Fish и Bowden, VALLR, arXiv 2025 (версия от 5 января 2026 года) |
| WER на телевидении BBC (LRS), только губы против только чистого звука против чистого звука плюс губы | 50,2% против 17,7% против 13,9% | Chung и др. (Oxford VGG и Google DeepMind), Lip Reading Sentences in the Wild, CVPR 2017 |
Контекст: статья об Auto-AVSR приводит эти значения для модели, обученной на 3 448 часов, а её доля ошибок только по губам на наборе LRS2 на основе BBC была ниже и составила 14,6% против 1,5% только по звуку. У этих моделей общий тестовый набор, но разные обучающие данные, поэтому результаты нельзя сравнивать на равных условиях. У систем, работающих только со звуком, есть и собственные виды сбоев помимо обычных ошибок в словах, о них рассказано в нашей статистике галлюцинаций при распознавании речи.
2. Насколько видео помогает распознаванию речи при низком SNR
Именно здесь видео губ оправдывает своё место. С ростом шума ошибка только по звуку резко растёт, а аудиовизуальная растёт медленно, поэтому разрыв увеличивается именно там, где чаще всего подводят субтитры и голосовые интерфейсы. Аудиовизуальная модель Meta показала в среднем 5,8% WER в шуме против 25,8% у версии только со звуком на 4 типах шума и 5 уровнях SNR от -10 до 10 дБ (Shi, Hsu и Mohamed, Interspeech 2022).
Тип шума имеет значение. Шум многоголосого разговора на фоне меньше всего повредил модели только со звуком в приведённых ниже тестах при -7,5 дБ, но он же использовался при обучении, поэтому авторы предупреждают, что эти результаты нельзя напрямую сравнивать с результатами для розового и белого шума (широкополосное шипение). Именно эти два типа шума дали самые большие разрывы.
| Показатель | Значение | Источник |
|---|---|---|
| WER при SNR -7,5 дБ, только звук против звука плюс видео: белый шум; розовый шум; шум многоголосого разговора | 88,9% против 24,2%; 56,8% против 16,2%; 8,3% против 5,6% | Ma и др., Auto-AVSR, ICASSP 2023 |
| WER при белом шуме и SNR 2,5 дБ, только звук против звука плюс видео | 10,4% против 4,3% | Ma и др., Auto-AVSR, ICASSP 2023 |
| Средняя WER на 4 типах шума и 5 уровнях SNR (от -10 до 10 дБ), модель только со звуком против аудиовизуальной модели на основе AV-HuBERT | 25,8% против 5,8% | Shi, Hsu и Mohamed (Meta AI), Robust Self-Supervised Audio-Visual Speech Recognition, Interspeech 2022 |
| WER при шуме многоголосого разговора, прежний лучший результат на 433 размеченных часах против AV-HuBERT на 30 размеченных часах | 28,0% против 14,1% | Shi, Hsu и Mohamed (Meta AI), Interspeech 2022 |
| Английская WER при шуме многоголосого разговора и SNR 0 дБ (тест MuAViC), Whisper-Large только со звуком против аудиовизуальной Whisper-Flamingo | 13,8% против 7,2% | Rouditchenko и др., Whisper-Flamingo, Interspeech 2024 |
| WER на телевидении BBC при SNR 10 дБ и 0 дБ, только звук против звука плюс губы | 37,6% и 62,9% против 27,6% и 42,0% | Chung и др. (Oxford VGG и Google DeepMind), CVPR 2017 |
Замечание о выбросах: данные BBC за 2017 год получены на заметно более слабом поколении моделей, но показывают ту же закономерность при более высоком уровне ошибок. При 0 дБ добавление губ снизило ошибку на 20,9 пункта (62,9 минус 42,0); при белом шуме -7,5 дБ в 2023 году снижение составило 64,7 пункта (88,9 минус 24,2). Самые свежие доступные данные для этого сравнения на материале BBC: исследование 2017 года.
3. Люди, читающие по губам, как эталон
Чтение по губам у человека гораздо сложнее, чем принято думать. Молодые взрослые с нормальным слухом распознали лишь 12,4% слов по беззвучному видео произносимых предложений (Altieri, Pisoni и Townsend, JASA 2011). Привычка всю жизнь опираться на лицо существенно повышает этот показатель: взрослые, рано потерявшие слух, прочитали более чем вдвое больше слов, чем слышащие взрослые (Auer и Bernstein, JSLHR 2007).
Машины обогнали обученных профессионалов на эталонном видео уже несколько лет назад, но у сравнения есть пределы. Человеческие эталоны опираются на малые выборки: 300 видео и 3 чтеца по губам в LipNet, 200 видео и один профессионал в исследовании BBC. Этот профессионал видел, из какой передачи взят каждый ролик, изучал образцы обучающих видео и мог пересматривать ролики без ограничений, поэтому человеческий результат не соответствует чтению с чистого листа. О школьной стороне образования глухих читайте в нашей статистике образования глухих и слабослышащих учащихся.
| Показатель | Значение | Источник |
|---|---|---|
| Верные слова по беззвучному видео предложений CUNY, 84 студента колледжа с нормальным слухом | 12,4% (СО 6,67%) | Altieri, Pisoni и Townsend (Indiana University), Some normative data on lip-reading skills, JASA 2011 |
| Верные слова по беззвучному видео 30 предложений, взрослые с потерей слуха, возникшей в раннем возрасте (n = 112), против взрослых с нормальным слухом (n = 220) | 43,55% (СО 17,48) против 18,57% (СО 13,18); t(330) = 14,576, p < 0,01 | Auer и Bernstein, JSLHR 2007 |
| Согласные, распознанные по беззвучному видео без маски: дети с нормальным слухом против детей с потерей слуха против взрослых с нормальным слухом | около 31% против 33% против 42% | Lalonde, Buss, Miller и Leibold, Frontiers in Psychology 2022 |
| WER на предложениях GRID от незнакомых говорящих, 3 слабослышащих чтеца по губам против LipNet | 47,7% против 11,4% | Assael и др. (University of Oxford и Google DeepMind), LipNet 2016 |
| WER на тестовых роликах BBC, один профессиональный чтец по губам против модели только по губам | 73,8% против 50,2% (87,6% у человека, если учитывать ролики, от которых он отказался) | Chung и др. (Oxford VGG и Google DeepMind), CVPR 2017 |
| WER на роликах YouTube, профессиональные чтецы по губам без контекста против с контекстом против машинной системы | 92,9% против 86,4% против 40,9% | Shillingford и др. (DeepMind и Google), Large-Scale Visual Speech Recognition 2018 |
| Визуальный выигрыш для взрослых с нормальным слухом (снижение SNR, необходимое для верного распознавания половины ключевых слов), чёткая речь против речи с шумовым вокодированием | 3,74 дБ (СО 2,67) против 4,68 дБ (СО 3,28) | Blackburn и др., Trends in Hearing 2019 |
Контекст: в эксперименте 1 исследования Blackburn слушатели в среднем распознавали лишь 1,56% слов по одному видео, но возможность видеть говорящего всё равно улучшала их пороги по сравнению с одним звуком (значения 3,74 дБ и 4,68 дБ получены в эксперименте 2). Чтение по губам лучше всего работает как дополнение к звуку, и для машин, и для людей. Речь с шумовым вокодированием - это звук, намеренно ухудшенный удалением тонких деталей. Самые свежие доступные данные по нормативным человеческим результатам: Altieri и др., 2011, и Auer и Bernstein, 2007.
4. Наборы данных для чтения по губам: часы, говорящие и словарь
Исследования чтения по губам опираются на горстку открытых наборов данных, собранных из телевизионных передач и выступлений TED. Эталон LRS3 содержит более 400 часов из 5 594 выступлений TED и TEDx, но его тестовый набор составляет всего 1 час (Afouras, Chung и Zisserman, LRS3-TED 2018). Целая область ранжирует свои модели по 1 452 тестовым высказываниям, и это одна из причин, почему важен раздел 6.
Крупнейшие обучающие наборы принадлежат индустрии. Набор LSVSR с YouTube на 3 886 часов почти в десять раз больше набора для предварительного обучения LRS3 (3 886, делённое на 407, равно 9,5), тогда как открытые исследования компенсируют это разметкой, созданной машинами, и самоконтролируемым предварительным обучением.
| Показатель | Значение | Источник |
|---|---|---|
| LRS3-TED: общий объём видео и исходные выступления; размер тестового набора | более 400 часов из 5 594 выступлений TED и TEDx; 1 час, 1 452 высказывания, 451 говорящий | Afouras, Chung и Zisserman (Oxford VGG), LRS3-TED 2018 |
| LRS2-BBC: набор для предварительного обучения против обучающе-проверочного набора | 195 часов (96 тыс. высказываний) против 29 часов (47 тыс. высказываний) | Afouras, Chung и Zisserman (Oxford VGG), LRS3-TED 2018, таблица 1 |
| Набор LSVSR с YouTube: часы, высказывания, словарь | 3 886 часов; 2 934 899 высказываний; 127 055 слов | Shillingford и др. (DeepMind и Google), 2018 |
| Английское видео VoxCeleb2 для предварительного обучения; общий объём данных предварительного обучения AV-HuBERT | 1 326 часов; 1 759 часов | Shi и др. (Meta AI), AV-HuBERT, ICLR 2022 |
| Многоязычный аудиовизуальный корпус MuAViC | 1 200 часов на 9 языках | Anwar и др. (Meta AI), MuAViC 2023 |
| Тестовый набор WildVSR: часы, высказывания, говорящие, словарь | 4,8 часа; 2 854 высказывания; 618 говорящих; 6 040 слов | Djilali и др. (Technology Innovation Institute), Do VSR Models Generalize Beyond LRS3?, 2023 |
Контекст: части LRS3 для предварительного обучения и для обучения и проверки пересекаются по содержанию, поэтому их часы не следует суммировать. Самые свежие доступные данные по основным эталонам: статья о LRS3-TED, 2018 год. Статья о MuAViC называет себя крупнейшим открытым эталоном для многоязычного аудиовизуального распознавания речи.
5. Объём обучающих данных против точности чтения по губам
Больше видео по-прежнему покупает точность, но более продуманное обучение даёт больше на каждый час. AV-HuBERT сравнялась с системой на 31 000 часов, имея всего 30 размеченных часов: 32,5% WER против 33,6% (Shi и др., Meta AI, ICLR 2022). Основную работу выполнило самоконтролируемое предварительное обучение на неразмеченном видео: та же архитектура, обученная с нуля на этих 30 часах, показала 92,3%.
Часы по-прежнему важны, но не решают исход ранжирования. Переход с 818 на 3 448 часов обучения снизил ошибку чтения по губам на LRS3 на 13,9 пункта (33,0 минус 19,1). Два гораздо более крупных запуска из таблицы ниже затем отличаются на 4,2 пункта: 17,0% при примерно 90 000 часов и 12,8% при 100 тыс. часов, что указывает на роль архитектуры наряду с объёмом.
| Показатель | Значение | Источник |
|---|---|---|
| WER чтения по губам на LRS3 при 818 против 1 902 против 3 448 часов обучения (модель, обученная примерно на 90 000 непубличных часов: 17,0%) | 33,0% против 23,5% против 19,1% | Ma и др., Auto-AVSR, ICASSP 2023 |
| WER чтения по губам на LRS3, AV-HuBERT с 30 размеченными часами против всех 433 размеченных часов плюс самообучение (прежний лучший результат: 33,6% на 31 000 часов) | 32,5% против 26,9% | Shi и др. (Meta AI), AV-HuBERT, ICLR 2022 |
| WER чтения по губам на LRS3, та же крупная архитектура, обученная с нуля на 30 против 433 размеченных часов | 92,3% против 62,3% | Shi и др. (Meta AI), AV-HuBERT, ICLR 2022, таблица 1 |
| Размеченные данные, использованные системой чтения по губам на основе фонем, по сравнению со следующим по результату подходом | на 99,4% меньше (при 18,7% WER на LRS3) | Thomas, Fish и Bowden, VALLR, arXiv 2025 |
| Обучающее видео, стоящее за 12,8% WER чтения по губам у Google на LRS3 | 100 тыс. часов транскрибированных сегментов YouTube, затем тонкая настройка на LRS3 (более 400 часов) | Chang и др. (Google), Conformers Are All You Need for Visual Speech Recognition, 2023 |
Контекст: более крупные языковые модели тоже не дают короткого пути. Jain и Harte (arXiv, сентябрь 2025 года) делают вывод, что декодеры на основе больших языковых моделей в основном улучшают рассуждение по контексту, а не визуальные признаки, и что для дальнейшего прогресса нужны более сильные визуальные кодировщики.
6. За пределами выступлений TED: видео в реальных условиях и чтение по губам не на английском
Эталонная WER льстит чтению по губам. Когда исследователи собрали новый тестовый набор из видео YouTube, максимально близко следуя процессу создания LRS3, передовые модели чтения по губам потеряли в среднем 30 пунктов WER (Djilali и др., WildVSR 2023). Звук изменился гораздо меньше: у Whisper показатель вырос с 1,1% до 4,2%. Однако рейтинг моделей сохранился, поэтому более высокий результат на LRS3 по-прежнему предсказывает более высокий результат на WildVSR.
Язык - второе слепое пятно. Метод, показавший 31,5% WER на английском LRS3, на выступлениях в стиле TED на испанском, итальянском и французском показал 56,3% или хуже (Ma, Petridis и Pantic, Nature Machine Intelligence 2022). Самые свежие доступные данные по чтению по губам не на английском: эта статья 2022 года.
| Показатель | Значение | Источник |
|---|---|---|
| Средний рост WER у передовых моделей чтения по губам при переходе с LRS3 на WildVSR | 30 пунктов | Djilali и др., WildVSR 2023 |
| WER чтения по губам, лучшая из протестированных моделей (Auto-AVSR, 3 448 часов), LRS3 против WildVSR | 19,1% против 38,6% | Djilali и др., WildVSR 2023, таблица 2 |
| WER только по звуку, Whisper, LRS3 против WildVSR | 1,1% против 4,2% | Djilali и др., WildVSR 2023, таблица 2 |
| Подобранная зависимость между WER на WildVSR и WER на LRS3 по моделям | WER на WildVSR = около 1,31 x WER на LRS3 + 14,05 | Djilali и др., WildVSR 2023 |
| WER чтения по губам, модель с декодером Llama-2-13B, LRS3 против WildVSR | 24,7% против 47,0% | Jain и Harte, From Hype to Insight, arXiv 2025 |
| Ошибка чтения по губам по языкам, лучший запуск: доля ошибочных символов для китайского (CMLR) против доли ошибочных слов для испанского, итальянского и французского (Multilingual TEDx) | 8,0% против 56,3%, 57,4% и 66,2% | Ma, Petridis и Pantic, Nature Machine Intelligence 2022 |
Контекст: для китайского считаются ошибки на символ, а не на слово, поэтому это значение нельзя напрямую сравнивать со значениями WER. Разрыв на WildVSR для лучшей модели составляет 19,5 пункта (38,6 минус 19,1), то есть ниже среднего в 30 пунктов, что согласуется с выводом авторов о том, что более сильные модели деградируют меньше.
7. Приватность, наблюдение и доступность
Задокументированное беспокойство о приватности конкретно: на CCTV указывают сами исследователи. Ma, Petridis и Pantic называют визуальное распознавание речи «технологией двойного назначения», которую «можно применять для наблюдения через CCTV или даже через камеры смартфонов, что вызывает опасения за приватность», и утверждают, что необходимо государственное регулирование. Они также сообщают, что в то время в больницах британской NHS проходило испытание приложения для смартфонов, помогающего общаться людям с нарушениями речи. Уполномоченный по камерам видеонаблюдения (Surveillance Camera Commissioner) Великобритании Tony Porter в августе 2019 года предупредил о приближающихся технологиях наблюдения на основе чтения по губам (Big Brother Watch, 28 августа 2019 года).
Противовес - технический. Исследователи Oxford VGG оценивают прослушивание через CCTV как «очень низкий риск», потому что камеры «обычно работают с гораздо более низким разрешением и частотой кадров и под необычными углами» (Prajwal, Afouras и Zisserman, 2021). Система на 3 886 часов обучалась только на лицах, повёрнутых не более чем на 30 градусов относительно камеры, и её авторы говорят, что в других условиях она работает плохо (Shillingford и др., 2018). Довод в пользу доступности опирается на большую группу людей: в информационном бюллетене ВОЗ субтитры и чтение по губам названы среди средств поддержки при потере слуха. ИИ визуального языка за пределами губ рассмотрен в нашей статистике ИИ для жестового языка и компьютерного зрения.
| Показатель | Значение | Источник |
|---|---|---|
| Условия обучения системы чтения по губам на 3 886 часов: угол головы; минимальный размер лица; минимальная частота кадров | рыскание и тангаж в пределах плюс-минус 30 градусов; не менее 80 пикселей между глазами; ролики с частотой ниже 23 кадров в секунду удалены | Shillingford и др. (DeepMind и Google), 2018 |
| Минимальная высота закрытых губ в видео для надёжного автоматического чтения по губам | 4 пикселя | Bear, Harvey, Theobald и Lan, Resolution limits on visual speech recognition, ICIP 2014 |
| Самое низкое протестированное разрешение видео в исследовании разрешения против исходника в Full HD | 42 x 32 против 1440 x 1080 пикселей (протестировано 18 разрешений) | Bear, Harvey, Theobald и Lan, ICIP 2014 |
| Люди, нуждающиеся в реабилитации из-за инвалидизирующей потери слуха | 430 миллионов (более 5% населения мира) | Всемирная организация здравоохранения, информационный бюллетень Deafness and hearing loss, 3 марта 2026 года |
| Люди, у которых к 2050 году, по прогнозам, будет та или иная степень потери слуха, против инвалидизирующей потери слуха | почти 2,5 миллиарда против более 700 миллионов | Всемирная организация здравоохранения, информационный бюллетень Deafness and hearing loss, 3 марта 2026 года |
| Ежегодные глобальные расходы из-за нерешённой проблемы потери слуха | почти US$1 триллион | Всемирная организация здравоохранения, информационный бюллетень Deafness and hearing loss, 3 марта 2026 года |
Контекст: в исследовании Bear и др. использовалось около 30 минут видео двух говорящих, поэтому нижняя граница в 4 пикселя - ориентировочный предел, а не гарантия. Самые свежие доступные данные по пределу разрешения: Bear и др., 2014.
Итоги: WER при чтении по губам и визуальном распознавании речи в цифрах
| Показатель | Значение | Источник |
|---|---|---|
| WER при SNR -7,5 дБ в белом шуме, только звук против звука плюс видео | 88,9% против 24,2% | Ma и др., Auto-AVSR, ICASSP 2023 |
| Средняя WER на 4 типах шума и 5 уровнях SNR, модель только со звуком против аудиовизуальной модели | 25,8% против 5,8% | Shi, Hsu и Mohamed (Meta AI), Interspeech 2022 |
| Английская WER при шуме многоголосого разговора 0 дБ, Whisper-Large только со звуком против Whisper-Flamingo | 13,8% против 7,2% | Rouditchenko и др., Whisper-Flamingo, Interspeech 2024 |
| WER на LRS3, только звук против звука плюс видео, система на основе LLM | 0,79% против 0,77% | Cappellazzo и др., Llama-AVSR, ICASSP 2025 |
| WER чтения по губам на LRS3, модель Google Conformer | 12,8% | Chang и др. (Google), 2023 |
| WER чтения по губам на LRS3, модель на основе фонем с на 99,4% меньшим объёмом размеченных данных | 18,7% | Thomas, Fish и Bowden, VALLR, arXiv 2025 |
| WER чтения по губам на LRS3, AV-HuBERT с 30 размеченными часами против прежнего лучшего результата на 31 000 часов | 32,5% против 33,6% | Shi и др. (Meta AI), AV-HuBERT, ICLR 2022 |
| Средний рост WER у передовых моделей чтения по губам при переходе с LRS3 на WildVSR | 30 пунктов | Djilali и др., WildVSR 2023 |
| WER чтения по губам, модель с декодером Llama-2-13B, LRS3 против WildVSR | 24,7% против 47,0% | Jain и Harte, arXiv 2025 |
| Верные слова в беззвучных предложениях, 84 студента колледжа с нормальным слухом | 12,4% | Altieri, Pisoni и Townsend, JASA 2011 |
| Верные слова в беззвучных предложениях, потеря слуха в раннем возрасте против нормального слуха | 43,55% против 18,57% | Auer и Bernstein, JSLHR 2007 |
| WER на роликах YouTube, профессиональные чтецы по губам (без контекста и с контекстом) против машины | 92,9% и 86,4% против 40,9% | Shillingford и др. (DeepMind и Google), 2018 |
| WER на роликах BBC, профессиональный чтец по губам против модели только по губам | 73,8% против 50,2% | Chung и др. (Oxford VGG и Google DeepMind), CVPR 2017 |
| Визуальный выигрыш в шуме для чёткой речи, взрослые с нормальным слухом | 3,74 дБ | Blackburn и др., Trends in Hearing 2019 |
| Видео и выступления LRS3-TED | более 400 часов, 5 594 выступления | Afouras, Chung и Zisserman (Oxford VGG), 2018 |
| Минимальная высота закрытых губ в видео для надёжного автоматического чтения по губам | 4 пикселя | Bear и др., ICIP 2014 |
| Люди, нуждающиеся в реабилитации из-за инвалидизирующей потери слуха | 430 миллионов | Всемирная организация здравоохранения, 2026 |
Методология и источники
- Ma и др., Auto-AVSR: Audio-Visual Speech Recognition with Automatic Labels, ICASSP 2023: разрыв между модальностями, таблицы устойчивости к шуму и масштабирование обучающих данных.
- Cappellazzo и др., Large Language Models are Strong Audio-Visual Speech Recognition Learners (Llama-AVSR), ICASSP 2025: WER по звуку и аудиовизуальная WER на LRS3.
- Rouditchenko и др., Whisper-Flamingo, Interspeech 2024: WER при чистом звуке и при шуме многоголосого разговора для Whisper только со звуком и аудиовизуальной.
- Chang и др. (Google), Conformers Are All You Need for Visual Speech Recognition, 2023: 12,8% WER чтения по губам на LRS3 и его обучающий набор на 100 тыс. часов.
- Thomas, Fish и Bowden, VALLR: Visual ASR Language Model for Lip Reading, arXiv 2025: 18,7% WER и эффективность использования размеченных данных.
- Jain и Harte, From Hype to Insight: Rethinking Large Language Model Integration in Visual Speech Recognition, arXiv, сентябрь 2025 года: результаты декодеров на основе LLM на LRS3 и WildVSR.
- Meta AI: Shi и др., AV-HuBERT, ICLR 2022 и Shi, Hsu и Mohamed, Robust Self-Supervised Audio-Visual Speech Recognition, Interspeech 2022: эффективность использования данных и устойчивость к шуму.
- Anwar и др. (Meta AI), многоязычный аудиовизуальный корпус MuAViC, 2023: размер корпуса и охват языков.
- Oxford VGG: Afouras, Chung и Zisserman, LRS3-TED, 2018 и Prajwal, Afouras и Zisserman, Sub-word Level Lip Reading With Visual Attention, 2021: размеры наборов данных и оценка риска CCTV.
- Chung и др., Lip Reading Sentences in the Wild, CVPR 2017: результаты BBC по губам и по звуку, результаты в шуме и эталон профессионального чтеца по губам.
- Assael и др., LipNet: End-to-End Sentence-level Lipreading, 2016: результаты на корпусе предложений GRID и эталон слабослышащих чтецов по губам.
- Shillingford и др., Large-Scale Visual Speech Recognition, 2018: набор LSVSR, WER профессиональных чтецов по губам, ограничения по углу лица и разрешению.
- Djilali и др., Do VSR Models Generalize Beyond LRS3? (WildVSR), 2023: разрыв обобщения в реальных условиях.
- Ma, Petridis и Pantic, Visual Speech Recognition for Multiple Languages in the Wild, Nature Machine Intelligence 2022: WER не на английском и обсуждение двойного назначения и приватности.
- Altieri, Pisoni и Townsend, Some normative data on lip-reading skills, JASA 2011: человеческие результаты на предложениях только по видео.
- Auer и Bernstein, Enhanced visual speech perception in individuals with early-onset hearing impairment, JSLHR 2007: результаты чтения по губам у глухих и слышащих.
- Blackburn и др., Visual Speech Benefit in Clear and Degraded Speech, Trends in Hearing 2019: визуальный выигрыш в децибелах.
- Lalonde, Buss, Miller и Leibold, Face Masks Impact Auditory and Audiovisual Consonant Recognition in Children With and Without Hearing Loss, Frontiers in Psychology 2022: результаты распознавания согласных только по видео для детей и взрослых.
- Bear, Harvey, Theobald и Lan, Resolution limits on visual speech recognition, ICIP 2014: минимальное разрешение губ.
- Всемирная организация здравоохранения, информационный бюллетень Deafness and hearing loss, 3 марта 2026 года: распространённость потери слуха, прогнозы и расходы.
- Big Brother Watch, 28 августа 2019 года: сообщение о предупреждении британского уполномоченного по камерам видеонаблюдения о наблюдении на основе чтения по губам.
- Наблюдение по данным: результаты на тестовом наборе LRS3 нельзя сравнивать на равных условиях между статьями, обучающимися на разных данных, а тестовые наборы крошечные (1 час для LRS3). Несколько статей заявляют о лучшем на тот момент результате в разные даты: 0,79% и 0,77% у Llama-AVSR соседствуют с 0,68% и 0,76% у Whisper-Flamingo, а 18,7% у VALLR соседствуют с более низкими 12,8% у Google, которая использовала намного больше размеченных данных. VALLR и исследование Jain и Harte - препринты без указанной рецензируемой площадки. Часы одного и того же набора данных различаются по источникам: в статье о LRS3-TED указаны 407 часов предварительного обучения, а наборы LRS2-BBC для предварительного обучения и для обучения и проверки составляют 195 и 29 часов, тогда как Ma, Petridis и Pantic насчитывают 438 часов для LRS3 и 223 часа для LRS2. В статье о WildVSR для подгонки приведены два наклона (1,31 и 1,30), а в её приложении B сказано, что Whisper показывает менее 4 WER на обоих тестовых наборах, что противоречит значению 4,2 в её таблице 2. Размер модели Whisper там тоже не указан. Человеческие эталоны опираются на очень малые группы (один профессионал в исследовании BBC, три слабослышащих чтеца по губам в LipNet), а нормативные человеческие данные относятся к 2007 и 2011 годам. В исследовании Lalonde маски моделировались, а не надевались говорящими. Мы не нашли ни одного рецензируемого измерения точности чтения по губам на реальных записях CCTV: приведённые здесь опасения по поводу наблюдения - это задокументированные предупреждения, а не измеренные случаи применения.
Последнее обновление: 31 октября 2026 года. Мы обновляем этот обзор ежеквартально, и следующее обновление ожидается, когда в сборниках трудов ICASSP 2027 и Interspeech 2027 появятся новые результаты на LRS3 и WildVSR.