В стандартном тесте синхронизации SyncNet модель говорящего лица VASA-1 набирает 8,841, что выше 7,640 у реальных видео, с которыми её сравнивают (Microsoft Research Asia, статья о VASA-1, 2024). Эта единственная цифра объясняет большую часть происходящего в области в 2026 году: модели теперь обходят реальную съёмку по метрике, созданной для их оценки, поэтому пользовательские исследования и показатели скорости важны как никогда. Модель лица для телеприсутствия в реальном времени выигрывает 84,59% A/B-сравнений у более медленной DiffPoseTalk (Meta и Сеульский национальный университет, SIGGRAPH Asia 2025), а объём 3D-данных для обучения вырос с типичных менее 1 часа до 18,5 часа (статья об UniTalker, arXiv 2024). При этом зрители распознают дипфейки в 55,54% случаев, лишь немногим лучше подбрасывания монеты (Diel et al., Computers in Human Behavior Reports 2024). Мы собрали данные NVIDIA Research, ByteDance, European Broadcasting Union, Unity и десятка бенчмарк-статей университетских и промышленных лабораторий. Если вы пришли со стороны распознавания, наша статистика чтения по губам и визуального распознавания речи охватывает обратную задачу: считывание слов с губ вместо генерации губ по словам.
Кратко (TL;DR)
- VASA-1 получает уверенность SyncNet 8,841 на VoxCeleb2 против 7,640 у реального видео (Microsoft Research Asia, статья о VASA-1, 2024).
- LatentSync снижает FVD на HDTF до 162,74 с 304,35 у Wav2Lip (ByteDance, статья о LatentSync, 2025).
- Ошибка вершин губ на BIWI-Test-A упала с 6,5563 (VOCA) до 4,3646 (TalkingStyle) x 10^-4 мм (статья о GLDiTalker, arXiv 2025).
- UniTalker увеличил объём данных для обучения 3D-лица с типичных менее 1 часа до 18,5 часа (статья об UniTalker, arXiv 2024).
- 92,47% A/B-оценок предпочли CodeTalker модели VOCA по синхронизации губ на BIWI (статья о CodeTalker, arXiv 2023).
- Модель лица для телеприсутствия в реальном времени работает за 10 мс времени GPU против 1,3 с у Audio2Photoreal (Meta и Сеульский национальный университет, SIGGRAPH Asia 2025).
- Audio2Face-3D v3.0 достигает 3 269 FPS на одной RTX 4090 с TensorRT (NVIDIA, статья об Audio2Face-3D, 2025).
- 36% специалистов игровой индустрии используют инструменты генеративного ИИ, а 52% говорят, что он вредит индустрии (GDC, 2026 State of the Game Industry).
- Лишь около 12,4% дублированной речи в кадре сохраняют ту же визему, что и в оригинале (AWS AI Labs и MIT, Dubbing in Practice, TACL 2023).
- Синхронизация губ в телевещании должна укладываться в 40 мс опережения и 60 мс запаздывания на всём тракте (рекомендация EBU R37-2007).
- Точность распознавания дипфейков людьми в среднем составляет 55,54% (95% ДИ от 48,87 до 62,10) по 86 155 участникам (Diel et al., Computers in Human Behavior Reports 2024).
- Детекторы дипфейк-видео с открытым кодом теряют 50% AUC на реальном контенте 2024 года (бенчмарк Deepfake-Eval-2024, 2025).
1. Бенчмарки точности синхронизации губ для видео говорящего лица
В статьях по 2D-синхронизации губ доминируют два семейства показателей. Уверенность SyncNet (указывается как LSE-C или Sync_conf, больше - лучше) и расстояние SyncNet (LSE-D, меньше - лучше) берутся из сети, обученной оценивать, соответствует ли движение рта звуку. FID и FVD (расстояние Фреше для изображений и для видео, меньше - лучше) измеряют, насколько сгенерированные кадры и клипы отличаются от настоящих.
Главный результат парадоксален. VASA-1 показывает уверенность SyncNet 8,841 на VoxCeleb2, тогда как реальные видео набирают 7,640 (Microsoft Research Asia, статья о VASA-1, 2024). Модель, которая в этом тесте «синхроннее реальности», не становится реалистичнее: её FVD25 равен 105,88 против 29,25 у реального видео. Синхронизация по метрике почти решена, визуальный реализм - нет. LatentSync показывает второй рычаг: отказ от супервизии SyncNet снижает уверенность синхронизации с 8,9 до 4,6, что совпадает с выводом авторов: латентные диффузионные модели осваивают визуальные обходные пути вместо связи звука с губами, если в обучение не встроен судья синхронизации (ByteDance, статья о LatentSync, 2025).
| Показатель | Значение | Источник |
|---|---|---|
| Уверенность SyncNet на тестовом наборе VoxCeleb2: VASA-1 против реального видео (больше - лучше) | 8,841 против 7,640 | Microsoft Research Asia, статья о VASA-1, 2024 |
| FVD25 на наборе OneMin-32: VASA-1 против реального видео против SadTalker (меньше - лучше) | 105,88 против 29,25 против 214,51 | Microsoft Research Asia, статья о VASA-1, 2024 |
| Уверенность SyncNet (Sync_conf) на HDTF: LatentSync против Wav2Lip против MuseTalk | 8,9 против 8,2 против 6,8 | ByteDance, статья о LatentSync, 2025 |
| FVD на HDTF: LatentSync против Wav2Lip (меньше - лучше) | 162,74 против 304,35 | ByteDance, статья о LatentSync, 2025 |
| FID на HDTF: LatentSync против Wav2Lip (меньше - лучше) | 7,22 против 12,5 | ByteDance, статья о LatentSync, 2025 |
| Sync_conf на HDTF: LatentSync без супервизии SyncNet против SyncNet в пространстве пикселей | 4,6 против 8,9 | ByteDance, статья о LatentSync, 2025 |
| Точность судьи SyncNet на тестовом наборе HDTF: StableSyncNet против предыдущего лучшего | 94% против 91% | ByteDance, статья о LatentSync, 2025 |
Примечание к контексту: Wav2Lip, модель 2020 года, популяризировавшая обучение на основе SyncNet (статья о Wav2Lip, ACM Multimedia 2020), по-прежнему встречается в качестве базовой линии почти во всех таблицах 2025 года. Её показатели разнятся от статьи к статье: LatentSync сообщает Sync_conf 8,2 на HDTF, а отдельная оценка приводит LSE-C 9,054 на HDTF (см. раздел 3). Значения бенчмарков сопоставимы только в рамках схемы оценки одной статьи.
2. 3D-лица, управляемые речью: ошибка вершин губ и данные для обучения
Для 3D-лиц (сеток, используемых в играх, VR и кино) стандартной метрикой служит ошибка вершин губ (LVE): наибольшее покадровое расстояние между сгенерированными и снятыми вершинами губ, усреднённое по кадрам. Меньше - лучше. На бенчмарке BIWI-Test-A LVE упала с 6,5563 у VOCA до 4,3646 у TalkingStyle (x 10^-4 мм), то есть на 33% по нашим расчётам (2,1917, делённое на 6,5563), за несколько поколений моделей (статья о GLDiTalker, arXiv, пересмотрена в 2025 году).
Более важная история - нехватка данных. Два бенчмарк-набора, на которых обучается область, крошечные: VOCASET содержит 480 последовательностей по примерно 4 секунды каждая, а в BIWI 14 дикторов читают 40 предложений (статья о CodeTalker, arXiv 2023). UniTalker атаковал это узкое место, объединив восемь наборов данных и увеличив объём обучающих данных до 18,5 часа, что снизило LVE на 9,2% на BIWI и на 13,7% на VOCASET (статья об UniTalker, arXiv 2024). Такой выигрыш только за счёт данных говорит о том, что следующие скачки придут от бюджетов на съёмку, а не от архитектуры.
| Показатель | Значение | Источник |
|---|---|---|
| Ошибка вершин губ на BIWI-Test-A: VOCA против FaceFormer (x 10^-4 мм, меньше - лучше) | 6,5563 против 5,3077 | Статья о GLDiTalker, arXiv 2025 (Таблица 1) |
| Ошибка вершин губ на BIWI-Test-A: CodeTalker против FaceDiffuser (x 10^-4 мм) | 4,7914 против 4,7823 | Статья о GLDiTalker, arXiv 2025 (Таблица 1) |
| Ошибка вершин губ на BIWI-Test-A: TalkingStyle против GLDiTalker (x 10^-4 мм) | 4,3646 против 4,6440 | Статья о GLDiTalker, arXiv 2025 (Таблица 1) |
| Данные для обучения 3D-лица: широко используемые наборы против UniTalker | обычно менее 1 часа против 18,5 часа | Статья об UniTalker, arXiv 2024 |
| Снижение ошибки вершин губ благодаря единому обучению UniTalker: BIWI против VOCASET | 9,2% против 13,7% | Статья об UniTalker, arXiv 2024 |
| Среднее снижение ошибки по бенчмарку A2F-Bench | 6,3% | Статья об UniTalker, arXiv 2024 |
| Размер VOCASET: последовательности, дикторы, частота съёмки, вершины сетки | 480 последовательностей, 12 дикторов, 60 кадр/с, 5 023 вершины | Статья о CodeTalker, arXiv 2023 |
| Размер BIWI: дикторы, предложения, частота съёмки, вершины сетки | 14 дикторов, 40 предложений, 25 кадр/с, 23 370 вершин | Статья о CodeTalker, arXiv 2023 |
Примечание к контексту: GLDiTalker - единственная модель в этой таблице, созданная для получения заметно разнообразных результатов (показатель разнообразия 8,2176 против 0 у большинства соперников), и это проектное решение работает против точного воспроизведения одной снятой дорожки губ. Самые свежие доступные данные для двух описаний наборов данных: статья 2023 года.
3. Доля предпочтений в пользовательских исследованиях
Поскольку LVE штрафует любое движение рта, отличное от снятого, даже если альтернатива выглядит правильно, статьи опираются на оценки людей. Закономерность во всех исследованиях одна: новые модели разгромно обходят самые старые базовые линии, но предыдущее поколение часто опережают с небольшим отрывом. CodeTalker выиграл 92,47% оценок синхронизации губ на BIWI у VOCA, но лишь 53,76% у FaceFormer, то есть почти как при подбрасывании монеты (статья о CodeTalker, arXiv 2023).
Системы реального времени тоже начали выигрывать эти тесты. Каузальная модель для телеприсутствия, не использующая будущее аудио, получила предпочтение в 84,59% A/B-сравнений с DiffPoseTalk и в 69,17% с Audio2Photoreal (Meta и Сеульский национальный университет, SIGGRAPH Asia 2025). А разрыв между метрикой и восприятием поддаётся измерению: в исследовании Технологического института Карлсруэ у Wav2Lip был лучший LSE-C на HDTF среди всех методов, но человеческая оценка синхронизации составила лишь 2,91 против 3,92 у модели авторов (Технологический институт Карлсруэ, статья об AV-HuBERT expert, 2024).
| Показатель | Значение | Источник |
|---|---|---|
| A/B-оценки, предпочитающие CodeTalker модели VOCA по синхронизации губ на BIWI-Test-B | 92,47% | Статья о CodeTalker, arXiv 2023 (31 участник) |
| A/B-оценки, предпочитающие CodeTalker модели FaceFormer по синхронизации губ на BIWI-Test-B | 53,76% | Статья о CodeTalker, arXiv 2023 |
| A/B-предпочтение модели лица для телеприсутствия в реальном времени перед DiffPoseTalk | 84,59% | Meta и Сеульский национальный университет, SIGGRAPH Asia 2025 |
| A/B-предпочтение модели лица для телеприсутствия в реальном времени перед Audio2Photoreal | 69,17% | Meta и Сеульский национальный университет, SIGGRAPH Asia 2025 |
| Средняя экспертная оценка (MOS) синхронизации губ на VOCASET (от 1 до 5): GLDiTalker против FaceFormer | 4,05 против 3,08 | Статья о GLDiTalker, arXiv 2025 (20 участников) |
| Человеческая оценка синхронизации на HDTF: лучшая модель против Wav2Lip, у которой был наивысший LSE-C 9,054 | 3,92 против 2,91 | Технологический институт Карлсруэ, статья об AV-HuBERT expert, 2024 (10 участников) |
Примечание к контексту: выборки небольшие. В перечисленных исследованиях участвовали 10, 20 и 31 оценщик, что типично для области и является основанием осторожно относиться к разнице предпочтений в пределах одной цифры. Дизайн исследования CodeTalker дал 372 записи оценок на набор данных по 120 парам образцов.
4. Производительность и задержка
Для 3D-риггов скорость перестала быть узким местом и стала решённой задачей. Диффузионная сеть с открытым кодом Audio2Face-3D v3.0 работает со скоростью 3 269 кадров в секунду на одной GeForce RTX 4090 с TensorRT (NVIDIA, статья об Audio2Face-3D, 2025). Секрет в дистилляции: модель обучается на 1 000 диффузионных шагов, а при выводе использует 2. Для студий практический показатель - параллельность: более старая регрессионная сеть v2.3 обслуживает 128 одновременных дорожек анимации (по одной на говорящего персонажа) при 1,3 ГБ памяти GPU.
Фотореалистичное видео остаётся намного тяжелее. VASA-1 передаёт видео 512x512 со скоростью до 40 FPS после стартовой задержки 170 мс на RTX 4090 (Microsoft Research Asia, статья о VASA-1, 2024), а MuseTalk выдаёт 30 FPS лишь при 256x256 на дата-центровом GPU V100 (статья о MuseTalk, arXiv 2024). Гонка за задержкой повторяет то, что произошло в синтезе речи, о чём рассказывает наша статистика коэффициента реального времени и стоимости вывода TTS.
| Показатель | Значение | Источник |
|---|---|---|
| Скорость диффузионной сети Audio2Face-3D v3.0, 1 дорожка, TensorRT, RTX 4090 | 3 269 кадров в секунду | NVIDIA, статья об Audio2Face-3D, 2025 |
| Скорость Audio2Face-3D v2.3 (Claire), TensorRT, RTX 4090: 1 дорожка против 8 одновременных дорожек | 453 против 413 кадров в секунду | NVIDIA, статья об Audio2Face-3D, 2025 |
| Память GPU Audio2Face-3D v2.3 с TensorRT: 8 дорожек против 128 дорожек | 0,6 ГБ против 1,3 ГБ | NVIDIA, статья об Audio2Face-3D, 2025 |
| Онлайн-генерация VASA-1 в 512x512 на одной RTX 4090: частота кадров и стартовая задержка | до 40 FPS, 170 мс | Microsoft Research Asia, статья о VASA-1, 2024 |
| Время GPU на кадр у модели лица для телеприсутствия в реальном времени на A100 | 10 мс (100 FPS), без заглядывания вперёд по аудио | Meta и Сеульский национальный университет, SIGGRAPH Asia 2025 |
| Офлайн-базовые линии в том же сравнении: Audio2Photoreal против DiffPoseTalk со стилем | 1,3 с против 11,4 с | Meta и Сеульский национальный университет, SIGGRAPH Asia 2025 |
| Видеовыход MuseTalk с синхронизацией губ на GPU V100 | 30 FPS при 256x256 | Статья о MuseTalk, arXiv 2024 |
Примечание к контексту: модель для телеприсутствия в 130 раз быстрее Audio2Photoreal по нашим расчётам (1 300 мс, делённые на 10 мс), что согласуется с заявлением самой статьи о ускорении в 100-1 000 раз по сравнению с офлайн-базовыми линиями. FPS Audio2Face-3D считает выходные кадры сети, а не отрендеренную игровую сцену.
5. Внедрение в играх и настроения разработчиков
Анимация по аудио уже поставляется, но в индустрию, резко повернувшуюся против генеративного ИИ. 52% специалистов игровой индустрии теперь говорят, что генеративный ИИ вредит индустрии, тогда как годом ранее было 30%, а за год до этого 18% (GDC, 2026 State of the Game Industry). Наиболее негативно настроена группа визуального и технического искусства: 64%, то есть те самые люди, чью работу по лицевой анимации эти инструменты автоматизируют.
Показатели использования расходятся в зависимости от того, кто отвечает. Опрос отдельных специалистов выше показывает, что генеративный ИИ используют 36%, тогда как опрос на уровне студий сообщает, что 96% студий применяют инструменты ИИ в отдельных рабочих процессах (Unity, 2025 Gaming Report). Со стороны предложения модели, SDK и фреймворк обучения Audio2Face получили открытый код 24 сентября 2025 года, при этом девять компаний названы как уже интегрирующие их (NVIDIA Developer Blog, 2025). Голосовая половина этого конвейера отслеживается в нашей статистике внедрения ИИ-голоса в диалогах NPC в играх.
| Показатель | Значение | Источник |
|---|---|---|
| Специалисты игровой индустрии, использующие инструменты генеративного ИИ в работе | 36% (из более чем 2 300 респондентов) | GDC, 2026 State of the Game Industry |
| Использование генеративного ИИ: респонденты игровых студий против издателей, компаний поддержки и маркетинга/PR | 30% против 58% | GDC, 2026 State of the Game Industry |
| Респонденты, считающие, что генеративный ИИ негативно влияет на индустрию: 2026 против предыдущего года против двух лет назад | 52% против 30% против 18% | GDC, 2026 State of the Game Industry |
| Специалисты по визуальному и техническому искусству с негативным отношением к генеративному ИИ | 64% | GDC, 2026 State of the Game Industry |
| Респонденты, считающие, что генеративный ИИ влияет положительно: 2026 против 2025 | 7% против 13% | GDC, 2026 State of the Game Industry |
| Студии, использующие инструменты ИИ в отдельных рабочих процессах | 96% | Unity, 2025 Gaming Report |
| Респонденты с положительным отношением к инструментам ИИ в разработке игр | 79% | Unity, 2025 Gaming Report |
| Компании, названные внедряющими Audio2Face при запуске открытого кода (собственное заявление вендора) | 9 компаний, плюс 2 выпущенные игры | NVIDIA Developer Blog, 24 сентября 2025 года |
Примечание к контексту: девять названных компаний - Convai, Codemasters, GSC Games World, Inworld AI, NetEase, Reallusion, Perfect World Games, Streamlabs и UneeQ; две игры - Alien: Rogue Incursion Evolved Edition (Survios) и Chernobylite 2: Exclusion Zone (The Farm 51). Ни одна из цитат студий не привела цифру сэкономленного времени.
6. Реальность дубляжа и допуски синхронизации в телевещании
Визуальный дубляж на основе ИИ обещает подогнать переведённую речь под рот актёра. Базовая линия, с которой он конкурирует, свободнее, чем принято думать. В 319,57 часа профессионально дублированных с английского на немецкий и испанский телепередач и фильмов лишь около 12,4% времени речи в кадре имели ту же визему в дубляже, что и в оригинале (AWS AI Labs и MIT, Dubbing in Practice, TACL 2023). Визема - это видимая форма рта для группы звуков (например, п, б и м смыкают губы). Живые дублёры попадают в формы рта несколько чаще, когда говорящий находится в кадре, однако авторы делают вывод, что для профессионалов естественность голоса и качество перевода важнее строгой синхронизации губ.
Тайминг - более жёсткое ограничение. Изохрония (начало и конец дублированной речи совпадают с началом и концом оригинальной) дала среднее перекрытие 0,658. Телевещатели, в свою очередь, устанавливают жёсткие пределы смещения аудио относительно видео: звук может опережать изображение не более чем на 40 мс и отставать не более чем на 60 мс, и эти значения заданы там, где рассогласование становится заметным для 50% наблюдателей (рекомендация EBU R37-2007). Любой конвейер живого аватара наследует этот бюджет, поэтому стартовую задержку генератора (170 мс у VASA-1, см. раздел 4) нужно компенсировать задержкой аудио, иначе результат не пройдёт проверку для вещания.
| Показатель | Значение | Источник |
|---|---|---|
| Проанализированный профессионально дублированный корпус: часы, названия, эпизоды | 319,57 часа, 54 названия, 674 эпизода | AWS AI Labs и MIT, Dubbing in Practice, TACL 2023 |
| Доля времени речи в кадре с той же виземой в оригинале и дубляже | около 12,4% | AWS AI Labs и MIT, Dubbing in Practice, TACL 2023 |
| Среднее (медианное) перекрытие времени речи между оригинальной и дублированной репликой | 0,658 (0,731) | AWS AI Labs и MIT, Dubbing in Practice, TACL 2023 |
| Перекрытие времени речи для говорящих в кадре против говорящих за кадром | 0,684 против 0,662 | AWS AI Labs и MIT, Dubbing in Practice, TACL 2023 |
| Дублированные реплики, длиннее английского оригинала по числу символов не менее чем на 10%: немецкий против испанского | 53% против 30% | AWS AI Labs и MIT, Dubbing in Practice, TACL 2023 |
| Предел вещания на всём тракте для звука относительно изображения: звук раньше против звука позже | не более 40 мс против не более 60 мс | Рекомендация EBU R37-2007 |
| Точность синхронизации, требуемая на каждом этапе производства: звук раньше против звука позже | 5 мс против 15 мс | Рекомендация EBU R37-2007 |
Примечание к контексту: самые свежие доступные данные: исследование корпуса дубляжа, 2023 год, и EBU R37, 2007 год (всё ещё действующая рекомендация EBU). Исследование дубляжа также показало, что 4,3% дублированных реплик не имели никакого временного перекрытия с оригиналом, а оценки качества перевода значимо не различались между репликами в кадре и за кадром (COMET-QE p = 0,349).
7. Восприятие и ракурс распознавания дипфейков
Те же модели, что анимируют персонажей игр, способны подделать речь реального человека. Распознавание получается односторонним. По 56 статьям и 86 155 участникам люди распознавали дипфейки с точностью 55,54% (95% ДИ от 48,87 до 62,10), что статистически не выше случайного уровня, а для видео - лишь 57,31% (Diel et al., Computers in Human Behavior Reports 2024). Обучение с обратной связью, поддержка ИИ или карикатуризация подняли точность до 65,14%.
Машины, специализирующиеся на синхронизации губ, в лаборатории справляются гораздо лучше, но слабое место - обобщение. Детектор LipFD, который ищет рассогласование по времени между аудио и движением губ, сообщает о средней точности более 95,3% и до 90,2% в реальных условиях, например в видеозвонках WeChat (Lips Are Lying, статья о LipFD, arXiv 2024). На дипфейках, реально ходивших в 2024 году, детекторы видео с открытым кодом потеряли 50% AUC (площадь под ROC-кривой, где 1,0 - идеал, а 0,5 - случайный уровень) по сравнению с более старыми бенчмарками (бенчмарк Deepfake-Eval-2024, 2025).
| Показатель | Значение | Источник |
|---|---|---|
| Объединённая точность распознавания дипфейков людьми, все типы медиа | 55,54% (95% ДИ от 48,87 до 62,10, k = 67) | Diel et al., Computers in Human Behavior Reports 2024 |
| Точность распознавания людьми именно дипфейк-видео | 57,31% (95% ДИ от 47,80 до 66,57, k = 26) | Diel et al., Computers in Human Behavior Reports 2024 |
| Точность распознавания людьми при обучении с обратной связью, поддержке ИИ или карикатуризации | 65,14% (95% ДИ от 55,21 до 74,46, k = 15) | Diel et al., Computers in Human Behavior Reports 2024 |
| Детектор дипфейков с синхронизацией губ LipFD: средняя точность против реальных сценариев | более 95,3% против до 90,2% | Статья Lips Are Lying (LipFD), arXiv 2024 |
| Падение AUC детекторов с открытым кодом на реальных дипфейках 2024 года против прежних бенчмарков: видео, аудио, изображения | 50%, 48%, 45% | Бенчмарк Deepfake-Eval-2024, 2025 |
| Набор данных Deepfake-Eval-2024: часы видео, сайты, языки | 45 часов, 88 сайтов, 52 языка | Бенчмарк Deepfake-Eval-2024, 2025 |
| Точность собственного детектора авторов VASA-1 при отличии реальных видео от выхода VASA-1 | 97,8% | Microsoft Research Asia, статья о VASA-1, 2024 |
Примечание к контексту: значение 97,8% относится к выходу одной модели и детектору, обученному именно на нём. Результат Deepfake-Eval-2024 показывает, что происходит, когда детекторы сталкиваются с генераторами, на которых их не обучали.
Итоги: анимация лица по аудио и синхронизация губ в цифрах
| Показатель | Значение | Источник |
|---|---|---|
| Уверенность SyncNet на VoxCeleb2: VASA-1 против реального видео | 8,841 против 7,640 | Microsoft Research Asia, статья о VASA-1, 2024 |
| FVD на HDTF: LatentSync против Wav2Lip | 162,74 против 304,35 | ByteDance, статья о LatentSync, 2025 |
| Точность судьи SyncNet на HDTF: StableSyncNet против предыдущего лучшего | 94% против 91% | ByteDance, статья о LatentSync, 2025 |
| Ошибка вершин губ на BIWI-Test-A: VOCA против TalkingStyle (x 10^-4 мм) | 6,5563 против 4,3646 | Статья о GLDiTalker, arXiv 2025 |
| Данные для обучения 3D-лица: типичные наборы против UniTalker | менее 1 часа против 18,5 часа | Статья об UniTalker, arXiv 2024 |
| A/B-оценки, предпочитающие CodeTalker модели VOCA по синхронизации губ на BIWI | 92,47% | Статья о CodeTalker, arXiv 2023 |
| A/B-предпочтение модели лица для телеприсутствия в реальном времени перед DiffPoseTalk | 84,59% | Meta и Сеульский национальный университет, SIGGRAPH Asia 2025 |
| Человеческая оценка синхронизации на HDTF: лучшая модель против Wav2Lip, несмотря на наивысший LSE-C у Wav2Lip | 3,92 против 2,91 | Технологический институт Карлсруэ, 2024 |
| Скорость Audio2Face-3D v3.0 на одной RTX 4090 с TensorRT | 3 269 кадров в секунду | NVIDIA, статья об Audio2Face-3D, 2025 |
| Время GPU на кадр у модели лица для телеприсутствия в реальном времени | 10 мс | Meta и Сеульский национальный университет, SIGGRAPH Asia 2025 |
| Специалисты игровой индустрии, использующие инструменты генеративного ИИ | 36% | GDC, 2026 State of the Game Industry |
| Студии, использующие инструменты ИИ в отдельных рабочих процессах | 96% | Unity, 2025 Gaming Report |
| Дублированная речь в кадре с той же виземой, что в оригинале | около 12,4% | AWS AI Labs и MIT, TACL 2023 |
| Среднее перекрытие времени речи между оригинальными и дублированными репликами | 0,658 | AWS AI Labs и MIT, TACL 2023 |
| Предел синхронизации губ в вещании на всём тракте: звук раньше против звука позже | 40 мс против 60 мс | Рекомендация EBU R37-2007 |
| Объединённая точность распознавания дипфейков людьми | 55,54% | Diel et al., Computers in Human Behavior Reports 2024 |
| Падение AUC детекторов дипфейк-видео с открытым кодом на реальном контенте 2024 года | 50% | Бенчмарк Deepfake-Eval-2024, 2025 |
Методология и источники
- NVIDIA: Audio2Face-3D, Audio-driven Realistic Facial Animation for Digital Avatars (arXiv 2508.16401, 2025) для скорости вывода, памяти и числа диффузионных шагов, а также анонс открытого кода Audio2Face, 24 сентября 2025 года для названных компаний-внедренцев (собственное заявление вендора).
- Microsoft Research Asia, статья о VASA-1 (arXiv 2404.10667, пересмотрена в 2024 году): оценки синхронизации, FVD, частота кадров, задержка, точность детектора.
- Meta Codec Avatars Lab и Сеульский национальный университет, Audio Driven Real-Time Facial Animation for Social Telepresence (SIGGRAPH Asia 2025): задержка и A/B-предпочтение.
- ByteDance, Beijing Jiaotong University и Monash University, LatentSync (arXiv 2412.09262, пересмотрена в 2025 году): синхронизация, FID и FVD на HDTF и VoxCeleb2.
- Статья о GLDiTalker, Beihang University и другие (arXiv 2408.01826, пересмотрена в 2025 году): таблица ошибки вершин губ на BIWI и средние экспертные оценки.
- Статья о CodeTalker (arXiv 2301.02379, 2023): доли A/B-предпочтений и описания наборов данных.
- Статья об UniTalker (arXiv 2408.00762, 2024): масштаб обучающих данных и снижение ошибки.
- Технологический институт Карлсруэ, Стамбульский технический университет и Университет Карнеги-Меллона, статья об AV-HuBERT expert (arXiv 2405.04327, 2024): LSE-C/LSE-D против пользовательского исследования.
- Статья о MuseTalk (arXiv 2410.10122, пересмотрена в 2025 году): частота кадров в реальном времени.
- Статья о Wav2Lip (ACM Multimedia 2020): справка о базовой модели, цифры из неё напрямую не приводятся.
- GDC, 2026 State of the Game Industry: использование генеративного ИИ и настроения.
- Unity, пост о запуске 2025 Gaming Report (17 марта 2025 года): использование ИИ в студиях и настроения.
- AWS AI Labs и MIT Media Lab, Dubbing in Practice (TACL, т. 11, 2023): статистика корпуса профессионального дубляжа.
- Рекомендация EBU R37-2007: допуски по времени между звуком и изображением.
- Diel et al., Human performance in detecting deepfakes, Computers in Human Behavior Reports, т. 16 (2024): метаанализ распознавания людьми.
- Статья Lips Are Lying (LipFD) (arXiv 2401.15668, 2024): точность обнаружения дипфейков с синхронизацией губ.
- Бенчмарк Deepfake-Eval-2024 (arXiv 2503.02857, 2025): работа детекторов на реальном контенте.
- Наблюдение по данным: (1) Конфликты между метрикой и восприятием реальны: VASA-1 обходит реальное видео по уверенности SyncNet, а результат Wav2Lip на HDTF различается между статьями (Sync_conf 8,2 в оценке LatentSync против LSE-C 9,054 в оценке из Карлсруэ), поэтому сравнивать значения следует только внутри одной статьи. (2) Показатели использования ИИ 36% и 96% из раздела 5 измеряют разные группы (отдельные специалисты против студий, причём размер выборки опроса студий на странице запуска не указан), поэтому их не следует считать противоречием. (3) В прочитанном нами тексте статьи об Audio2Face-3D мы не нашли результатов пользовательских исследований, поэтому воспринимаемое качество здесь не охвачено. (4) CodeTalker (2023), исследование корпуса дубляжа (2023) и EBU R37 (2007) - самые свежие доступные данные для своих метрик; более новые статьи SIGGRAPH и CVPR могут обновить значения LVE и предпочтений. (5) Единицы LVE различаются между бенчмарками и статьями, поэтому значения сопоставимы только внутри одной таблицы. (6) Пользовательские исследования в этой области опираются на 10-31 оценщика, поэтому небольшая разница в предпочтениях не является устойчивой.
Последнее обновление: 6 ноября 2026 года. Мы обновляем этот обзор ежеквартально, и следующее обновление ожидается после публикации отчёта GDC 2027 State of the Game Industry.