Статистика дрейфа синхронизации звука и видео (липсинк) в прямых трансляциях (2026): более 45 показателей о порогах обнаружения, вещательных допусках и измеренном дрейфе

Синхронизация звука и видео в стримах 2026: зрители замечают звук на 45 мс раньше или на 125 мс позже, но тест 2026 года показал медианное отставание звука до 210,9 мс.

Зрители замечают звук, пришедший всего на 45 мс раньше изображения, но терпят до 125 мс звука, пришедшего после него, - это асимметричное окно обнаружения, на котором основана международная вещательная рекомендация о взаимном положении звука и изображения во времени (ITU-R BT.1359-1, 1998). Реальные цепочки воспроизведения часто в это окно не укладываются: исследование с фотодиодом в ноябре 2026 года выявило медианное отставание звука от 79,2 до 210,9 мс в 24 сочетаниях плеера и разрешения, причём до 88,4% прогонов выходили за порог обнаружения (Ho и Li, Preprints.org 2026). Допуск зависит и от того, что показано на экране: пороги приемлемости составляют от 200 мс для диктора новостей до 1,3 с для американского футбола (Ebenezer, arXiv 2022). Дрейф липсинка (разрыв между моментом, когда двигается рот, и моментом, когда слышен его звук) - это не та же проблема, что тайминг субтитров, о котором мы писали в нашей статистике задержки и точности скрытых субтитров. Мы собрали данные EBU, ATSC, SMPTE, IEEE Transactions on Broadcasting, Journal of the Acoustical Society of America, PLOS ONE, Allion Labs, Amazon Science и ещё десятка первичных источников.

Кратко (TL;DR)

  • Средний порог обнаружения: от 45 мс опережения звука до 125 мс его отставания (ITU-R BT.1359-1, 1998).
  • Европейский вещательный предел: 40 мс звука до изображения и 60 мс после, сквозной (EBU R37, 2007).
  • Рекомендация США для цифрового ТВ на входе кодировщика: не более 15 мс опережения звука или 45 мс отставания (ATSC IS/191, по сообщению TV Technology 2004).
  • Средний порог обнаружения опережающего звука в лабораторном тесте Intel: 185,19 мс, СКО 42,32 мс (Younkin и Corriveau, IEEE Transactions on Broadcasting 2008).
  • Речь признана синхронной от опережения звука на 131 мс до опережения видео на 225 мс (Conrey и Pisoni, JASA 2006).
  • Порог приемлемости для звука, опережающего видео: 200 мс для диктора новостей против 1,3 с для американского футбола (Ebenezer, arXiv 2022).
  • Медианные доставленные смещения при протестированном воспроизведении говорящего лица: звук отстаёт на 79,2-210,9 мс в каждой ячейке (Ho и Li, Preprints.org 2026).
  • Zoom измерен от опережения видео на 92 мс до опережения звука на 73 мс на пяти компьютерах (тесты AV-Sync от Allion Labs).
  • Наихудший средний разрыв между началами звука и изображения на некалиброванной гарнитуре смешанной реальности: 156,63 мс (Eckhoff и др., PLOS ONE 2024).
  • Окно синхронности для носителя английского языка: 100 мс у молодых слушателей с нормальным слухом против 250 мс у пожилых слушателей (Gordon-Salant и др., Frontiers in Psychology 2022).
  • Точность классификаторов липсинка на наборе данных LRS2: 96,5% у IC-SyncNet против 75,8% у исходной SyncNet (Park и др., arXiv 2024).

1. Пороги обнаружения: когда зрители замечают ошибку липсинка

Самый устойчивый вывод 80 лет исследований - асимметрия. Опережающий звук замечают примерно при трети того смещения, которое нужно для отстающего звука: около 45 мс опережения против 125 мс отставания в субъективных тестах (тестах, в которых зрители оценивают фрагменты), обобщённых в рекомендации ITU-R BT.1359-1. Это смещение объясняет сама природа: свет распространяется быстрее звука, и при естественной речи рот начинает двигаться раньше голоса. В речевом стимуле, проанализированном Venezia и др., смыкание рта опережало звук на 163 мс, так что мозг уже приучен принимать запаздывающий звук.

Разброс между исследованиями важен не меньше средних значений. Исследование Bell Laboratories 1940-х годов определило порог обнаружения в 35 мс опережения и 100 мс отставания, тогда как лабораторный тест Intel с ошибками опережающего звука дал куда более мягкое среднее значение, 185,19 мс (Younkin и Corriveau, IEEE Transactions on Broadcasting 2008). Практический вывод: пороги - это средние по популяции, а самые чувствительные зрители находятся заметно внутри них. Трансляция, рассчитанная на среднее, всё равно раздражает часть аудитории.

ПоказательЗначениеИсточник
Средний порог обнаружения, звук опережает изображение против звука, отстающего от негоОколо +45 мс до -125 мсITU-R BT.1359-1 (1998)
Порог обнаружения в раннем исследовании Bell Laboratories, опережение звука против отставания звукаБолее 35 мс опережения или более 100 мс отставанияИсследование Bell Laboratories, по сообщению TV Technology (Hoffner) 2003
Средний порог обнаружения звука, опережающего движение губ185,19 мс (СКО 42,32 мс)Younkin и Corriveau, IEEE Transactions on Broadcasting 2008
Речь признана синхронной, наибольшее опережение звука против наибольшего опережения видео (30 взрослых)От опережения звука на 131 мс до опережения видео на 225 мсConrey и Pisoni, JASA 2006
Неречевой сигнал (вспышка и тон) признан синхронным, опережение звука против опережения видеоОт опережения звука на 153 мс до опережения видео на 247 мсConrey и Pisoni, JASA 2006
Ширина окна синхронности на половине высоты пика, речь против неречевого сигнала357 мс против 400 мсConrey и Pisoni, JASA 2006
Порог обнаружения для речи, видео опережает звук против звука, опережающего видео258 мс против 131 мсDixon и Spitz 1980, цитируется в Venezia и др., Attention, Perception, and Psychophysics 2016
Порог обнаружения для молотка, бьющего по колышку, видео опережает звук против звука, опережающего видео188 мс против 75 мсDixon и Spitz 1980, цитируется в Venezia и др. 2016

Примечание о контексте: Conrey и Pisoni обнаружили, что центр окна синхронности находился на опережении видео в 47 мс, а не в нуле, как для речи, так и для неречевых сигналов (Conrey и Pisoni, JASA 2006). Обзор Venezia и др. прослеживает ту же закономерность в нескольких повторных исследованиях. Самые свежие доступные данные о популяционных порогах: Younkin и Corriveau 2008; более нового исследования порогов с большой выборкой для вещательного липсинка в нашем поиске не нашлось.

2. Вещательные допуски и бюджеты синхронизации

Исследования восприятия показывают, где зрители замечают ошибку; стандарты говорят инженерам, сколько из этого запаса может потратить каждый участок цепочки. Самая яркая закономерность - насколько инженерные пределы жёстче пределов восприятия. EBU R37 позволяет каждому этапу лишь 5 мс опережения и 15 мс отставания, тогда как вся цепочка должна укладываться в сквозной предел 40 мс опережения и 60 мс отставания (EBU R37, 2007). EBU указывает, что её пределы основаны на задержке, при которой 50% наблюдателей замечают сбой липсинка.

США пошли ещё строже. Подкомитет ATSC по внедрению счёл международные пределы 1998 года недостаточными для цифрового телевидения и попросил, чтобы звук на входе кодировщика никогда не опережал видео более чем на 15 мс и не отставал более чем на 45 мс (TV Technology, ATSC Recommends AV Sync Rules, 2004). Для сравнения: прежнее практическое правило NTSC составляло +1 и -2 кадра, или +33 и -66 мс. Рекомендация 1998 года также делит собственный бюджет, оставляя участкам вне контроля вещателя всего ±2 мс.

ПоказательЗначениеИсточник
Общий допуск между звуком и изображением (он же средний порог приемлемости)От +90 мс до -185 мсITU-R BT.1359-1 (1998)
Разделение бюджета: от источника камеры до нулевой опорной точки (студийной временной опоры) против от нулевой опорной точки до входа передатчика+25 / -100 мс против +22,5 / -30 мсITU-R BT.1359-1 (1998)
Сквозной предел на любом выходе, предназначенном для эфира, звук до изображения против звука после изображения40 мс против 60 мсEBU R37 (2007)
Предел на каждый отдельный этап производственной цепочкиОт 5 мс опережения до 15 мс отставанияEBU R37 (2007)
Предел цифрового ТВ для звука на входе кодировщика, опережение против отставания15 мс против 45 мсATSC IS/191, по сообщению TV Technology 2004
Предел цифрового ТВ для всей цепочки, звук опережает видео против звука, отстающего от видеоОт +30 мс до -90 мсATSC IS/191, по сообщению TV Technology 2004
Предел качества восприятия для IPTV, звук опережает видео против звука, отстающего от видео (предварительный, стандартное разрешение)Максимум 15 мс против 45 мсITU-T G.1080 (2008)
Практическое правило аналогового NTSC в кадрах и миллисекундах+1 / -2 кадра (+33 / -66 мс)TV Technology (Hoffner) 2004

Примечание о выбросе: эти документы старые, но остаются действующими. Рекомендация о звуке и изображении была утверждена 30 ноября 1998 года, а рекомендация по качеству IPTV - 7 декабря 2008 года, и обе числятся действующими. Самые свежие доступные данные: EBU R37, 2007.

3. Тип контента и аудитория: кто сколько терпит

Говорящее лицо - самое сложное испытание для трансляции. В исследовании с 20 зрителями и 45 фрагментами порог приемлемости для звука, опережающего видео, составил 200 мс для диктора новостей, но 1,3 с для американского футбола (Ebenezer, arXiv 2022). Общие планы спортивных событий дают мало чётких аудиовизуальных событий, за которые можно зацепиться при оценке тайминга, поэтому стрим игры или спорта с камерой на лице стримера оценивают по более строгому стандарту, основанному на лице.

Значение имеет и аудитория. У слушателей старшего возраста при речи носителя английского языка окна синхронности (диапазон смещений, всё ещё воспринимаемых как одновременность) как минимум вдвое шире, чем у молодых взрослых, но при рассогласовании сигнала они всё равно хуже распознают речь, даже когда ошибку не замечают (Gordon-Salant и др., Frontiers in Psychology 2022). Широкое окно - это не иммунитет: ошибки синхронизации могут стоить понимания, так и не став жалобой.

ПоказательЗначениеИсточник
Порог приемлемости для звука, опережающего видео, фрагмент с диктором новостей200 мсEbenezer, arXiv 2022
Порог приемлемости для звука, опережающего видео, фрагмент с крикетом500 мсEbenezer, arXiv 2022
Порог приемлемости для звука, опережающего видео, фрагменты с футболом и теннисом1 сEbenezer, arXiv 2022
Порог приемлемости для звука, опережающего видео, фрагмент с американским футболом1,3 сEbenezer, arXiv 2022
Окно синхронности для носителя английского языка, молодые слушатели с нормальным слухом против пожилых слушателей (по 17 в группе)100 мс против 250 мсGordon-Salant и др., Frontiers in Psychology 2022
Типичная ширина окна синхронности, пары с опережающим видео против пар с опережающим звуком200-250 мс против 100-150 мсCecere и др., European Journal of Neuroscience 2016
Базовый показатель чувствительности (d-прайм, чем выше, тем лучше обнаружение), пары с опережающим звуком против пар с опережающим видео, 30 взрослых1,58 против 0,98Cecere и др., European Journal of Neuroscience 2016
Участники исследования 2026 года об асинхронности речи в шуме, пользователи кохлеарных имплантов против взрослых с обычным слухом (смещения до 400 мс)15 против 31Salagovic и др., Journal of Speech, Language, and Hearing Research 2026

Примечание о контексте: разрыв в чувствительности у Cecere и др. был статистически устойчивым (F(1,27) = 37,10, p < 0,0001) (Cecere и др., European Journal of Neuroscience 2016). В исследовании 2026 года разборчивость речи достигала максимума вблизи синхронности в обеих группах, а у пользователей кохлеарных имплантов с ростом асинхронности наблюдалось более сильное падение (Salagovic и др., JSLHR 2026). Исследование о спорте - это препринт старше трёх лет; самые свежие доступные данные: Ebenezer, 2022.

4. Измеренные смещения в плеерах, приложениях для звонков и гарнитурах

Стандарты исходят из того, что каждое устройство само сообщает о своей задержке и корректирует её. Измерения показывают, что это допущение не работает. Исследование с фотодиодом и линейным выходом в ноябре 2026 года, охватившее четыре системы воспроизведения видео с говорящим лицом, три плеера и два разрешения, выявило отставание звука во всех 24 ячейках, с медианными смещениями от 79,2 до 210,9 мс, при этом от 60,9% до 88,4% из 3 637 прогонов выходили за вещательный порог обнаружения (Ho и Li, Preprints.org 2026). Собственная неопределённость их измерений между каналами составила 0,0144 мс, так что ошибка кроется в цепочке воспроизведения, а не в приборе.

Приложения для звонков и стриминга разбросаны по обе стороны от нуля. В тестах Allion Labs с одной USB-веб-камерой на пяти компьютерах одно и то же приложение могло опережать на одной машине и отставать на другой (тесты AV-Sync от Allion Labs). Поэтому исправления на уровне пакетов, о которых мы писали в статистике маскирования потерь пакетов в WebRTC, сами по себе не гарантируют липсинк: синхронизация решается на конечных устройствах. Каждый этап обработки, который стример добавляет на путь микрофона, от шумоподавления до изменителя голоса в OBS, добавляет в этот бюджет собственную задержку, поэтому EBU R37 закладывает бюджет на каждый этап отдельно.

ПоказательЗначениеИсточник
Медианное доставленное смещение звука и видео по 24 ячейкам плеера и разрешения (отрицательное значение означает отставание звука)От -210,9 мс до -79,2 мсHo и Li, Preprints.org 2026
Доля прогонов за вещательным порогом обнаружения, диапазон по ячейкамОт 60,9% до 88,4%Ho и Li, Preprints.org 2026
Доля прогонов за вещательным порогом приемлемости, диапазон по ячейкамОт 31,6% до 59,4%Ho и Li, Preprints.org 2026
Zoom, диапазон по пяти компьютерам (положительное значение означает, что звук идёт первым)От -92 мс до +73 мсТесты AV-Sync от Allion Labs (без даты)
Microsoft Teams, диапазон по пяти компьютерамОт -95 мс до -20 мсТесты AV-Sync от Allion Labs (без даты)
Twitch, диапазон по четырём компьютерамОт -90 мс до +32 мсТесты AV-Sync от Allion Labs (без даты)
Google Meet, диапазон по пяти компьютерамОт -100 мс до +42 мсТесты AV-Sync от Allion Labs (без даты)
Наибольший средний разрыв между началами звука и изображения на некалиброванной гарнитуре смешанной реальности, с джиттером до156,63 мс, джиттер до ±11,82 мсEckhoff и др., PLOS ONE 2024

Примечание о контексте: калибровка работает. Задержка изображения на Varjo XR-3 сместила его разрыв с 53,49 ± 3,15 мс до -3,89 ± 1,56 мс за 100 предъявлений (Eckhoff и др., PLOS ONE 2024). Исследование с фотодиодом, упомянутое в начале этого раздела, опубликовано 3 ноября 2026 года и ещё не прошло рецензирование.

5. Дрейф в долгих сеансах: генераторы тактов, карты захвата и измерение синхронизации

Статические смещения можно скомпенсировать один раз. Дрейф - нельзя, потому что он растёт со временем. Когда звук и видео тактируются независимо, ошибка частоты накапливается всё время, пока идёт трансляция. Генератор на пределе ±1 ppm для цифровой аудиореференции 1-го класса (DARS, ведущий генератор, задающий частоту дискретизации звука) уходит на 3,6 мс в час: 0,000001 × 3 600 секунд = 0,0036 с, или 28,8 мс за восьмичасовую трансляцию (наш расчёт на основе допуска 1-го класса из таблицы ниже). Вещательные комплексы избегают этого, привязывая всё к одной опоре, - та же логика лежит в основе перехода на IP, который мы разбирали в статистике AoIP, Dante и AES67 в вещании.

Потребительское оборудование захвата менее строгое. Разработчик программного обеспечения LEADTOOLS описывает устройства захвата, которые стартуют с рассинхронизацией 60-90 мс, и устройства, начинающие дрейфовать после 8-24 часов (LEADTOOLS, Timestamp Drifting in Live Capture Situations). Для трансляции 24/7 дрейф - не крайний случай, а пункт планового обслуживания.

ПоказательЗначениеИсточник
Долговременная точность частоты цифровой аудиореференции 1-го классаВ пределах ±1 ppmITU-R BS.2032-0 (2013)
Дрейф на пределе ±1 ppm, в час и за 8 часов (наш расчёт)3,6 мс в час; 28,8 мс за 8 часовРассчитано на основе ITU-R BS.2032-0 (2013)
Карты захвата, замеченные в дрейфе после непрерывной записи длительностьюОт 8 до 24 часовДокументация LEADTOOLS (собственное наблюдение вендора)
Начальное смещение звука и видео на некоторых устройствах захватаОколо 60-90 мсДокументация LEADTOOLS (собственное наблюдение вендора)
Разница временных меток на устройствах захвата с несогласованными генераторами тактовБолее 500 мсДокументация LEADTOOLS (собственное наблюдение вендора)
Точность открытого измерительного стенда BBC для синхронизации (датчик света плюс аудиовход)Примерно миллисекундная точностьBBC R&D dvbcss-synctiming
Пример допуска зачёт/незачёт на стенде BBC, приложение второго экрана против телевизора±8 мс против ±23 мсBBC R&D dvbcss-synctiming
Способы передачи отпечатков липсинка (SDI, UDP поверх IP, транспортный поток MPEG-2), один контейнер на кадр3SMPTE ST 2064-2 (2015)

Примечание о контексте: стенд BBC воспроизводит тестовое видео со вспышками и сигналами и измеряет их тайминг на экране и в динамике, то есть в единственной точке, где синхронизацию действительно воспринимают (BBC R&D dvbcss-synctiming). Подход SMPTE на основе отпечатков измеряет изменения тайминга без тестовых сигналов, сравнивая отпечатки, снятые выше и ниже по цепочке (SMPTE ST 2064-2:2015).

6. Автоматическое обнаружение ошибок липсинка: что машины видят и чего не видят

Стриминговые сервисы теперь проверяют синхронизацию с помощью машинного обучения, а не выборочных проверок людьми. Prime Video создал детекторы для 18 типов дефектов, включая синхронизацию звука и видео, и запускает свой детектор липсинка на четырёхсекундных фрагментах, сосредоточенных на одном лице, на тысячах каналов и прямых событий (Amazon Science, How Prime Video uses machine learning to ensure video quality, 2022). Точность классификаторов быстро выросла: 96,5% на наборе данных LRS2 в 2024 году против 75,8% у исходной SyncNet (Park и др., Interpretable Convolutional SyncNet, arXiv 2024).

Загвоздка в том, что оценки на уровне файла не видят цепочку воспроизведения. Ho и Li обнаружили, что оценки синхронизации SyncNet не коррелируют со смещениями, измеренными на экране, а собственная оценка смещения SyncNet совпадала с измерением лишь в пределах полуширины 282,2 мс. Чистый файл всё равно может воспроизводиться с рассинхронизацией, и вторая проверка должна проходить на самом устройстве.

ПоказательЗначениеИсточник
Типы видеодефектов, охватываемые детекторами Prime Video (включая синхронизацию звука и видео)18Amazon Science (Prime Video) 2022
База данных ошибок синхронизации звука и видео в теннисе, созданная исследователями Amazon504 300 кадров из 6 часов видеоEbenezer и др., ICASSP 2021 (Amazon)
Точность классификации синхронизации, IC-SyncNet на LRS2 против LRS396,5% против 93,8%Park и др., arXiv 2024
Точность классификации синхронизации, исходная SyncNet на LRS275,8%Park и др., arXiv 2024
Оценки людей, собранные для набора данных о воспринимаемом качестве синхронизации (более 100 часов, более 80 разметчиков)120 000Goncalves и др. (Amazon), PEAVS, ECCV 2024
Корреляция метрики PEAVS с оценками людей, уровень набора данных против уровня фрагмента0,79 против 0,54Goncalves и др. (Amazon), PEAVS, ECCV 2024
Корреляция между оценками синхронизации SyncNet и величиной измеренного смещенияr = от -0,066 до +0,083Ho и Li, Preprints.org 2026

Примечание о контексте: в данных PEAVS и оценки людей, и метрика достигали максимума выше 4 по 5-балльной шкале при сдвиге звука на 45 мс и снижались по мере роста сдвига (Goncalves и др., PEAVS, ECCV 2024). Метод Amazon для тенниса помечает ошибку, когда удар ракетки есть в звуке, но отсутствует в ближайшем видео (Amazon Science, Detection of audio-video synchronization errors via event detection).

Итоги: дрейф синхронизации звука и видео (липсинк) в прямых трансляциях в цифрах

ПоказательЗначениеИсточник
Средний порог обнаружения, опережение звука против его отставанияОколо +45 мс до -125 мсITU-R BT.1359-1 (1998)
Ширина окна синхронности на половине высоты пика, речь против неречевого сигнала357 мс против 400 мсConrey и Pisoni, JASA 2006
Сквозной эфирный предел, звук до изображения против звука после изображения40 мс против 60 мсEBU R37 (2007)
Предел на этап производственной цепочкиОт 5 мс опережения до 15 мс отставанияEBU R37 (2007)
Предел цифрового ТВ на входе кодировщика, опережение против отставания15 мс против 45 мсATSC IS/191, через TV Technology 2004
Предел цифрового ТВ для всей цепочкиОт +30 мс до -90 мсATSC IS/191, через TV Technology 2004
Средний порог обнаружения звука, опережающего движение губ185,19 мс (СКО 42,32 мс)Younkin и Corriveau, IEEE Transactions on Broadcasting 2008
Речь признана синхронной, опережение звука против опережения видео131 мс против 225 мсConrey и Pisoni, JASA 2006
Порог приемлемости для опережения звука, диктор новостей против американского футбола200 мс против 1,3 сEbenezer, arXiv 2022
Окно синхронности, молодые против пожилых слушателей100 мс против 250 мсGordon-Salant и др., Frontiers in Psychology 2022
Чувствительность, пары с опережающим звуком против пар с опережающим видеоd-прайм 1,58 против 0,98Cecere и др., European Journal of Neuroscience 2016
Медианные доставленные смещения при протестированном воспроизведении говорящего лицаЗвук отстаёт на 79,2-210,9 мсHo и Li, Preprints.org 2026
Диапазон смещения Microsoft Teams по пяти компьютерамОт -95 мс до -20 мсТесты AV-Sync от Allion Labs
Диапазон смещения Zoom по пяти компьютерамОт -92 мс до +73 мсТесты AV-Sync от Allion Labs
Наихудший средний разрыв между началами, некалиброванная гарнитура смешанной реальности156,63 мсEckhoff и др., PLOS ONE 2024
Начальное смещение на некоторых устройствах захватаОколо 60-90 мсДокументация LEADTOOLS (вендор)
Точность классификаторов липсинка на LRS2, IC-SyncNet против SyncNet96,5% против 75,8%Park и др., arXiv 2024
Корреляция PEAVS с оценками людей, уровень набора данных0,79Goncalves и др. (Amazon), ECCV 2024

Методология и источники

Последнее обновление: 6 ноября 2026 года. Мы обновляем этот обзор ежеквартально, и следующее обновление ожидается после публикации рецензированной версии исследования с фотодиодом за ноябрь 2026 года о доставленном липсинке.

Попробуй VoxBooster — 3 дня бесплатно.

Клонирование голоса в реальном времени, саундборд и эффекты — везде, где ты говоришь.

  • Без карты
  • ~30 мс задержки
  • Discord · Teams · OBS
Попробовать 3 дня бесплатно