Người xem nhận ra âm thanh đến sớm hơn hình chỉ 45 ms, nhưng chấp nhận âm thanh đến muộn hơn hình tới 125 ms, đó là cửa sổ nhận biết bất đối xứng làm nền tảng cho khuyến nghị phát sóng quốc tế về thời điểm của âm thanh và hình ảnh (ITU-R BT.1359-1, 1998). Các chuỗi phát lại thực tế thường nằm ngoài cửa sổ đó: một nghiên cứu dùng điốt quang tháng 11 năm 2026 đo được độ trễ âm thanh trung vị từ 79,2 đến 210,9 ms trên 24 tổ hợp trình phát và độ phân giải, với tới 88,4% lượt thử vượt ngưỡng nhận biết (Ho và Li, Preprints.org 2026). Dung sai còn phụ thuộc vào nội dung trên màn hình, với ngưỡng chấp nhận dao động từ 200 ms đối với người đọc bản tin đến 1,3 s đối với bóng bầu dục Mỹ (Ebenezer, arXiv 2022). Độ trôi lip-sync (khoảng cách giữa lúc miệng cử động và lúc nghe thấy âm thanh của nó) là một vấn đề khác với thời điểm hiển thị phụ đề, điều mà chúng tôi đã đề cập trong thống kê về độ trễ và độ chính xác của phụ đề đóng của mình. Chúng tôi đã tổng hợp dữ liệu từ EBU, ATSC, SMPTE, IEEE Transactions on Broadcasting, Journal of the Acoustical Society of America, PLOS ONE, Allion Labs, Amazon Science và khoảng một chục nguồn sơ cấp khác.
Tóm tắt nhanh
- Ngưỡng nhận biết trung bình: khoảng 45 ms khi âm thanh đi trước đến 125 ms khi âm thanh đi sau (ITU-R BT.1359-1, 1998).
- Giới hạn phát sóng châu Âu: 40 ms khi âm thanh đi trước hình và 60 ms khi âm thanh đi sau hình, tính đầu cuối (EBU R37, 2007).
- Hướng dẫn DTV của Mỹ tại đầu vào bộ mã hóa: âm thanh không đi trước quá 15 ms hoặc đi sau quá 45 ms (ATSC IS/191, do TV Technology 2004 đưa tin).
- Ngưỡng phát hiện trung bình khi âm thanh đi trước trong một thử nghiệm phòng thí nghiệm của Intel: 185,19 ms, độ lệch chuẩn 42,32 ms (Younkin và Corriveau, IEEE Transactions on Broadcasting 2008).
- Lời nói được đánh giá là đồng bộ từ 131 ms âm thanh đi trước đến 225 ms hình ảnh đi trước (Conrey và Pisoni, JASA 2006).
- Ngưỡng chấp nhận khi âm thanh đi trước hình: 200 ms đối với người đọc bản tin so với 1,3 s đối với bóng bầu dục Mỹ (Ebenezer, arXiv 2022).
- Độ lệch trung vị thực tế đến tay người xem khi phát lại video người đang nói được thử nghiệm: âm thanh muộn 79,2 đến 210,9 ms ở mọi ô (Ho và Li, Preprints.org 2026).
- Zoom được đo từ 92 ms hình đi trước đến 73 ms âm thanh đi trước trên năm máy tính (thử nghiệm AV-Sync của Allion Labs).
- Khoảng lệch thời điểm khởi phát âm thanh-hình ảnh trung bình tệ nhất trên kính thực tế hỗn hợp chưa hiệu chuẩn: 156,63 ms (Eckhoff và cs., PLOS ONE 2024).
- Cửa sổ đồng bộ đối với người nói tiếng Anh bản ngữ: 100 ms ở người nghe trẻ có thính lực bình thường so với 250 ms ở người nghe lớn tuổi (Gordon-Salant và cs., Frontiers in Psychology 2022).
- Độ chính xác của bộ phân loại lip-sync trên tập dữ liệu LRS2: 96,5% với IC-SyncNet so với 75,8% với SyncNet gốc (Park và cs., arXiv 2024).
1. Ngưỡng Nhận Biết: Khi Nào Người Xem Nhận Ra Lỗi Lip-Sync
Phát hiện nhất quán nhất trong 80 năm nghiên cứu là sự bất đối xứng. Âm thanh đến sớm bị bắt gặp ở mức lệch chỉ bằng khoảng một phần ba so với mức mà âm thanh muộn cần: khoảng 45 ms khi âm thanh đi trước so với 125 ms khi âm thanh đi sau trong các thử nghiệm chủ quan (thử nghiệm mà người xem chấm điểm các đoạn clip) được tóm tắt trong khuyến nghị ITU-R BT.1359-1. Tự nhiên giải thích cho thiên lệch này: ánh sáng truyền nhanh hơn âm thanh, và trong lời nói tự nhiên miệng bắt đầu cử động trước khi giọng nói cất lên. Trong kích thích lời nói do Venezia và cs. phân tích, việc miệng khép lại xảy ra trước âm thanh 163 ms, vì vậy não bộ vốn đã quen chấp nhận âm thanh muộn.
Độ phân tán giữa các nghiên cứu quan trọng không kém các giá trị trung bình. Một nghiên cứu của Bell Laboratories vào thập niên 1940 đặt ngưỡng phát hiện ở 35 ms khi đi trước và 100 ms khi đi sau, trong khi một thử nghiệm phòng thí nghiệm của Intel về lỗi âm thanh đi trước cho giá trị trung bình lỏng hơn nhiều, là 185,19 ms (Younkin và Corriveau, IEEE Transactions on Broadcasting 2008). Cách hiểu thực tiễn: các ngưỡng là giá trị trung bình trên một quần thể, và những người xem nhạy nhất nằm sâu bên trong các ngưỡng đó. Một buổi phát được thiết kế theo mức trung bình vẫn làm phiền một bộ phận khán giả.
| Chỉ số | Giá trị | Nguồn |
|---|---|---|
| Ngưỡng nhận biết trung bình, âm thanh đi trước hình và âm thanh đi sau hình | Khoảng +45 ms đến -125 ms | ITU-R BT.1359-1 (1998) |
| Ngưỡng phát hiện trong một nghiên cứu sớm của Bell Laboratories, âm thanh đi trước và âm thanh đi sau | Hơn 35 ms khi đi trước hoặc hơn 100 ms khi đi sau | Nghiên cứu của Bell Laboratories, được đưa tin trên TV Technology (Hoffner) 2003 |
| Ngưỡng phát hiện trung bình khi âm thanh đi trước chuyển động môi | 185,19 ms (độ lệch chuẩn 42,32 ms) | Younkin và Corriveau, IEEE Transactions on Broadcasting 2008 |
| Lời nói được đánh giá là đồng bộ, mức âm thanh đi trước lớn nhất và mức hình ảnh đi trước lớn nhất (30 người trưởng thành) | Từ 131 ms âm thanh đi trước đến 225 ms hình ảnh đi trước | Conrey và Pisoni, JASA 2006 |
| Phi lời nói (chớp sáng và âm báo) được đánh giá là đồng bộ, âm thanh đi trước và hình ảnh đi trước | Từ 153 ms âm thanh đi trước đến 247 ms hình ảnh đi trước | Conrey và Pisoni, JASA 2006 |
| Độ rộng cửa sổ đồng bộ tại một nửa đỉnh, lời nói và phi lời nói | 357 ms và 400 ms | Conrey và Pisoni, JASA 2006 |
| Ngưỡng phát hiện đối với lời nói, hình đi trước âm thanh và âm thanh đi trước hình | 258 ms và 131 ms | Dixon và Spitz 1980, được trích trong Venezia và cs., Attention, Perception, and Psychophysics 2016 |
| Ngưỡng phát hiện đối với búa đập vào cọc, hình đi trước và âm thanh đi trước | 188 ms và 75 ms | Dixon và Spitz 1980, được trích trong Venezia và cs. 2016 |
Ghi chú bối cảnh: Conrey và Pisoni phát hiện tâm của cửa sổ đồng bộ nằm ở mức hình ảnh đi trước 47 ms, chứ không phải ở số không, đối với cả lời nói lẫn phi lời nói (Conrey và Pisoni, JASA 2006). Bài tổng quan của Venezia và cs. lần theo cùng một quy luật qua các lần lặp lại nghiên cứu. Dữ liệu mới nhất hiện có về ngưỡng của quần thể: Younkin và Corriveau 2008; trong quá trình tìm hiểu, chúng tôi không thấy nghiên cứu ngưỡng nào mới hơn với mẫu lớn về lip-sync phát sóng.
2. Dung Sai Phát Sóng và Ngân Sách Đồng Bộ
Các nghiên cứu về nhận thức cho biết người xem nhận ra lỗi ở đâu; các tiêu chuẩn cho kỹ sư biết mỗi phần của chuỗi được phép dùng bao nhiêu phần trong biên độ đó. Điểm nổi bật là các giới hạn kỹ thuật chặt hơn nhiều so với giới hạn nhận thức. EBU R37 chỉ cho phép mỗi công đoạn lệch 5 ms sớm và 15 ms muộn, trong khi toàn chuỗi phải nằm trong giới hạn đầu cuối là đi trước 40 ms và đi sau 60 ms (EBU R37, 2007). EBU nêu rõ các giới hạn của mình dựa trên độ trễ mà tại đó 50% người quan sát nhận ra lỗi lip-sync.
Mỹ còn đặt giới hạn chặt hơn nữa. Tiểu ban Triển khai của ATSC thấy các giới hạn quốc tế năm 1998 là không đủ cho truyền hình kỹ thuật số và đề nghị âm thanh đi vào bộ mã hóa không bao giờ đi trước hình quá 15 ms hoặc đi sau quá 45 ms (TV Technology, ATSC Recommends AV Sync Rules, 2004). Để so sánh, quy tắc kinh nghiệm cũ của NTSC là +1 và -2 khung hình, tức +33 và -66 ms. Khuyến nghị năm 1998 cũng chia nhỏ ngân sách của chính nó, chỉ để lại ±2 ms cho các đoạn nằm ngoài tầm kiểm soát của đài phát sóng.
| Chỉ số | Giá trị | Nguồn |
|---|---|---|
| Dung sai tổng thể giữa âm thanh và hình ảnh (đồng thời là ngưỡng chấp nhận trung bình) | +90 ms đến -185 ms | ITU-R BT.1359-1 (1998) |
| Phân chia ngân sách: từ nguồn camera đến điểm tham chiếu không (tham chiếu thời gian của phòng thu) và từ tham chiếu không đến đầu vào máy phát | +25 / -100 ms và +22,5 / -30 ms | ITU-R BT.1359-1 (1998) |
| Giới hạn đầu cuối tại bất kỳ đầu ra nào dành cho phát sóng, âm thanh trước hình và âm thanh sau hình | 40 ms và 60 ms | EBU R37 (2007) |
| Giới hạn cho từng công đoạn riêng lẻ của chuỗi sản xuất | Từ 5 ms sớm đến 15 ms muộn | EBU R37 (2007) |
| Giới hạn DTV đối với âm thanh tại đầu vào bộ mã hóa, đi trước và đi sau | 15 ms và 45 ms | ATSC IS/191, do TV Technology 2004 đưa tin |
| Giới hạn DTV cho toàn chuỗi, âm thanh đi trước hình và âm thanh đi sau hình | +30 ms đến -90 ms | ATSC IS/191, do TV Technology 2004 đưa tin |
| Giới hạn chất lượng trải nghiệm IPTV, âm thanh đi trước hình và âm thanh đi sau hình (tạm thời, độ nét tiêu chuẩn) | Tối đa 15 ms và 45 ms | ITU-T G.1080 (2008) |
| Quy tắc kinh nghiệm NTSC tương tự tính theo khung hình và mili giây | +1 / -2 khung hình (+33 / -66 ms) | TV Technology (Hoffner) 2004 |
Ghi chú về giá trị ngoại lệ: các tài liệu này đã cũ nhưng vẫn còn hiệu lực. Khuyến nghị về âm thanh và hình ảnh được phê duyệt ngày 30 tháng 11 năm 1998 và khuyến nghị về chất lượng IPTV ngày 7 tháng 12 năm 2008, và cả hai đều được liệt kê là đang có hiệu lực. Dữ liệu mới nhất hiện có: EBU R37, 2007.
3. Loại Nội Dung và Khán Giả: Ai Chấp Nhận Được Bao Nhiêu
Một khuôn mặt đang nói là phép thử khó nhất mà một buổi phát có thể gặp. Trong một nghiên cứu với 20 người xem trên 45 đoạn clip, ngưỡng chấp nhận khi âm thanh đi trước hình là 200 ms đối với người đọc bản tin nhưng là 1,3 s đối với bóng bầu dục Mỹ (Ebenezer, arXiv 2022). Các cảnh quay rộng trong thể thao có ít sự kiện âm thanh-hình ảnh sắc nét để làm mốc thời gian, nên một buổi phát chơi game hoặc thể thao có camera mặt của streamer trên màn hình sẽ bị đánh giá theo tiêu chuẩn khắt khe hơn, dựa trên khuôn mặt.
Khán giả cũng quan trọng. Với người nói tiếng Anh bản ngữ, người nghe lớn tuổi có cửa sổ đồng bộ (khoảng độ lệch vẫn được cảm nhận là xảy ra đồng thời) rộng ít nhất gấp đôi người trưởng thành trẻ, nhưng vẫn giảm khả năng nhận dạng lời nói khi tín hiệu bị lệch, ngay cả khi họ không nhận ra lỗi (Gordon-Salant và cs., Frontiers in Psychology 2022). Cửa sổ rộng không có nghĩa là miễn nhiễm: lỗi đồng bộ có thể làm giảm khả năng hiểu mà không bao giờ được báo cáo thành phàn nàn.
| Chỉ số | Giá trị | Nguồn |
|---|---|---|
| Ngưỡng chấp nhận khi âm thanh đi trước hình, clip người đọc bản tin | 200 ms | Ebenezer, arXiv 2022 |
| Ngưỡng chấp nhận khi âm thanh đi trước hình, clip cricket | 500 ms | Ebenezer, arXiv 2022 |
| Ngưỡng chấp nhận khi âm thanh đi trước hình, clip bóng đá và quần vợt | 1 s | Ebenezer, arXiv 2022 |
| Ngưỡng chấp nhận khi âm thanh đi trước hình, clip bóng bầu dục Mỹ | 1,3 s | Ebenezer, arXiv 2022 |
| Cửa sổ đồng bộ đối với người nói tiếng Anh bản ngữ, người nghe trẻ có thính lực bình thường và người nghe lớn tuổi (17 người mỗi nhóm) | 100 ms và 250 ms | Gordon-Salant và cs., Frontiers in Psychology 2022 |
| Độ rộng cửa sổ đồng bộ thông thường, cặp có hình ảnh đi trước và cặp có âm thanh đi trước | 200-250 ms và 100-150 ms | Cecere và cs., European Journal of Neuroscience 2016 |
| Điểm độ nhạy cơ sở (d prime, càng cao nghĩa là phát hiện càng tốt), cặp có âm thanh đi trước và cặp có hình ảnh đi trước, 30 người trưởng thành | 1,58 và 0,98 | Cecere và cs., European Journal of Neuroscience 2016 |
| Số người tham gia nghiên cứu năm 2026 về lời nói lệch pha trong tiếng ồn, người dùng ốc tai điện tử và người trưởng thành nghe bình thường (độ lệch tới 400 ms) | 15 và 31 | Salagovic và cs., Journal of Speech, Language, and Hearing Research 2026 |
Ghi chú bối cảnh: khoảng cách độ nhạy của Cecere và cs. có ý nghĩa thống kê vững chắc (F(1,27) = 37,10, p < 0,0001) (Cecere và cs., European Journal of Neuroscience 2016). Trong nghiên cứu năm 2026, độ dễ hiểu đạt đỉnh gần mức đồng bộ ở cả hai nhóm, và người dùng ốc tai điện tử cho thấy mức giảm lớn hơn khi độ lệch pha tăng (Salagovic và cs., JSLHR 2026). Nghiên cứu về thể thao là bản thảo tiền công bố và đã hơn ba năm tuổi; dữ liệu mới nhất hiện có: Ebenezer, 2022.
4. Độ Lệch Đo Được Trên Trình Phát, Ứng Dụng Gọi và Kính Thực Tế Hỗn Hợp
Các tiêu chuẩn giả định rằng mỗi thiết bị tự báo cáo và tự hiệu chỉnh độ trễ của mình. Các phép đo cho thấy giả định đó không đứng vững. Một nghiên cứu dùng điốt quang và đầu ra line vào tháng 11 năm 2026 trên bốn hệ thống video người đang nói, ba trình phát và hai độ phân giải cho thấy âm thanh muộn ở cả 24 ô, với độ lệch trung vị từ 79,2 đến 210,9 ms, và 60,9% đến 88,4% trong 3.637 lượt thử vượt ngưỡng nhận biết của phát sóng (Ho và Li, Preprints.org 2026). Độ bất định đo lường giữa các kênh của chính họ là 0,0144 ms, nên lỗi nằm ở chuỗi phát lại chứ không phải ở thiết bị đo.
Các ứng dụng gọi và phát trực tiếp phân tán ở cả hai phía của số không. Trong thử nghiệm của Allion Labs với một webcam USB trên năm máy tính, cùng một ứng dụng có thể đi trước ở máy này và đi sau ở máy khác (thử nghiệm AV-Sync của Allion Labs). Đó là lý do các biện pháp khắc phục ở mức gói tin, được đề cập trong thống kê về che giấu mất gói tin WebRTC của chúng tôi, không thể tự bảo đảm lip-sync: đồng bộ được quyết định ở các đầu cuối. Mỗi công đoạn xử lý mà streamer thêm vào đường dẫn micro, từ khử ồn đến bộ đổi giọng trong OBS, đều cộng độ trễ riêng vào ngân sách đó, và đó là lý do EBU R37 lập ngân sách riêng cho từng công đoạn.
| Chỉ số | Giá trị | Nguồn |
|---|---|---|
| Độ lệch âm thanh-hình ảnh trung vị thực tế đến tay người xem trên 24 ô trình phát và độ phân giải (số âm nghĩa là âm thanh muộn) | -210,9 ms đến -79,2 ms | Ho và Li, Preprints.org 2026 |
| Tỷ lệ lượt thử vượt ngưỡng nhận biết của phát sóng, khoảng giá trị giữa các ô | 60,9% đến 88,4% | Ho và Li, Preprints.org 2026 |
| Tỷ lệ lượt thử vượt ngưỡng chấp nhận của phát sóng, khoảng giá trị giữa các ô | 31,6% đến 59,4% | Ho và Li, Preprints.org 2026 |
| Zoom, khoảng giá trị trên năm máy tính (số dương nghĩa là âm thanh đi trước) | -92 ms đến +73 ms | Thử nghiệm AV-Sync của Allion Labs (không ghi ngày) |
| Microsoft Teams, khoảng giá trị trên năm máy tính | -95 ms đến -20 ms | Thử nghiệm AV-Sync của Allion Labs (không ghi ngày) |
| Twitch, khoảng giá trị trên bốn máy tính | -90 ms đến +32 ms | Thử nghiệm AV-Sync của Allion Labs (không ghi ngày) |
| Google Meet, khoảng giá trị trên năm máy tính | -100 ms đến +42 ms | Thử nghiệm AV-Sync của Allion Labs (không ghi ngày) |
| Khoảng lệch thời điểm khởi phát âm thanh-hình ảnh trung bình lớn nhất trên kính thực tế hỗn hợp chưa hiệu chuẩn, với jitter lên tới | 156,63 ms, jitter lên tới ±11,82 ms | Eckhoff và cs., PLOS ONE 2024 |
Ghi chú bối cảnh: hiệu chuẩn có tác dụng. Việc làm trễ hình trên Varjo XR-3 đã đưa khoảng lệch của nó từ 53,49 ± 3,15 ms xuống -3,89 ± 1,56 ms qua 100 lần trình chiếu (Eckhoff và cs., PLOS ONE 2024). Nghiên cứu dùng điốt quang ở đầu phần này được đăng ngày 3 tháng 11 năm 2026 và chưa được bình duyệt.
5. Độ Trôi Trong Phiên Dài: Đồng Hồ, Card Thu Hình và Đo Đồng Bộ
Độ lệch tĩnh có thể được điều chỉnh một lần. Độ trôi thì không, vì nó tăng theo thời gian. Khi âm thanh và hình ảnh được cấp xung nhịp độc lập, sai số tần số tích lũy suốt thời gian buổi phát diễn ra. Một đồng hồ ở giới hạn ±1 ppm của tham chiếu âm thanh số Grade 1 (DARS, đồng hồ chủ quyết định tần số lấy mẫu âm thanh) trôi 3,6 ms mỗi giờ: 0,000001 x 3.600 giây = 0,0036 s, tức 28,8 ms trong một buổi phát tám giờ (tính toán của chúng tôi từ dung sai Grade 1 trong bảng dưới đây). Các cơ sở phát sóng tránh điều này bằng cách khóa mọi thứ vào một tham chiếu duy nhất, cùng logic với quá trình chuyển sang IP mà chúng tôi theo dõi trong thống kê phát sóng AoIP, Dante và AES67 của mình.
Phần cứng thu hình dành cho người dùng phổ thông lỏng lẻo hơn. Nhà cung cấp phần mềm LEADTOOLS ghi nhận các thiết bị thu hình khởi đầu đã lệch đồng bộ 60 đến 90 ms và các thiết bị bắt đầu trôi sau 8 đến 24 giờ (LEADTOOLS, Timestamp Drifting in Live Capture Situations). Với một buổi phát 24/7, độ trôi không phải là trường hợp hiếm; nó là một hạng mục bảo trì theo lịch.
| Chỉ số | Giá trị | Nguồn |
|---|---|---|
| Độ chính xác tần số dài hạn của tham chiếu âm thanh số Grade 1 | Trong phạm vi ±1 ppm | ITU-R BS.2032-0 (2013) |
| Độ trôi tại giới hạn ±1 ppm, mỗi giờ và trong 8 giờ (tính toán của chúng tôi) | 3,6 ms mỗi giờ; 28,8 ms mỗi 8 giờ | Tính từ ITU-R BS.2032-0 (2013) |
| Card thu hình được quan sát thấy trôi sau khi thu liên tục trong | 8 đến 24 giờ | Tài liệu LEADTOOLS (quan sát của chính nhà cung cấp) |
| Độ lệch âm thanh-hình ảnh ban đầu trên một số thiết bị thu hình | Khoảng 60-90 ms | Tài liệu LEADTOOLS (quan sát của chính nhà cung cấp) |
| Chênh lệch dấu thời gian trên các thiết bị thu hình có đồng hồ không khớp | Trên 500 ms | Tài liệu LEADTOOLS (quan sát của chính nhà cung cấp) |
| Độ chính xác của giàn đo đồng bộ mã nguồn mở của BBC (cảm biến ánh sáng cộng đầu vào âm thanh) | Độ chính xác xấp xỉ một mili giây | BBC R&D dvbcss-synctiming |
| Ví dụ dung sai đạt/không đạt trong giàn đo của BBC, ứng dụng màn hình thứ hai và TV | ±8 ms và ±23 ms | BBC R&D dvbcss-synctiming |
| Phương thức truyền tải dấu vân tay lip-sync (SDI, UDP qua IP, luồng truyền tải MPEG-2), một container cho mỗi khung hình | 3 | SMPTE ST 2064-2 (2015) |
Ghi chú bối cảnh: giàn đo của BBC phát video thử nghiệm có chớp sáng và tiếng bíp rồi đo thời điểm của chúng tại màn hình và loa, điểm duy nhất mà đồng bộ thực sự được cảm nhận (BBC R&D dvbcss-synctiming). Cách tiếp cận dấu vân tay của SMPTE đo các thay đổi về thời gian mà không cần tín hiệu thử, bằng cách so sánh các dấu vân tay lấy ở thượng nguồn và hạ nguồn (SMPTE ST 2064-2:2015).
6. Phát Hiện Lip-Sync Tự Động: Máy Bắt Được Gì và Không Bắt Được Gì
Các dịch vụ phát trực tuyến nay kiểm tra đồng bộ bằng học máy thay vì kiểm tra mẫu thủ công của con người. Prime Video đã xây dựng các bộ phát hiện cho 18 loại lỗi, trong đó có đồng bộ âm thanh-hình ảnh, và chạy bộ phát hiện lip-sync trên các đoạn clip bốn giây tập trung vào một khuôn mặt, trên hàng nghìn kênh và sự kiện trực tiếp (Amazon Science, How Prime Video uses machine learning to ensure video quality, 2022). Độ chính xác của bộ phân loại đã tăng nhanh: 96,5% trên tập dữ liệu LRS2 vào năm 2024, so với 75,8% của SyncNet gốc (Park và cs., Interpretable Convolutional SyncNet, arXiv 2024).
Điểm vướng là điểm số ở cấp độ tệp không nhìn thấy chuỗi phát lại. Ho và Li nhận thấy điểm đồng bộ của SyncNet không tương quan với các độ lệch họ đo tại màn hình, và ước lượng độ lệch của chính SyncNet chỉ khớp với phép đo trong phạm vi nửa độ rộng 282,2 ms. Một tệp sạch vẫn có thể phát lệch đồng bộ, và lần kiểm tra thứ hai phải diễn ra ngay trên thiết bị.
| Chỉ số | Giá trị | Nguồn |
|---|---|---|
| Các loại lỗi video được bộ phát hiện của Prime Video bao quát (trong đó có đồng bộ âm thanh-hình ảnh) | 18 | Amazon Science (Prime Video) 2022 |
| Cơ sở dữ liệu lỗi đồng bộ âm thanh-hình ảnh trong quần vợt do các nhà nghiên cứu Amazon xây dựng | 504.300 khung hình từ 6 giờ video | Ebenezer và cs., ICASSP 2021 (Amazon) |
| Độ chính xác phân loại đồng bộ, IC-SyncNet trên LRS2 và LRS3 | 96,5% và 93,8% | Park và cs., arXiv 2024 |
| Độ chính xác phân loại đồng bộ, SyncNet gốc trên LRS2 | 75,8% | Park và cs., arXiv 2024 |
| Số đánh giá của con người được thu thập cho bộ dữ liệu chất lượng đồng bộ cảm nhận (100+ giờ, 80+ người gán nhãn) | 120.000 | Goncalves và cs. (Amazon), PEAVS, ECCV 2024 |
| Tương quan của chỉ số PEAVS với đánh giá của con người, mức tập hợp và mức clip | 0,79 và 0,54 | Goncalves và cs. (Amazon), PEAVS, ECCV 2024 |
| Tương quan giữa điểm đồng bộ của SyncNet và độ lớn của độ lệch đo được | r = -0,066 đến +0,083 | Ho và Li, Preprints.org 2026 |
Ghi chú bối cảnh: trong dữ liệu PEAVS, cả điểm của con người lẫn chỉ số đều đạt đỉnh trên 4 trên thang 5 điểm tại độ dịch âm thanh 45 ms và giảm dần khi độ dịch tăng (Goncalves và cs., PEAVS, ECCV 2024). Phương pháp quần vợt của Amazon đánh dấu lỗi khi một cú đánh vợt xuất hiện trong âm thanh nhưng không có trong video lân cận (Amazon Science, Detection of audio-video synchronization errors via event detection).
Tổng kết: Độ Trôi Đồng Bộ Âm Thanh-Hình Ảnh (Lip-Sync) Khi Phát Trực Tiếp Qua Các Con Số
| Chỉ số | Giá trị | Nguồn |
|---|---|---|
| Ngưỡng nhận biết trung bình, âm thanh đi trước và đi sau | Khoảng +45 ms đến -125 ms | ITU-R BT.1359-1 (1998) |
| Độ rộng cửa sổ đồng bộ tại một nửa đỉnh, lời nói và phi lời nói | 357 ms và 400 ms | Conrey và Pisoni, JASA 2006 |
| Giới hạn phát sóng đầu cuối, âm thanh trước hình và sau hình | 40 ms và 60 ms | EBU R37 (2007) |
| Giới hạn cho từng công đoạn trong chuỗi sản xuất | Từ 5 ms sớm đến 15 ms muộn | EBU R37 (2007) |
| Giới hạn DTV tại đầu vào bộ mã hóa, đi trước và đi sau | 15 ms và 45 ms | ATSC IS/191, qua TV Technology 2004 |
| Giới hạn DTV cho toàn chuỗi | +30 ms đến -90 ms | ATSC IS/191, qua TV Technology 2004 |
| Ngưỡng phát hiện trung bình khi âm thanh đi trước chuyển động môi | 185,19 ms (độ lệch chuẩn 42,32 ms) | Younkin và Corriveau, IEEE Transactions on Broadcasting 2008 |
| Lời nói được đánh giá là đồng bộ, âm thanh đi trước và hình ảnh đi trước | 131 ms và 225 ms | Conrey và Pisoni, JASA 2006 |
| Ngưỡng chấp nhận khi âm thanh đi trước, người đọc bản tin và bóng bầu dục Mỹ | 200 ms và 1,3 s | Ebenezer, arXiv 2022 |
| Cửa sổ đồng bộ, người nghe trẻ và người nghe lớn tuổi | 100 ms và 250 ms | Gordon-Salant và cs., Frontiers in Psychology 2022 |
| Độ nhạy, cặp có âm thanh đi trước và cặp có hình ảnh đi trước | d prime 1,58 và 0,98 | Cecere và cs., European Journal of Neuroscience 2016 |
| Độ lệch trung vị thực tế đến tay người xem khi phát lại video người đang nói được thử nghiệm | Âm thanh muộn 79,2 đến 210,9 ms | Ho và Li, Preprints.org 2026 |
| Khoảng độ lệch của Microsoft Teams trên năm máy tính | -95 ms đến -20 ms | Thử nghiệm AV-Sync của Allion Labs |
| Khoảng độ lệch của Zoom trên năm máy tính | -92 ms đến +73 ms | Thử nghiệm AV-Sync của Allion Labs |
| Khoảng lệch thời điểm khởi phát trung bình tệ nhất, kính thực tế hỗn hợp chưa hiệu chuẩn | 156,63 ms | Eckhoff và cs., PLOS ONE 2024 |
| Độ lệch ban đầu trên một số thiết bị thu hình | Khoảng 60-90 ms | Tài liệu LEADTOOLS (nhà cung cấp) |
| Độ chính xác bộ phân loại lip-sync trên LRS2, IC-SyncNet và SyncNet | 96,5% và 75,8% | Park và cs., arXiv 2024 |
| Tương quan của PEAVS với đánh giá của con người, mức tập hợp | 0,79 | Goncalves và cs. (Amazon), ECCV 2024 |
Phương pháp luận và Nguồn
- Các khuyến nghị của ITU: ITU-R BT.1359-1, Relative timing of sound and vision for broadcasting (1998); ITU-T G.1080, Quality of experience requirements for IPTV services (2008); ITU-R BS.2032-0, Synchronization of digital audio sample clock to video references (2013).
- EBU R37, Relative timing of the sound and vision components of a television signal (2007).
- ATSC IS/191 và ngưỡng của Bell Laboratories, qua các chuyên mục của Randy Hoffner trên TV Technology: ATSC Recommends AV Sync Rules (2004) và A/V Synchronization: How Bad Is Bad? (2003).
- Younkin và Corriveau, Determining the Amount of Audio-Video Synchronization Errors Perceptible to the Average End-User, IEEE Transactions on Broadcasting (2008).
- Conrey và Pisoni, Auditory-visual speech perception and synchrony detection for speech and nonspeech signals, JASA (2006).
- Venezia và cs., Timing in Audiovisual Speech Perception: A Mini Review and New Psychophysical Data, Attention, Perception, and Psychophysics (2016).
- Cecere, Gross và Thut, European Journal of Neuroscience (2016).
- Gordon-Salant và cs., Detection and Recognition of Asynchronous Auditory/Visual Speech, Frontiers in Psychology (2022).
- Salagovic, Stevenson và Butler, Journal of Speech, Language, and Hearing Research (2026).
- Ebenezer, A subjective study of the perceptual acceptability of audio-video desynchronization in sports videos, arXiv (2022).
- Ho và Li, Software Lip-Sync Metrics Do Not Predict Delivered Audio-Visual Synchronisation, Preprints.org (2026).
- Allion Labs, Audio-to-Video Synchronization (AV-Sync) Testing of Webcam and Video Software.
- Eckhoff, Schnupp và Cassinelli, Temporal precision and accuracy of audio-visual stimuli in mixed reality systems, PLOS ONE (2024).
- LEADTOOLS, Timestamp Drifting in Live Capture Situations.
- BBC R&D, dvbcss-synctiming và SMPTE ST 2064-2:2015, Audio to Video Synchronization Measurement, Fingerprint Transport.
- Amazon: Prime Video video quality analysis (2022), Detection of audio-video synchronization errors via event detection, ICASSP (2021) và Goncalves và cs., PEAVS, ECCV (2024).
- Park và cs., Interpretable Convolutional SyncNet, arXiv (2024).
- Lưu ý về dữ liệu: các con số về ngưỡng nhận biết mâu thuẫn giữa các nghiên cứu. Khuyến nghị phát sóng năm 1998 đặt ngưỡng phát hiện khi âm thanh đi trước ở khoảng 45 ms, nghiên cứu của Bell Laboratories ở 35 ms, và Younkin cùng Corriveau ở mức trung bình 185,19 ms; chúng tôi báo cáo cả ba thay vì chọn một, và khác biệt về kích thích cũng như phương pháp có lẽ giải thích cho khoảng cách này. Quy ước về dấu cũng khác nhau: phần lớn tài liệu phát sóng và Allion Labs dùng số dương cho trường hợp âm thanh đi trước, trong khi nghiên cứu dùng điốt quang năm 2026 báo cáo độ trễ âm thanh là số âm. Trang của Allion Labs không ghi ngày xuất bản, còn nghiên cứu dùng điốt quang (đăng ngày 3 tháng 11 năm 2026) và nghiên cứu thể thao của Ebenezer đều là bản thảo tiền công bố chưa được bình duyệt. Các con số của LEADTOOLS là quan sát của chính một nhà cung cấp phần mềm. Các giá trị ATSC IS/191 lấy từ tin của TV Technology vì không truy cập được chính tài liệu của ATSC. Con số độ trôi 3,6 ms mỗi giờ là tính toán của chúng tôi từ dung sai ±1 ppm, không phải giá trị đo được. Phần lớn dữ liệu về ngưỡng và dung sai đã hơn ba năm tuổi và được đánh dấu là dữ liệu mới nhất hiện có.
Cập nhật lần cuối: ngày 6 tháng 11 năm 2026. Chúng tôi cập nhật bài tổng hợp này hàng quý, và lần làm mới tiếp theo dự kiến diễn ra khi phiên bản đã qua bình duyệt của nghiên cứu dùng điốt quang tháng 11 năm 2026 về lip-sync thực tế đến tay người xem được công bố.