ผู้ชมสังเกตเห็นเสียงที่มาถึงก่อนภาพเพียง 45 ms แต่ทนเสียงที่มาถึงหลังภาพได้ถึง 125 ms นี่คือช่วงการตรวจจับที่ไม่สมมาตรซึ่งเป็นฐานของข้อเสนอแนะการออกอากาศระดับสากลว่าด้วยจังหวะเวลาของเสียงและภาพ (ITU-R BT.1359-1, 1998) สายการเล่นจริงมักหลุดช่วงนี้ การศึกษาด้วยโฟโตไดโอดเมื่อเดือนพฤศจิกายน 2026 วัดค่ามัธยฐานของเสียงล่าช้าได้ 79.2 ถึง 210.9 ms ใน 24 การจับคู่ระหว่างเครื่องเล่นกับความละเอียด โดยมากถึง 88.4% ของการทดลองเกินเกณฑ์การตรวจจับ (Ho และ Li, Preprints.org 2026) ความทนทานยังขึ้นกับสิ่งที่อยู่บนหน้าจอ โดยเกณฑ์การยอมรับได้มีตั้งแต่ 200 ms สำหรับผู้อ่านข่าวไปจนถึง 1.3 s สำหรับอเมริกันฟุตบอล (Ebenezer, arXiv 2022) ดริฟต์ของลิปซิงก์ คือช่องว่างระหว่างเวลาที่ปากขยับกับเวลาที่ได้ยินเสียงนั้น เป็นปัญหาคนละเรื่องกับจังหวะเวลาของคำบรรยาย ซึ่งเราเคยกล่าวถึงในสถิติความหน่วงและความแม่นยำของคำบรรยายปิดของเรา เรารวบรวมข้อมูลจาก EBU, ATSC, SMPTE, IEEE Transactions on Broadcasting, Journal of the Acoustical Society of America, PLOS ONE, Allion Labs, Amazon Science และแหล่งข้อมูลปฐมภูมิอื่นอีกราวหนึ่งโหล
สรุปโดยย่อ
- เกณฑ์การตรวจจับเฉลี่ย: ตั้งแต่เสียงนำภาพราว 45 ms ไปจนถึงเสียงตามหลังภาพ 125 ms (ITU-R BT.1359-1, 1998)
- ขีดจำกัดการออกอากาศของยุโรป: เสียงมาก่อนภาพ 40 ms และมาหลังภาพ 60 ms ตั้งแต่ต้นทางถึงปลายทาง (EBU R37, 2007)
- แนวทาง DTV ของสหรัฐฯ ที่อินพุตของตัวเข้ารหัส: เสียงนำภาพไม่เกิน 15 ms หรือตามหลังไม่เกิน 45 ms (ATSC IS/191 ตามรายงานของ TV Technology 2004)
- เกณฑ์การตรวจจับเฉลี่ยเมื่อเสียงนำภาพในการทดสอบในห้องทดลองของ Intel: 185.19 ms, SD 42.32 ms (Younkin และ Corriveau, IEEE Transactions on Broadcasting 2008)
- คำพูดถูกตัดสินว่าซิงก์กันตั้งแต่เสียงนำ 131 ms ไปจนถึงภาพนำ 225 ms (Conrey และ Pisoni, JASA 2006)
- เกณฑ์การยอมรับได้เมื่อเสียงนำภาพ: 200 ms สำหรับผู้อ่านข่าว เทียบกับ 1.3 s สำหรับอเมริกันฟุตบอล (Ebenezer, arXiv 2022)
- ค่ามัธยฐานของความเหลื่อมที่ส่งถึงผู้ชมในการเล่นวิดีโอบุคคลพูดหน้ากล้องที่ทดสอบ: เสียงล่าช้า 79.2 ถึง 210.9 ms ในทุกช่อง (Ho และ Li, Preprints.org 2026)
- Zoom วัดได้ตั้งแต่ภาพนำ 92 ms ไปจนถึงเสียงนำ 73 ms บนคอมพิวเตอร์ห้าเครื่อง (การทดสอบ AV-Sync ของ Allion Labs)
- ช่วงห่างเฉลี่ยของจุดเริ่มต้นเสียงกับภาพที่แย่ที่สุดบนชุดอุปกรณ์สวมศีรษะแบบความจริงผสมที่ยังไม่ได้สอบเทียบ: 156.63 ms (Eckhoff และคณะ, PLOS ONE 2024)
- ช่วงการซิงก์สำหรับผู้พูดภาษาอังกฤษเป็นภาษาแม่: 100 ms ในผู้ฟังอายุน้อยที่การได้ยินปกติ เทียบกับ 250 ms ในผู้ฟังสูงวัย (Gordon-Salant และคณะ, Frontiers in Psychology 2022)
- ความแม่นยำของตัวจำแนกลิปซิงก์บนชุดข้อมูล LRS2: 96.5% สำหรับ IC-SyncNet เทียบกับ 75.8% สำหรับ SyncNet ดั้งเดิม (Park และคณะ, arXiv 2024)
1. เกณฑ์การตรวจจับ: ผู้ชมสังเกตเห็นข้อผิดพลาดของลิปซิงก์เมื่อใด
ข้อค้นพบที่สอดคล้องกันที่สุดตลอดงานวิจัย 80 ปีคือความไม่สมมาตร เสียงที่มาก่อนถูกจับได้เมื่อเหลื่อมกันเพียงประมาณหนึ่งในสามของที่เสียงที่มาช้าต้องใช้ คือเสียงนำภาพราว 45 ms เทียบกับเสียงตามหลังภาพ 125 ms ในการทดสอบเชิงอัตวิสัย (การทดสอบที่ให้ผู้ชมให้คะแนนคลิป) ที่สรุปไว้ในข้อเสนอแนะ ITU-R BT.1359-1 ธรรมชาติอธิบายอคตินี้ได้ แสงเดินทางเร็วกว่าเสียง และในการพูดตามธรรมชาติ ปากเริ่มขยับก่อนที่เสียงจะออกมา ในสิ่งเร้าคำพูดที่ Venezia และคณะวิเคราะห์ การหุบปากเกิดก่อนเสียง 163 ms สมองจึงถูกฝึกให้ยอมรับเสียงที่มาช้าอยู่แล้ว
ความแตกต่างระหว่างการศึกษาสำคัญไม่แพ้ค่าเฉลี่ย การศึกษาของ Bell Laboratories ในทศวรรษ 1940 กำหนดการตรวจจับไว้ที่เสียงนำ 35 ms และเสียงตามหลัง 100 ms ขณะที่การทดสอบในห้องทดลองของ Intel เกี่ยวกับข้อผิดพลาดแบบเสียงนำภาพได้ค่าเฉลี่ยที่หลวมกว่ามากคือ 185.19 ms (Younkin และ Corriveau, IEEE Transactions on Broadcasting 2008) ข้อสรุปเชิงปฏิบัติ: เกณฑ์เป็นค่าเฉลี่ยของประชากร และผู้ชมที่ไวที่สุดอยู่ลึกเข้ามาในเกณฑ์เหล่านั้นมาก การสตรีมที่ออกแบบตามค่าเฉลี่ยจึงยังรบกวนผู้ชมส่วนหนึ่ง
| ตัวชี้วัด | ค่า | แหล่งที่มา |
|---|---|---|
| เกณฑ์การตรวจจับเฉลี่ย เสียงนำภาพ และเสียงตามหลังภาพ | ราว +45 ms ถึง -125 ms | ITU-R BT.1359-1 (1998) |
| เกณฑ์การตรวจจับในการศึกษาช่วงแรกของ Bell Laboratories เสียงนำภาพ และเสียงตามหลังภาพ | เสียงนำเกิน 35 ms หรือตามหลังเกิน 100 ms | การศึกษาของ Bell Laboratories ตามรายงานใน TV Technology (Hoffner) 2003 |
| เกณฑ์การตรวจจับเฉลี่ยเมื่อเสียงนำการขยับริมฝีปาก | 185.19 ms (SD 42.32 ms) | Younkin และ Corriveau, IEEE Transactions on Broadcasting 2008 |
| คำพูดที่ถูกตัดสินว่าซิงก์กัน เสียงนำมากที่สุด และภาพนำมากที่สุด (ผู้ใหญ่ 30 คน) | ตั้งแต่เสียงนำ 131 ms ถึงภาพนำ 225 ms | Conrey และ Pisoni, JASA 2006 |
| สิ่งที่ไม่ใช่คำพูด (แสงวาบและเสียงโทน) ที่ถูกตัดสินว่าซิงก์กัน เสียงนำ และภาพนำ | ตั้งแต่เสียงนำ 153 ms ถึงภาพนำ 247 ms | Conrey และ Pisoni, JASA 2006 |
| ความกว้างของช่วงการซิงก์ที่ครึ่งหนึ่งของจุดสูงสุด คำพูด และสิ่งที่ไม่ใช่คำพูด | 357 ms และ 400 ms | Conrey และ Pisoni, JASA 2006 |
| เกณฑ์การตรวจจับสำหรับคำพูด ภาพนำเสียง และเสียงนำภาพ | 258 ms และ 131 ms | Dixon และ Spitz 1980 อ้างใน Venezia และคณะ, Attention, Perception, and Psychophysics 2016 |
| เกณฑ์การตรวจจับสำหรับค้อนที่ตอกหมุด ภาพนำ และเสียงนำ | 188 ms และ 75 ms | Dixon และ Spitz 1980 อ้างใน Venezia และคณะ 2016 |
หมายเหตุบริบท: Conrey และ Pisoni พบว่าจุดกึ่งกลางของช่วงการซิงก์อยู่ที่ภาพนำ 47 ms ไม่ใช่ที่ศูนย์ ทั้งสำหรับคำพูดและสิ่งที่ไม่ใช่คำพูด (Conrey และ Pisoni, JASA 2006) บทความทบทวนของ Venezia และคณะ ติดตามรูปแบบเดียวกันนี้ผ่านการทำซ้ำหลายครั้ง ข้อมูลล่าสุดที่มีสำหรับเกณฑ์ของประชากร: Younkin และ Corriveau 2008 เราไม่พบการศึกษาเกณฑ์ขนาดตัวอย่างใหญ่ที่ใหม่กว่านี้เกี่ยวกับลิปซิงก์ในงานออกอากาศ
2. ค่าความคลาดเคลื่อนที่ยอมรับได้ในการออกอากาศและงบประมาณการซิงก์
การศึกษาด้านการรับรู้บอกว่าผู้ชมสังเกตเห็นได้ที่จุดใด ส่วนมาตรฐานบอกวิศวกรว่าแต่ละส่วนของสายการผลิตใช้ส่วนต่างนั้นได้เท่าไร สิ่งที่โดดเด่นคือเกณฑ์ทางวิศวกรรมเข้มงวดกว่าเกณฑ์การรับรู้มาก EBU R37 อนุญาตให้แต่ละขั้นตอนเร็วกว่าเวลาได้เพียง 5 ms และช้ากว่าเวลา 15 ms ขณะที่ทั้งสายต้องอยู่ในขีดจำกัดตั้งแต่ต้นทางถึงปลายทางที่เสียงนำ 40 ms และเสียงตามหลัง 60 ms (EBU R37, 2007) EBU ระบุว่าขีดจำกัดของตนอิงตามความหน่วงที่ผู้สังเกต 50% สังเกตเห็นความล้มเหลวของลิปซิงก์
สหรัฐฯ เข้มงวดกว่านั้นอีก คณะอนุกรรมการด้านการนำไปใช้ของ ATSC พบว่าขีดจำกัดสากลปี 1998 ไม่เพียงพอสำหรับโทรทัศน์ดิจิทัล และขอให้เสียงที่เข้าสู่ตัวเข้ารหัสไม่นำหน้าภาพเกิน 15 ms หรือตามหลังเกิน 45 ms (TV Technology, ATSC Recommends AV Sync Rules, 2004) เพื่อเปรียบเทียบ หลักเกณฑ์คร่าว ๆ ของ NTSC เดิมคือ +1 และ -2 เฟรม หรือ +33 และ -66 ms ข้อเสนอแนะปี 1998 ยังแบ่งงบประมาณของตัวเองด้วย โดยเหลือให้ส่วนที่อยู่นอกการควบคุมของผู้ออกอากาศเพียง ±2 ms
| ตัวชี้วัด | ค่า | แหล่งที่มา |
|---|---|---|
| เกณฑ์ความคลาดเคลื่อนโดยรวมระหว่างเสียงกับภาพ (เป็นเกณฑ์การยอมรับได้เฉลี่ยด้วย) | +90 ms ถึง -185 ms | ITU-R BT.1359-1 (1998) |
| การแบ่งงบประมาณ: จากแหล่งกล้องถึงจุดอ้างอิงศูนย์ (ข้อมูลอ้างอิงด้านเวลาของสตูดิโอ) และจากจุดอ้างอิงศูนย์ถึงอินพุตของเครื่องส่ง | +25 / -100 ms และ +22.5 / -30 ms | ITU-R BT.1359-1 (1998) |
| ขีดจำกัดตั้งแต่ต้นทางถึงปลายทาง ณ เอาต์พุตใด ๆ ที่มีไว้สำหรับออกอากาศ เสียงมาก่อนภาพ และเสียงมาหลังภาพ | 40 ms และ 60 ms | EBU R37 (2007) |
| ขีดจำกัดต่อแต่ละขั้นตอนของสายการผลิต | ตั้งแต่ 5 ms ก่อนเวลา ถึง 15 ms หลังเวลา | EBU R37 (2007) |
| ขีดจำกัด DTV สำหรับเสียงที่อินพุตของตัวเข้ารหัส เสียงนำ และเสียงตามหลัง | 15 ms และ 45 ms | ATSC IS/191 ตามรายงานของ TV Technology 2004 |
| ขีดจำกัด DTV สำหรับทั้งสายการผลิต เสียงนำวิดีโอ และเสียงตามหลังวิดีโอ | +30 ms ถึง -90 ms | ATSC IS/191 ตามรายงานของ TV Technology 2004 |
| ขีดจำกัดคุณภาพประสบการณ์ของ IPTV เสียงนำวิดีโอ และเสียงตามหลังวิดีโอ (ชั่วคราว ความละเอียดมาตรฐาน) | สูงสุด 15 ms และ 45 ms | ITU-T G.1080 (2008) |
| หลักเกณฑ์คร่าว ๆ ของ NTSC แบบอนาล็อก ในหน่วยเฟรมและมิลลิวินาที | +1 / -2 เฟรม (+33 / -66 ms) | TV Technology (Hoffner) 2004 |
หมายเหตุเกี่ยวกับค่าผิดปกติ: เอกสารเหล่านี้เก่าแต่ยังมีผลบังคับใช้ ข้อเสนอแนะว่าด้วยเสียงและภาพได้รับการอนุมัติเมื่อวันที่ 30 พฤศจิกายน 1998 และข้อเสนอแนะด้านคุณภาพของ IPTV เมื่อวันที่ 7 ธันวาคม 2008 โดยทั้งสองฉบับระบุว่ายังมีผลบังคับใช้ ข้อมูลล่าสุดที่มี: EBU R37, 2007
3. ประเภทเนื้อหาและผู้ชม: ใครทนได้เท่าไร
ใบหน้าที่กำลังพูดคือการทดสอบที่ยากที่สุดที่การสตรีมต้องเผชิญ ในการศึกษาผู้ชม 20 คนกับคลิป 45 คลิป เกณฑ์การยอมรับได้เมื่อเสียงนำภาพอยู่ที่ 200 ms สำหรับผู้อ่านข่าว แต่ 1.3 s สำหรับอเมริกันฟุตบอล (Ebenezer, arXiv 2022) ภาพมุมกว้างของกีฬามีเหตุการณ์ภาพและเสียงที่ชัดเจนไม่มากพอจะใช้ยึดจังหวะเวลา ดังนั้นการสตรีมเกมหรือกีฬาที่มีกล้องใบหน้าของสตรีมเมอร์อยู่บนหน้าจอ จึงถูกตัดสินด้วยมาตรฐานที่เข้มงวดกว่าซึ่งอิงใบหน้า
ผู้ชมก็สำคัญ เมื่อเป็นผู้พูดภาษาอังกฤษเป็นภาษาแม่ ผู้ฟังสูงวัยมีช่วงการซิงก์ (ช่วงของความเหลื่อมที่ยังรับรู้ว่าเกิดพร้อมกัน) กว้างอย่างน้อยสองเท่าของผู้ใหญ่วัยหนุ่มสาว แต่ก็ยังเสียความสามารถในการจดจำคำพูดเมื่อสัญญาณไม่ตรงกัน แม้จะไม่สังเกตเห็นข้อผิดพลาดก็ตาม (Gordon-Salant และคณะ, Frontiers in Psychology 2022) ช่วงที่กว้างไม่ได้แปลว่าไม่ได้รับผลกระทบ ข้อผิดพลาดของการซิงก์อาจทำให้ความเข้าใจลดลงโดยไม่เคยถูกรายงานเป็นข้อร้องเรียน
| ตัวชี้วัด | ค่า | แหล่งที่มา |
|---|---|---|
| เกณฑ์การยอมรับได้เมื่อเสียงนำภาพ คลิปผู้อ่านข่าว | 200 ms | Ebenezer, arXiv 2022 |
| เกณฑ์การยอมรับได้เมื่อเสียงนำภาพ คลิปคริกเก็ต | 500 ms | Ebenezer, arXiv 2022 |
| เกณฑ์การยอมรับได้เมื่อเสียงนำภาพ คลิปฟุตบอลและเทนนิส | 1 s | Ebenezer, arXiv 2022 |
| เกณฑ์การยอมรับได้เมื่อเสียงนำภาพ คลิปอเมริกันฟุตบอล | 1.3 s | Ebenezer, arXiv 2022 |
| ช่วงการซิงก์สำหรับผู้พูดภาษาอังกฤษเป็นภาษาแม่ ผู้ฟังอายุน้อยที่การได้ยินปกติ และผู้ฟังสูงวัย (กลุ่มละ 17 คน) | 100 ms และ 250 ms | Gordon-Salant และคณะ, Frontiers in Psychology 2022 |
| ความกว้างโดยทั่วไปของช่วงการซิงก์ คู่ที่ภาพนำ และคู่ที่เสียงนำ | 200-250 ms และ 100-150 ms | Cecere และคณะ, European Journal of Neuroscience 2016 |
| คะแนนความไวพื้นฐาน (ดีไพรม์ ค่ายิ่งสูงยิ่งตรวจจับได้ดี) คู่ที่เสียงนำ และคู่ที่ภาพนำ ผู้ใหญ่ 30 คน | 1.58 และ 0.98 | Cecere และคณะ, European Journal of Neuroscience 2016 |
| ผู้เข้าร่วมในการศึกษาปี 2026 เรื่องความไม่ซิงก์ของคำพูดในเสียงรบกวน ผู้ใช้ประสาทหูเทียม และผู้ใหญ่ที่การได้ยินปกติ (ความเหลื่อมสูงสุด 400 ms) | 15 และ 31 | Salagovic และคณะ, Journal of Speech, Language, and Hearing Research 2026 |
หมายเหตุบริบท: ช่องว่างของความไวใน Cecere และคณะมีความแข็งแรงทางสถิติ (F(1,27) = 37.10, p < 0.0001) (Cecere และคณะ, European Journal of Neuroscience 2016) ในการศึกษาปี 2026 ความเข้าใจคำพูดสูงสุดใกล้จุดที่ซิงก์กันในทั้งสองกลุ่ม และผู้ใช้ประสาทหูเทียมแสดงการลดลงมากกว่าเมื่อความไม่ซิงก์เพิ่มขึ้น (Salagovic และคณะ, JSLHR 2026) การศึกษาเรื่องกีฬาเป็นพรีพรินต์ (ฉบับก่อนผ่านการพิจารณาโดยผู้ทรงคุณวุฒิ) และมีอายุเกินสามปี ข้อมูลล่าสุดที่มี: Ebenezer, 2022
4. ความเหลื่อมที่วัดได้ในเครื่องเล่น แอปโทร และชุดอุปกรณ์สวมศีรษะ
มาตรฐานสมมติว่าอุปกรณ์แต่ละเครื่องรายงานและแก้ความหน่วงของตัวเอง แต่การวัดแสดงว่าสมมติฐานนี้ใช้ไม่ได้ การศึกษาด้วยโฟโตไดโอดและเอาต์พุตสายสัญญาณเมื่อเดือนพฤศจิกายน 2026 กับระบบวิดีโอบุคคลพูดหน้ากล้องสี่ระบบ เครื่องเล่นสามตัว และความละเอียดสองระดับ พบว่า เสียงตามหลังในทั้ง 24 ช่อง โดยมีค่ามัธยฐานของความเหลื่อม 79.2 ถึง 210.9 ms และ 60.9% ถึง 88.4% จาก 3,637 การทดลองเกินเกณฑ์การตรวจจับของงานออกอากาศ (Ho และ Li, Preprints.org 2026) ความไม่แน่นอนของการวัดระหว่างช่องสัญญาณของพวกเขาเองอยู่ที่ 0.0144 ms ดังนั้นข้อผิดพลาดอยู่ที่สายการเล่น ไม่ใช่ที่เครื่องมือวัด
แอปโทรและแอปสตรีมกระจายตัวทั้งสองฝั่งของศูนย์ ในการทดสอบของ Allion Labs ที่ใช้เว็บแคม USB หนึ่งตัวกับคอมพิวเตอร์ห้าเครื่อง แอปเดียวกันอาจนำภาพในเครื่องหนึ่งและตามหลังในอีกเครื่องหนึ่ง (การทดสอบ AV-Sync ของ Allion Labs) นี่คือเหตุผลที่การแก้ไขระดับแพ็กเก็ต ซึ่งเรากล่าวถึงในสถิติการปกปิดการสูญหายของแพ็กเก็ต WebRTCของเรา ไม่อาจรับประกันลิปซิงก์ได้ด้วยตัวเอง เพราะการซิงก์ถูกกำหนดที่ปลายทางทั้งสองด้าน ทุกขั้นตอนการประมวลผลที่สตรีมเมอร์เพิ่มเข้าในเส้นทางไมโครโฟน ตั้งแต่การลดเสียงรบกวนไปจนถึงตัวเปลี่ยนเสียงใน OBS ล้วนเพิ่มความหน่วงของตัวเองเข้าในงบประมาณนั้น ซึ่งเป็นเหตุผลที่ EBU R37 จัดงบประมาณแยกแต่ละขั้นตอน
| ตัวชี้วัด | ค่า | แหล่งที่มา |
|---|---|---|
| ค่ามัธยฐานของความเหลื่อมระหว่างภาพกับเสียงที่ส่งถึงผู้ชมใน 24 ช่องที่แบ่งตามเครื่องเล่นและความละเอียด (ค่าติดลบหมายถึงเสียงมาช้า) | -210.9 ms ถึง -79.2 ms | Ho และ Li, Preprints.org 2026 |
| สัดส่วนการทดลองที่เกินเกณฑ์การตรวจจับของงานออกอากาศ ช่วงค่าข้ามทุกช่อง | 60.9% ถึง 88.4% | Ho และ Li, Preprints.org 2026 |
| สัดส่วนการทดลองที่เกินเกณฑ์การยอมรับได้ของงานออกอากาศ ช่วงค่าข้ามทุกช่อง | 31.6% ถึง 59.4% | Ho และ Li, Preprints.org 2026 |
| Zoom ช่วงค่าบนคอมพิวเตอร์ห้าเครื่อง (ค่าบวกหมายถึงเสียงมาก่อน) | -92 ms ถึง +73 ms | การทดสอบ AV-Sync ของ Allion Labs (ไม่ระบุวันที่) |
| Microsoft Teams ช่วงค่าบนคอมพิวเตอร์ห้าเครื่อง | -95 ms ถึง -20 ms | การทดสอบ AV-Sync ของ Allion Labs (ไม่ระบุวันที่) |
| Twitch ช่วงค่าบนคอมพิวเตอร์สี่เครื่อง | -90 ms ถึง +32 ms | การทดสอบ AV-Sync ของ Allion Labs (ไม่ระบุวันที่) |
| Google Meet ช่วงค่าบนคอมพิวเตอร์ห้าเครื่อง | -100 ms ถึง +42 ms | การทดสอบ AV-Sync ของ Allion Labs (ไม่ระบุวันที่) |
| ช่วงห่างเฉลี่ยของจุดเริ่มต้นเสียงกับภาพที่มากที่สุดบนชุดอุปกรณ์สวมศีรษะแบบความจริงผสมที่ยังไม่ได้สอบเทียบ โดยมีจิตเตอร์สูงสุด | 156.63 ms จิตเตอร์สูงสุด ±11.82 ms | Eckhoff และคณะ, PLOS ONE 2024 |
หมายเหตุบริบท: การสอบเทียบได้ผล การหน่วงภาพบน Varjo XR-3 ทำให้ช่วงห่างของมันเปลี่ยนจาก 53.49 ± 3.15 ms เป็น -3.89 ± 1.56 ms ตลอดการนำเสนอ 100 ครั้ง (Eckhoff และคณะ, PLOS ONE 2024) การศึกษาด้วยโฟโตไดโอดที่ยกมาในตอนต้นของหัวข้อนี้เผยแพร่เมื่อวันที่ 3 พฤศจิกายน 2026 และยังไม่ผ่านการพิจารณาโดยผู้ทรงคุณวุฒิ
5. ดริฟต์ในเซสชันยาว: นาฬิกา การ์ดแคปเจอร์ และการวัดการซิงก์
ค่าเหลื่อมคงที่ปรับแก้ได้ครั้งเดียวจบ แต่ดริฟต์ (drift) แก้แบบนั้นไม่ได้ เพราะมันเพิ่มขึ้นตามเวลา เมื่อเสียงและภาพใช้สัญญาณนาฬิกาแยกกัน ความคลาดเคลื่อนของความถี่จะสะสมตราบเท่าที่การสตรีมยังดำเนินอยู่ นาฬิกาที่อยู่ที่ขีดจำกัด ±1 ppm ของแหล่งอ้างอิงเสียงดิจิทัล Grade 1 (DARS นาฬิกาหลักที่กำหนดอัตราการสุ่มตัวอย่างเสียง) เลื่อนไป 3.6 ms ต่อชั่วโมง: 0.000001 x 3,600 วินาที = 0.0036 s หรือ 28.8 ms ตลอดการสตรีมแปดชั่วโมง (การคำนวณของเราจากเกณฑ์ความคลาดเคลื่อนของ Grade 1 ในตารางด้านล่าง) โรงงานออกอากาศหลีกเลี่ยงปัญหานี้ด้วยการล็อกทุกอย่างเข้ากับแหล่งอ้างอิงเดียว ซึ่งเป็นตรรกะเดียวกับการย้ายไปสู่ IP ที่เราติดตามในสถิติการออกอากาศ AoIP, Dante และ AES67ของเรา
ฮาร์ดแวร์แคปเจอร์ระดับผู้บริโภคหลวมกว่า LEADTOOLS ผู้ผลิตซอฟต์แวร์บันทึกไว้ว่ามีอุปกรณ์แคปเจอร์ที่เริ่มต้นด้วยการไม่ซิงก์ 60 ถึง 90 ms และอุปกรณ์ที่เริ่มเลื่อนไหลหลังจาก 8 ถึง 24 ชั่วโมง (LEADTOOLS, Timestamp Drifting in Live Capture Situations) สำหรับการสตรีมตลอด 24 ชั่วโมงทุกวัน ดริฟต์ไม่ใช่กรณีขอบ แต่เป็นรายการบำรุงรักษาตามกำหนด
| ตัวชี้วัด | ค่า | แหล่งที่มา |
|---|---|---|
| ความแม่นยำของความถี่ระยะยาวของแหล่งอ้างอิงเสียงดิจิทัล Grade 1 | ภายใน ±1 ppm | ITU-R BS.2032-0 (2013) |
| ดริฟต์ที่ขีดจำกัด ±1 ppm ต่อชั่วโมงและตลอด 8 ชั่วโมง (การคำนวณของเรา) | 3.6 ms ต่อชั่วโมง; 28.8 ms ต่อ 8 ชั่วโมง | คำนวณจาก ITU-R BS.2032-0 (2013) |
| การ์ดแคปเจอร์ที่พบว่าเลื่อนไหลหลังบันทึกต่อเนื่อง | 8 ถึง 24 ชั่วโมง | เอกสาร LEADTOOLS (ข้อสังเกตของผู้ผลิตเอง) |
| ความเหลื่อมเริ่มต้นระหว่างภาพกับเสียงในอุปกรณ์แคปเจอร์บางรุ่น | ราว 60-90 ms | เอกสาร LEADTOOLS (ข้อสังเกตของผู้ผลิตเอง) |
| ความต่างของไทม์สแตมป์บนอุปกรณ์แคปเจอร์ที่นาฬิกาไม่ตรงกัน | มากกว่า 500 ms | เอกสาร LEADTOOLS (ข้อสังเกตของผู้ผลิตเอง) |
| ความแม่นยำของชุดวัดการซิงก์แบบโอเพนซอร์สของ BBC (เซนเซอร์แสงรวมกับอินพุตเสียง) | ความแม่นยำราวหนึ่งมิลลิวินาที | BBC R&D dvbcss-synctiming |
| ตัวอย่างเกณฑ์ผ่าน/ไม่ผ่านในชุดวัดของ BBC แอปหน้าจอที่สอง และทีวี | ±8 ms และ ±23 ms | BBC R&D dvbcss-synctiming |
| วิธีการขนส่งลายนิ้วมือสัญญาณของลิปซิงก์ (SDI, UDP ผ่าน IP, สตรีมขนส่ง MPEG-2) หนึ่งคอนเทนเนอร์ต่อเฟรม | 3 | SMPTE ST 2064-2 (2015) |
หมายเหตุบริบท: ชุดวัดของ BBC เล่นวิดีโอทดสอบที่มีแสงวาบและเสียงบี๊บ แล้ววัดเวลาที่หน้าจอและลำโพง ซึ่งเป็นจุดเดียวที่การซิงก์ถูกสัมผัสได้จริง (BBC R&D dvbcss-synctiming) แนวทางลายนิ้วมือของ SMPTE วัดการเปลี่ยนแปลงของจังหวะเวลาโดยไม่ต้องใช้สัญญาณทดสอบ ด้วยการเปรียบเทียบลายนิ้วมือที่เก็บจากต้นทางและปลายทาง (SMPTE ST 2064-2:2015)
6. การตรวจจับลิปซิงก์อัตโนมัติ: สิ่งที่เครื่องจับได้และจับไม่ได้
บริการสตรีมมิงตรวจสอบการซิงก์ด้วยแมชชีนเลิร์นนิงแทนการสุ่มตรวจโดยมนุษย์ Prime Video สร้างตัวตรวจจับสำหรับข้อบกพร่อง 18 ประเภท รวมถึงการซิงก์ภาพกับเสียง และรันตัวตรวจจับลิปซิงก์บนคลิปความยาวสี่วินาทีที่เน้นใบหน้าเดียว ทั่วหลายพันช่องและงานถ่ายทอดสด (Amazon Science, How Prime Video uses machine learning to ensure video quality, 2022) ความแม่นยำของตัวจำแนกเพิ่มขึ้นอย่างรวดเร็ว: 96.5% บนชุดข้อมูล LRS2 ในปี 2024 เทียบกับ 75.8% ของ SyncNet ดั้งเดิม (Park และคณะ, Interpretable Convolutional SyncNet, arXiv 2024)
ข้อติดขัดคือคะแนนระดับไฟล์มองไม่เห็นสายการเล่น Ho และ Li พบว่าคะแนนการซิงก์ของ SyncNet ไม่สัมพันธ์กับความเหลื่อมที่พวกเขาวัดได้ที่หน้าจอ และค่าประมาณความเหลื่อมของ SyncNet เองสอดคล้องกับค่าที่วัดได้เพียงภายในครึ่งความกว้าง 282.2 ms ไฟล์ที่สะอาดก็ยังเล่นออกมาไม่ซิงก์ได้ และการตรวจสอบรอบที่สองต้องเกิดขึ้นที่อุปกรณ์
| ตัวชี้วัด | ค่า | แหล่งที่มา |
|---|---|---|
| ประเภทข้อบกพร่องของวิดีโอที่ตัวตรวจจับของ Prime Video ครอบคลุม (รวมการซิงก์ภาพกับเสียง) | 18 | Amazon Science (Prime Video) 2022 |
| ฐานข้อมูลข้อผิดพลาดการซิงก์ภาพกับเสียงในเทนนิสที่นักวิจัยของ Amazon สร้างขึ้น | 504,300 เฟรมจากวิดีโอ 6 ชั่วโมง | Ebenezer และคณะ, ICASSP 2021 (Amazon) |
| ความแม่นยำในการจำแนกการซิงก์ IC-SyncNet บน LRS2 และ LRS3 | 96.5% และ 93.8% | Park และคณะ, arXiv 2024 |
| ความแม่นยำในการจำแนกการซิงก์ SyncNet ดั้งเดิมบน LRS2 | 75.8% | Park และคณะ, arXiv 2024 |
| คะแนนจากมนุษย์ที่รวบรวมสำหรับชุดข้อมูลคุณภาพการซิงก์เชิงการรับรู้ (100+ ชั่วโมง ผู้ติดป้ายกำกับ 80+ คน) | 120,000 | Goncalves และคณะ (Amazon), PEAVS, ECCV 2024 |
| สหสัมพันธ์ของตัวชี้วัด PEAVS กับคะแนนจากมนุษย์ ระดับชุด และระดับคลิป | 0.79 และ 0.54 | Goncalves และคณะ (Amazon), PEAVS, ECCV 2024 |
| สหสัมพันธ์ระหว่างคะแนนการซิงก์ของ SyncNet กับขนาดของความเหลื่อมที่วัดได้ | r = -0.066 ถึง +0.083 | Ho และ Li, Preprints.org 2026 |
หมายเหตุบริบท: ในข้อมูล PEAVS ทั้งคะแนนจากมนุษย์และตัวชี้วัดสูงสุดเกิน 4 จากสเกล 5 ระดับที่การเลื่อนของเสียง 45 ms และลดลงเมื่อการเลื่อนมากขึ้น (Goncalves และคณะ, PEAVS, ECCV 2024) วิธีการเรื่องเทนนิสของ Amazon ทำเครื่องหมายข้อผิดพลาดเมื่อเสียงไม้เทนนิสกระทบลูกปรากฏในเสียงแต่ไม่ปรากฏในวิดีโอช่วงใกล้เคียง (Amazon Science, Detection of audio-video synchronization errors via event detection)
สรุป: ดริฟต์ของการซิงก์ภาพและเสียง (ลิปซิงก์) ในการสตรีมสดในรูปแบบตัวเลข
| ตัวชี้วัด | ค่า | แหล่งที่มา |
|---|---|---|
| เกณฑ์การตรวจจับเฉลี่ย เสียงนำ และเสียงตามหลัง | ราว +45 ms ถึง -125 ms | ITU-R BT.1359-1 (1998) |
| ความกว้างของช่วงการซิงก์ที่ครึ่งหนึ่งของจุดสูงสุด คำพูด และสิ่งที่ไม่ใช่คำพูด | 357 ms และ 400 ms | Conrey และ Pisoni, JASA 2006 |
| ขีดจำกัดการออกอากาศตั้งแต่ต้นทางถึงปลายทาง เสียงมาก่อนภาพ และเสียงมาหลังภาพ | 40 ms และ 60 ms | EBU R37 (2007) |
| ขีดจำกัดต่อขั้นตอนในสายการผลิต | ตั้งแต่ 5 ms ก่อนเวลา ถึง 15 ms หลังเวลา | EBU R37 (2007) |
| ขีดจำกัด DTV ที่อินพุตของตัวเข้ารหัส เสียงนำ และเสียงตามหลัง | 15 ms และ 45 ms | ATSC IS/191 ผ่าน TV Technology 2004 |
| ขีดจำกัด DTV ทั้งสายการผลิต | +30 ms ถึง -90 ms | ATSC IS/191 ผ่าน TV Technology 2004 |
| เกณฑ์การตรวจจับเฉลี่ยเมื่อเสียงนำการขยับริมฝีปาก | 185.19 ms (SD 42.32 ms) | Younkin และ Corriveau, IEEE Transactions on Broadcasting 2008 |
| คำพูดที่ถูกตัดสินว่าซิงก์กัน เสียงนำ และภาพนำ | 131 ms และ 225 ms | Conrey และ Pisoni, JASA 2006 |
| เกณฑ์การยอมรับได้เมื่อเสียงนำ ผู้อ่านข่าว และอเมริกันฟุตบอล | 200 ms และ 1.3 s | Ebenezer, arXiv 2022 |
| ช่วงการซิงก์ ผู้ฟังอายุน้อย และผู้ฟังสูงวัย | 100 ms และ 250 ms | Gordon-Salant และคณะ, Frontiers in Psychology 2022 |
| ความไว คู่ที่เสียงนำ และคู่ที่ภาพนำ | ดีไพรม์ 1.58 และ 0.98 | Cecere และคณะ, European Journal of Neuroscience 2016 |
| ค่ามัธยฐานของความเหลื่อมที่ส่งถึงผู้ชมในการเล่นวิดีโอบุคคลพูดหน้ากล้องที่ทดสอบ | เสียงล่าช้า 79.2 ถึง 210.9 ms | Ho และ Li, Preprints.org 2026 |
| ช่วงความเหลื่อมของ Microsoft Teams บนคอมพิวเตอร์ห้าเครื่อง | -95 ms ถึง -20 ms | การทดสอบ AV-Sync ของ Allion Labs |
| ช่วงความเหลื่อมของ Zoom บนคอมพิวเตอร์ห้าเครื่อง | -92 ms ถึง +73 ms | การทดสอบ AV-Sync ของ Allion Labs |
| ช่วงห่างเฉลี่ยของจุดเริ่มต้นที่แย่ที่สุด ชุดอุปกรณ์สวมศีรษะแบบความจริงผสมที่ยังไม่ได้สอบเทียบ | 156.63 ms | Eckhoff และคณะ, PLOS ONE 2024 |
| ความเหลื่อมเริ่มต้นบนอุปกรณ์แคปเจอร์บางรุ่น | ราว 60-90 ms | เอกสาร LEADTOOLS (ผู้ผลิต) |
| ความแม่นยำของตัวจำแนกลิปซิงก์บน LRS2 IC-SyncNet และ SyncNet | 96.5% และ 75.8% | Park และคณะ, arXiv 2024 |
| สหสัมพันธ์ของ PEAVS กับคะแนนจากมนุษย์ ระดับชุด | 0.79 | Goncalves และคณะ (Amazon), ECCV 2024 |
ระเบียบวิธีและแหล่งที่มา
- ข้อเสนอแนะของ ITU: ITU-R BT.1359-1, Relative timing of sound and vision for broadcasting (1998); ITU-T G.1080, Quality of experience requirements for IPTV services (2008); ITU-R BS.2032-0, Synchronization of digital audio sample clock to video references (2013)
- EBU R37, Relative timing of the sound and vision components of a television signal (2007)
- ATSC IS/191 และเกณฑ์ของ Bell Laboratories ผ่านคอลัมน์ของ Randy Hoffner ใน TV Technology: ATSC Recommends AV Sync Rules (2004) และ A/V Synchronization: How Bad Is Bad? (2003)
- Younkin และ Corriveau, Determining the Amount of Audio-Video Synchronization Errors Perceptible to the Average End-User, IEEE Transactions on Broadcasting (2008)
- Conrey และ Pisoni, Auditory-visual speech perception and synchrony detection for speech and nonspeech signals, JASA (2006)
- Venezia และคณะ, Timing in Audiovisual Speech Perception: A Mini Review and New Psychophysical Data, Attention, Perception, and Psychophysics (2016)
- Cecere, Gross และ Thut, European Journal of Neuroscience (2016)
- Gordon-Salant และคณะ, Detection and Recognition of Asynchronous Auditory/Visual Speech, Frontiers in Psychology (2022)
- Salagovic, Stevenson และ Butler, Journal of Speech, Language, and Hearing Research (2026)
- Ebenezer, A subjective study of the perceptual acceptability of audio-video desynchronization in sports videos, arXiv (2022)
- Ho และ Li, Software Lip-Sync Metrics Do Not Predict Delivered Audio-Visual Synchronisation, Preprints.org (2026)
- Allion Labs, Audio-to-Video Synchronization (AV-Sync) Testing of Webcam and Video Software
- Eckhoff, Schnupp และ Cassinelli, Temporal precision and accuracy of audio-visual stimuli in mixed reality systems, PLOS ONE (2024)
- LEADTOOLS, Timestamp Drifting in Live Capture Situations
- BBC R&D, dvbcss-synctiming และ SMPTE ST 2064-2:2015, Audio to Video Synchronization Measurement, Fingerprint Transport
- Amazon: Prime Video video quality analysis (2022), Detection of audio-video synchronization errors via event detection, ICASSP (2021) และ Goncalves และคณะ, PEAVS, ECCV (2024)
- Park และคณะ, Interpretable Convolutional SyncNet, arXiv (2024)
- ข้อสังเกตเกี่ยวกับข้อมูล: ตัวเลขเกณฑ์การตรวจจับขัดแย้งกันระหว่างการศึกษา ข้อเสนอแนะด้านการออกอากาศปี 1998 กำหนดการตรวจจับเมื่อเสียงนำไว้ที่ราว 45 ms การศึกษาของ Bell Laboratories ที่ 35 ms และ Younkin กับ Corriveau ที่ค่าเฉลี่ย 185.19 ms เรารายงานทั้งสามค่าแทนที่จะเลือกเพียงค่าเดียว และความแตกต่างของสิ่งเร้าและวิธีการน่าจะอธิบายช่องว่างนี้ได้ ธรรมเนียมการใช้เครื่องหมายก็ต่างกันด้วย เอกสารด้านการออกอากาศส่วนใหญ่และ Allion Labs ใช้ค่าบวกเมื่อเสียงมาก่อน ขณะที่การศึกษาด้วยโฟโตไดโอดปี 2026 รายงานเสียงล่าช้าเป็นค่าลบ หน้าเว็บของ Allion Labs ไม่ระบุวันที่เผยแพร่ และการศึกษาด้วยโฟโตไดโอด (เผยแพร่เมื่อวันที่ 3 พฤศจิกายน 2026) กับการศึกษาเรื่องกีฬาของ Ebenezer เป็นพรีพรินต์ที่ยังไม่ผ่านการพิจารณาโดยผู้ทรงคุณวุฒิ ตัวเลขของ LEADTOOLS เป็นข้อสังเกตของผู้ผลิตซอฟต์แวร์เอง ค่า ATSC IS/191 มาจากรายงานของ TV Technology เพราะเข้าถึงเอกสารของ ATSC เองไม่ได้ ตัวเลขดริฟต์ 3.6 ms ต่อชั่วโมงเป็นการคำนวณของเราจากเกณฑ์ความคลาดเคลื่อน ±1 ppm ไม่ใช่ค่าที่วัดได้ ข้อมูลเกณฑ์และเกณฑ์ความคลาดเคลื่อนส่วนใหญ่มีอายุเกินสามปีและถูกระบุว่าเป็นข้อมูลล่าสุดที่มี
อัปเดตล่าสุด: 6 พฤศจิกายน 2026 เราจะทบทวนและอัปเดตสรุปนี้ทุกไตรมาส และคาดว่าการรีเฟรชครั้งถัดไปจะเกิดขึ้นเมื่อมีการเผยแพร่ฉบับที่ผ่านการพิจารณาโดยผู้ทรงคุณวุฒิของการศึกษาด้วยโฟโตไดโอดเมื่อเดือนพฤศจิกายน 2026 ว่าด้วยลิปซิงก์ที่ส่งถึงผู้ชมจริง