การเพิ่มวิดีโอริมฝีปากของผู้พูดช่วยลดอัตราความผิดพลาดของคำของระบบรู้จำเสียงพูดจาก 88.9% เหลือ 24.2% ในเสียงรบกวนสีขาวระดับหนักที่ -7.5 dB (Ma และคณะ, Auto-AVSR, ICASSP 2023) ริมฝีปากเพียงอย่างเดียวยังคงอ่อนกว่าเสียงมาก ผู้อ่านริมฝีปากปี 2025 รายงาน WER 18.7% บนเกณฑ์วัดการบรรยาย TED ชื่อ LRS3 (Thomas, Fish และ Bowden, VALLR 2025) ขณะที่ระบบเสียงและภาพที่อิง LLM ทำได้ 0.77% (Cappellazzo และคณะ, Llama-AVSR, ICASSP 2025) การอ่านริมฝีปากของมนุษย์เป็นเกณฑ์ที่ต่ำกว่านั้นอีก ผู้อ่านริมฝีปากมืออาชีพได้ WER 86.4% ถึง 92.9% บนคลิป YouTube (Shillingford และคณะ, DeepMind และ Google, Large-Scale Visual Speech Recognition 2018) เรารวบรวมข้อมูลจากชุดข้อมูล LRS2 และ LRS3 ของ Oxford Visual Geometry Group (VGG) บทความ AV-HuBERT ของ Meta AI การศึกษาการนำไปใช้ทั่วไปของ WildVSR องค์การอนามัยโลก และงานวิจัยด้านการได้ยินที่ผ่านการทบทวนโดยผู้เชี่ยวชาญใน JASA, JSLHR และ Trends in Hearing หากต้องการดูว่าระบบรู้จำที่ใช้เสียงอย่างเดียวทำงานแย่ลงอย่างไรเมื่อผู้พูดต่างกัน ดูสถิติอคติด้านสำเนียงในการรู้จำเสียงพูดของเรา
หมายเหตุเกี่ยวกับคำศัพท์ที่ใช้ตลอดบทความ WER (อัตราความผิดพลาดของคำ) คือสัดส่วนของคำที่ระบบรู้จำผิด โดยนับทั้งคำที่ถูกแทนที่ คำที่ขาดหาย และคำที่เกินมา ดังนั้นยิ่งต่ำยิ่งดี VSR (การรู้จำเสียงพูดด้วยภาพ) หมายถึงการที่เครื่องอ่านริมฝีปากจากวิดีโอที่ไม่มีเสียง ASR คือการรู้จำที่ใช้เสียงอย่างเดียว และ AVSR คือการรู้จำแบบเสียงและภาพที่ใช้ทั้งสองอย่าง SNR (อัตราส่วนสัญญาณต่อสัญญาณรบกวน) วัดว่าเสียงพูดดังกว่าเสียงรบกวนพื้นหลังมากเพียงใด ค่า SNR ที่ติดลบหมายความว่าเสียงรบกวนดังกว่าเสียงพูด
สรุปโดยย่อ
- อัตรา WER ภาษาอังกฤษในเสียงรบกวนแบบหลายคนพูดซ้อนกันที่ 0 dB ลดจาก 13.8% สำหรับ Whisper-Large ที่ใช้เสียงอย่างเดียว เหลือ 7.2% สำหรับ Whisper-Flamingo ที่ใช้ทั้งเสียงและภาพ (Rouditchenko และคณะ, Interspeech 2024)
- ระบบที่อิง LLM รายงาน WER 0.77% แบบเสียงและภาพ และ 0.79% แบบเสียงอย่างเดียวบน LRS3 (Cappellazzo และคณะ, Llama-AVSR, ICASSP 2025)
- โมเดลอ่านริมฝีปากของ Google รายงาน WER 12.8% บน LRS3 ซึ่งอธิบายว่าเทียบเท่าโมเดลที่ใช้เสียงอย่างเดียวเมื่อสี่ปีก่อน (Chang และคณะ, Google, Conformers paper 2023)
- ผู้อ่านริมฝีปากแบบอิงหน่วยเสียงทำ WER ได้ 18.7% บน LRS3 โดยใช้ข้อมูลที่มีป้ายกำกับน้อยกว่าแนวทางที่ดีที่สุดถัดไปถึง 99.4% (Thomas, Fish และ Bowden, VALLR 2025)
- ผู้อ่านริมฝีปากมืออาชีพได้ WER 92.9% เมื่อไม่มีบริบท และ 86.4% เมื่อมีบริบท เทียบกับ 40.9% ของระบบเครื่อง (Shillingford และคณะ, DeepMind และ Google 2018)
- นักศึกษามหาวิทยาลัย 84 คนที่การได้ยินปกติระบุคำได้ 12.4% จากวิดีโอประโยคที่ไม่มีเสียง (Altieri, Pisoni และ Townsend, JASA 2011)
- ผู้ใหญ่ที่สูญเสียการได้ยินตั้งแต่เนิ่น ๆ อ่านคำจากริมฝีปากได้ 43.55% เทียบกับ 18.57% ในผู้ใหญ่ที่การได้ยินปกติ (Auer และ Bernstein, JSLHR 2007)
- ด้วยชั่วโมงที่มีป้ายกำกับเพียง 30 ชั่วโมง AV-HuBERT ทำ WER การอ่านริมฝีปากได้ 32.5% ชนะระบบ 33.6% ที่ฝึกด้วย 31,000 ชั่วโมง (Shi และคณะ, Meta AI, ICLR 2022)
- โมเดลอ่านริมฝีปากระดับแนวหน้าเสีย WER โดยเฉลี่ย 30 จุดเมื่อย้ายจาก LRS3 ไปยังชุดทดสอบ WildVSR (Djilali และคณะ, WildVSR 2023)
- ใบหน้าที่มองเห็นได้ลดเกณฑ์เสียงรบกวนสำหรับการเข้าใจเสียงพูดที่ชัดเจนลง 3.74 dB (Blackburn และคณะ, Trends in Hearing 2019)
- 430 ล้านคนต้องการการฟื้นฟูสมรรถภาพจากการสูญเสียการได้ยินระดับที่ก่อให้เกิดความพิการ (องค์การอนามัยโลก, Deafness and hearing loss fact sheet 2026)
1. ริมฝีปากเทียบกับเสียงเทียบกับทั้งสองอย่าง: ช่องว่างระหว่างโหมดข้อมูลในอัตราความผิดพลาดของคำ
ช่องว่างระหว่างตากับหูยังคงมากกว่าหนึ่งลำดับขนาด คะแนนอ่านริมฝีปากต่ำสุดบน LRS3 ในบทสรุปนี้คือ WER 12.8% และ 18.7% ขณะที่คะแนนต่ำสุดของเสียงและของเสียงรวมภาพต่ำกว่า 1% เสียงที่ต่างกันอาจให้การเคลื่อนไหวริมฝีปากเหมือนกันทุกประการ (‘p’ และ ‘b’ เป็นตัวอย่างมาตรฐาน) ดังนั้นโมเดลที่ไม่มีเสียงจึงต้องอนุมานจากบริบทในสิ่งที่โมเดลเสียงเพียงแค่ได้ยิน
ตัวเลขที่น่าประหลาดใจกว่าอยู่ที่ด้านบน เมื่อเสียงสะอาด วิดีโอแทบไม่เพิ่มอะไรเลย และอาจแย่ลงเล็กน้อยด้วยซ้ำ Whisper-Flamingo ได้ WER 0.76% แบบเสียงและภาพ เทียบกับ 0.68% แบบเสียงอย่างเดียวบน LRS3 (Rouditchenko และคณะ, Interspeech 2024) คุณค่าของริมฝีปากปรากฏในที่ที่มีเสียงรบกวน (ดูหัวข้อ 2) ไม่ใช่ในการบรรยาย TED คุณภาพห้องบันทึกเสียง บทความ Llama-AVSR แสดงผลที่เกือบเสมอกันเช่นเดียวกัน ที่ 0.79% เทียบกับ 0.77%
| ตัวชี้วัด | ค่า | แหล่งที่มา |
|---|---|---|
| WER บน LRS3 อ่านริมฝีปากอย่างเดียวเทียบกับเสียงอย่างเดียวเทียบกับเสียงรวมวิดีโอ โมเดลที่ฝึกด้วย 3,448 ชั่วโมง | 19.1% เทียบกับ 1.0% เทียบกับ 0.9% | Ma และคณะ, Auto-AVSR, ICASSP 2023 |
| WER บน LRS3 เสียงอย่างเดียวเทียบกับเสียงรวมวิดีโอ ระบบที่อิง LLM | 0.79% เทียบกับ 0.77% | Cappellazzo และคณะ, Llama-AVSR, ICASSP 2025 |
| WER บน LRS3 เสียงอย่างเดียวเทียบกับเสียงรวมวิดีโอ ระบบที่อิง Whisper | 0.68% เทียบกับ 0.76% | Rouditchenko และคณะ, Whisper-Flamingo, Interspeech 2024 |
| WER การอ่านริมฝีปากบน LRS3 โมเดล Google Conformer | 12.8% | Chang และคณะ (Google), Conformers Are All You Need for Visual Speech Recognition, 2023 |
| WER การอ่านริมฝีปากบน LRS3 โมเดลอิงหน่วยเสียงร่วมกับโมเดลภาษาขนาดใหญ่ | 18.7% | Thomas, Fish และ Bowden, VALLR, arXiv 2025 (แก้ไขเมื่อ 5 มกราคม 2026) |
| WER บนโทรทัศน์ BBC (LRS) ริมฝีปากอย่างเดียวเทียบกับเสียงสะอาดอย่างเดียวเทียบกับเสียงสะอาดรวมริมฝีปาก | 50.2% เทียบกับ 17.7% เทียบกับ 13.9% | Chung และคณะ (Oxford VGG และ Google DeepMind), Lip Reading Sentences in the Wild, CVPR 2017 |
บริบท: บทความ Auto-AVSR รายงานตัวเลขเหล่านี้สำหรับโมเดลที่ฝึกด้วย 3,448 ชั่วโมง และอัตราความผิดพลาดแบบริมฝีปากอย่างเดียวบนชุด LRS2 ที่มาจาก BBC ต่ำกว่า คือ 14.6% เทียบกับ 1.5% แบบเสียงอย่างเดียว โมเดลเหล่านี้ใช้ชุดทดสอบเดียวกันแต่ไม่ได้ใช้ข้อมูลฝึกเดียวกัน คะแนนจึงเทียบกันแบบเท่าเทียมไม่ได้ ระบบที่ใช้เสียงอย่างเดียวมีรูปแบบความล้มเหลวของตัวเองนอกเหนือจากข้อผิดพลาดของคำทั่วไป ซึ่งเราครอบคลุมไว้ในสถิติอาการหลอนในการรู้จำเสียงพูดของเรา
2. วิดีโอช่วยการรู้จำเสียงพูดได้มากแค่ไหนเมื่อ SNR ต่ำ
นี่คือจุดที่วิดีโอริมฝีปากพิสูจน์คุณค่า เมื่อเสียงรบกวนเพิ่มขึ้น ความผิดพลาดของระบบเสียงอย่างเดียวพุ่งสูงชัน ขณะที่ความผิดพลาดของระบบเสียงและภาพเพิ่มขึ้นช้า ช่องว่างจึงกว้างขึ้นตรงจุดที่คำบรรยายและอินเทอร์เฟซเสียงล้มเหลวมากที่สุด โมเดลเสียงและภาพของ Meta ได้ WER เฉลี่ย 5.8% ในที่ที่มีเสียงรบกวน เทียบกับ 25.8% ของเวอร์ชันเสียงอย่างเดียว ครอบคลุมเสียงรบกวน 4 ประเภทและ SNR 5 ระดับตั้งแต่ -10 ถึง 10 dB (Shi, Hsu และ Mohamed, Interspeech 2022)
ประเภทของเสียงรบกวนมีผล เสียงรบกวนแบบหลายคนพูดซ้อนกัน (คนจำนวนมากพูดอยู่เบื้องหลัง) ทำให้โมเดลเสียงอย่างเดียวเสียหายน้อยที่สุดในการทดสอบที่ -7.5 dB ด้านล่าง แต่เสียงรบกวนแบบนี้ถูกใช้ระหว่างการฝึกด้วย ผู้เขียนจึงเตือนว่าผลเหล่านั้นเทียบโดยตรงกับเสียงรบกวนสีชมพูและสีขาว (เสียงซ่าแบนด์กว้าง) ไม่ได้ เสียงรบกวนสองประเภทหลังนี้ทำให้เกิดช่องว่างใหญ่ที่สุด
| ตัวชี้วัด | ค่า | แหล่งที่มา |
|---|---|---|
| WER ที่ SNR -7.5 dB เสียงอย่างเดียวเทียบกับเสียงรวมวิดีโอ: เสียงรบกวนสีขาว เสียงรบกวนสีชมพู เสียงรบกวนแบบหลายคนพูดซ้อนกัน | 88.9% เทียบกับ 24.2%; 56.8% เทียบกับ 16.2%; 8.3% เทียบกับ 5.6% | Ma และคณะ, Auto-AVSR, ICASSP 2023 |
| WER ในเสียงรบกวนสีขาวที่ SNR 2.5 dB เสียงอย่างเดียวเทียบกับเสียงรวมวิดีโอ | 10.4% เทียบกับ 4.3% | Ma และคณะ, Auto-AVSR, ICASSP 2023 |
| WER เฉลี่ยในเสียงรบกวน 4 ประเภทและ SNR 5 ระดับ (-10 ถึง 10 dB) โมเดลเสียงอย่างเดียวเทียบกับโมเดลเสียงและภาพที่สร้างบน AV-HuBERT | 25.8% เทียบกับ 5.8% | Shi, Hsu และ Mohamed (Meta AI), Robust Self-Supervised Audio-Visual Speech Recognition, Interspeech 2022 |
| WER ในเสียงรบกวนแบบหลายคนพูดซ้อนกัน ผลงานล้ำหน้าก่อนหน้าที่ฝึกด้วย 433 ชั่วโมงที่มีป้ายกำกับเทียบกับ AV-HuBERT ที่ฝึกด้วย 30 ชั่วโมงที่มีป้ายกำกับ | 28.0% เทียบกับ 14.1% | Shi, Hsu และ Mohamed (Meta AI), Interspeech 2022 |
| WER ภาษาอังกฤษในเสียงรบกวนแบบหลายคนพูดซ้อนกันที่ SNR 0 dB (ชุดทดสอบ MuAViC) Whisper-Large เสียงอย่างเดียวเทียบกับ Whisper-Flamingo เสียงและภาพ | 13.8% เทียบกับ 7.2% | Rouditchenko และคณะ, Whisper-Flamingo, Interspeech 2024 |
| WER บนโทรทัศน์ BBC ที่ SNR 10 dB และ 0 dB เสียงอย่างเดียวเทียบกับเสียงรวมริมฝีปาก | 37.6% และ 62.9% เทียบกับ 27.6% และ 42.0% | Chung และคณะ (Oxford VGG และ Google DeepMind), CVPR 2017 |
หมายเหตุเกี่ยวกับค่าที่ผิดปกติ: ตัวเลขของ BBC ปี 2017 มาจากโมเดลรุ่นที่อ่อนกว่ามาก แต่แสดงรูปแบบเดียวกันที่ระดับความผิดพลาดสูงกว่า ที่ 0 dB การเพิ่มริมฝีปากลดความผิดพลาดได้ 20.9 จุด (62.9 ลบ 42.0) ที่เสียงรบกวนสีขาว -7.5 dB ในปี 2023 ลดได้ 64.7 จุด (88.9 ลบ 24.2) ข้อมูลล่าสุดที่มีสำหรับการเปรียบเทียบของ BBC นั้นคือการศึกษาปี 2017
3. ผู้อ่านริมฝีปากที่เป็นมนุษย์เป็นเกณฑ์เปรียบเทียบ
การอ่านริมฝีปากของมนุษย์ยากกว่าที่คนส่วนใหญ่คิดมาก ผู้ใหญ่วัยหนุ่มสาวที่การได้ยินปกติระบุคำได้เพียง 12.4% จากวิดีโอประโยคที่พูดโดยไม่มีเสียง (Altieri, Pisoni และ Townsend, JASA 2011) การพึ่งพาใบหน้ามาตลอดชีวิตช่วยยกระดับตัวเลขนี้อย่างมาก ผู้ใหญ่ที่สูญเสียการได้ยินตั้งแต่เนิ่น ๆ อ่านคำได้มากกว่าผู้ใหญ่ที่ได้ยินเกินสองเท่า (Auer และ Bernstein, JSLHR 2007)
เครื่องแซงหน้าผู้เชี่ยวชาญที่ผ่านการฝึกมาหลายปีแล้วบนวิดีโอเกณฑ์วัด แต่การเปรียบเทียบนี้มีข้อจำกัด เกณฑ์เปรียบเทียบของมนุษย์ใช้ตัวอย่างขนาดเล็ก คือวิดีโอ 300 รายการและผู้อ่านริมฝีปาก 3 คนสำหรับ LipNet และวิดีโอ 200 รายการกับผู้เชี่ยวชาญ 1 คนสำหรับการศึกษาของ BBC ผู้เชี่ยวชาญคนนั้นเห็นได้ว่าแต่ละคลิปมาจากรายการใด ศึกษาวิดีโอฝึกตัวอย่างได้ และเล่นคลิปซ้ำได้ไม่จำกัด คะแนนของมนุษย์จึงไม่ใช่ผลของการอ่านโดยไม่เตรียมตัว สำหรับด้านห้องเรียนของการศึกษาคนหูหนวก ดูสถิติการศึกษาของนักเรียนหูหนวกและมีปัญหาการได้ยินของเรา
| ตัวชี้วัด | ค่า | แหล่งที่มา |
|---|---|---|
| คำที่ถูกต้องจากวิดีโอประโยค CUNY ที่ไม่มีเสียง นักศึกษามหาวิทยาลัย 84 คนที่การได้ยินปกติ | 12.4% (SD 6.67%) | Altieri, Pisoni และ Townsend (Indiana University), Some normative data on lip-reading skills, JASA 2011 |
| คำที่ถูกต้องจากวิดีโอ 30 ประโยคที่ไม่มีเสียง ผู้ใหญ่ที่สูญเสียการได้ยินตั้งแต่เนิ่น ๆ (n = 112) เทียบกับผู้ที่การได้ยินปกติ (n = 220) | 43.55% (SD 17.48) เทียบกับ 18.57% (SD 13.18); t(330) = 14.576, p < .01 | Auer และ Bernstein, JSLHR 2007 |
| พยัญชนะที่รู้จำได้จากวิดีโอที่ไม่มีเสียงโดยไม่สวมหน้ากาก เด็กที่การได้ยินปกติเทียบกับเด็กที่สูญเสียการได้ยินเทียบกับผู้ใหญ่ที่การได้ยินปกติ | ประมาณ 31% เทียบกับ 33% เทียบกับ 42% | Lalonde, Buss, Miller และ Leibold, Frontiers in Psychology 2022 |
| WER บนประโยค GRID จากผู้พูดที่ไม่เคยเห็น ผู้อ่านริมฝีปากที่บกพร่องทางการได้ยิน 3 คนเทียบกับ LipNet | 47.7% เทียบกับ 11.4% | Assael และคณะ (University of Oxford และ Google DeepMind), LipNet 2016 |
| WER บนคลิปทดสอบของ BBC ผู้อ่านริมฝีปากมืออาชีพ 1 คนเทียบกับโมเดลเครื่องที่ใช้ริมฝีปากอย่างเดียว | 73.8% เทียบกับ 50.2% (87.6% สำหรับมนุษย์เมื่อนับคลิปที่ปฏิเสธรวมด้วย) | Chung และคณะ (Oxford VGG และ Google DeepMind), CVPR 2017 |
| WER บนคลิป YouTube ผู้อ่านริมฝีปากมืออาชีพเมื่อไม่มีบริบทเทียบกับเมื่อมีบริบทเทียบกับระบบเครื่อง | 92.9% เทียบกับ 86.4% เทียบกับ 40.9% | Shillingford และคณะ (DeepMind และ Google), Large-Scale Visual Speech Recognition 2018 |
| ประโยชน์จากภาพสำหรับผู้ใหญ่ที่การได้ยินปกติ (การลดลงของ SNR ที่ต้องใช้เพื่อให้ได้คำสำคัญถูกครึ่งหนึ่ง) เสียงพูดที่ชัดเจนเทียบกับเสียงพูดที่ผ่านตัวเข้ารหัสเสียงด้วยสัญญาณรบกวน | 3.74 dB (SD 2.67) เทียบกับ 4.68 dB (SD 3.28) | Blackburn และคณะ, Trends in Hearing 2019 |
บริบท: ในการทดลองที่ 1 ของการศึกษา Blackburn ผู้ฟังตอบถูกเฉลี่ยเพียง 1.56% เมื่อใช้วิดีโออย่างเดียว แต่การมองเห็นผู้พูดก็ยังปรับปรุงเกณฑ์ของพวกเขาได้เมื่อเทียบกับเสียงอย่างเดียว (ตัวเลข 3.74 dB และ 4.68 dB มาจากการทดลองที่ 2) การอ่านริมฝีปากทำงานได้ดีที่สุดเมื่อเป็นส่วนเสริมของเสียง ทั้งสำหรับเครื่องและมนุษย์ เสียงพูดที่ผ่านตัวเข้ารหัสเสียงด้วยสัญญาณรบกวนคือเสียงที่ถูกทำให้ด้อยลงโดยตั้งใจด้วยการตัดรายละเอียดละเอียดออกจากเสียง ข้อมูลล่าสุดที่มีสำหรับคะแนนเกณฑ์ปกติของมนุษย์: Altieri และคณะ 2011 และ Auer และ Bernstein 2007
4. ชุดข้อมูลการอ่านริมฝีปาก: ชั่วโมง ผู้พูด และคลังคำศัพท์
งานวิจัยการอ่านริมฝีปากพึ่งพาชุดข้อมูลสาธารณะเพียงไม่กี่ชุดที่สร้างจากรายการโทรทัศน์และการบรรยาย TED เกณฑ์วัด LRS3 มีมากกว่า 400 ชั่วโมงจากการบรรยาย TED และ TEDx 5,594 รายการ แต่ชุดทดสอบมีเพียง 1 ชั่วโมง (Afouras, Chung และ Zisserman, LRS3-TED 2018) ทั้งวงการจัดอันดับโมเดลของตนบนข้อความทดสอบ 1,452 ประโยค ซึ่งเป็นเหตุผลหนึ่งที่หัวข้อ 6 มีความสำคัญ
ชุดฝึกที่ใหญ่ที่สุดเป็นของภาคอุตสาหกรรม ชุด YouTube LSVSR ขนาด 3,886 ชั่วโมงใหญ่กว่าชุดการฝึกล่วงหน้าของ LRS3 เกือบสิบเท่า (3,886 หารด้วย 407 ได้ 9.5) ขณะที่งานวิจัยสาธารณะชดเชยด้วยป้ายกำกับที่เครื่องสร้างและการฝึกล่วงหน้าแบบเรียนรู้ด้วยตนเอง
| ตัวชี้วัด | ค่า | แหล่งที่มา |
|---|---|---|
| วิดีโอทั้งหมดของ LRS3-TED และการบรรยายต้นทาง ขนาดชุดทดสอบ | มากกว่า 400 ชั่วโมงจากการบรรยาย TED และ TEDx 5,594 รายการ; 1 ชั่วโมง 1,452 ประโยค ผู้พูด 451 คน | Afouras, Chung และ Zisserman (Oxford VGG), LRS3-TED 2018 |
| ชุดฝึกล่วงหน้าของ LRS2-BBC เทียบกับชุดฝึก-ตรวจสอบ | 195 ชั่วโมง (96 พันประโยค) เทียบกับ 29 ชั่วโมง (47 พันประโยค) | Afouras, Chung และ Zisserman (Oxford VGG), LRS3-TED 2018, ตารางที่ 1 |
| ชุดข้อมูล YouTube LSVSR: ชั่วโมง ประโยค คลังคำศัพท์ | 3,886 ชั่วโมง; 2,934,899 ประโยค; 127,055 คำ | Shillingford และคณะ (DeepMind และ Google), 2018 |
| วิดีโอ VoxCeleb2 ภาษาอังกฤษที่ใช้ฝึกล่วงหน้า ข้อมูลฝึกล่วงหน้าทั้งหมดของ AV-HuBERT | 1,326 ชั่วโมง; 1,759 ชั่วโมง | Shi และคณะ (Meta AI), AV-HuBERT, ICLR 2022 |
| คลังข้อมูลเสียงและภาพหลายภาษา MuAViC | 1,200 ชั่วโมงใน 9 ภาษา | Anwar และคณะ (Meta AI), MuAViC 2023 |
| ชุดทดสอบ WildVSR: ชั่วโมง ประโยค ผู้พูด คลังคำศัพท์ | 4.8 ชั่วโมง; 2,854 ประโยค; ผู้พูด 618 คน; 6,040 คำ | Djilali และคณะ (Technology Innovation Institute), Do VSR Models Generalize Beyond LRS3?, 2023 |
บริบท: การแบ่งส่วนฝึกล่วงหน้าและฝึก-ตรวจสอบของ LRS3 มีเนื้อหาซ้อนทับกัน จึงไม่ควรนำชั่วโมงมารวมกัน ข้อมูลล่าสุดที่มีสำหรับเกณฑ์วัดหลัก: บทความ LRS3-TED ปี 2018 บทความ MuAViC ระบุตัวเองว่าเป็นเกณฑ์วัดแบบเปิดที่ใหญ่ที่สุดสำหรับการรู้จำเสียงพูดแบบเสียงและภาพหลายภาษา
5. ขนาดข้อมูลฝึกเทียบกับความแม่นยำของการอ่านริมฝีปาก
วิดีโอที่มากขึ้นยังคงซื้อความแม่นยำได้ แต่การฝึกที่ชาญฉลาดกว่าซื้อได้มากกว่าต่อชั่วโมง AV-HuBERT เทียบเท่าระบบ 31,000 ชั่วโมงด้วยชั่วโมงที่มีป้ายกำกับเพียง 30 ชั่วโมง: WER 32.5% เทียบกับ 33.6% (Shi และคณะ, Meta AI, ICLR 2022) การฝึกล่วงหน้าแบบเรียนรู้ด้วยตนเองบนวิดีโอที่ไม่มีป้ายกำกับเป็นผู้ทำงานหนัก สถาปัตยกรรมเดียวกันที่ฝึกตั้งแต่ต้นด้วย 30 ชั่วโมงนั้นทำได้ 92.3%
ชั่วโมงยังสำคัญ แต่ไม่ได้ตัดสินอันดับ การเพิ่มชั่วโมงฝึกจาก 818 เป็น 3,448 ลดความผิดพลาดของการอ่านริมฝีปากบน LRS3 ลง 13.9 จุด (33.0 ลบ 19.1) การฝึกที่ใหญ่กว่ามากสองครั้งในตารางด้านล่างแล้วอยู่ห่างกันเพียง 4.2 จุด คือ 17.0% บนข้อมูลราว 90,000 ชั่วโมง และ 12.8% บน 100 พันชั่วโมง ซึ่งชี้ว่าสถาปัตยกรรมมีผลเช่นเดียวกับปริมาณ
| ตัวชี้วัด | ค่า | แหล่งที่มา |
|---|---|---|
| WER การอ่านริมฝีปากบน LRS3 เมื่อฝึกด้วย 818 เทียบกับ 1,902 เทียบกับ 3,448 ชั่วโมง (โมเดลที่ฝึกด้วยข้อมูลที่ไม่เปิดเผยต่อสาธารณะราว 90,000 ชั่วโมง: 17.0%) | 33.0% เทียบกับ 23.5% เทียบกับ 19.1% | Ma และคณะ, Auto-AVSR, ICASSP 2023 |
| WER การอ่านริมฝีปากบน LRS3 AV-HuBERT ที่มีป้ายกำกับ 30 ชั่วโมงเทียบกับป้ายกำกับทั้ง 433 ชั่วโมงร่วมกับการฝึกด้วยตนเอง (ผลดีที่สุดก่อนหน้า: 33.6% บน 31,000 ชั่วโมง) | 32.5% เทียบกับ 26.9% | Shi และคณะ (Meta AI), AV-HuBERT, ICLR 2022 |
| WER การอ่านริมฝีปากบน LRS3 สถาปัตยกรรมขนาดใหญ่เดียวกันที่ฝึกตั้งแต่ต้นด้วยป้ายกำกับ 30 เทียบกับ 433 ชั่วโมง | 92.3% เทียบกับ 62.3% | Shi และคณะ (Meta AI), AV-HuBERT, ICLR 2022, ตารางที่ 1 |
| ข้อมูลที่มีป้ายกำกับที่ผู้อ่านริมฝีปากแบบอิงหน่วยเสียงใช้ เมื่อเทียบกับแนวทางที่ดีที่สุดถัดไป | น้อยกว่า 99.4% (สำหรับ WER 18.7% บน LRS3) | Thomas, Fish และ Bowden, VALLR, arXiv 2025 |
| วิดีโอฝึกเบื้องหลัง WER การอ่านริมฝีปาก 12.8% ของ Google บน LRS3 | ส่วนของ YouTube ที่ถอดความแล้ว 100 พันชั่วโมง จากนั้นปรับจูนบน LRS3 (มากกว่า 400 ชั่วโมง) | Chang และคณะ (Google), Conformers Are All You Need for Visual Speech Recognition, 2023 |
บริบท: โมเดลภาษาที่ใหญ่ขึ้นก็ไม่ใช่ทางลัดเช่นกัน Jain และ Harte (arXiv, กันยายน 2025) สรุปว่าตัวถอดรหัสแบบโมเดลภาษาขนาดใหญ่ปรับปรุงการให้เหตุผลตามบริบทเป็นหลัก ไม่ใช่คุณลักษณะด้านภาพ และต้องใช้ตัวเข้ารหัสภาพที่แข็งแกร่งกว่าเพื่อให้พัฒนาต่อไปได้
6. เหนือกว่าการบรรยาย TED: วิดีโอในสภาพจริงและการอ่านริมฝีปากภาษาอื่นที่ไม่ใช่ภาษาอังกฤษ
WER ของเกณฑ์วัดทำให้การอ่านริมฝีปากดูดีเกินจริง เมื่อนักวิจัยสร้างชุดทดสอบใหม่จากวิดีโอ YouTube โดยทำตามกระบวนการสร้าง LRS3 อย่างใกล้ชิด โมเดลอ่านริมฝีปากระดับแนวหน้าเสีย WER โดยเฉลี่ย 30 จุด (Djilali และคณะ, WildVSR 2023) เสียงเปลี่ยนไปน้อยกว่ามาก Whisper เพิ่มจาก 1.1% เป็น 4.2% อย่างไรก็ตามอันดับยังคงอยู่ คะแนน LRS3 ที่ดีกว่าจึงยังพยากรณ์คะแนน WildVSR ที่ดีกว่าได้
ภาษาคือจุดบอดประการที่สอง วิธีที่ได้ WER 31.5% บน LRS3 ภาษาอังกฤษ ทำได้ 56.3% หรือแย่กว่าในการบรรยายแนว TED ภาษาสเปน อิตาลี และฝรั่งเศส (Ma, Petridis และ Pantic, Nature Machine Intelligence 2022) ข้อมูลล่าสุดที่มีสำหรับการอ่านริมฝีปากภาษาที่ไม่ใช่ภาษาอังกฤษ: บทความปี 2022 นั้น
| ตัวชี้วัด | ค่า | แหล่งที่มา |
|---|---|---|
| WER ที่เพิ่มขึ้นโดยเฉลี่ยของโมเดลอ่านริมฝีปากระดับแนวหน้า จาก LRS3 ไปยัง WildVSR | 30 จุด | Djilali และคณะ, WildVSR 2023 |
| WER การอ่านริมฝีปาก โมเดลที่ดีที่สุดที่ทดสอบ (Auto-AVSR, 3,448 ชั่วโมง) LRS3 เทียบกับ WildVSR | 19.1% เทียบกับ 38.6% | Djilali และคณะ, WildVSR 2023, ตารางที่ 2 |
| WER เสียงอย่างเดียว Whisper LRS3 เทียบกับ WildVSR | 1.1% เทียบกับ 4.2% | Djilali และคณะ, WildVSR 2023, ตารางที่ 2 |
| ความสัมพันธ์ที่ปรับให้เข้ากับข้อมูลระหว่าง WER ของ WildVSR กับ WER ของ LRS3 ในโมเดลต่าง ๆ | WER ของ WildVSR = ประมาณ 1.31 x WER ของ LRS3 + 14.05 | Djilali และคณะ, WildVSR 2023 |
| WER การอ่านริมฝีปาก โมเดลตัวถอดรหัส Llama-2-13B LRS3 เทียบกับ WildVSR | 24.7% เทียบกับ 47.0% | Jain และ Harte, From Hype to Insight, arXiv 2025 |
| ความผิดพลาดของการอ่านริมฝีปากตามภาษา การรันที่ดีที่สุด: อัตราความผิดพลาดของตัวอักษรภาษาจีนกลาง (CMLR) เทียบกับอัตราความผิดพลาดของคำภาษาสเปน อิตาลี และฝรั่งเศส (Multilingual TEDx) | 8.0% เทียบกับ 56.3%, 57.4% และ 66.2% | Ma, Petridis และ Pantic, Nature Machine Intelligence 2022 |
บริบท: ตัวเลขภาษาจีนกลางนับความผิดพลาดต่อตัวอักษร ไม่ใช่ต่อคำ จึงเทียบโดยตรงกับตัวเลข WER ไม่ได้ ช่องว่างของ WildVSR สำหรับโมเดลที่ดีที่สุดคือ 19.5 จุด (38.6 ลบ 19.1) ต่ำกว่าค่าเฉลี่ย 30 จุด สอดคล้องกับข้อค้นพบของผู้เขียนว่าโมเดลที่แข็งแกร่งกว่าเสื่อมลงน้อยกว่า
7. ความเป็นส่วนตัว การสอดส่อง และการเข้าถึง
ความกังวลด้านความเป็นส่วนตัวที่มีการบันทึกไว้นั้นเป็นรูปธรรม นักวิจัยเองก็ชี้ถึง CCTV Ma, Petridis และ Pantic เรียกการรู้จำเสียงพูดด้วยภาพว่า ‘เทคโนโลยีใช้ได้สองทาง’ ที่ ‘สามารถนำไปใช้เพื่อการสอดส่องผ่าน CCTV หรือแม้แต่ผ่านกล้องสมาร์ตโฟน ซึ่งก่อให้เกิดความกังวลด้านความเป็นส่วนตัว’ และเสนอว่าจำเป็นต้องมีกฎระเบียบจากรัฐบาล พวกเขายังรายงานว่าในขณะนั้นมีแอปสมาร์ตโฟนเพื่อช่วยให้ผู้ที่มีปัญหาการพูดสื่อสารได้ กำลังทดลองใช้ในโรงพยาบาล NHS ของสหราชอาณาจักร กรรมาธิการกล้องวงจรปิดของสหราชอาณาจักร (Surveillance Camera Commissioner) Tony Porter เตือนในเดือนสิงหาคม 2019 ว่าเทคโนโลยีสอดส่องด้วยการอ่านริมฝีปากกำลังจะมาถึง (Big Brother Watch, 28 สิงหาคม 2019)
ข้อถ่วงดุลเป็นเรื่องทางเทคนิค นักวิจัยของ Oxford VGG ประเมินว่าการแอบฟังผ่าน CCTV เป็น ‘ความเสี่ยงต่ำมาก’ เพราะกล้อง ‘มักทำงานที่ความละเอียดและอัตราเฟรมต่ำกว่ามาก และจากมุมที่ไม่ปกติ’ (Prajwal, Afouras และ Zisserman, 2021) ระบบ 3,886 ชั่วโมงถูกฝึกเฉพาะกับใบหน้าที่หันไม่เกิน 30 องศาจากกล้อง และผู้เขียนระบุว่าระบบทำงานได้ไม่ดีในบริบทอื่น (Shillingford และคณะ, 2018) เหตุผลด้านการเข้าถึงตั้งอยู่บนประชากรจำนวนมาก เอกสารข้อเท็จจริงของ WHO ระบุคำบรรยายและการอ่านริมฝีปากไว้ในมาตรการสนับสนุนสำหรับผู้สูญเสียการได้ยิน AI ด้านภาษาภาพนอกเหนือจากริมฝีปากครอบคลุมในสถิติ AI ภาษามือและคอมพิวเตอร์วิทัศน์ของเรา
| ตัวชี้วัด | ค่า | แหล่งที่มา |
|---|---|---|
| เงื่อนไขการฝึกของระบบอ่านริมฝีปาก 3,886 ชั่วโมง: มุมศีรษะ ขนาดใบหน้าขั้นต่ำ อัตราเฟรมขั้นต่ำ | การหันซ้ายขวาและการก้มเงยของศีรษะอยู่ภายในบวกหรือลบ 30 องศา; ระยะห่างระหว่างดวงตาอย่างน้อย 80 พิกเซล; คลิปที่ต่ำกว่า 23 เฟรมต่อวินาทีถูกตัดออก | Shillingford และคณะ (DeepMind และ Google), 2018 |
| ความสูงขั้นต่ำของริมฝีปากที่ปิดสนิทในวิดีโอเพื่อให้การอ่านริมฝีปากอัตโนมัติเชื่อถือได้ | 4 พิกเซล | Bear, Harvey, Theobald และ Lan, Resolution limits on visual speech recognition, ICIP 2014 |
| ความละเอียดวิดีโอต่ำสุดที่ทดสอบในการศึกษาเรื่องความละเอียดเทียบกับต้นฉบับ Full HD | 42 x 32 เทียบกับ 1440 x 1080 พิกเซล (ทดสอบ 18 ความละเอียด) | Bear, Harvey, Theobald และ Lan, ICIP 2014 |
| ผู้ที่ต้องการการฟื้นฟูสมรรถภาพจากการสูญเสียการได้ยินระดับที่ก่อให้เกิดความพิการ | 430 ล้านคน (มากกว่า 5% ของประชากรโลก) | องค์การอนามัยโลก, Deafness and hearing loss fact sheet, 3 มีนาคม 2026 |
| ผู้ที่คาดว่าจะสูญเสียการได้ยินในระดับใดระดับหนึ่งเทียบกับสูญเสียการได้ยินระดับที่ก่อให้เกิดความพิการภายในปี 2050 | เกือบ 2.5 พันล้านคนเทียบกับมากกว่า 700 ล้านคน | องค์การอนามัยโลก, Deafness and hearing loss fact sheet, 3 มีนาคม 2026 |
| ต้นทุนทั่วโลกต่อปีของการสูญเสียการได้ยินที่ไม่ได้รับการแก้ไข | เกือบ 1 ล้านล้านดอลลาร์สหรัฐ | องค์การอนามัยโลก, Deafness and hearing loss fact sheet, 3 มีนาคม 2026 |
บริบท: การศึกษาของ Bear และคณะใช้วิดีโอประมาณ 30 นาทีจากผู้พูดสองคน เกณฑ์ขั้นต่ำ 4 พิกเซลจึงเป็นขีดจำกัดเชิงบ่งชี้ ไม่ใช่การรับประกัน ข้อมูลล่าสุดที่มีสำหรับขีดจำกัดความละเอียด: Bear และคณะ 2014
สรุป: WER ของการรู้จำเสียงพูดด้วยภาพจากการอ่านริมฝีปากในรูปแบบตัวเลข
| ตัวชี้วัด | ค่า | แหล่งที่มา |
|---|---|---|
| WER ที่ SNR -7.5 dB ในเสียงรบกวนสีขาว เสียงอย่างเดียวเทียบกับเสียงรวมวิดีโอ | 88.9% เทียบกับ 24.2% | Ma และคณะ, Auto-AVSR, ICASSP 2023 |
| WER เฉลี่ยในเสียงรบกวน 4 ประเภทและ SNR 5 ระดับ โมเดลเสียงอย่างเดียวเทียบกับโมเดลเสียงและภาพ | 25.8% เทียบกับ 5.8% | Shi, Hsu และ Mohamed (Meta AI), Interspeech 2022 |
| WER ภาษาอังกฤษในเสียงรบกวนแบบหลายคนพูดซ้อนกันที่ 0 dB Whisper-Large เสียงอย่างเดียวเทียบกับ Whisper-Flamingo | 13.8% เทียบกับ 7.2% | Rouditchenko และคณะ, Whisper-Flamingo, Interspeech 2024 |
| WER บน LRS3 เสียงอย่างเดียวเทียบกับเสียงรวมวิดีโอ ระบบที่อิง LLM | 0.79% เทียบกับ 0.77% | Cappellazzo และคณะ, Llama-AVSR, ICASSP 2025 |
| WER การอ่านริมฝีปากบน LRS3 โมเดล Google Conformer | 12.8% | Chang และคณะ (Google), 2023 |
| WER การอ่านริมฝีปากบน LRS3 โมเดลอิงหน่วยเสียงที่ใช้ข้อมูลมีป้ายกำกับน้อยกว่า 99.4% | 18.7% | Thomas, Fish และ Bowden, VALLR, arXiv 2025 |
| WER การอ่านริมฝีปากบน LRS3 AV-HuBERT ที่มีป้ายกำกับ 30 ชั่วโมงเทียบกับผลดีที่สุดก่อนหน้าบน 31,000 ชั่วโมง | 32.5% เทียบกับ 33.6% | Shi และคณะ (Meta AI), AV-HuBERT, ICLR 2022 |
| WER ที่เพิ่มขึ้นโดยเฉลี่ยของโมเดลอ่านริมฝีปากระดับแนวหน้า จาก LRS3 ไปยัง WildVSR | 30 จุด | Djilali และคณะ, WildVSR 2023 |
| WER การอ่านริมฝีปาก โมเดลตัวถอดรหัส Llama-2-13B LRS3 เทียบกับ WildVSR | 24.7% เทียบกับ 47.0% | Jain และ Harte, arXiv 2025 |
| คำที่ถูกต้องจากประโยคที่ไม่มีเสียง นักศึกษามหาวิทยาลัย 84 คนที่การได้ยินปกติ | 12.4% | Altieri, Pisoni และ Townsend, JASA 2011 |
| คำที่ถูกต้องจากประโยคที่ไม่มีเสียง สูญเสียการได้ยินตั้งแต่เนิ่น ๆ เทียบกับการได้ยินปกติ | 43.55% เทียบกับ 18.57% | Auer และ Bernstein, JSLHR 2007 |
| WER บนคลิป YouTube ผู้อ่านริมฝีปากมืออาชีพ (เมื่อไม่มีเทียบกับเมื่อมีบริบท) เทียบกับเครื่อง | 92.9% และ 86.4% เทียบกับ 40.9% | Shillingford และคณะ (DeepMind และ Google), 2018 |
| WER บนคลิป BBC ผู้อ่านริมฝีปากมืออาชีพเทียบกับโมเดลที่ใช้ริมฝีปากอย่างเดียว | 73.8% เทียบกับ 50.2% | Chung และคณะ (Oxford VGG และ Google DeepMind), CVPR 2017 |
| ประโยชน์จากภาพในที่ที่มีเสียงรบกวนสำหรับเสียงพูดที่ชัดเจน ผู้ใหญ่ที่การได้ยินปกติ | 3.74 dB | Blackburn และคณะ, Trends in Hearing 2019 |
| วิดีโอและการบรรยายของ LRS3-TED | มากกว่า 400 ชั่วโมง การบรรยาย 5,594 รายการ | Afouras, Chung และ Zisserman (Oxford VGG), 2018 |
| ความสูงขั้นต่ำของริมฝีปากที่ปิดสนิทในวิดีโอเพื่อให้การอ่านริมฝีปากอัตโนมัติเชื่อถือได้ | 4 พิกเซล | Bear และคณะ, ICIP 2014 |
| ผู้ที่ต้องการการฟื้นฟูสมรรถภาพจากการสูญเสียการได้ยินระดับที่ก่อให้เกิดความพิการ | 430 ล้านคน | องค์การอนามัยโลก, 2026 |
ระเบียบวิธีและแหล่งที่มา
- Ma และคณะ, Auto-AVSR: Audio-Visual Speech Recognition with Automatic Labels, ICASSP 2023: ช่องว่างระหว่างโหมดข้อมูล ตารางความทนทานต่อเสียงรบกวน และการขยายขนาดข้อมูลฝึก
- Cappellazzo และคณะ, Large Language Models are Strong Audio-Visual Speech Recognition Learners (Llama-AVSR), ICASSP 2025: WER แบบเสียงและแบบเสียงรวมภาพบน LRS3
- Rouditchenko และคณะ, Whisper-Flamingo, Interspeech 2024: WER ในเสียงสะอาดและเสียงรบกวนแบบหลายคนพูดซ้อนกันสำหรับ Whisper แบบเสียงอย่างเดียวเทียบกับแบบเสียงและภาพ
- Chang และคณะ (Google), Conformers Are All You Need for Visual Speech Recognition, 2023: WER การอ่านริมฝีปาก 12.8% บน LRS3 และชุดฝึก 100 พันชั่วโมง
- Thomas, Fish และ Bowden, VALLR: Visual ASR Language Model for Lip Reading, arXiv 2025: WER 18.7% และประสิทธิภาพของข้อมูลที่มีป้ายกำกับ
- Jain และ Harte, From Hype to Insight: Rethinking Large Language Model Integration in Visual Speech Recognition, arXiv กันยายน 2025: ผลลัพธ์ของตัวถอดรหัส LLM บน LRS3 และ WildVSR
- Meta AI: Shi และคณะ, AV-HuBERT, ICLR 2022 และ Shi, Hsu และ Mohamed, Robust Self-Supervised Audio-Visual Speech Recognition, Interspeech 2022: ประสิทธิภาพของข้อมูลและความทนทานต่อเสียงรบกวน
- Anwar และคณะ (Meta AI), MuAViC multilingual audio-visual corpus, 2023: ขนาดคลังข้อมูลและความครอบคลุมของภาษา
- Oxford VGG: Afouras, Chung และ Zisserman, LRS3-TED, 2018 และ Prajwal, Afouras และ Zisserman, Sub-word Level Lip Reading With Visual Attention, 2021: ขนาดชุดข้อมูลและการประเมินความเสี่ยงของ CCTV
- Chung และคณะ, Lip Reading Sentences in the Wild, CVPR 2017: ผลของริมฝีปากเทียบกับเสียงบน BBC ผลเมื่อมีเสียงรบกวน และเกณฑ์เปรียบเทียบของผู้อ่านริมฝีปากมืออาชีพ
- Assael และคณะ, LipNet: End-to-End Sentence-level Lipreading, 2016: ผลบนคลังประโยค GRID และเกณฑ์เปรียบเทียบของผู้อ่านริมฝีปากที่บกพร่องทางการได้ยิน
- Shillingford และคณะ, Large-Scale Visual Speech Recognition, 2018: ชุดข้อมูล LSVSR, WER ของผู้อ่านริมฝีปากมืออาชีพ, ข้อจำกัดด้านมุมใบหน้าและความละเอียด
- Djilali และคณะ, Do VSR Models Generalize Beyond LRS3? (WildVSR), 2023: ช่องว่างของการนำไปใช้ทั่วไปในสภาพจริง
- Ma, Petridis และ Pantic, Visual Speech Recognition for Multiple Languages in the Wild, Nature Machine Intelligence 2022: WER ภาษาที่ไม่ใช่ภาษาอังกฤษ และการอภิปรายเรื่องการใช้ได้สองทางและความเป็นส่วนตัว
- Altieri, Pisoni และ Townsend, Some normative data on lip-reading skills, JASA 2011: คะแนนประโยคแบบใช้ภาพอย่างเดียวของมนุษย์
- Auer และ Bernstein, Enhanced visual speech perception in individuals with early-onset hearing impairment, JSLHR 2007: คะแนนการอ่านริมฝีปากของผู้หูหนวกเทียบกับผู้ที่ได้ยิน
- Blackburn และคณะ, Visual Speech Benefit in Clear and Degraded Speech, Trends in Hearing 2019: ประโยชน์จากภาพในหน่วยเดซิเบล
- Lalonde, Buss, Miller และ Leibold, Face Masks Impact Auditory and Audiovisual Consonant Recognition in Children With and Without Hearing Loss, Frontiers in Psychology 2022: คะแนนพยัญชนะแบบใช้ภาพอย่างเดียวสำหรับเด็กและผู้ใหญ่
- Bear, Harvey, Theobald และ Lan, Resolution limits on visual speech recognition, ICIP 2014: ความละเอียดริมฝีปากขั้นต่ำ
- องค์การอนามัยโลก, Deafness and hearing loss fact sheet, 3 มีนาคม 2026: ความชุกของการสูญเสียการได้ยิน การคาดการณ์ และต้นทุน
- Big Brother Watch, 28 สิงหาคม 2019: รายงานคำเตือนของกรรมาธิการกล้องวงจรปิดของสหราชอาณาจักรเรื่องการสอดส่องด้วยการอ่านริมฝีปาก
- ข้อสังเกตเกี่ยวกับข้อมูล: คะแนนบนชุดทดสอบ LRS3 เทียบกันแบบเท่าเทียมไม่ได้ระหว่างบทความที่ฝึกด้วยข้อมูลต่างกัน และชุดทดสอบมีขนาดเล็กมาก (1 ชั่วโมงสำหรับ LRS3) หลายบทความอ้างสถานะล้ำหน้าที่สุดในวันที่ต่างกัน 0.79% และ 0.77% ของ Llama-AVSR อยู่เคียงกับ 0.68% และ 0.76% ของ Whisper-Flamingo และ 18.7% ของ VALLR อยู่เคียงกับ 12.8% ที่ต่ำกว่าของ Google ซึ่งใช้ข้อมูลที่มีป้ายกำกับมากกว่ามาก VALLR และการศึกษาของ Jain และ Harte เป็นฉบับพิมพ์ล่วงหน้าที่ไม่ได้ระบุแหล่งตีพิมพ์ที่ผ่านการทบทวนโดยผู้เชี่ยวชาญ จำนวนชั่วโมงของชุดข้อมูลเดียวกันต่างกันไปตามแหล่งที่มา บทความ LRS3-TED ระบุชุดฝึกล่วงหน้า 407 ชั่วโมง และชุดฝึกล่วงหน้ากับชุดฝึก-ตรวจสอบของ LRS2-BBC ที่ 195 และ 29 ชั่วโมง ขณะที่ Ma, Petridis และ Pantic นับ 438 ชั่วโมงสำหรับ LRS3 และ 223 ชั่วโมงสำหรับ LRS2 บทความ WildVSR ให้ความชันสองค่าสำหรับเส้นที่ปรับให้เข้ากับข้อมูล (1.31 และ 1.30) และภาคผนวก B ระบุว่า Whisper ได้ WER ต่ำกว่า 4 บนทั้งสองชุดทดสอบ ซึ่งขัดกับค่า 4.2 ในตารางที่ 2 ของบทความ อีกทั้งไม่ได้ระบุขนาดโมเดล Whisper เกณฑ์เปรียบเทียบของมนุษย์อาศัยกลุ่มตัวอย่างขนาดเล็กมาก (ผู้เชี่ยวชาญ 1 คนสำหรับการศึกษาของ BBC ผู้อ่านริมฝีปากที่บกพร่องทางการได้ยิน 3 คนสำหรับ LipNet) และข้อมูลเกณฑ์ปกติของมนุษย์มาจากปี 2007 และ 2011 การศึกษาของ Lalonde จำลองหน้ากากแทนที่จะให้ผู้พูดสวมจริง เราไม่พบการวัดความแม่นยำของการอ่านริมฝีปากจากภาพ CCTV จริงที่ผ่านการทบทวนโดยผู้เชี่ยวชาญ ข้อกังวลเรื่องการสอดส่องที่อ้างถึงในที่นี้เป็นคำเตือนที่มีการบันทึกไว้ ไม่ใช่การใช้งานจริงที่ผ่านการวัด
อัปเดตล่าสุด: 31 ตุลาคม 2026 เราจะอัปเดตสรุปนี้ทุกไตรมาส และคาดว่าการรีเฟรชครั้งถัดไปจะเกิดขึ้นเมื่อเอกสารประชุม ICASSP 2027 และ Interspeech 2027 เผยแพร่ผล LRS3 และ WildVSR ชุดใหม่