أدت إضافة فيديو لشفاه المتحدث إلى خفض معدل الخطأ في الكلمات لدى نظام التعرف على الكلام من 88.9% إلى 24.2% في ضوضاء بيضاء شديدة عند -7.5 dB (Ma وآخرون، Auto-AVSR، ICASSP 2023). وتظل الشفاه وحدها أضعف بكثير من الصوت: يسجل قارئ شفاه من عام 2025 معدل خطأ 18.7% على معيار محاضرات TED في LRS3 (Thomas وFish وBowden، VALLR 2025)، بينما يصل نظام سمعي بصري قائم على نموذج لغوي كبير إلى 0.77% (Cappellazzo وآخرون، Llama-AVSR، ICASSP 2025). وقراءة الشفاه لدى البشر أدنى من ذلك: فقد سجل قارئو شفاه محترفون معدل خطأ بين 86.4% و92.9% على مقاطع YouTube (Shillingford وآخرون، DeepMind وGoogle، Large-Scale Visual Speech Recognition 2018). جمعنا بيانات من مجموعتي بيانات LRS2 وLRS3 التابعتين لمجموعة Oxford Visual Geometry Group (VGG)، وأوراق AV-HuBERT من Meta AI، ودراسة التعميم WildVSR، ومنظمة الصحة العالمية، وأبحاث السمع المحكّمة في JASA وJSLHR وTrends in Hearing. ولمعرفة كيف تتعثر أنظمة التعرف الصوتي فقط عبر المتحدثين المختلفين، راجع إحصائيات التحيز للهجات في التعرف على الكلام.
ملاحظة حول المصطلحات المستخدمة في هذا المقال: WER (معدل الخطأ في الكلمات) هو نسبة الكلمات التي يخطئ فيها النظام، باحتساب الكلمات المستبدلة والناقصة والزائدة، لذا فالقيمة الأقل أفضل. VSR (التعرف البصري على الكلام) يعني قراءة الشفاه آليا من فيديو صامت، وASR يعني التعرف على الكلام من الصوت فقط، وAVSR يعني التعرف السمعي البصري الذي يستخدم الاثنين معا. أما SNR (نسبة الإشارة إلى الضوضاء) فتقيس مدى ارتفاع صوت الكلام عن ضوضاء الخلفية؛ وتعني القيمة السالبة أن الضوضاء أعلى من الصوت.
أبرز النقاط
- انخفض معدل الخطأ في الكلمات بالإنجليزية في ضوضاء الثرثرة عند 0 dB من 13.8% لنموذج Whisper-Large الصوتي فقط إلى 7.2% لنموذج Whisper-Flamingo السمعي البصري (Rouditchenko وآخرون، Interspeech 2024).
- يسجل نظام قائم على نموذج لغوي كبير معدل خطأ 0.77% في الوضع السمعي البصري و0.79% في الوضع الصوتي فقط على LRS3 (Cappellazzo وآخرون، Llama-AVSR، ICASSP 2025).
- يسجل نموذج Google لقراءة الشفاه معدل خطأ 12.8% على LRS3، ويوصف بأنه ينافس نماذج صوتية فقط من قبل أربع سنوات (Chang وآخرون، Google، ورقة Conformers 2023).
- بلغ قارئ شفاه قائم على الفونيمات معدل خطأ 18.7% على LRS3 مع بيانات موسومة أقل بنسبة 99.4% من أفضل نهج تالٍ (Thomas وFish وBowden، VALLR 2025).
- سجل قارئو الشفاه المحترفون معدل خطأ 92.9% دون سياق و86.4% مع السياق، مقابل 40.9% لنظام آلي (Shillingford وآخرون، DeepMind وGoogle 2018).
- حدد 84 طالبا جامعيا من ذوي السمع الطبيعي 12.4% من الكلمات من فيديو صامت لجمل (Altieri وPisoni وTownsend، JASA 2011).
- قرأ البالغون المصابون بفقدان سمع مبكر الظهور 43.55% من الكلمات من الشفاه مقابل 18.57% لدى البالغين ذوي السمع الطبيعي (Auer وBernstein، JSLHR 2007).
- بـ 30 ساعة موسومة فقط، بلغ AV-HuBERT معدل خطأ 32.5% في قراءة الشفاه، متفوقا على نظام بلغ 33.6% دُرّب على 31,000 ساعة (Shi وآخرون، Meta AI، ICLR 2022).
- تفقد أحدث نماذج قراءة الشفاه 30 نقطة من معدل الخطأ في المتوسط عند الانتقال من LRS3 إلى مجموعة اختبار WildVSR (Djilali وآخرون، WildVSR 2023).
- خفضت الوجوه المرئية عتبة الضوضاء لفهم الكلام بمقدار 3.74 dB للكلام الواضح (Blackburn وآخرون، Trends in Hearing 2019).
- يحتاج 430 مليون شخص إلى إعادة تأهيل بسبب فقدان السمع المسبب للإعاقة (منظمة الصحة العالمية، صحيفة وقائع الصمم وفقدان السمع 2026).
1. الشفاه مقابل الصوت مقابل كليهما: فجوة الوسائط في معدل الخطأ في الكلمات
لا تزال الفجوة بين العين والأذن أكبر من رتبة قدر كاملة. فأدنى درجات قراءة الشفاه على LRS3 في هذا الاستعراض هي 12.8% و18.7% من معدل الخطأ في الكلمات، بينما أدنى درجات الصوت والصوت مع الفيديو تقل عن 1%. فقد تنتج أصوات مختلفة حركة الشفاه نفسها تماما (‘p’ و’b’ مثال معياري)، ولذا يجب على النموذج الصامت أن يستنتج من السياق ما يسمعه النموذج الصوتي ببساطة.
الرقم الأكثر إدهاشا يقع في الطرف الأعلى. ففي الصوت النقي لا يضيف الفيديو شيئا يذكر، وقد يكلف قليلا: سجل Whisper-Flamingo معدل خطأ 0.76% في الوضع السمعي البصري مقابل 0.68% في الوضع الصوتي فقط على LRS3 (Rouditchenko وآخرون، Interspeech 2024). وتظهر قيمة الشفاه في الضوضاء (انظر القسم 2)، لا في محاضرات TED بجودة الاستوديو. وتُظهر ورقة Llama-AVSR التعادل التقريبي نفسه، بنسبتي 0.79% مقابل 0.77%.
| المقياس | القيمة | المصدر |
|---|---|---|
| معدل الخطأ في الكلمات على LRS3: الشفاه فقط مقابل الصوت فقط مقابل الصوت مع الفيديو، نموذج دُرّب على 3,448 ساعة | 19.1% مقابل 1.0% مقابل 0.9% | Ma وآخرون، Auto-AVSR، ICASSP 2023 |
| معدل الخطأ في الكلمات على LRS3: الصوت فقط مقابل الصوت مع الفيديو، نظام قائم على نموذج لغوي كبير | 0.79% مقابل 0.77% | Cappellazzo وآخرون، Llama-AVSR، ICASSP 2025 |
| معدل الخطأ في الكلمات على LRS3: الصوت فقط مقابل الصوت مع الفيديو، نظام قائم على Whisper | 0.68% مقابل 0.76% | Rouditchenko وآخرون، Whisper-Flamingo، Interspeech 2024 |
| معدل الخطأ في قراءة الشفاه على LRS3، نموذج Google Conformer | 12.8% | Chang وآخرون (Google)، Conformers Are All You Need for Visual Speech Recognition، 2023 |
| معدل الخطأ في قراءة الشفاه على LRS3، نموذج قائم على الفونيمات مع نموذج لغوي كبير | 18.7% | Thomas وFish وBowden، VALLR، arXiv 2025 (نُقّحت في 5 يناير 2026) |
| معدل الخطأ في الكلمات على تلفزيون BBC (LRS): الشفاه فقط مقابل الصوت النقي فقط مقابل الصوت النقي مع الشفاه | 50.2% مقابل 17.7% مقابل 13.9% | Chung وآخرون (Oxford VGG وGoogle DeepMind)، Lip Reading Sentences in the Wild، CVPR 2017 |
السياق: تورد ورقة Auto-AVSR هذه الأرقام لنموذج دُرّب على 3,448 ساعة، وكان معدل خطئه بالشفاه فقط على مجموعة LRS2 المبنية على BBC أقل، عند 14.6% مقابل 1.5% للصوت فقط. تشترك هذه النماذج في مجموعة الاختبار لكن لا تشترك في بيانات التدريب، لذا فالدرجات ليست متكافئة. وللأنظمة الصوتية فقط أنماط فشل خاصة بها تتجاوز أخطاء الكلمات المجردة، نتناولها في إحصائيات الهلوسة في التعرف على الكلام.
2. مقدار ما يساعد به الفيديو التعرف على الكلام عند نسبة إشارة إلى ضوضاء منخفضة
هنا يستحق فيديو الشفاه مكانته. فمع ارتفاع الضوضاء يرتفع خطأ النماذج الصوتية فقط بحدة بينما يرتفع خطأ النماذج السمعية البصرية ببطء، فتتسع الفجوة تماما حيث تفشل الترجمة النصية وواجهات الصوت أكثر. بلغ متوسط معدل الخطأ في الكلمات لنموذج Meta السمعي البصري 5.8% في الضوضاء مقابل 25.8% للنسخة الصوتية فقط، عبر 4 أنواع من الضوضاء و5 مستويات لنسبة الإشارة إلى الضوضاء من -10 إلى 10 dB (Shi وHsu وMohamed، Interspeech 2022).
لنوع الضوضاء أهمية. فضوضاء الثرثرة (أي حديث عدة أشخاص في الخلفية) كانت الأقل إضرارا بالنموذج الصوتي فقط في اختبارات -7.5 dB أدناه، لكنها استُخدمت أيضا أثناء التدريب، ولذلك يحذر المؤلفون من أن هذه النتائج لا يمكن مقارنتها مباشرة بالضوضاء الوردية والبيضاء (الفحيح عريض النطاق). وقد أنتج هذان النوعان من الضوضاء أكبر الفجوات.
| المقياس | القيمة | المصدر |
|---|---|---|
| معدل الخطأ في الكلمات عند نسبة إشارة إلى ضوضاء -7.5 dB، الصوت فقط مقابل الصوت مع الفيديو: ضوضاء بيضاء؛ ضوضاء وردية؛ ضوضاء ثرثرة | 88.9% مقابل 24.2%؛ 56.8% مقابل 16.2%؛ 8.3% مقابل 5.6% | Ma وآخرون، Auto-AVSR، ICASSP 2023 |
| معدل الخطأ في الكلمات في ضوضاء بيضاء عند نسبة إشارة إلى ضوضاء 2.5 dB، الصوت فقط مقابل الصوت مع الفيديو | 10.4% مقابل 4.3% | Ma وآخرون، Auto-AVSR، ICASSP 2023 |
| متوسط معدل الخطأ في الكلمات عبر 4 أنواع ضوضاء و5 مستويات لنسبة الإشارة إلى الضوضاء (من -10 إلى 10 dB)، النموذج الصوتي فقط مقابل النموذج السمعي البصري المبني على AV-HuBERT | 25.8% مقابل 5.8% | Shi وHsu وMohamed (Meta AI)، Robust Self-Supervised Audio-Visual Speech Recognition، Interspeech 2022 |
| معدل الخطأ في الكلمات في ضوضاء الثرثرة، أفضل أداء سابق دُرّب على 433 ساعة موسومة مقابل AV-HuBERT دُرّب على 30 ساعة موسومة | 28.0% مقابل 14.1% | Shi وHsu وMohamed (Meta AI)، Interspeech 2022 |
| معدل الخطأ في الكلمات بالإنجليزية في ضوضاء الثرثرة عند نسبة إشارة إلى ضوضاء 0 dB (اختبار MuAViC)، Whisper-Large الصوتي فقط مقابل Whisper-Flamingo السمعي البصري | 13.8% مقابل 7.2% | Rouditchenko وآخرون، Whisper-Flamingo، Interspeech 2024 |
| معدل الخطأ في الكلمات على تلفزيون BBC عند نسبة إشارة إلى ضوضاء 10 dB و0 dB، الصوت فقط مقابل الصوت مع الشفاه | 37.6% و62.9% مقابل 27.6% و42.0% | Chung وآخرون (Oxford VGG وGoogle DeepMind)، CVPR 2017 |
ملاحظة حول القيمة الشاذة: أرقام BBC لعام 2017 تأتي من جيل أضعف بكثير من النماذج، لكنها تُظهر النمط نفسه عند مستوى خطأ أعلى. عند 0 dB خفضت إضافة الشفاه الخطأ بمقدار 20.9 نقطة (62.9 ناقص 42.0)؛ وعند ضوضاء بيضاء -7.5 dB في 2023 كان الخفض 64.7 نقطة (88.9 ناقص 24.2). أحدث البيانات المتاحة لمقارنة BBC تلك: دراسة 2017.
3. قارئو الشفاه من البشر كخط أساس
قراءة الشفاه لدى البشر أصعب بكثير مما يفترضه معظم الناس. حدد الشباب البالغون ذوو السمع الطبيعي 12.4% فقط من الكلمات من فيديو صامت لجمل منطوقة (Altieri وPisoni وTownsend، JASA 2011). ويرفع الاعتماد مدى الحياة على الوجه هذه النسبة بشكل ملحوظ: فقد قرأ البالغون الذين فقدوا سمعهم مبكرا أكثر من ضعف عدد الكلمات التي قرأها البالغون السامعون (Auer وBernstein، JSLHR 2007).
تفوقت الآلات على المحترفين المدربين منذ سنوات على فيديو المعايير، لكن للمقارنة حدودا. فقد استخدمت خطوط الأساس البشرية عينات صغيرة: 300 فيديو و3 قارئي شفاه في LipNet، و200 فيديو ومحترف واحد في دراسة BBC. وكان ذلك المحترف يرى البرنامج الذي جاء منه كل مقطع، ويدرس نماذج من فيديوهات التدريب، ويعيد تشغيل المقاطع دون حد، ولذلك فالدرجة البشرية ليست نتيجة قراءة باردة. ولمعرفة الجانب الصفي من تعليم الصم، راجع إحصائيات تعليم الطلاب الصم وضعاف السمع.
| المقياس | القيمة | المصدر |
|---|---|---|
| الكلمات الصحيحة من فيديو صامت لجمل CUNY، 84 طالبا جامعيا من ذوي السمع الطبيعي | 12.4% (SD 6.67%) | Altieri وPisoni وTownsend (Indiana University)، Some normative data on lip-reading skills، JASA 2011 |
| الكلمات الصحيحة من فيديو صامت لـ 30 جملة، بالغون مصابون بفقدان سمع مبكر الظهور (n = 112) مقابل ذوي سمع طبيعي (n = 220) | 43.55% (SD 17.48) مقابل 18.57% (SD 13.18)؛ t(330) = 14.576, p < .01 | Auer وBernstein، JSLHR 2007 |
| الحروف الساكنة المتعرف عليها من فيديو صامت دون كمامة: أطفال ذوو سمع طبيعي مقابل أطفال مصابين بفقدان السمع مقابل بالغين ذوي سمع طبيعي | نحو 31% مقابل 33% مقابل 42% | Lalonde وBuss وMiller وLeibold، Frontiers in Psychology 2022 |
| معدل الخطأ في الكلمات على جمل GRID من متحدثين لم يُرَوا من قبل، 3 قارئي شفاه ضعاف السمع مقابل LipNet | 47.7% مقابل 11.4% | Assael وآخرون (University of Oxford وGoogle DeepMind)، LipNet 2016 |
| معدل الخطأ في الكلمات على مقاطع اختبار BBC، قارئ شفاه محترف واحد مقابل نموذج آلي يعتمد على الشفاه فقط | 73.8% مقابل 50.2% (87.6% للإنسان عند احتساب المقاطع التي رفضها) | Chung وآخرون (Oxford VGG وGoogle DeepMind)، CVPR 2017 |
| معدل الخطأ في الكلمات على مقاطع YouTube، قارئو شفاه محترفون دون سياق مقابل مع السياق مقابل نظام آلي | 92.9% مقابل 86.4% مقابل 40.9% | Shillingford وآخرون (DeepMind وGoogle)، Large-Scale Visual Speech Recognition 2018 |
| الفائدة البصرية للبالغين ذوي السمع الطبيعي (الانخفاض في نسبة الإشارة إلى الضوضاء اللازم للحصول على نصف الكلمات المفتاحية صحيحة)، الكلام الواضح مقابل الكلام المشوّه بمرمّز الضوضاء | 3.74 dB (SD 2.67) مقابل 4.68 dB (SD 3.28) | Blackburn وآخرون، Trends in Hearing 2019 |
السياق: في التجربة 1 من دراسة Blackburn، بلغ متوسط الإجابات الصحيحة للمستمعين 1.56% فقط مع الفيديو وحده، ومع ذلك حسّنت رؤية المتحدث عتباتهم مقارنة بالصوت وحده (أرقام 3.74 dB و4.68 dB من التجربة 2). تعمل قراءة الشفاه بأفضل شكل كمكمل للصوت، للآلات والبشر على حد سواء. والكلام المشوّه بمرمّز الضوضاء هو صوت جرى تدهوره عمدا بإزالة التفاصيل الدقيقة منه. أحدث البيانات المتاحة للدرجات البشرية المعيارية: Altieri وآخرون 2011، وAuer وBernstein 2007.
4. مجموعات بيانات قراءة الشفاه: الساعات والمتحدثون والمفردات
تعتمد أبحاث قراءة الشفاه على حفنة من مجموعات البيانات العامة المبنية من التلفزيون ومحاضرات TED. يضم معيار LRS3 أكثر من 400 ساعة من 5,594 محاضرة من TED وTEDx، لكن مجموعة اختباره ساعة واحدة فقط (Afouras وChung وZisserman، LRS3-TED 2018). وهكذا يُصنَّف ميدان كامل نماذجه على 1,452 جملة اختبار، وهذا أحد أسباب أهمية القسم 6.
أكبر مجموعات التدريب ملك للصناعة. فمجموعة LSVSR من YouTube البالغة 3,886 ساعة تقارب عشرة أضعاف مجموعة التدريب المسبق لـ LRS3 (3,886 مقسومة على 407 تساوي 9.5)، بينما تعوض الأبحاث العامة ذلك بوسوم مولدة آليا وبالتدريب المسبق الذاتي الإشراف.
| المقياس | القيمة | المصدر |
|---|---|---|
| إجمالي فيديو LRS3-TED ومحاضراته المصدر؛ حجم مجموعة الاختبار | أكثر من 400 ساعة من 5,594 محاضرة من TED وTEDx؛ ساعة واحدة، 1,452 جملة، 451 متحدثا | Afouras وChung وZisserman (Oxford VGG)، LRS3-TED 2018 |
| مجموعة التدريب المسبق لـ LRS2-BBC مقابل مجموعة التدريب والتحقق | 195 ساعة (96 ألف جملة) مقابل 29 ساعة (47 ألف جملة) | Afouras وChung وZisserman (Oxford VGG)، LRS3-TED 2018، الجدول 1 |
| مجموعة بيانات LSVSR من YouTube: الساعات والجمل والمفردات | 3,886 ساعة؛ 2,934,899 جملة؛ 127,055 كلمة | Shillingford وآخرون (DeepMind وGoogle)، 2018 |
| فيديو VoxCeleb2 الإنجليزي المستخدم في التدريب المسبق؛ إجمالي بيانات التدريب المسبق لـ AV-HuBERT | 1,326 ساعة؛ 1,759 ساعة | Shi وآخرون (Meta AI)، AV-HuBERT، ICLR 2022 |
| مدونة MuAViC السمعية البصرية متعددة اللغات | 1,200 ساعة بـ 9 لغات | Anwar وآخرون (Meta AI)، MuAViC 2023 |
| مجموعة اختبار WildVSR: الساعات والجمل والمتحدثون والمفردات | 4.8 ساعة؛ 2,854 جملة؛ 618 متحدثا؛ 6,040 كلمة | Djilali وآخرون (Technology Innovation Institute)، Do VSR Models Generalize Beyond LRS3?، 2023 |
السياق: تتداخل مجموعتا التدريب المسبق والتدريب والتحقق في LRS3 من حيث المحتوى، لذا لا ينبغي جمع ساعاتهما معا. أحدث البيانات المتاحة للمعايير الأساسية: ورقة LRS3-TED، 2018. وتصف ورقة MuAViC نفسها بأنها أكبر معيار مفتوح للتعرف السمعي البصري على الكلام متعدد اللغات.
5. حجم بيانات التدريب مقابل دقة قراءة الشفاه
لا يزال المزيد من الفيديو يشتري دقة، لكن التدريب الأذكى يشتري أكثر لكل ساعة. طابق AV-HuBERT نظاما دُرّب على 31,000 ساعة بـ 30 ساعة موسومة فقط: معدل خطأ 32.5% مقابل 33.6% (Shi وآخرون، Meta AI، ICLR 2022). وقام التدريب المسبق الذاتي الإشراف على فيديو غير موسوم بالجزء الأكبر من العمل: فالبنية نفسها المدربة من الصفر على تلك الساعات الثلاثين سجلت 92.3%.
الساعات ما زالت مهمة، لكنها لا تحسم الترتيب. فالانتقال من 818 إلى 3,448 ساعة تدريب خفّض خطأ قراءة الشفاه على LRS3 بمقدار 13.9 نقطة (33.0 ناقص 19.1). ثم إن تجربتين أكبر بكثير في الجدول أدناه تفصل بينهما 4.2 نقطة، بواقع 17.0% على نحو 90,000 ساعة و12.8% على 100 ألف ساعة، ما يشير إلى أن البنية مهمة مثل الحجم.
| المقياس | القيمة | المصدر |
|---|---|---|
| معدل الخطأ في قراءة الشفاه على LRS3 مع 818 مقابل 1,902 مقابل 3,448 ساعة تدريب (نموذج دُرّب على نحو 90,000 ساعة غير عامة: 17.0%) | 33.0% مقابل 23.5% مقابل 19.1% | Ma وآخرون، Auto-AVSR، ICASSP 2023 |
| معدل الخطأ في قراءة الشفاه على LRS3، AV-HuBERT مع 30 ساعة موسومة مقابل جميع الساعات الموسومة الـ 433 مع التدريب الذاتي (أفضل أداء سابق: 33.6% على 31,000 ساعة) | 32.5% مقابل 26.9% | Shi وآخرون (Meta AI)، AV-HuBERT، ICLR 2022 |
| معدل الخطأ في قراءة الشفاه على LRS3، البنية الكبيرة نفسها مدربة من الصفر على 30 مقابل 433 ساعة موسومة | 92.3% مقابل 62.3% | Shi وآخرون (Meta AI)، AV-HuBERT، ICLR 2022، الجدول 1 |
| البيانات الموسومة التي استخدمها قارئ شفاه قائم على الفونيمات مقارنة بأفضل نهج تالٍ | أقل بنسبة 99.4% (مقابل 18.7% معدل خطأ على LRS3) | Thomas وFish وBowden، VALLR، arXiv 2025 |
| فيديو التدريب وراء معدل خطأ Google البالغ 12.8% في قراءة الشفاه على LRS3 | 100 ألف ساعة من مقاطع YouTube المفرغة نصيا، ثم الضبط الدقيق على LRS3 (أكثر من 400 ساعة) | Chang وآخرون (Google)، Conformers Are All You Need for Visual Speech Recognition، 2023 |
السياق: النماذج اللغوية الأكبر ليست اختصارا أيضا. يخلص Jain وHarte (arXiv، سبتمبر 2025) إلى أن مفككات النماذج اللغوية الكبيرة تحسّن في الأساس الاستدلال السياقي لا الخصائص البصرية، وأن هناك حاجة إلى مشفرات بصرية أقوى لتحقيق مزيد من التقدم.
6. ما وراء محاضرات TED: الفيديو في البيئات الحقيقية وقراءة الشفاه بغير الإنجليزية
معدل الخطأ في المعايير يجامل قراءة الشفاه. فعندما بنى الباحثون مجموعة اختبار جديدة من فيديو YouTube متبعين عن كثب عملية إنشاء LRS3، خسرت أحدث نماذج قراءة الشفاه 30 نقطة من معدل الخطأ في المتوسط (Djilali وآخرون، WildVSR 2023). وتحرك الصوت أقل بكثير: انتقل Whisper من 1.1% إلى 4.2%. لكن الترتيب بقي ثابتا، فدرجة أفضل على LRS3 ما زالت تتنبأ بدرجة أفضل على WildVSR.
اللغة هي النقطة العمياء الثانية. فالطريقة التي سجلت 31.5% على LRS3 الإنجليزية سجلت 56.3% أو أسوأ على محاضرات بنمط TED بالإسبانية والإيطالية والفرنسية (Ma وPetridis وPantic، Nature Machine Intelligence 2022). أحدث البيانات المتاحة لقراءة الشفاه بغير الإنجليزية: تلك الورقة لعام 2022.
| المقياس | القيمة | المصدر |
|---|---|---|
| متوسط الزيادة في معدل الخطأ في الكلمات لأحدث نماذج قراءة الشفاه، من LRS3 إلى WildVSR | 30 نقطة | Djilali وآخرون، WildVSR 2023 |
| معدل الخطأ في قراءة الشفاه، أفضل نموذج مختبر (Auto-AVSR، 3,448 ساعة)، LRS3 مقابل WildVSR | 19.1% مقابل 38.6% | Djilali وآخرون، WildVSR 2023، الجدول 2 |
| معدل الخطأ في الكلمات للصوت فقط، Whisper، LRS3 مقابل WildVSR | 1.1% مقابل 4.2% | Djilali وآخرون، WildVSR 2023، الجدول 2 |
| العلاقة المطابقة بين معدل الخطأ على WildVSR ومعدل الخطأ على LRS3 عبر النماذج | معدل الخطأ على WildVSR = نحو 1.31 x معدل الخطأ على LRS3 + 14.05 | Djilali وآخرون، WildVSR 2023 |
| معدل الخطأ في قراءة الشفاه، نموذج بمفكك Llama-2-13B، LRS3 مقابل WildVSR | 24.7% مقابل 47.0% | Jain وHarte، From Hype to Insight، arXiv 2025 |
| خطأ قراءة الشفاه حسب اللغة، أفضل تجربة: معدل خطأ الأحرف بالماندرين (CMLR) مقابل معدل خطأ الكلمات بالإسبانية والإيطالية والفرنسية (Multilingual TEDx) | 8.0% مقابل 56.3% و57.4% و66.2% | Ma وPetridis وPantic، Nature Machine Intelligence 2022 |
السياق: يحتسب رقم الماندرين الأخطاء لكل حرف لا لكل كلمة، ولذلك لا يمكن مقارنته مباشرة بأرقام معدل الخطأ في الكلمات. وفجوة WildVSR لأفضل نموذج هي 19.5 نقطة (38.6 ناقص 19.1)، أقل من المتوسط البالغ 30 نقطة، بما يتسق مع ما توصل إليه المؤلفون من أن النماذج الأقوى تتدهور أقل.
7. الخصوصية والمراقبة وإمكانية الوصول
مصدر القلق الموثق بشأن الخصوصية ملموس: فالباحثون أنفسهم يشيرون إلى كاميرات CCTV. يصف Ma وPetridis وPantic التعرف البصري على الكلام بأنه «تقنية ذات استخدام مزدوج» «يمكن نشرها للمراقبة عبر كاميرات CCTV أو حتى عبر كاميرات الهواتف الذكية، ما يثير مخاوف تتعلق بالخصوصية»، ويرون أن التنظيم الحكومي ضروري. كما يذكرون أن تطبيقا للهواتف الذكية لمساعدة ذوي الإعاقة الكلامية على التواصل كان قيد التجربة في مستشفيات NHS البريطانية في ذلك الوقت. وحذّر مفوض كاميرات المراقبة في المملكة المتحدة، Tony Porter، من تقنية مراقبة بقراءة الشفاه تلوح في الأفق في أغسطس 2019 (Big Brother Watch، 28 أغسطس 2019).
أما الثقل المقابل فتقني. يرى باحثو Oxford VGG أن التنصت عبر CCTV «منخفض الخطورة جدا» لأن الكاميرات «تعمل عادة بدقة ومعدلات إطارات أقل بكثير ومن زوايا غير معتادة» (Prajwal وAfouras وZisserman، 2021). دُرّب النظام ذو الـ 3,886 ساعة فقط على وجوه مائلة في حدود 30 درجة عن الكاميرا، ويقول مؤلفوه إنه لا يؤدي جيدا في سياقات أخرى (Shillingford وآخرون، 2018). وتستند حجة إمكانية الوصول إلى شريحة سكانية كبيرة: إذ تدرج صحيفة وقائع منظمة الصحة العالمية الترجمة النصية وقراءة الكلام ضمن أشكال الدعم لفقدان السمع. أما الذكاء الاصطناعي اللغوي البصري خارج الشفاه فنتناوله في إحصائيات الذكاء الاصطناعي ولغة الإشارة والرؤية الحاسوبية.
| المقياس | القيمة | المصدر |
|---|---|---|
| ظروف تدريب نظام قراءة الشفاه ذي الـ 3,886 ساعة: زاوية الرأس؛ الحد الأدنى لحجم الوجه؛ الحد الأدنى لمعدل الإطارات | الانحراف الجانبي والرأسي ضمن زائد أو ناقص 30 درجة؛ 80 بكسل على الأقل بين العينين؛ حذف المقاطع التي تقل عن 23 إطارا في الثانية | Shillingford وآخرون (DeepMind وGoogle)، 2018 |
| الحد الأدنى لارتفاع الشفاه المغلقة في الفيديو لقراءة شفاه آلية موثوقة | 4 بكسل | Bear وHarvey وTheobald وLan، Resolution limits on visual speech recognition، ICIP 2014 |
| أدنى دقة فيديو اختُبرت في دراسة الدقة المكانية مقابل مصدر Full HD | 42 x 32 مقابل 1440 x 1080 بكسل (اختُبرت 18 دقة) | Bear وHarvey وTheobald وLan، ICIP 2014 |
| الأشخاص الذين يحتاجون إلى إعادة تأهيل بسبب فقدان السمع المسبب للإعاقة | 430 مليونا (أكثر من 5% من سكان العالم) | منظمة الصحة العالمية، صحيفة وقائع الصمم وفقدان السمع، 3 مارس 2026 |
| الأشخاص المتوقع أن يعانوا من درجة ما من فقدان السمع مقابل فقدان السمع المسبب للإعاقة بحلول 2050 | نحو 2.5 مليار مقابل أكثر من 700 مليون | منظمة الصحة العالمية، صحيفة وقائع الصمم وفقدان السمع، 3 مارس 2026 |
| التكلفة العالمية السنوية لفقدان السمع غير المعالج | نحو 1 تريليون دولار أمريكي | منظمة الصحة العالمية، صحيفة وقائع الصمم وفقدان السمع، 3 مارس 2026 |
السياق: استخدمت دراسة Bear وآخرون نحو 30 دقيقة من الفيديو لمتحدثين اثنين، لذا فالحد الأدنى البالغ 4 بكسل حد إرشادي لا ضمان. أحدث البيانات المتاحة لحد الدقة المكانية: Bear وآخرون، 2014.
الخلاصة: معدل الخطأ في الكلمات لقراءة الشفاه والتعرف البصري على الكلام بالأرقام
| المقياس | القيمة | المصدر |
|---|---|---|
| معدل الخطأ في الكلمات عند نسبة إشارة إلى ضوضاء -7.5 dB في ضوضاء بيضاء، الصوت فقط مقابل الصوت مع الفيديو | 88.9% مقابل 24.2% | Ma وآخرون، Auto-AVSR، ICASSP 2023 |
| متوسط معدل الخطأ في الكلمات عبر 4 أنواع ضوضاء و5 مستويات لنسبة الإشارة إلى الضوضاء، النموذج الصوتي فقط مقابل السمعي البصري | 25.8% مقابل 5.8% | Shi وHsu وMohamed (Meta AI)، Interspeech 2022 |
| معدل الخطأ في الكلمات بالإنجليزية في ضوضاء الثرثرة عند 0 dB، Whisper-Large الصوتي فقط مقابل Whisper-Flamingo | 13.8% مقابل 7.2% | Rouditchenko وآخرون، Whisper-Flamingo، Interspeech 2024 |
| معدل الخطأ في الكلمات على LRS3، الصوت فقط مقابل الصوت مع الفيديو، نظام قائم على نموذج لغوي كبير | 0.79% مقابل 0.77% | Cappellazzo وآخرون، Llama-AVSR، ICASSP 2025 |
| معدل الخطأ في قراءة الشفاه على LRS3، نموذج Google Conformer | 12.8% | Chang وآخرون (Google)، 2023 |
| معدل الخطأ في قراءة الشفاه على LRS3، نموذج قائم على الفونيمات مع بيانات موسومة أقل بنسبة 99.4% | 18.7% | Thomas وFish وBowden، VALLR، arXiv 2025 |
| معدل الخطأ في قراءة الشفاه على LRS3، AV-HuBERT مع 30 ساعة موسومة مقابل أفضل أداء سابق على 31,000 ساعة | 32.5% مقابل 33.6% | Shi وآخرون (Meta AI)، AV-HuBERT، ICLR 2022 |
| متوسط الزيادة في معدل الخطأ في الكلمات لأحدث نماذج قراءة الشفاه، من LRS3 إلى WildVSR | 30 نقطة | Djilali وآخرون، WildVSR 2023 |
| معدل الخطأ في قراءة الشفاه، نموذج بمفكك Llama-2-13B، LRS3 مقابل WildVSR | 24.7% مقابل 47.0% | Jain وHarte، arXiv 2025 |
| الكلمات الصحيحة من جمل صامتة، 84 طالبا جامعيا من ذوي السمع الطبيعي | 12.4% | Altieri وPisoni وTownsend، JASA 2011 |
| الكلمات الصحيحة من جمل صامتة، فقدان سمع مبكر الظهور مقابل سمع طبيعي | 43.55% مقابل 18.57% | Auer وBernstein، JSLHR 2007 |
| معدل الخطأ في الكلمات على مقاطع YouTube، قارئو شفاه محترفون (دون سياق مقابل مع السياق) مقابل نظام آلي | 92.9% و86.4% مقابل 40.9% | Shillingford وآخرون (DeepMind وGoogle)، 2018 |
| معدل الخطأ في الكلمات على مقاطع BBC، قارئ شفاه محترف مقابل نموذج يعتمد على الشفاه فقط | 73.8% مقابل 50.2% | Chung وآخرون (Oxford VGG وGoogle DeepMind)، CVPR 2017 |
| الفائدة البصرية في الضوضاء للكلام الواضح، البالغون ذوو السمع الطبيعي | 3.74 dB | Blackburn وآخرون، Trends in Hearing 2019 |
| فيديو LRS3-TED ومحاضراته | أكثر من 400 ساعة، 5,594 محاضرة | Afouras وChung وZisserman (Oxford VGG)، 2018 |
| الحد الأدنى لارتفاع الشفاه المغلقة في الفيديو لقراءة شفاه آلية موثوقة | 4 بكسل | Bear وآخرون، ICIP 2014 |
| الأشخاص الذين يحتاجون إلى إعادة تأهيل بسبب فقدان السمع المسبب للإعاقة | 430 مليونا | منظمة الصحة العالمية، 2026 |
المنهجية والمصادر
- Ma وآخرون، Auto-AVSR: Audio-Visual Speech Recognition with Automatic Labels، ICASSP 2023: فجوة الوسائط، وجداول المتانة أمام الضوضاء، وتأثير حجم بيانات التدريب.
- Cappellazzo وآخرون، Large Language Models are Strong Audio-Visual Speech Recognition Learners (Llama-AVSR)، ICASSP 2025: معدل الخطأ في الكلمات الصوتي والسمعي البصري على LRS3.
- Rouditchenko وآخرون، Whisper-Flamingo، Interspeech 2024: معدل الخطأ في الكلمات في الصوت النقي وضوضاء الثرثرة لنموذج Whisper الصوتي فقط مقابل السمعي البصري.
- Chang وآخرون (Google)، Conformers Are All You Need for Visual Speech Recognition، 2023: معدل خطأ 12.8% في قراءة الشفاه على LRS3 ومجموعة تدريبه البالغة 100 ألف ساعة.
- Thomas وFish وBowden، VALLR: Visual ASR Language Model for Lip Reading، arXiv 2025: معدل خطأ 18.7% وكفاءة استخدام البيانات الموسومة.
- Jain وHarte، From Hype to Insight: Rethinking Large Language Model Integration in Visual Speech Recognition، arXiv سبتمبر 2025: نتائج مفككات النماذج اللغوية الكبيرة على LRS3 وWildVSR.
- Meta AI: Shi وآخرون، AV-HuBERT، ICLR 2022 وShi وHsu وMohamed، Robust Self-Supervised Audio-Visual Speech Recognition، Interspeech 2022: كفاءة البيانات والمتانة أمام الضوضاء.
- Anwar وآخرون (Meta AI)، مدونة MuAViC السمعية البصرية متعددة اللغات، 2023: حجم المدونة وتغطية اللغات.
- Oxford VGG: Afouras وChung وZisserman، LRS3-TED، 2018 وPrajwal وAfouras وZisserman، Sub-word Level Lip Reading With Visual Attention، 2021: أحجام مجموعات البيانات وتقييم مخاطر CCTV.
- Chung وآخرون، Lip Reading Sentences in the Wild، CVPR 2017: نتائج الشفاه مقابل الصوت على BBC ونتائج الضوضاء وخط الأساس لقارئ الشفاه المحترف.
- Assael وآخرون، LipNet: End-to-End Sentence-level Lipreading، 2016: النتائج على مدونة جمل GRID وخط الأساس لقارئي الشفاه ضعاف السمع.
- Shillingford وآخرون، Large-Scale Visual Speech Recognition، 2018: مجموعة بيانات LSVSR، ومعدل خطأ قارئي الشفاه المحترفين، وقيود زاوية الوجه والدقة.
- Djilali وآخرون، Do VSR Models Generalize Beyond LRS3? (WildVSR)، 2023: فجوة التعميم في البيئات الحقيقية.
- Ma وPetridis وPantic، Visual Speech Recognition for Multiple Languages in the Wild، Nature Machine Intelligence 2022: معدل الخطأ بغير الإنجليزية ومناقشة الاستخدام المزدوج والخصوصية.
- Altieri وPisoni وTownsend، Some normative data on lip-reading skills، JASA 2011: درجات الجمل البشرية بالرؤية فقط.
- Auer وBernstein، Enhanced visual speech perception in individuals with early-onset hearing impairment، JSLHR 2007: درجات قراءة الشفاه لدى الصم مقابل السامعين.
- Blackburn وآخرون، Visual Speech Benefit in Clear and Degraded Speech، Trends in Hearing 2019: الفائدة البصرية بالديسيبل.
- Lalonde وBuss وMiller وLeibold، Face Masks Impact Auditory and Audiovisual Consonant Recognition in Children With and Without Hearing Loss، Frontiers in Psychology 2022: درجات التعرف البصري فقط على الحروف الساكنة للأطفال والبالغين.
- Bear وHarvey وTheobald وLan، Resolution limits on visual speech recognition، ICIP 2014: الحد الأدنى لدقة الشفاه.
- منظمة الصحة العالمية، صحيفة وقائع الصمم وفقدان السمع، 3 مارس 2026: انتشار فقدان السمع والتوقعات والتكلفة.
- Big Brother Watch، 28 أغسطس 2019: تقرير عن تحذير مفوض كاميرات المراقبة في المملكة المتحدة بشأن المراقبة بقراءة الشفاه.
- ملاحظة حول البيانات: درجات مجموعة اختبار LRS3 ليست متكافئة عبر الأوراق التي تدرّب على بيانات مختلفة، ومجموعات الاختبار صغيرة جدا (ساعة واحدة لـ LRS3). وتدّعي عدة أوراق تحقيق أحدث مستوى في الأداء بتواريخ مختلفة: فنسبتا Llama-AVSR البالغتان 0.79% و0.77% تقعان بجانب نسبتي Whisper-Flamingo البالغتين 0.68% و0.76%، ونسبة VALLR البالغة 18.7% تقع بجانب نسبة Google الأقل البالغة 12.8%، التي استخدمت بيانات موسومة أكثر بكثير. وVALLR ودراسة Jain وHarte ورقتان منشورتان مسبقا دون مكان نشر محكّم مذكور. وتختلف ساعات مجموعة البيانات نفسها بحسب المصدر: إذ تذكر ورقة LRS3-TED أن ساعات التدريب المسبق 407، وأن مجموعتي التدريب المسبق والتدريب والتحقق في LRS2-BBC هما 195 و29 ساعة، بينما يحتسب Ma وPetridis وPantic 438 ساعة لـ LRS3 و223 ساعة لـ LRS2. وتعطي ورقة WildVSR ميلين لمنحنى المطابقة (1.31 و1.30)، ويذكر ملحقها B أن Whisper يسجل أقل من 4 على مجموعتي الاختبار، وهو ما يتعارض مع الرقم 4.2 في جدولها 2. كما أنها لا تذكر حجم نموذج Whisper. وتعتمد خطوط الأساس البشرية على لجان صغيرة جدا (محترف واحد في دراسة BBC، وثلاثة قارئي شفاه ضعاف السمع في LipNet)، وتعود البيانات البشرية المعيارية إلى عامي 2007 و2011. وقد حاكت دراسة Lalonde الكمامات بدلا من أن يرتديها المتحدثون فعلا. ولم نعثر على أي قياس محكّم لدقة قراءة الشفاه من لقطات CCTV حقيقية: فمخاوف المراقبة المذكورة هنا تحذيرات موثقة لا عمليات نشر مقيسة.
آخر تحديث: 31 أكتوبر 2026. نراجع هذا الاستعراض ونحدثه كل ثلاثة أشهر، ومن المتوقع أن يأتي التحديث التالي عندما تنشر وقائع مؤتمري ICASSP 2027 وInterspeech 2027 نتائج جديدة على LRS3 وWildVSR.