عند تغذيته بـ 301,317 مقطعا من الصوت غير الكلامي الخالص، كتب Whisper large-v3 نصا لـ 121,378 منها (40.3%)، وكانت 9.1% من تلك المخرجات المختلقة حلقات تكرار للعبارة نفسها (Barański وآخرون، ICASSP 2025). وعلى مكتبة UrbanSound8K لأصوات المدن، قاس فريق آخر وجود مخرجات نصية في 99.97% من المقاطع (Wang وآخرون، Calm-Whisper، Interspeech 2025). أما على الكلام الحقيقي فالمعدل أقل بكثير لكنه غير موزع بالتساوي: ففي مدونة AphasiaBank، هلوست مقاطع المتحدثين المصابين بالحبسة الكلامية أكثر من المقاطع الضابطة، وتنبأت الفترات غير الصوتية الأطول بحدوث الهلوسة (Koenecke وآخرون، ACM FAccT 2024). ولا تلتقط لوحات المتصدرين هذا، لأن Open ASR Leaderboard ترتب النماذج بحسب معدل خطأ الكلمات والسرعة فقط (Srivastav وآخرون، ورقة Open ASR Leaderboard 2026)، وهو المقياس نفسه الذي تقف وراءه فجوات اللكنات واللهجات التي تتبعناها بشكل منفصل. جمعنا بيانات من أوراق Cornell وCarnegie Mellon وHugging Face وInterspeech وICASSP، ومن AssemblyAI وAssociated Press، ومن أعمال arXiv لعام 2026 حول الكشف والتخفيف.
في هذا الاستعراض، تعني «الهلوسة» نصا في النص المفرَّغ ليس له أي أساس في الصوت: كلمات أو عبارات أو جملا كاملة مختلقة، وذلك بخلاف إساءة سماع كلمة قيلت فعلا.
أبرز النقاط
- أنتج Whisper large-v3 نصا لـ 40.3% من 301,317 مقطعا غير كلامي، وكانت 9.1% منها حلقات تكرار (Barański وآخرون، ICASSP 2025).
- أنتج Whisper large-v3 نصا لـ 99.97% من مقاطع ضوضاء UrbanSound8K قبل الضبط الدقيق الموجه (Wang وآخرون، Calm-Whisper، Interspeech 2025).
- هلوست المقاطع المتأتئة بنسبة 14% مع Whisper v2 و2.9% مع v3 (Sridhar وWu، Interspeech 2025).
- أبلغ Universal-1 عن خفض نسبي بنسبة 30% في معدل الهلوسة مقارنة بـ Whisper large-v3، وهو ادعاء من الشركة المطورة نفسها (AssemblyAI، Anatomy of Industrial Scale Multilingual ASR 2024).
- يرتبط معدل خطأ الهلوسة (Hallucination Error Rate) بانزياح التوزيع عند α = 0.91 (Atwany وآخرون، arXiv 2025).
- تتتبع درجات SHALLOW للهلوسة معدل WER عند ρs > 0.80 فقط في نطاق WER بين 10 و30% (Koudounas وآخرون، arXiv 2025).
- ظل Whisper turbo يعطي مخرجات معجمية في 74.3% من المقاطع غير الكلامية (Borodin وآخرون، The Null Token Knows، arXiv 2026).
- تعرض Open ASR Leaderboard معدل WER ومعامل RTFx فقط، وتبلغ سرعة الأنظمة القائمة على Conformer 3.77 ضعف سرعة الأنظمة القائمة على Whisper (Srivastav وآخرون، ورقة Open ASR Leaderboard 2026).
- رفع إصلاح Calm-Whisper معدل WER لمجموعة LibriSpeech test-clean من 2.12% إلى 2.19% فقط (Wang وآخرون، Calm-Whisper، Interspeech 2025).
- بلغ متوسط خط أساس VAD في WhisperX نسبة 5.24% من الهلوسة غير الكلامية مع رفض خاطئ بنسبة 0% (Abbasihafshejani وJadliwala، arXiv 2026).
1. كم مرة يختلق التعرف على الكلام نصوصا في الكلام الحقيقي
الأرقام المنضبطة على الكلام الحقيقي صغيرة، وهذا بالضبط هو الفخ. 187 من أصل 13,140 مقطعا من AphasiaBank (1.4%) أنتجت نصا مختلقا في Whisper بشكل موثوق في دراسة Careless Whisper، بينما لم تنتج المقاطع نفسها عند تمريرها عبر Amazon وGoogle أي اختلاقات مماثلة. إن معدلا منخفضا يقع على تاريخ طبي أو مقابلة أو سجل محكمة هو مخاطرة مختلفة عن كلمة أسيء سماعها، لأن الجمل المختلقة تُقرأ بسلاسة ولا يخطر ببال أحد أن يتحقق منها.
أما التقارير الميدانية التي جمعتها Associated Press في أكتوبر 2024 فهي أعلى بكثير، ولا يمكن مقارنتها بأرقام المختبر: فقد أخبر مهندس تعلم آلي وكالة AP أنه وجد هلوسات في نحو نصف أكثر من 100 ساعة من تفريغات Whisper التي حللها. هذه فحوص أجراها مستخدمون أفراد دون تعريف مشترك، لذلك تعامل معها على أنها مؤشر على التعرض للمخاطر لا على أنها معدل.
| المقياس | القيمة | المصدر |
|---|---|---|
| مقاطع AphasiaBank التي أنتجت نصا مهلوسا بشكل موثوق في Whisper (تشغيلات أبريل-مايو 2023) | 187 من 13,140 مقطعا (1.4%) | Koenecke وآخرون، Careless Whisper، ACM FAccT 2024 |
| المقاطع المهلوسة التي ظلت تهلوس عند إعادة تشغيلها في ديسمبر 2023 | 12 من 187 | Koenecke وآخرون، Careless Whisper، ACM FAccT 2024 |
| معدل خطأ الهلوسة في Whisper large-v3، LibriSpeech مقابل LibriSpeech مع ضوضاء مضافة | 0.3% مقابل 0.4% | Atwany وآخرون، Lost in Transcription، arXiv 2025 |
| محاضر الاجتماعات العامة التي تحتوي على هلوسات، فحصها باحث في جامعة ميشيغان | 8 من كل 10 | تحقيق Associated Press، أكتوبر 2024 |
| تفريغات Whisper التي تحتوي على هلوسات، بحسب مطور واحد | تقريبا كل واحد من 26,000 | تحقيق Associated Press، أكتوبر 2024 |
| معدل الاختلاق (5 كلمات متتالية أو أكثر مُدرجة أو مستبدلة في الساعة)، Universal-1 مقابل Whisper large-v3 | خفض نسبي بنسبة 41% (ادعاء الشركة المطورة نفسها) | AssemblyAI، Anatomy of Industrial Scale Multilingual ASR 2024 |
| معدل الهلوسة الإجمالي (5 أخطاء متتالية أو أكثر في الساعة)، Universal-1 مقابل Whisper large-v3 ومقابل Canary-1B | خفض نسبي بنسبة 30% و22% (ادعاء الشركة المطورة نفسها) | AssemblyAI، Anatomy of Industrial Scale Multilingual ASR 2024 |
السياق: بحلول إعادة التشغيل في ديسمبر 2023، توقفت معظم الحالات القابلة للتكرار، وليس كلها، عن الهلوسة: 12 من 187 تمثل 6.4% (حسابنا). وأُجريت المقارنة مع Amazon وGoogle في 27 يناير 2024. وأرقام AssemblyAI هي تخفيضات نسبية قيست على 146 ساعة من بيانات الاختبار الإنجليزية اختارتها الشركة المطورة، ولا تظهر المعدلات المطلقة في الساعة إلا في رسم بياني.
2. الصمت والضوضاء والصوت غير الكلامي: أسوأ حالة
في الصوت الخالي من أي كلام، يكون التفريغ الصحيح فارغا، وبالتالي فإن كل كلمة في المخرجات مختلقة. وهذا يجعل الصوت غير الكلامي أنقى اختبار للإجهاد، والنتائج صارخة: بحسب مجموعة البيانات وقاعدة العد، يكتب Whisper large-v3 نصا لما بين 21.35% و100% من المقاطع غير الكلامية عبر الدراسات أدناه. هذا التباين ليس ضجيجا في البحث. إنه يعكس اختلاف مكتبات الأصوات وأطوال المقاطع والتعريفات، ولهذا لا يوجد «معدل هلوسة واحد لـ Whisper».
والأكبر ليس بالضرورة أفضل هنا. ففي تدقيق Null Token لشهر أغسطس 2026، أعطى Whisper small مخرجات معجمية على مقاطع أكثر من large-v3، بينما في دراسة التوجيه لشهر يونيو 2026 كان large-v3 أسوأ من small على مجموعة الاختبار المدمجة. أما Canary-1B، وهو نموذج من غير عائلة Whisper، فقد وقع في النطاق نفسه. وفصل الأصوات البشرية عن أصوات الخلفية مجال بحثي قائم بذاته (راجع إحصائيات فصل الكلام لدينا)؛ والمتعرفات التي تتخطى تلك الخطوة ترث المشكلة.
| المقياس | القيمة | المصدر |
|---|---|---|
| عمليات استدلال Whisper large-v3 على الصوت غير الكلامي (AudioSet وMUSAN وUrbanSound8K وFSD50K وضوضاء وصمت) التي أنتجت نصا | 121,378 من 301,317 (40.3%)؛ 11,049 منها (9.1%) انطوت على تكرار حلقي | Barański وآخرون، ICASSP 2025 |
| معدل هلوسة Whisper large-v3 على مقاطع أصوات المدن في UrbanSound8K | 99.97% | Wang وآخرون، Calm-Whisper، Interspeech 2025 |
| معدل الهلوسة، Whisper large-v3 مقابل Whisper small، على مجموعة اختبار مدمجة غير كلامية (WHAM! وFSD50k وUrbanSound8K) | 86.8% مقابل 72.6% | Aparin وآخرون، Whisper Hallucination Detection and Mitigation، arXiv 2026 |
| معدل هلوسة Whisper large-v3 على UrbanSound8K، قياس منفصل في 2026 | 95.2% | Aparin وآخرون، Whisper Hallucination Detection and Mitigation، arXiv 2026 |
| حصة المقاطع غير الكلامية ذات المخرجات المعجمية، Whisper small وlarge-v3 وturbo | 96.2% و77.0% و74.3% | Borodin وآخرون، The Null Token Knows، arXiv 2026 |
| حصة المقاطع غير الكلامية ذات المخرجات المعجمية، Canary-1B (مجموعة فرعية) | 79.3% | Borodin وآخرون، The Null Token Knows، arXiv 2026 |
| مخرجات غير فارغة على 200 عينة من ضوضاء الأجواء في AudioSet، Whisper large-v3 وCanary-1B وUniversal-1 | 100% و100% و10.5% (اختبار الشركة المطورة نفسها) | AssemblyAI، Anatomy of Industrial Scale Multilingual ASR 2024 |
السياق: قاست ورقة ثالثة من 2026 أداء Whisper large-v3 عند 76.08% على UrbanSound8K و44.25% على ESC-50 و21.35% على مجموعة فرعية مصفاة من FSD50K (Abbasihafshejani وJadliwala، arXiv 2026). وتعني «المخرجات المعجمية» في ورقة Null Token أي حرف يتبقى بعد أن يزيل المُطبِّع وسوم الأحداث وعلامات الترقيم والأرقام، وهو عدٌّ أوسع من مطابقة العبارات الكاملة.
3. ما الذي يُختلق: بصمات العبارات وطول المقطع
هلوسات Whisper في الصوت غير الكلامي ليست عشوائية. عبارتان، «شكرا لك» (24.76%) و«شكرا على المشاهدة» (10.32%)، تشكلان نحو 35% من جميع الهلوسات في الصوت غير الكلامي في دراسة ICASSP 2025. هاتان عبارتا ختام لمقاطع الفيديو، وهو نمط يتسق مع نصوص تدريب مستمدة من ترجمات الفيديو على الإنترنت لا من تفريغات موثقة (تفسيرنا، وليس قياس المؤلفين).
والتكرار هو أيضا المدخل العملي للدفاع: فلأن مجموعة صغيرة من المخرجات تتكرر، بنى المؤلفون «حقيبة هلوسات»، وهي قائمة بالمخرجات المختلقة الشائعة يمكن تصفيتها بعد التفريغ. والطول مهم بقدر أهمية المحتوى. فإضافة 30 ثانية من الصوت غير الكلامي إلى مقاطع كلامية مدتها 10 ثوان أنتجت هلوسات مكتشفة في 44.5% من الملفات، مقابل 0.3% عند إضافة ثانية واحدة.
| المقياس | القيمة | المصدر |
|---|---|---|
| حصة الهلوسات غير الكلامية التي كانت «شكرا لك» و«شكرا على المشاهدة» | 24.76% و10.32% | Barański وآخرون، ICASSP 2025 |
| المخرجات المهلوسة الفريدة؛ المخرجات التي ظهرت أكثر من مرة؛ حصة جميع الهلوسات التي تغطيها تلك التكرارات | 41,231 فريدة؛ 1,270 مكررة؛ 67.08% | Barański وآخرون، ICASSP 2025 |
| الهلوسات المكتشفة عند إضافة ثانية واحدة مقابل 30 ثانية من الصوت غير الكلامي قبل الكلام أو بعده | 0.3% مقابل 44.5% | Barański وآخرون، ICASSP 2025 |
| بيانات تدريب Whisper large-v3 | مليون ساعة من الصوت ضعيف التوسيم بالإضافة إلى 4 ملايين ساعة من الصوت الموسوم زائفا | OpenAI، بطاقة نموذج Whisper large-v3 |
| بيانات التدريب الأصلية لـ Whisper (إصدار 2022) | 680,000 ساعة من الإشراف متعدد اللغات ومتعدد المهام | Radford وآخرون، ورقة Whisper 2022 |
| الهلوسات في النماذج المبنية مع 8% ضوضاء مُحقنة، حصة مجموعات التقييم | 1-2% لمعظم النماذج؛ 8% لنموذج واحد | Frieske وShi، Hallucinations in Neural ASR، arXiv 2024 |
السياق: يعني «ضعيف التوسيم» أن النص المقترن بكل تسجيل لم يُراجع كلمة بكلمة مقابل الصوت، ويعني «الموسوم زائفا» أن النص أنتجه نموذج سابق. ويدرج مؤلفو Whisper أنفسهم «الهلوسة الكاملة التي يخرج فيها النموذج تفريغا لا علاقة له إطلاقا بالصوت الفعلي» ضمن أنماط إخفاقهم المعروفة في الصوت الطويل (Radford وآخرون، 2022). أحدث بيانات متاحة لمجموعة التدريب الأصلية: ورقة Whisper، 2022.
4. من يتعرض للهلوسة: أنماط الكلام ذات التوقفات والتكرارات
تتبع مخاطر الهلوسة شكل الصوت، وينتج بعض المتحدثين صوتا فيه صمت أكثر أو أصوات مكررة أكثر. هلوس Whisper v2 على 14% من مقاطع البودكاست المتأتئة مقابل 3.3% من المقاطع السلسة، بحسب معيار التأتأة في Interspeech 2025، الذي استمد 2,621 مقطعا من مجموعة بيانات البودكاست SEP-28K. وقد خفّض Whisper v3 الرقمين بشدة، لكن المقاطع المتأتئة ظلت تهلوس بنحو ثلاثة أضعاف المقاطع السلسة (2.9% مقابل 0.9%).
أما في الحبسة الكلامية (وهي اضطراب يصيب اللغة)، فقد وجد فريق Careless Whisper الآلية في التوقفات: فقد كانت الحصص غير الصوتية من تسجيلات المصابين بالحبسة أطول بكثير، وتنبأت الحصص غير الصوتية الأطول بحدوث الهلوسة. ولمعرفة مدى شيوع أنماط الكلام هذه، راجع إحصائيات التركيبة السكانية للتأتأة لدينا.
| المقياس | القيمة | المصدر |
|---|---|---|
| المقاطع الصوتية التي أنتجت هلوسات في Whisper، الحبسة الكلامية مقابل الضابطة | 1.7% مقابل 1.2% (الانحدار: p=0.019) | Koenecke وآخرون، Careless Whisper، ACM FAccT 2024 |
| معدل الهلوسة، الحبسة الكلامية مقابل الضابطة، مجموعات متطابقة في الخصائص الديموغرافية للمشاركين | 1.82% مقابل 1.16% (قيمة p = 0.044) | Koenecke وآخرون، Careless Whisper، ACM FAccT 2024 |
| حصة المدة الإجمالية للتسجيل غير الصوتية، متحدثو الحبسة الكلامية مقابل المتحدثين الضابطين | 41% مقابل 15% | Koenecke وآخرون، Careless Whisper، ACM FAccT 2024 |
| المقاطع المتأتئة مقابل السلسة التي ظهرت فيها هلوسات، Whisper v2 | 14% (293 من 2,086) مقابل 3.3% (18 من 534) | Sridhar وWu، Interspeech 2025 |
| المقاطع المتأتئة مقابل السلسة التي ظهرت فيها هلوسات، Whisper v3 | 2.9% (61 من 2,086) مقابل 0.9% (5 من 534) | Sridhar وWu، Interspeech 2025 |
| المقاطع ذات تكرار الأصوات (تكرار الصوت الأول من الكلمة) التي هلوست، Whisper v2 مقابل v3 | 22.6% مقابل 6.9% | Sridhar وWu، Interspeech 2025 |
| المقاطع ذات إطالة الأصوات (مد الصوت) التي هلوست، Whisper v2 مقابل v3 | 15.4% مقابل 1.47% | Sridhar وWu، Interspeech 2025 |
السياق: اكتشفت ورقة التأتأة الهلوسات المحتملة بتشغيل Whisper مرتين على كل مقطع وتعليم الاختلافات الكبيرة، ثم راجعت كل علامة يدويا. وتختلف أعداد المقاطع فيها قليلا بين الأقسام (2,079 مقطعا متأتئا في العينة، و2,086 في حصر الهلوسات)، لذلك نورد كل رقم مع مقامه الخاص.
5. قياس الهلوسة: مقاييس مقترحة تتجاوز WER
يحسب معدل خطأ الكلمات الاستبدالات والحذف والإدراج، لكنه لا يستطيع التمييز بين كلمة أسيء سماعها وجملة مختلقة. يرتبط معدل خطأ الهلوسة (Hallucination Error Rate) الذي اقترحه باحثون من Carnegie Mellon وMBZUAI بانزياح التوزيع عند α = 0.91، أي أن الهلوسات ترتفع بالتزامن مع ابتعاد صوت الاختبار عن صوت التدريب (Atwany وآخرون، 2025). ويستخدم خط المعالجة لديهم نموذجا لغويا كبيرا حكما، وهو ما يجعله رخيصا بما يكفي للتشغيل على نطاق واسع.
يقسم معيار SHALLOW الهلوسة إلى أربعة محاور: معجمي (كلمات مختلقة)، وصوتي (أخطاء متشابهة في النطق)، وصرفي (صيغ كلمات خاطئة)، ودلالي (معنى متغير). ونتيجته الرئيسية هي الموضع الذي يتوقف فيه WER عن كونه مفيدا: فالارتباطات قوية عند معدلات الخطأ المنخفضة وتنهار مع ارتفاع WER، وهذا بالضبط هو الموضع الذي تكون فيه الهلوسة أشد أهمية.
| المقياس | القيمة | المصدر |
|---|---|---|
| الاتفاق على تسميات الهلوسة، إنسان مع إنسان وإنسان مع GPT-4o-mini | 0.71 مقابل 0.60 | Atwany وآخرون، Lost in Transcription، arXiv 2025 |
| تكلفة خط معالجة التوسيم بالنموذج اللغوي الكبير مقابل التقييم البشري | 78 دولارا لكل مليون مقطع، أرخص بنحو 375 مرة | Atwany وآخرون، Lost in Transcription، arXiv 2025 |
| الارتباط بين درجات SHALLOW ومعدل WER، عند WER بين 10 و30% مقابل WER عند 90% (الزوج المعجمي-الدلالي) | ρs > 0.80 مقابل أقل من -0.45 | Koudounas وآخرون، SHALLOW، arXiv 2025 |
| اختبار اصطناعي: الارتباط بمعدل WER، الاختلاق المعجمي مقابل الأخطاء الدلالية | ρ = 0.98 مقابل ρ = 0.15 | Koudounas وآخرون، SHALLOW، arXiv 2025 |
| النماذج ومجموعات الاختبار في تقييم SHALLOW | 12 نموذجا، 10 مجموعات بيانات | Koudounas وآخرون، SHALLOW، arXiv 2025 |
| العتبات المستخدمة للفصل بين الهلوسات والأخطاء الصوتية | تشابه جيب التمام 0.2؛ WER عند 30؛ الحيرة (perplexity) عند 200 | Frieske وShi، Hallucinations in Neural ASR، arXiv 2024 |
| علامة الهلوسة بتشغيلين المستخدمة في معيار التأتأة | WER بين التشغيلين أعلى من 0.6، أو BERT F1 أقل من 0.6، أو أكثر من 4 كلمات مُدرجة | Sridhar وWu، Interspeech 2025 |
السياق: هذه المقاييس غير قابلة للتبادل. فـ AssemblyAI تحسب تتابعات من 5 أخطاء متتالية أو أكثر لكل ساعة من الصوت، وتحسب ورقة Null Token المقاطع التي فيها أي حرف على صوت مرجعه فارغ، ويحسب معدل خطأ الهلوسة الأمثلة الموسومة بأنها هلوسات. ونسبة 2% على مقياس لا تقول شيئا عن 2% على مقياس آخر.
6. WER في لوحات المتصدرين مقابل الهلوسة: مقارنات بين النماذج
تُعد ورقة Hugging Face Open ASR Leaderboard المرجع في المجال للدقة والسرعة، ونطاقها صريح: فهي تعرض WER وRTFx (معامل الزمن الحقيقي العكسي، أي عدد ثواني الصوت التي يعالجها النظام في الثانية الواحدة) ولا شيء غيرهما. ولا تناقش الورقة الهلوسات أو حلقات التكرار بوصفها أخطاء للنماذج. ومع ذلك فإن بيانات السرعة فيها تهم هذا الموضوع، لأن عائلات Conformer الأسرع (تصميم مشفّر يمزج بين الالتفاف والانتباه) هي البدائل الواضحة لـ Whisper في تلك اللوحة.
وتوضح جداول CMU وSHALLOW لماذا لا يكون الترتيب بحسب WER ترتيبا بحسب الأمان. فقد سجل Whisper large-v3 معدل WER فوق 65% على كلام مراقبة الحركة الجوية المحاكى بينما ظل معدل الهلوسة لديه أقل بكثير، وحدث العكس على مجموعة خصومية. وتواجه معايير الدقة في الترجمة النصية للبث انقساما مشابها بين التوقيت والاكتمال والصحة (راجع إحصائيات معايير دقة الترجمة النصية لدينا).
| المقياس | القيمة | المصدر |
|---|---|---|
| المقاييس التي تعرضها Open ASR Leaderboard | WER وRTFx فقط | Srivastav وآخرون، ورقة Open ASR Leaderboard، الإصدار 4 مارس 2026 |
| متوسط RTFx، الأنظمة القائمة على Conformer مقابل القائمة على Whisper | 758 مقابل 201 (أسرع بمقدار 3.77 ضعف) | Srivastav وآخرون، ورقة Open ASR Leaderboard، الإصدار 4 مارس 2026 |
| WER وRTFx لنموذج Whisper Large v3 في مسار اللغة الإنجليزية للصوت الطويل | WER 11.2؛ RTFx 68.6 | Srivastav وآخرون، ورقة Open ASR Leaderboard، الإصدار 4 مارس 2026 |
| مرتبة أفضل نموذج TDT وأفضل نموذج CTC في دقة اللغة الإنجليزية للصوت القصير | المرتبة 10 والمرتبة 34 | Srivastav وآخرون، ورقة Open ASR Leaderboard، الإصدار 4 مارس 2026 |
| WER مقابل معدل خطأ الهلوسة لنموذج Whisper large-v3 على ATCOsim (كلام مراقبة الحركة الجوية المحاكى) | 65.3% مقابل 17.6% | Atwany وآخرون، Lost in Transcription، arXiv 2025 |
| WER مقابل معدل خطأ الهلوسة لنموذج Whisper large-v3 على مجموعة اختبار خصومية | 33.3% مقابل 49.8% | Atwany وآخرون، Lost in Transcription، arXiv 2025 |
| Whisper-Large-v3 مقابل Canary، متوسط WER؛ متوسط درجة الاختلاق المعجمي | 14.20 مقابل 14.26؛ 6.74 مقابل 5.43 | Koudounas وآخرون، SHALLOW، arXiv 2025 |
السياق: TDT وCTC طريقتان لفك الترميز تُخرجان نصا متوائما مع إطارات الصوت، بدلا من توليد نص حر رمزا بعد رمز كما يفعل مفكّك Whisper. وتشير اللوحة إلى أنهما توفران RTFx أفضل بكثير مقابل دقة أقل. ويخفي تقارب متوسط WER لدى Whisper-Large-v3 وCanary في SHALLOW أن Canary ارتكب اختلاقات معجمية أقل.
7. نتائج التخفيف: كشف النشاط الصوتي وتغييرات فك الترميز وتعديلات النموذج
لا يزال الإصلاح الأكثر موثوقية هو عدم إرسال الصمت إلى النموذج. خفّض Silero VAD معدل WER على الكلام المحشو بصوت غير كلامي من 104.8% إلى 8.0% في تجارب الحشو الموصوفة في القسم 3، وأوصلته إضافة إزالة الحلقات مع مرشح حقيبة الهلوسات إلى 6.5%. وVAD (كشف النشاط الصوتي) هو نموذج منفصل يقرر ما إذا كان مقطع من الصوت يحتوي على كلام. وفي ورقة Whisper نفسها، كان VAD أحد أساليب فك الترميز الاستدلالية على مسار من متوسط WER قدره 11.0 للصوت الطويل مع فك الترميز الجشع إلى 10.0 مع جميع الأساليب الاستدلالية (Radford وآخرون، 2022).
تعمل الإصلاحات من جهة النموذج، لكن كل واحد منها ينقل الخطأ إلى مكان آخر. فقد ضبط Calm-Whisper 3 رؤوس انتباه فقط (الأرقام 1 و6 و11) وأبقى WER ثابتا تقريبا. كما أن تدخلات التوجيه ونهاية النص قمعت معظم الاختلاق لكنها بدأت تحذف كلاما حقيقيا أو تفسد التعرف على الصينية. ويقولها مؤلفو ورقة الرمز الفارغ بوضوح: ينبغي الحكم على أساليب الامتناع بتكلفتي القمع والحذف معا، لا بخفض الهلوسة وحده.
| المقياس | القيمة | المصدر |
|---|---|---|
| WER على الكلام المحشو بصوت غير كلامي: دون معالجة مقابل Silero VAD مقابل Silero VAD مع إزالة الحلقات ومرشح حقيبة الهلوسات | 104.8% مقابل 8.0% مقابل 6.5% | Barański وآخرون، ICASSP 2025 |
| الهلوسات المكتشفة بحجم حزمة 1 مقابل حجم حزمة 5 | 19.5% مقابل 28.2% | Barański وآخرون، ICASSP 2025 |
| Calm-Whisper: معدل هلوسة UrbanSound8K قبل مقابل بعد؛ WER لمجموعة LibriSpeech test-clean قبل مقابل بعد | 99.97% مقابل 15.51%؛ 2.12% مقابل 2.19% | Wang وآخرون، Calm-Whisper، Interspeech 2025 |
| التوجيه بالمشفّر التلقائي المتناثر، Whisper small، مجموعة الاختبار المدمجة غير الكلامية | 72.63% مقابل 14.11% | Aparin وآخرون، Whisper Hallucination Detection and Mitigation، arXiv 2026 |
| التوجيه نفسه على Whisper large-v3: معدل خطأ الأحرف الصينية في AISHELL-1 قبل مقابل بعد | 10.54 مقابل 66.24 | Aparin وآخرون، Whisper Hallucination Detection and Mitigation، arXiv 2026 |
| تدخل نهاية النص (الرمز الفارغ)، Whisper small: معدل المخرجات المعجمية؛ الكلمات المرجعية المحذوفة في الدقيقة | 91.7% مقابل 3.3%؛ 33.05 مقابل 1.58 | Borodin وآخرون، The Null Token Knows، arXiv 2026 |
| خط أساس VAD في WhisperX: متوسط معدل الهلوسة غير الكلامية؛ الرفض الخاطئ للكلام الحقيقي | 5.24%؛ 0% | Abbasihafshejani وJadliwala، arXiv 2026 |
| Whisper مقابل WhisperX على TED-LIUM: معدل أخطاء الإدراج؛ تتابعات الخمس كلمات المكررة | 7.7 مقابل 6.7؛ 221 مقابل 189 | Bain وآخرون، ورقة WhisperX 2023 |
السياق: نتيجة حجم الحزمة تخالف البديهة، فمؤلفو Whisper يستخدمون البحث الحزمي بخمس حزم لتقليل حلقات التكرار في الكلام، بينما أنتجت الحزمة الأوسع في حشو الصوت غير الكلامي هلوسات مكتشفة أكثر. كما خفّض Calm-Whisper هلوسات الرموز المتعددة (أكثر من خمسة رموز) من 742 إلى 91. وبيانات WhisperX تعود إلى 2023، لذلك فهي أحدث بيانات متاحة لهذا المعيار.
الخلاصة: هلوسة التعرف على الكلام بالأرقام
| المقياس | القيمة | المصدر |
|---|---|---|
| المقاطع غير الكلامية التي أنتج فيها Whisper large-v3 نصا | 40.3% من 301,317 | Barański وآخرون، ICASSP 2025 |
| معدل هلوسة Whisper large-v3 على ضوضاء UrbanSound8K | 99.97% | Wang وآخرون، Calm-Whisper، Interspeech 2025 |
| Whisper large-v3 مقابل Whisper small، مجموعة الاختبار المدمجة غير الكلامية | 86.8% مقابل 72.6% | Aparin وآخرون، arXiv 2026 |
| المخرجات المعجمية لـ Whisper turbo على المقاطع غير الكلامية | 74.3% | Borodin وآخرون، The Null Token Knows، arXiv 2026 |
| مقاطع AphasiaBank ذات هلوسات Whisper القابلة للتكرار | 187 من 13,140 (1.4%) | Koenecke وآخرون، Careless Whisper، ACM FAccT 2024 |
| محاضر الاجتماعات العامة التي تحتوي على هلوسات، باحث واحد في ميشيغان | 8 من كل 10 | تحقيق Associated Press، أكتوبر 2024 |
| معدل الهلوسة، Universal-1 مقابل Whisper large-v3 | خفض نسبي بنسبة 30% (ادعاء الشركة المطورة نفسها) | AssemblyAI، 2024 |
| المقاطع المتأتئة مقابل السلسة التي تهلوس، Whisper v2 | 14% مقابل 3.3% | Sridhar وWu، Interspeech 2025 |
| WER مقابل HER لنموذج Whisper large-v3 على مجموعة خصومية | 33.3% مقابل 49.8% | Atwany وآخرون، arXiv 2025 |
| الارتباط بين SHALLOW ومعدل WER، نطاق WER بين 10 و30% | ρs > 0.80 | Koudounas وآخرون، SHALLOW، arXiv 2025 |
| متوسط RTFx، القائمة على Conformer مقابل القائمة على Whisper | 758 مقابل 201 | Srivastav وآخرون، الإصدار 4 مارس 2026 |
| WER لمجموعة LibriSpeech test-clean في Calm-Whisper قبل الإصلاح مقابل بعده | 2.12% مقابل 2.19% | Wang وآخرون، Calm-Whisper، Interspeech 2025 |
| تدخل الرمز الفارغ: الكلمات المحذوفة في الدقيقة | 33.05 مقابل 1.58 | Borodin وآخرون، arXiv 2026 |
| التوجيه بالمشفّر التلقائي المتناثر، معدل هلوسة Whisper small | 72.63% مقابل 14.11% | Aparin وآخرون، arXiv 2026 |
| معدل الهلوسة والرفض الخاطئ في خط أساس VAD لـ WhisperX | 5.24%؛ 0% | Abbasihafshejani وJadliwala، arXiv 2026 |
| معدل أخطاء الإدراج في TED-LIUM، Whisper مقابل WhisperX | 7.7 مقابل 6.7 | Bain وآخرون، ورقة WhisperX 2023 |
المنهجية والمصادر
قرأنا الورقة الأساسية أو بطاقة النموذج أو التحقيق الصحفي الذي يقف وراء كل رقم أعلاه، ونورد كل رقم بترميز المصدر نفسه (نسب مئوية أو كسور أو ρ أو α). وحيثما اختلف نص الورقة مع جداولها، استخدمنا قيمة الجدول أو الجملة الصريحة وأشرنا إلى التعارض أدناه.
- Koenecke وآخرون، Careless Whisper: Speech-to-Text Hallucination Harms، ACM FAccT 2024
- Burke وSchellmann، تحقيق Associated Press في تفريغ Whisper، أكتوبر 2024، مع ملخص Cornell Chronicle لدراسة Careless Whisper، يونيو 2024
- Barański وآخرون، Investigation of Whisper ASR Hallucinations Induced by Non-Speech Audio، ICASSP 2025
- Wang وآخرون، Calm-Whisper: Reduce Whisper Hallucination On Non-Speech By Calming Crazy Heads Down، Interspeech 2025
- Sridhar وWu، J-j-j-just Stutter: Benchmarking Whisper’s Performance Disparities on Different Stuttering Patterns، Interspeech 2025
- Atwany وآخرون، Lost in Transcription, Found in Distribution Shift: Demystifying Hallucination in Speech Foundation Models، arXiv 2025
- Koudounas وآخرون، Hallucination Benchmark for Speech Foundation Models (SHALLOW)، arXiv 2025
- Srivastav وآخرون، ورقة Open ASR Leaderboard، الإصدار 4 مارس 2026
- Borodin وآخرون، The Null Token Knows: Reducing Message-Free Hallucination in ASR and NMT، arXiv 2026
- Aparin وآخرون، Whisper Hallucination Detection and Mitigation via Hidden Representation Steering and Sparse AutoEncoders، arXiv 2026
- Abbasihafshejani وJadliwala، Reducing Hallucinated Transcripts in Whisper via Hallucination Space Projection، arXiv 2026
- AssemblyAI (McCann Ramirez وChkhetiani وآخرون)، Anatomy of Industrial Scale Multilingual ASR، 2024
- Bain وآخرون، WhisperX: Time-Accurate Speech Transcription of Long-Form Audio، 2023
- Radford وآخرون، Robust Speech Recognition via Large-Scale Weak Supervision (ورقة Whisper)، 2022
- OpenAI، بطاقة نموذج Whisper large-v3 على Hugging Face
- Frieske وShi، Hallucinations in Neural Automatic Speech Recognition: Identifying Errors and Hallucinatory Models، arXiv 2024
- ملاحظة حول البيانات: يذكر ملخص ورقة Careless Whisper أن نحو 1% من التفريغات هلوست، بينما يورد المتن 1.4% (187 من 13,140 مقطعا) و312 تفريغا مهلوسا عبر تشغيلين؛ ووصفت AP العمل نفسه بأنه 187 هلوسة في أكثر من 13,000 مقطع. وتورد ورقة Hallucination Space Projection خط أساس متوسطا قدره 31.31% لا يتطابق مع أرقامها الخاصة لكل مجموعة بيانات (ننقل فقط القيم الخاصة بكل مجموعة بيانات وخط أساس WhisperX لديها). وتعطي ورقة التوجيه 95.2% لـ Whisper large-v3 على UrbanSound8K في أحد الجداول و95.98% في جدول آخر. ويستخدم معيار التأتأة الرقمين 2,079 و2,086 كإجمالي للمقاطع المتأتئة في أقسام مختلفة. وأوراق Atwany وآخرين وSHALLOW وNull Token (المقدمة إلى AAAI-27) والتوجيه والإسقاط هي مسودات arXiv بلا جهة نشر محكّمة مؤكدة وقت القراءة. وأرقام AssemblyAI ادعاءات من الشركة المطورة نفسها، وأرقام AP تقارير ميدانية فردية لا قياسات منضبطة. وتمثل ورقة Whisper (2022) وWhisperX (2023) وFrieske وShi (2024) أحدث البيانات المتاحة لمعاييرها المحددة.
آخر تحديث: 24 أكتوبر 2026. نحدّث هذا الاستعراض كل ثلاثة أشهر، ومن المتوقع أن يصدر التحديث التالي عند نشر وقائع ICASSP 2027 والمراجعة التالية لورقة Open ASR Leaderboard.