حقق أفضل نظام في أحدث مهمة للوصف الآلي للأصوات في DCASE نتيجة FENSE 0.554، أي أعلى بمقدار 0.044 فقط من خط الأساس الذي وضعه المنظمون وقيمته 0.510، وتفوق 29 نظاما من أصل 30 نظاما قدمتها الفرق على ذلك الخط (تحدي DCASE، نتائج المهمة 6 لعام 2024). ولا يزال البشر متقدمين بفارق كبير على مجموعة البيانات الأصعب: فالأوصاف المرجعية تتفق فيما بينها عند SPIDEr 0.54 على Clotho (Mei وآخرون، Audio Captioning Overview، 2022)، بينما يبلغ نموذج مدمج 0.301 (Labbé وآخرون، CoNeTTE، 2023). كما أن أداة القياس نفسها غير كاملة، إذ يختار مقياس FENSE الوصف الذي يفضّله البشر في 75.7% من أزواج Clotho-Eval (Zhou وآخرون، FENSE، 2021). يتناول هذا الاستعراض آلات تصف أصواتا غير كلامية، لا ترجمات نصية للكلام، وهذه الأخيرة نتناولها في إحصائيات التسميات التوضيحية والترجمة النصية وفي استعراض سوق التسميات التوضيحية والترجمة النصية. جمعنا البيانات من أوراق مجموعات بيانات Clotho وAudioCaps وWavCaps وAudioSetCaps، ودراسات التقييم الخاصة بـ FENSE وMACE وCLAIR-A وBRACE، وأوراق Audio Flamingo وMMAU-Pro، وOpenAlex، وجداول نتائج التحدي نفسه.
تتكرر بضعة مصطلحات فيما يلي. ‘الوصف’ هنا جملة كتبتها آلة أو كتبها إنسان لتصف الأصوات. و’خط الأساس’ هو النظام المرجعي الذي يقدمه المنظمون وتحاول الفرق التفوق عليه. أما SPIDEr وCIDEr وSPICE فدرجات مستعارة من وصف الصور، ويجمع FENSE بين تشابه الجمل وعقوبة على الأخطاء النحوية، وSPIDEr-FL هو SPIDEr مع عقوبة مماثلة. وفي جميعها كلما ارتفعت القيمة كان ذلك أفضل.
أبرز النقاط
- تفوق فائز 2024 على خط الأساس في FENSE، 0.554 مقابل 0.510، لكنه جاء بعده في SPIDEr-FL، 0.241 مقابل 0.287 (تحدي DCASE، نتائج المهمة 6 لعام 2024).
- تتفق الأوصاف البشرية المرجعية عند SPIDEr 0.56 على AudioCaps و0.54 على Clotho (Mei وآخرون، Audio Captioning Overview، 2022).
- حقق نموذج واحد SPIDEr 0.466 على AudioCaps لكن 0.301 على Clotho (Labbé وآخرون، CoNeTTE، 2023).
- طابق FENSE تفضيل البشر في 75.7% من أزواج Clotho-Eval، وطابقه SPICE في 56.3% (Zhou وآخرون، FENSE، 2021).
- في أزواج من وصفين بشريين صحيحين، سجل SPICE نسبة 44.3% على Clotho-Eval، أي أسوأ من رمي عملة (Dixit وآخرون، MACE، 2024).
- تضم WavCaps ما مجموعه 403,050 مقطعا و7,567.92 ساعة من الصوت (Mei وآخرون، WavCaps، 2023).
- تضم AudioSetCaps ما مجموعه 1,910,920 وصفا، قيّمها البشر بـ 3.70 من 5 (Bai وآخرون، AudioSetCaps، 2024).
- سجل GPT-4o-Audio-Preview نتيجة F1 قدرها 95.76 و96.75 في رصد الأصوات المختلقة في الأوصاف، لكن 55.24 في ترتيب جودة الأوصاف (Guo وآخرون، BRACE، 2025).
- ارتفع عدد الأوراق التي يرد في عنوانها ‘الوصف الآلي للأصوات’ من 6 في 2019 إلى 36 في 2024 (OpenAlex، بحث في العناوين، 31 أكتوبر 2026).
1. نتائج لوحة المتصدرين: خمس نسخ وهوامش تتقلص
قصة هذه اللوحة هي قصة قاعٍ يرتفع. فبحسب SPIDEr، انخفض هامش تفوق الفائز على خط الأساس من 0.298 في 2021 (0.310 ناقص 0.012) إلى 0.095 في 2022 (0.319 ناقص 0.224)، لأن نظام الانطلاق الذي وضعه المنظمون تحسن أسرع بكثير من قمة الجدول. وبحلول 2024 احتل خط الأساس المرتبة 30 من 31 مشاركة، وانحصر الميدان كله بين FENSE 0.508 و0.554.
كما أن الترتيب في القمة يقارب التعادل الإحصائي. فالفاصل البالغ 95% للفائز (من 0.543 إلى 0.563) يتداخل مع فاصل صاحب المركز الثاني (من 0.534 إلى 0.555)، رغم أنه يتجاوز فاصل خط الأساس (من 0.499 إلى 0.521). وإذا تغير المقياس تغير الترتيب: فقد أخذ النظام الفائز عينات من أوصاف مرشحة وصفّاها ولخّصها باستخدام GPT-4 Turbo، وهو ما ناسب FENSE أكثر بكثير من SPIDEr-FL. ويبين القسم 5 إلى أي مدى يمكن الوثوق بكل مقياس.
| المقياس | القيمة | المصدر |
|---|---|---|
| أفضل نتيجة مقابل خط الأساس في SPIDEr على مجموعة الترتيب المحجوبة، حسب النسخة | 2020: 0.222 مقابل 0.018؛ 2021: 0.310 مقابل 0.012؛ 2022: 0.319 مقابل 0.224 | نتائج المهمة 6 في DCASE 2020 و2021 و2022 |
| أفضل نتيجة في 2023 مقابل خط الأساس في SPIDEr-FL على مجموعة الترتيب المحجوبة | 0.327 مقابل 0.264 | نتائج المهمة 6a في DCASE 2023 |
| أفضل نتيجة في 2024 مقابل خط الأساس في FENSE على مجموعة تقييم Clotho | 0.554 (فاصل ثقة 95%: من 0.543 إلى 0.563) مقابل 0.510 (فاصل ثقة 95%: من 0.499 إلى 0.521) | نتائج المهمة 6 في DCASE 2024 |
| فائز 2024 مقابل خط الأساس في SPIDEr-FL؛ أعلى SPIDEr-FL لأي مشاركة في 2024 | 0.241 مقابل 0.287؛ الأعلى 0.329، من نظام وُسم بوجود تسرب في البيانات | نتائج المهمة 6 في DCASE 2024 |
| نموذج مفرد لفريق واحد مقابل مجموعته من 25 نموذجا، FENSE في تقريره الخاص | 0.5410 مقابل 0.5442 (خط الأساس 0.5040) | Jung وآخرون، التقرير الفني 2024 |
أحدث بيانات متاحة: تحدي DCASE، نتائج المهمة 6 لعام 2024. لا تتضمن أي نسخة لاحقة مهمة للوصف. ويبين صف المجموعة كم بقي القليل لكسبه بالقوة الغاشمة: فإضافة 25 نموذجا رفعت FENSE بمقدار 0.0032 فقط (0.5442 ناقص 0.5410).
2. المشاركة وحجم النشر
ظل عدد الفرق ثابتا: فقد تراوح بين 9 و12 فريقا للمهمة على مدى خمس سنوات، ثم غادرت البرنامج. لا يتضمن برنامج 2025 (ست مهام) ولا برنامج 2026 (سبع مهام) الوصف الآلي للأصوات. ولا تذكر الصفحات المنشورة السبب، لكن المهام البديلة تلمّح إلى الاتجاه، ويتتبعه القسم 7.
ويحكي الإنتاج الأكاديمي قصة مشابهة. فالأوراق التي ترد العبارة في عنوانها تضاعفت ست مرات بين 2019 و2024 (36 مقسوما على 6)، ثم استقرت. أما بحث أوسع في OpenAlex فيواصل الارتفاع، ما يوحي بأن الوصف يتحول إلى ميزة داخل نماذج صوتية أكبر لا إلى مجال قائم بذاته. وهذه القراءة قراءتنا نحن، والبحث الواسع مشوّش.
| المقياس | القيمة | المصدر |
|---|---|---|
| الفرق والأنظمة المقدمة في كل نسخة، باستثناء خط الأساس | 2020: 10 و34؛ 2021: 12 و37؛ 2022: 9 و36؛ 2023: 10 و28؛ 2024: 11 و30 | نتائج المهمة 6 في DCASE من 2020 إلى 2024 (الروابط في القسم 1) |
| مهام الوصف في برنامج التحدي؛ المشاركات المقدمة عبر برنامج 2025 | 2025: 0 من 6 مهام؛ 2026: 0 من 7 مهام؛ 277 مشاركة في 2025 | صفحتا برنامج DCASE 2025 وDCASE 2026 |
| الأوراق التي يرد في عنوانها ‘audio captioning’، حسب سنة النشر | 2019: 6؛ 2022: 27؛ 2024: 36؛ 2025: 33؛ 2026 حتى 31 أكتوبر: 29 | بحث OpenAlex في العناوين، 31 أكتوبر 2026 |
| جميع الأوراق التي يرد في عنوانها العبارة نفسها، من 2017 حتى 31 أكتوبر 2026 | 203 | بحث OpenAlex في العناوين، 31 أكتوبر 2026 |
| السجلات التي أعادها بحث OpenAlex الأوسع عن العبارة | 2,109 في المجموع؛ 433 في 2025؛ 726 في 2026 حتى 31 أكتوبر | بحث OpenAlex العام، 31 أكتوبر 2026 |
3. السقف البشري: كم تبعد الآلات عن اتفاق البشر
ليس للوصف الآلي للأصوات جواب صحيح واحد، لذلك يقيّم الباحثون الأوصاف المرجعية البشرية بعضها مقابل بعض لتقدير سقف يسمى درجة الإجماع. يتفق البشر بمستوى متقارب تقريبا على مجموعتي البيانات الرئيسيتين، SPIDEr 0.56 على AudioCaps و0.54 على Clotho، ومع ذلك تقع نتيجتا بنية النموذج نفسها بعيدا جدا عن بعضهما: 0.466 و0.301.
وإذا عبّرنا عن ذلك نسبةً إلى الرقم البشري، فهو نحو 83% على AudioCaps (0.466 مقسوما على 0.56) و56% على Clotho (0.301 مقسوما على 0.54). فالفجوة إذن لا يفسرها اختلاف البشر وحده. كما أن مقاطع Clotho أطول، من 15 إلى 30 ثانية مقابل 10، وتمثل MACS الطرف الآخر، حيث تكاد أوصاف البشر للمقطع نفسه لا تتداخل في صياغتها. ويصمد رقمها في Sentence-BERT أفضل بكثير من رقم SPIDEr، ما يوحي بأن الناس يصفون المشهد نفسه بكلمات مختلفة.
الصف الأخير مهم لمن يقرأ ادعاءات AudioCaps. فالمشفّرات المدربة مسبقا على AudioSet سمعت بالفعل ملفات اختبار AudioCaps، وقد كلّف حذف تلك الملفات من التدريب المسبق نموذجا واحدا 0.029 في SPIDEr.
| المقياس | القيمة | المصدر |
|---|---|---|
| إجماع البشر في SPIDEr على AudioCaps وClotho وMACS | 0.56 و0.54 و0.17 | Mei وآخرون، Audio Captioning Overview، 2022 |
| إجماع البشر في CIDEr على AudioCaps وClotho وMACS | 0.90 و0.86 و0.21 | Mei وآخرون، Audio Captioning Overview، 2022 |
| إجماع البشر في Sentence-BERT على AudioCaps وClotho وMACS | 0.64 و0.53 و0.52 | Mei وآخرون، Audio Captioning Overview، 2022 |
| بنية CNext-trans نفسها، SPIDEr على مجموعة اختبار AudioCaps مقابل مجموعة اختبار Clotho | 0.466 مقابل 0.301 | Labbé وآخرون، CoNeTTE، 2023 |
| بنية CNext-trans نفسها، FENSE على مجموعة اختبار AudioCaps مقابل مجموعة اختبار Clotho | 0.633 مقابل 0.516 | Labbé وآخرون، CoNeTTE، 2023 |
| SPIDEr لنموذج CNext-trans على AudioCaps، مشفّر سمع صوت الاختبار مقابل مشفّر لم يسمعه | 0.495 مقابل 0.466 | Labbé وآخرون، CoNeTTE، 2023 |
أحدث بيانات متاحة: Mei وآخرون، Audio Captioning Overview، 2022. وتستخدم أرقام الإجماع مجموعات فرعية مختلفة عن درجات النماذج: التحقق والاختبار في AudioCaps، والتدريب في Clotho، ومقاطع MACS التي لها خمسة أوصاف مرجعية.
4. حجم مجموعات البيانات: من الأوصاف المجمّعة جماهيريا إلى الأوصاف التي تكتبها نماذج اللغة
بنى التوصيف البشري هذا المجال، وقد وسّعته نماذج اللغة الكبيرة (LLM). تضم WavCaps ما مجموعه 403,050 مقطعا ونحو 60 ضعف الصوت في مجموعة تدريب AudioCaps (7,563.3 ساعة مقسومة على 126.6 ساعة، وكلاهما من Labbé وآخرون، 2023). ثم رفعت AudioSetCaps العدد إلى 1,910,920 وصفا، وارتفع متوسط طول الوصف من 11 كلمة في Clotho إلى 28.
ولم تعنِ البيانات الأكثر مكاسب مجانية. فقد احتفظت WavCaps بنسبة 46.3% فقط من مقاطع FreeSound بعد التنظيف (262,300 من 567,078)، ولم يرفع التدريب المسبق عليها الدرجات إلا بقدر متواضع. كما صمدت الجودة الخام أفضل مما يوحي به وصف ‘الموسومة ضعيفا’، وإن كانت 79 مقطعا عينة صغيرة.
| المقياس | القيمة | المصدر |
|---|---|---|
| حجم الإصدار الأول من Clotho | 4,981 مقطعا، 24,905 وصفا، من 15 إلى 30 ثانية للمقطع | Drossos وآخرون، Clotho، 2019 |
| الحجم الرسمي لـ AudioCaps | 51,308 مقاطع مدة كل منها 10 ثوان | Mei وآخرون، Audio Captioning Overview، 2022 |
| ملفات تدريب AudioCaps التي بقيت متاحة لفريق بحثي واحد | 46,213 من 49,838 (92.7%) | Labbé وآخرون، CoNeTTE، 2023 |
| حجم WavCaps | 403,050 مقطعا، 7,567.92 ساعة | Mei وآخرون، WavCaps، 2023 |
| مقاطع FreeSound في WavCaps قبل التنظيف بـ ChatGPT وبعده | 567,078 مقابل 262,300 | Mei وآخرون، WavCaps، 2023 |
| SPIDEr (نسبة مئوية) عند التدريب على مجموعة الهدف فقط مقابل التدريب المسبق على WavCaps ثم الضبط الدقيق على الهدف | HTSAT-BART على AudioCaps: 44.4 مقابل 48.5؛ CNN14-BART على Clotho: 25.5 مقابل 31.0 | Mei وآخرون، WavCaps، 2023 |
| إدخالات الأوصاف في AudioSetCaps؛ الأوصاف عبر مجموعاتها الثلاث الموسعة | 1,910,920؛ 6,117,099 | Bai وآخرون، AudioSetCaps، 2024 |
| متوسط درجة الرأي البشري من 5 على 79 مقطعا | تسميات AudioSet 3.81؛ AudioCaps 3.79؛ AudioSetCaps 3.70؛ WavCaps 3.70؛ Auto-ACD 3.60 | Bai وآخرون، AudioSetCaps، 2024 |
أحدث بيانات متاحة عن Clotho: Drossos وآخرون، 2019. ومقاطع AudioCaps مشتقة من YouTube، لذلك تتناقص إتاحتها مع اختفاء مقاطع الفيديو، وقد لا يتدرب فريقان على الملفات نفسها.
5. مقاييس التقييم: هل تطابق الدرجات حكم البشر؟
لا تكون لوحة المتصدرين أفضل من مقياسها، والمقاييس المستخدمة في السنوات الأولى من هذه المهمة لم تُبنَ للصوت أصلا. ولا يزال FENSE، مقياس الترتيب لعام 2024، يخالف تفضيل البشر في نحو زوج واحد من كل أربعة أزواج في Clotho-Eval (100 ناقص 75.7 يعطي 24.3%). ويؤدي SPICE أسوأ من ذلك، وفي أزواج من وصفين بشريين صحيحين ينخفض عن مستوى الصدفة.
والجانب البشري هش هو الآخر. فعندما قيّم المقيّمون الأوصاف على مقياس مطلق كان الاتفاق ضعيفا، إذ بلغ معامل كابا لفلايس (مقياس لاتفاق المقيّمين، حيث 1 اتفاق تام) 0.18 على Clotho. وحين طُلب منهم اختيار الأفضل بين وصفين ارتفع إلى 0.48. ولهذا تقارن هذه المعايير الأزواج. ويضيف جيل مقاييس 2024 الصوت أو حكما بنموذج لغوي ويكسب بضع نقاط أخرى، كما يشرح CLAIR-A درجاته بالكلمات، وهو ما وجده المقيّمون البشر أكثر إنصافا من رقم FENSE المجرد.
| المقياس | القيمة | المصدر |
|---|---|---|
| نسبة الأزواج التي اختار فيها المقياس الوصف الذي فضّله البشر، FENSE مقابل SPICE | Clotho-Eval: 75.7% مقابل 56.3%؛ AudioCaps-Eval: 85.3% مقابل 59.7% | Zhou وآخرون، FENSE، 2021 |
| اتفاق المقيّمين (كابا لفلايس)، الدرجات المطلقة مقابل الاختيارات الزوجية | Clotho: 0.18 مقابل 0.48؛ AudioCaps: 0.23 مقابل 0.33 | Zhou وآخرون، FENSE، 2021 |
| حجم معياري Clotho-Eval وAudioCaps-Eval | 1,750 و1,671 زوجا؛ 250 مقطعا لكل منهما؛ 4 مقيّمين لكل زوج | Zhou وآخرون، FENSE، 2021 |
| كاشف أخطاء FENSE عند العتبة 0.9، على 723 وصفا آليا | الدقة 96.8، الاستدعاء 76.4، F1 85.4 | Zhou وآخرون، FENSE، 2021 |
| الدقة على أزواج Clotho-Eval من وصفين بشريين صحيحين: SPICE وFENSE وMACE | 44.3% و60.5% و63.3% | Dixit وآخرون، MACE، 2024 |
| الدقة الإجمالية على Clotho-Eval: CLAIR-A مع GPT-4o مقابل FENSE | 79.7% مقابل 75.7% | Wu وآخرون، CLAIR-A، 2024 |
| تقييم البشر للإنصاف من 5 لدرجات FENSE مقابل درجات CLAIR-A مع أسباب مكتوبة (N=200) | 2.97 مقابل 3.66 | Wu وآخرون، CLAIR-A، 2024 |
أحدث بيانات متاحة لمعياري الأزواج نفسيهما: Zhou وآخرون، 2021. وتعيد الدراسات الأحدث تشغيل مقاييس جديدة على أزواج 2021 نفسها.
6. النماذج الصوتية الكبيرة وحجم النموذج والأصوات المختلقة
انتقل الوصف من مهمة مخصصة إلى مهارة جانبية في النماذج الصوتية العامة، ولا يزال المتخصصون في الصدارة على أرضهم. رفع Audio Flamingo 3 قيمة CIDEr على AudioCaps من 0.58 إلى 0.70، لكنها تظل أدنى كثيرا من إجماع البشر البالغ 0.90 في القسم 3 ومن 84.8 (على مقياس من 0 إلى 100) المسجلة لنموذج دُرّب على AudioSetCaps وضُبط على AudioCaps. والحجم ليس ضمانا أيضا: فنموذج من 12.0M معامل ينافس أنظمة من 171M و400M.
الأوصاف الجيدة لا تغني عن السماع. فحين غذّت MMAU-Pro نموذج GPT-4o بالأوصاف بدلا من الصوت، انخفضت الدقة إلى 35.3%، مقابل 59.2% لنموذج يأخذ الصوت مباشرة. ويمكن لمن يتتبع الانقسام نفسه في الكلام أن يقارن معايير الإجابة عن الأسئلة المنطوقة لدينا.
وتُظهر نتائج BRACE شخصية منقسمة. فقد كان GPT-4o-Audio-Preview الأفضل في التقاط وصف فيه اسم مختلق واحد، لكنه ضعيف في ترتيب وصفين حقيقيين. والخطر يماثل هلوسة التعرف على الكلام، مع أصوات مختلقة بدلا من كلمات مختلقة.
| المقياس | القيمة | المصدر |
|---|---|---|
| CIDEr، Audio Flamingo 2 مقابل Audio Flamingo 3 | AudioCaps: 0.58 مقابل 0.70؛ Clotho-v2: 0.46 مقابل 0.50 | Goel وآخرون، Audio Flamingo 3، 2025 |
| نموذج دُرّب مسبقا على AudioSetCaps وAudioCaps وClotho ثم ضُبط على AudioCaps: الدرجات على مجموعة اختبار AudioCaps | CIDEr 84.8، SPIDEr 51.6 | Bai وآخرون، AudioSetCaps، 2024 |
| المعاملات القابلة للتدريب على AudioCaps: CNext-trans مقابل HTSAT-BART مقابل PYB | 12.0M مقابل 171M مقابل 400M | Labbé وآخرون، CoNeTTE، 2023 |
| ترتيب جودة الأوصاف على 2,496 زوجا (BRACE-Main)، F1: أفضل مقياس قائم على CLAP مقابل Audio Flamingo 2 مقابل GPT-4o-Audio-Preview | 70.01 مقابل 63.19 مقابل 55.24 | Guo وآخرون، BRACE، 2025 |
| رصد وصف فيه اسم واحد مستبدل على 10,315 زوجا (BRACE-Hallucination)، F1 على AudioCaps وClotho: GPT-4o-Audio-Preview مقابل Audio Flamingo 2 | 95.76 و96.75 مقابل 79.55 و72.91 | Guo وآخرون، BRACE، 2025 |
| متوسط MMAU-Pro على 5,305 أسئلة: الأوصاف مع GPT-4o مقابل Audio Flamingo 3 مقابل Gemini 2.5 Flash | 35.3 مقابل 51.7 مقابل 59.2 | Kumar وآخرون، MMAU-Pro، 2025 |
| دقة الإجابة عن الأسئلة الصوتية، أفضل مشاركة مقابل أقوى خط أساس (معياران مختلفان) | 2025: 73.74% مقابل 52.09%؛ 2026: 58.33% مقابل 53.17% | نتائج المهمة 5 في DCASE 2025 والمهمة 5 في DCASE 2026 |
7. الأوصاف ذات الأختام الزمنية: أين انتقل المعيار
لا تستطيع جملة واحدة لمقطع كامل أن تقول متى حدث شيء ما، وقد وُجدت أحدث مجموعات البيانات لمعالجة ذلك. جذبت مهمة 2026 للعثور على لحظة في صوت طويل 21 فريقا و59 مشاركة، أي أكثر من أي نسخة من نسخ الوصف الخمس في القسم 2، وكان أعلى Recall1@0.7 وقيمته 48.59 أكثر من ثلاثة أضعاف خط الأساس 13.56 (48.59 مقسوما على 13.56 يعطي 3.6). ويسأل Recall1@0.7 عما إذا كان أول تخمين للنموذج يتداخل مع اللحظة الحقيقية بنسبة 0.7 على الأقل.
والفجوة بين أعلى نتيجة في المهمة و20.3 المسجلة في ورقة مجموعة البيانات كبيرة، لكن القياسين جرى على مجموعتي اختبار مختلفتين. وتضيف TACOS إشارة ثانية: فعندما انتقل التدريب من أوصاف على مستوى المقطع إلى أوصاف متزامنة زمنيا، سجل كشف الصوت المعتمد على النص درجات أعلى، رغم أنه بقي دون التدريب الخاضع للإشراف بكثير.
| المقياس | القيمة | المصدر |
|---|---|---|
| حجم TACOS | 12,358 تسجيلا؛ 47,748 وصفا متزامنا زمنيا؛ 76.59 ساعة | Primus وآخرون، TACOS، 2025 |
| توصيف TACOS | 337 طالبا؛ 3.57 وصف لكل مقطع في المتوسط؛ 92.84% من كل مقطع مغطى في المتوسط | Primus وآخرون، TACOS، 2025 |
| كشف الصوت المعتمد على النص على 50 فئة، PSDS1 (درجة كشف): التدريب المسبق، الضبط الدقيق على مستوى المقطع، الضبط الدقيق المتزامن زمنيا، الخاضع للإشراف الكامل | 4.61 و12.44 و17.99 و54.26 | Primus وآخرون، TACOS، 2025 |
| حجم CASTELLA | 1,862 تسجيلا مدة كل منها من دقيقة إلى 5 دقائق؛ 3,881 وصفا محليا؛ 11,308 أختام زمنية؛ أكثر من 120 ساعة | Munakata وآخرون، CASTELLA، 2025 |
| حجم Clotho-Moment، مجموعة البيانات الاصطناعية المصاحبة | 44.3K مقطع مشروح؛ 853 ساعة | Munakata وآخرون، CASTELLA، 2025 |
| أفضل Recall1@0.7 في ورقة CASTELLA | 20.3 | Munakata وآخرون، CASTELLA، 2025 |
| مهمة استرجاع اللحظات الصوتية 2026: الفرق والمشاركات وأفضل Recall1@0.7 مقابل خط الأساس | 21 فريقا؛ 59 مشاركة؛ 48.59 مقابل 13.56 | نتائج المهمة 6 في DCASE 2026 |
الخلاصة: الوصف الآلي للأصوات بالأرقام
| المقياس | القيمة | المصدر |
|---|---|---|
| فائز 2024 مقابل خط الأساس | FENSE 0.554 مقابل 0.510؛ SPIDEr-FL 0.241 مقابل 0.287 | تحدي DCASE، نتائج المهمة 6 لعام 2024 |
| إجماع البشر في SPIDEr على AudioCaps وClotho | 0.56 و0.54 | Mei وآخرون، Audio Captioning Overview، 2022 |
| SPIDEr لنموذج CNext-trans، مجموعة اختبار AudioCaps مقابل مجموعة اختبار Clotho | 0.466 مقابل 0.301 | Labbé وآخرون، CoNeTTE، 2023 |
| الإصدار الأول من Clotho | 4,981 مقطعا، 24,905 وصفا | Drossos وآخرون، Clotho، 2019 |
| الحجم الرسمي لـ AudioCaps | 51,308 مقاطع | Mei وآخرون، Audio Captioning Overview، 2022 |
| حجم WavCaps | 403,050 مقطعا، 7,567.92 ساعة | Mei وآخرون، WavCaps، 2023 |
| إدخالات الأوصاف في AudioSetCaps | 1,910,920 | Bai وآخرون، AudioSetCaps، 2024 |
| متوسط درجة الرأي البشري من 5، AudioCaps مقابل AudioSetCaps | 3.79 مقابل 3.70 | Bai وآخرون، AudioSetCaps، 2024 |
| دقة Clotho-Eval، FENSE مقابل SPICE | 75.7% مقابل 56.3% | Zhou وآخرون، FENSE، 2021 |
| اتفاق المقيّمين على Clotho (كابا لفلايس)، الدرجات المطلقة مقابل الاختيارات الزوجية | 0.18 مقابل 0.48 | Zhou وآخرون، FENSE، 2021 |
| الدقة على أزواج من وصفين بشريين صحيحين، SPICE على Clotho-Eval | 44.3% | Dixit وآخرون، MACE، 2024 |
| الدقة الإجمالية على Clotho-Eval، CLAIR-A مع GPT-4o | 79.7% | Wu وآخرون، CLAIR-A، 2024 |
| CIDEr على AudioCaps، Audio Flamingo 2 مقابل Audio Flamingo 3 | 0.58 مقابل 0.70 | Goel وآخرون، Audio Flamingo 3، 2025 |
| F1 لنموذج GPT-4o-Audio-Preview، ترتيب جودة الأوصاف مقابل رصد اسم مستبدل على AudioCaps | 55.24 مقابل 95.76 | Guo وآخرون، BRACE، 2025 |
| متوسط MMAU-Pro، الأوصاف مع GPT-4o مقابل Gemini 2.5 Flash | 35.3 مقابل 59.2 | Kumar وآخرون، MMAU-Pro، 2025 |
| الأوصاف المتزامنة زمنيا في TACOS | 47,748 | Primus وآخرون، TACOS، 2025 |
| الأوصاف المحلية في CASTELLA | 3,881 | Munakata وآخرون، CASTELLA، 2025 |
| الأوراق التي يرد في عنوانها ‘الوصف الآلي للأصوات’، 2024 مقابل 2025 | 36 مقابل 33 | بحث OpenAlex في العناوين، 31 أكتوبر 2026 |
المنهجية والمصادر
قرأنا جداول النتائج وصفحات المهام والأوراق التالية أثناء هذا التحديث، ونسند المعلومات إلى مؤلفيها الأصليين. ولا يأتي أي رقم من مدونة أو من نسخة مرآة للوحة المتصدرين.
- نتائج تحدي DCASE: 2020، 2021، 2022، 2023، 2024، المهمة 5 لعام 2025، المهمة 5 لعام 2026، المهمة 6 لعام 2026؛ صفحات المهام: 2020، 2022، 2024، المهمة 6 لعام 2026؛ البرامج: 2025، 2026.
- Jung وآخرون، التقرير الفني عن دمج المشفّرات والتلخيص بنموذج لغوي كبير، 2024.
- Drossos وآخرون، Clotho: An Audio Captioning Dataset، 2019.
- Mei وآخرون، Automated Audio Captioning: An Overview of Recent Progress and New Challenges، 2022.
- Mei وآخرون، WavCaps، 2023.
- Bai وآخرون، AudioSetCaps، 2024.
- Labbé وآخرون، CoNeTTE، 2023.
- Zhou وآخرون، Can Audio Captions Be Evaluated with Image Caption Metrics?، 2021.
- Dixit وآخرون، MACE، 2024.
- Wu وآخرون، CLAIR-A، 2024.
- Guo وآخرون، BRACE، 2025.
- Goel وآخرون، Audio Flamingo 3، 2025.
- Kumar وآخرون، MMAU-Pro، 2025.
- Primus وآخرون، TACOS، 2025.
- Munakata وآخرون، CASTELLA، 2025.
- بحث OpenAlex في العناوين والبحث العام، وكلاهما أُجري في 31 أكتوبر 2026.
- ملاحظة حول البيانات: الدرجات عبر النسخ غير قابلة للمقارنة بدقة. فقد تغير مقياس الترتيب من SPIDEr (2020 إلى 2022) إلى SPIDEr-FL (2023) ثم FENSE (2024)، واستخدمت نسخة 2020 الإصدار الأول من Clotho بينما استخدمت نسختا 2022 و2024 الإصدار الثاني، وسُميت المجموعة المحجوبة مجموعة الاختبار حتى 2023 ومجموعة التقييم في 2024. وتختلف إجماليات Clotho حسب النسخة: تذكر صفحة مهمة 2022 ما مجموعه 6,974 مقطعا و34,870 وصفا، وتذكر صفحة مهمة 2024 الرقمين 6,972 و34,860. ويذكر نص CoNeTTE ما مجموعه 3,840 ملف تدريب من Clotho بينما يذكر جدوله 3,839، وتستشهد خلاصته برقم 49.5% يطابق المشفّر المتداخل في الجدول V، ولذلك نقتبس من الجدول. وتبلغ WavCaps 7,567.92 ساعة في ورقتها و7,563.3 في CoNeTTE. ويبدو أن نص MACE يبدّل رقمي Clotho-Eval وAudioCaps-Eval لمقياس FENSE، لذلك نتبع ورقة FENSE الأصلية؛ وتزعم خلاصة CLAIR-A تحسنا بنسبة 5.8% على FENSE بينما يظهر جدولها 4.0 نقاط، ولذلك نقتبس من الجدول. ولا يساوي Avg-All في BRACE لنموذج GPT-4o-Audio-Preview في اختبار الهلوسة (96.37) متوسط عموديه، ولذلك نقتبس العمودين؛ وقد كتب GPT-4o أوصافها ذات الأسماء المستبدلة، وهو من عائلة النموذج نفسها لأفضل كاشف، وتُبقي أزواجها المصفّاة على الأصوات البشرية المتفقة بالإجماع فقط. وتذكر AudioSetCaps ‘خمسة مقيّمين على الأقل’ في نصها ورقما مختلفا في الشرح المرافق لأحد الأشكال؛ ولم نتأكد مما إذا كانت مقاطع اختبار AudioCaps قد استُبعدت من تدريبها المعتمد على AudioSet. ويُبلَّغ عن CIDEr بمقياسين من 0 إلى 1 ومن 0 إلى 100، ويصف Audio Flamingo 2 درجته على AudioCaps بأنها بلا أمثلة تدريبية، ولذلك فإن مقارنات CIDEr بين الأوراق تقريبية. وتُدرج Clotho-Moment بأنها 44.3K مقطع في ورقة CASTELLA وبأكثر من 51,240 تسجيلا مع 44,261 وصفا في صفحة مهمة 2026. وتتغير أعداد OpenAlex مع إضافة السجلات، و2026 سنة جزئية. وتشمل أحدث بيانات متاحة للأقسام من 3 إلى 5 أوراقا من 2019 إلى 2023؛ ولم نعثر على دراسة إجماع أحدث.
آخر تحديث: 31 أكتوبر 2026. نحدّث هذا الاستعراض كل ثلاثة أشهر، ومن المتوقع إجراء التحديث التالي عندما ينشر تحدي DCASE 2027 أوصاف مهامه.