Система-победитель последней задачи DCASE по описанию аудио набрала FENSE 0,554, всего на 0,044 выше базовой системы организаторов с результатом 0,510, и 29 из 30 командных систем превзошли эту базовую систему (DCASE Challenge, результаты задачи 6, 2024). Люди по-прежнему намного впереди на более сложном наборе данных: эталонные описания согласуются друг с другом на уровне SPIDEr 0,54 на Clotho (Mei и др., Audio Captioning Overview, 2022), тогда как компактная модель достигает 0,301 (Labbé и др., CoNeTTE, 2023). Несовершенна и сама линейка: метрика FENSE выбирает описание, которое предпочитают люди, в 75,7% пар Clotho-Eval (Zhou и др., FENSE, 2021). Этот обзор посвящён машинам, описывающим неречевые звуки, а не субтитрам к речи, которые мы разбираем в нашей статистике субтитров и в нашем обзоре рынка субтитрирования. Мы собрали данные из статей о наборах данных Clotho, AudioCaps, WavCaps и AudioSetCaps, из исследований метрик FENSE, MACE, CLAIR-A и BRACE, из статей об Audio Flamingo и MMAU-Pro, из OpenAlex и из собственных таблиц результатов конкурса.
Ниже повторяются несколько терминов. «Описание» здесь - это предложение, написанное машиной или человеком, которое описывает звуки. «Базовая система» - это эталонная система, предоставляемая организаторами, которую команды стараются превзойти. SPIDEr, CIDEr и SPICE - оценки, заимствованные из описания изображений, FENSE сочетает сходство предложений со штрафом за нарушенную грамматику, а SPIDEr-FL - это SPIDEr с похожим штрафом. Для всех них чем выше, тем лучше.
Кратко (TL;DR)
- Победитель 2024 года превзошёл базовую систему по FENSE, 0,554 против 0,510, но уступил ей по SPIDEr-FL, 0,241 против 0,287 (DCASE Challenge, результаты задачи 6, 2024).
- Человеческие эталонные описания согласуются на уровне SPIDEr 0,56 на AudioCaps и 0,54 на Clotho (Mei и др., Audio Captioning Overview, 2022).
- Одна модель набрала SPIDEr 0,466 на AudioCaps, но 0,301 на Clotho (Labbé и др., CoNeTTE, 2023).
- FENSE совпала с человеческим предпочтением в 75,7% пар Clotho-Eval; SPICE - в 56,3% (Zhou и др., FENSE, 2021).
- На парах из двух верных человеческих описаний SPICE показала 44,3% на Clotho-Eval, хуже подбрасывания монеты (Dixit и др., MACE, 2024).
- В WavCaps 403 050 клипов и 7 567,92 часа аудио (Mei и др., WavCaps, 2023).
- В AudioSetCaps 1 910 920 описаний, которые люди оценили в 3,70 из 5 (Bai и др., AudioSetCaps, 2024).
- GPT-4o-Audio-Preview показала F1 95,76 и 96,75 при обнаружении выдуманных звуков в описаниях, но 55,24 при ранжировании качества описаний (Guo и др., BRACE, 2025).
- Число статей с ‘audio captioning’ в названии выросло с 6 в 2019 году до 36 в 2024 году (OpenAlex, поиск по названию, 31 октября 2026 года).
1. Результаты таблицы лидеров: пять редакций, сужающиеся отрывы
История этой таблицы лидеров - это история растущего нижнего уровня. В терминах SPIDEr отрыв победителя от базовой системы сократился с 0,298 в 2021 году (0,310 минус 0,012) до 0,095 в 2022 году (0,319 минус 0,224), потому что исходная система организаторов улучшалась гораздо быстрее, чем верх таблицы. К 2024 году базовая система заняла 30-е место из 31 заявки, а весь список уместился между FENSE 0,508 и 0,554.
На вершине ранжирование тоже близко к статистической ничьей. 95-процентный интервал победителя (от 0,543 до 0,563) пересекается с интервалом серебряного призёра (от 0,534 до 0,555), хотя и превышает интервал базовой системы (от 0,499 до 0,521). Если сменить метрику, порядок изменится: победившая заявка отбирала варианты описаний, фильтровала их и суммировала с помощью GPT-4 Turbo, что гораздо лучше подошло для FENSE, чем для SPIDEr-FL. В разделе 5 разбирается, насколько можно доверять каждой метрике.
| Показатель | Значение | Источник |
|---|---|---|
| SPIDEr лучшей системы против базовой на отложенной выборке для ранжирования, по редакциям | 2020: 0,222 против 0,018; 2021: 0,310 против 0,012; 2022: 0,319 против 0,224 | DCASE 2020, 2021 и 2022, результаты задачи 6 |
| SPIDEr-FL лучшей системы против базовой 2023 года на отложенной выборке для ранжирования | 0,327 против 0,264 | DCASE 2023, результаты задачи 6a |
| FENSE лучшей системы против базовой 2024 года на оценочной выборке Clotho | 0,554 (95% ДИ от 0,543 до 0,563) против 0,510 (95% ДИ от 0,499 до 0,521) | DCASE 2024, результаты задачи 6 |
| SPIDEr-FL победителя 2024 года против базовой; наивысший SPIDEr-FL среди всех заявок 2024 года | 0,241 против 0,287; наивысший 0,329, у системы, помеченной из-за утечки данных | DCASE 2024, результаты задачи 6 |
| Одиночная модель одной команды против её ансамбля из 25 моделей, FENSE в собственном отчёте | 0,5410 против 0,5442 (базовая 0,5040) | Jung и др., технический отчёт, 2024 |
Самые свежие доступные данные: DCASE Challenge, результаты задачи 6, 2024. В более поздних редакциях задачи по описанию аудио нет. Строка про ансамбль показывает, как мало оставалось выиграть грубой силой: 25 моделей добавили 0,0032 FENSE (0,5442 минус 0,5410).
2. Участие и объём публикаций
Число команд оставалось неизменным: в течение пяти лет в задаче участвовало от 9 до 12 команд, после чего она ушла из программы. Ни в программе 2025 года (шесть задач), ни в программе 2026 года (семь задач) описания аудио нет. Опубликованные страницы не объясняют причину, но задачи-преемники намекают на направление, и раздел 7 прослеживает его.
Академическая активность рассказывает похожую историю. Число статей с этим словосочетанием в названии выросло в шесть раз между 2019 и 2024 годами (36, делённое на 6), а затем перестало расти. Более широкий поиск в OpenAlex продолжает расти, что говорит о том, что описание аудио превращается в одну из функций более крупных аудиомоделей, а не в самостоятельную область. Это наша интерпретация, а широкий поиск даёт много шума.
| Показатель | Значение | Источник |
|---|---|---|
| Команды и поданные системы по редакциям, без учёта базовой | 2020: 10 и 34; 2021: 12 и 37; 2022: 9 и 36; 2023: 10 и 28; 2024: 11 и 30 | Результаты задачи 6 DCASE за 2020-2024 годы (ссылки в разделе 1) |
| Задачи по описанию аудио в программе конкурса; заявки по всей программе 2025 года | 2025: 0 из 6 задач; 2026: 0 из 7 задач; 277 заявок в 2025 году | Страницы программ DCASE 2025 и DCASE 2026 |
| Статьи с ‘audio captioning’ в названии, по году публикации | 2019: 6; 2022: 27; 2024: 36; 2025: 33; 2026 по 31 октября: 29 | Поиск по названию в OpenAlex, 31 октября 2026 года |
| Все статьи с ‘audio captioning’ в названии, с 2017 года по 31 октября 2026 года | 203 | Поиск по названию в OpenAlex, 31 октября 2026 года |
| Записи, возвращённые более широким поиском по фразе в OpenAlex | 2 109 всего; 433 в 2025 году; 726 в 2026 году по 31 октября | Общий поиск в OpenAlex, 31 октября 2026 года |
3. Человеческий потолок: как далеко машины от согласия людей
У описания аудио нет единственного верного ответа, поэтому исследователи оценивают человеческие эталоны друг относительно друга, чтобы определить потолок, называемый оценкой консенсуса. Люди согласуются почти на одном уровне на обоих основных наборах данных, SPIDEr 0,56 на AudioCaps и 0,54 на Clotho, но одна и та же архитектура модели показывает сильно различающиеся результаты: 0,466 и 0,301.
В долях человеческого показателя это примерно 83% на AudioCaps (0,466, делённое на 0,56) и 56% на Clotho (0,301, делённое на 0,54). Значит, разрыв объясняется не только расхождением между людьми. Клипы Clotho к тому же длиннее, от 15 до 30 секунд против 10, а MACS показывает другую крайность: человеческие описания одного и того же клипа почти не совпадают по формулировкам. Его показатель Sentence-BERT держится намного лучше, чем показатель SPIDEr, что говорит о том, что люди описывают одну и ту же сцену разными словами.
Последняя строка важна для всех, кто читает утверждения про AudioCaps. Энкодеры, предобученные на AudioSet, уже слышали тестовые файлы AudioCaps, и исключение этих файлов из предобучения стоило одной модели 0,029 SPIDEr.
| Показатель | Значение | Источник |
|---|---|---|
| SPIDEr человеческого консенсуса на AudioCaps, Clotho и MACS | 0,56, 0,54 и 0,17 | Mei и др., Audio Captioning Overview, 2022 |
| CIDEr человеческого консенсуса на AudioCaps, Clotho и MACS | 0,90, 0,86 и 0,21 | Mei и др., Audio Captioning Overview, 2022 |
| Sentence-BERT человеческого консенсуса на AudioCaps, Clotho и MACS | 0,64, 0,53 и 0,52 | Mei и др., Audio Captioning Overview, 2022 |
| Та же архитектура CNext-trans, SPIDEr на тестовом наборе AudioCaps против тестового набора Clotho | 0,466 против 0,301 | Labbé и др., CoNeTTE, 2023 |
| Та же архитектура CNext-trans, FENSE на тестовом наборе AudioCaps против тестового набора Clotho | 0,633 против 0,516 | Labbé и др., CoNeTTE, 2023 |
| SPIDEr CNext-trans на AudioCaps, энкодер, слышавший тестовое аудио, против не слышавшего | 0,495 против 0,466 | Labbé и др., CoNeTTE, 2023 |
Самые свежие доступные данные: Mei и др., Audio Captioning Overview, 2022. Значения консенсуса используют другие подмножества, чем оценки моделей: валидацию и тест AudioCaps, обучающую часть Clotho и клипы MACS с пятью эталонами.
4. Масштаб наборов данных: от краудсорсинговых описаний к написанным LLM
Человеческая разметка создала эту область, а большие языковые модели (LLM) её масштабировали. В WavCaps 403 050 клипов и примерно в 60 раз больше аудио, чем в обучающей части AudioCaps (7 563,3 часа, делённые на 126,6 часа, оба значения из Labbé и др., 2023). Затем AudioSetCaps довёл число описаний до 1 910 920, а средняя длина описания выросла с 11 слов в Clotho до 28.
Больше данных не означало бесплатного выигрыша. После очистки WavCaps сохранил лишь 46,3% своих клипов с FreeSound (262 300 из 567 078), а предобучение на нём подняло результаты лишь умеренно. Сырое качество тоже оказалось лучше, чем подразумевает название «слабо размеченный», хотя 79 клипов - небольшая выборка.
| Показатель | Значение | Источник |
|---|---|---|
| Размер Clotho версии 1 | 4 981 клип, 24 905 описаний, от 15 до 30 секунд на клип | Drossos и др., Clotho, 2019 |
| Официальный размер AudioCaps | 51 308 клипов по 10 секунд | Mei и др., Audio Captioning Overview, 2022 |
| Обучающие файлы AudioCaps, всё ещё доступные одной исследовательской команде | 46 213 из 49 838 (92,7%) | Labbé и др., CoNeTTE, 2023 |
| Размер WavCaps | 403 050 клипов, 7 567,92 часа | Mei и др., WavCaps, 2023 |
| Клипы FreeSound в WavCaps до очистки с помощью ChatGPT против после неё | 567 078 против 262 300 | Mei и др., WavCaps, 2023 |
| SPIDEr (в процентах) при обучении только на целевом наборе данных против предобучения на WavCaps и дообучения на целевом | HTSAT-BART на AudioCaps: 44,4 против 48,5; CNN14-BART на Clotho: 25,5 против 31,0 | Mei и др., WavCaps, 2023 |
| Записи описаний AudioSetCaps; описания в его трёх расширенных наборах данных | 1 910 920; 6 117 099 | Bai и др., AudioSetCaps, 2024 |
| Средняя экспертная оценка людей из 5 на 79 клипах | Метки AudioSet 3,81; AudioCaps 3,79; AudioSetCaps 3,70; WavCaps 3,70; Auto-ACD 3,60 | Bai и др., AudioSetCaps, 2024 |
Самые свежие доступные данные по Clotho: Drossos и др., 2019. Клипы AudioCaps взяты с YouTube, поэтому их доступность сокращается по мере исчезновения видео, и две команды могут обучаться не на одних и тех же файлах.
5. Метрики оценки: совпадают ли оценки с человеческим суждением?
Таблица лидеров настолько хороша, насколько хороша её метрика, а метрики, которые использовались в первые годы этой задачи, никогда не создавались для звука. FENSE, метрика ранжирования 2024 года, всё ещё расходится с человеческим предпочтением примерно в одной паре Clotho-Eval из четырёх (100 минус 75,7 даёт 24,3%). SPICE справляется хуже, а на парах из двух верных человеческих описаний уходит ниже случайного уровня.
Со стороны людей тоже нет твёрдой опоры. Когда оценщики оценивали описания по абсолютной шкале, согласие было слабым: каппа Флейсса (мера согласия между оценщиками, где 1 означает полное согласие) составила 0,18 на Clotho. Вопрос о том, какое из двух описаний лучше, поднял её до 0,48. Поэтому в этих тестах сравниваются пары. Поколение метрик 2024 года добавляет аудио или LLM в роли судьи и выигрывает ещё несколько пунктов, а CLAIR-A к тому же объясняет свои оценки словами, что оценщики-люди сочли более справедливым, чем голое число FENSE.
| Показатель | Значение | Источник |
|---|---|---|
| Доля пар, в которых метрика выбрала предпочитаемое людьми описание, FENSE против SPICE | Clotho-Eval: 75,7% против 56,3%; AudioCaps-Eval: 85,3% против 59,7% | Zhou и др., FENSE, 2021 |
| Согласие оценщиков (каппа Флейсса), абсолютные оценки против выбора из пар | Clotho: 0,18 против 0,48; AudioCaps: 0,23 против 0,33 | Zhou и др., FENSE, 2021 |
| Размер тестов Clotho-Eval и AudioCaps-Eval | 1 750 и 1 671 пара; по 250 клипов; 4 оценщика на пару | Zhou и др., FENSE, 2021 |
| Детектор ошибок FENSE с порогом 0,9, на 723 машинных описаниях | Точность 96,8, полнота 76,4, F1 85,4 | Zhou и др., FENSE, 2021 |
| Точность на парах Clotho-Eval из двух верных человеческих описаний: SPICE, FENSE, MACE | 44,3%, 60,5%, 63,3% | Dixit и др., MACE, 2024 |
| Общая точность на Clotho-Eval: CLAIR-A с GPT-4o против FENSE | 79,7% против 75,7% | Wu и др., CLAIR-A, 2024 |
| Человеческая оценка справедливости из 5 для оценок FENSE против оценок CLAIR-A с письменным обоснованием (N=200) | 2,97 против 3,66 | Wu и др., CLAIR-A, 2024 |
Самые свежие доступные данные для самих парных тестов: Zhou и др., 2021. Более новые исследования заново прогоняют новые метрики на тех же парах 2021 года.
6. Большие аудиомодели, размер модели и выдуманные звуки
Описание аудио превратилось из отдельной задачи в побочный навык универсальных аудиомоделей, а специализированные системы по-прежнему лидируют на своей территории. Audio Flamingo 3 поднял CIDEr на AudioCaps с 0,58 до 0,70, но это всё ещё намного ниже человеческого консенсуса 0,90 из раздела 3 и 84,8 (по шкале от 0 до 100) у модели, обученной на AudioSetCaps и дообученной на AudioCaps. Размер тоже ничего не гарантирует: модель с 12,0M параметров конкурирует с системами на 171M и 400M.
Хорошие описания не заменяют прослушивания. Когда MMAU-Pro подавал в GPT-4o описания вместо аудио, точность упала до 35,3% против 59,2% у модели, которая получает аудио напрямую. Тем, кто следит за тем же разделением в области речи, можно сравнить наши бенчмарки устных вопросов и ответов.
Результаты BRACE показывают раздвоенную личность. GPT-4o-Audio-Preview лучше всех обнаруживала описание с одним выдуманным существительным, но слабо ранжировала два реальных описания. Этот риск зеркален галлюцинациям при распознавании речи: вместо выдуманных слов здесь выдуманные звуки.
| Показатель | Значение | Источник |
|---|---|---|
| CIDEr, Audio Flamingo 2 против Audio Flamingo 3 | AudioCaps: 0,58 против 0,70; Clotho-v2: 0,46 против 0,50 | Goel и др., Audio Flamingo 3, 2025 |
| Модель, предобученная на AudioSetCaps, AudioCaps и Clotho, а затем дообученная на AudioCaps: результаты на тестовом наборе AudioCaps | CIDEr 84,8, SPIDEr 51,6 | Bai и др., AudioSetCaps, 2024 |
| Обучаемые параметры на AudioCaps: CNext-trans против HTSAT-BART против PYB | 12,0M против 171M против 400M | Labbé и др., CoNeTTE, 2023 |
| Ранжирование качества описаний на 2 496 парах (BRACE-Main), F1: лучшая метрика на основе CLAP против Audio Flamingo 2 против GPT-4o-Audio-Preview | 70,01 против 63,19 против 55,24 | Guo и др., BRACE, 2025 |
| Обнаружение описания с подменённым существительным на 10 315 парах (BRACE-Hallucination), F1 на AudioCaps и Clotho: GPT-4o-Audio-Preview против Audio Flamingo 2 | 95,76 и 96,75 против 79,55 и 72,91 | Guo и др., BRACE, 2025 |
| Среднее по MMAU-Pro на 5 305 вопросах: описания плюс GPT-4o против Audio Flamingo 3 против Gemini 2.5 Flash | 35,3 против 51,7 против 59,2 | Kumar и др., MMAU-Pro, 2025 |
| Точность ответов на вопросы по аудио, лучшая заявка против сильнейшей базовой (два разных бенчмарка) | 2025: 73,74% против 52,09%; 2026: 58,33% против 53,17% | Результаты задачи 5 DCASE 2025 и задачи 5 DCASE 2026 |
7. Описания с временными метками: куда сместился бенчмарк
Одно предложение на весь клип не может сказать, когда что-то произошло, и самые новые наборы данных созданы, чтобы это исправить. Задача 2026 года о поиске момента в длинном аудио привлекла 21 команду и 59 заявок, больше, чем любая из пяти редакций по описанию аудио из раздела 2, а лучший Recall1@0.7, равный 48,59, более чем втрое превысил базовые 13,56 (48,59, делённое на 13,56, даёт 3,6). Recall1@0.7 показывает, перекрывает ли лучшая догадка модели настоящий момент минимум на 0,7.
Разрыв между лучшим результатом задачи и 20,3, указанными в статье о наборе данных, велик, но они измерены на разных тестовых наборах. TACOS даёт второй сигнал: когда обучение перешло от описаний клипа целиком к описаниям, выровненным по времени, текстовое обнаружение звуков показало более высокие результаты, хотя и осталось далеко ниже обучения с учителем.
| Показатель | Значение | Источник |
|---|---|---|
| Размер TACOS | 12 358 записей; 47 748 описаний, выровненных по времени; 76,59 часа | Primus и др., TACOS, 2025 |
| Разметка TACOS | 337 студентов; в среднем 3,57 описания на клип; в среднем покрыто 92,84% каждого клипа | Primus и др., TACOS, 2025 |
| Текстовое обнаружение звуков по 50 категориям, PSDS1 (оценка обнаружения): предобучение, дообучение на уровне клипа, дообучение с выравниванием по времени, полностью с учителем | 4,61, 12,44, 17,99, 54,26 | Primus и др., TACOS, 2025 |
| Размер CASTELLA | 1 862 записи длительностью от 1 до 5 минут; 3 881 локальное описание; 11 308 временных меток; более 120 часов | Munakata и др., CASTELLA, 2025 |
| Размер Clotho-Moment, синтетического дополняющего набора данных | 44,3 тыс. размеченных клипов; 853 часа | Munakata и др., CASTELLA, 2025 |
| Лучший Recall1@0.7 в статье о CASTELLA | 20,3 | Munakata и др., CASTELLA, 2025 |
| Задача 2026 года по поиску момента в аудио: команды, заявки, лучший результат против базового по Recall1@0.7 | 21 команда; 59 заявок; 48,59 против 13,56 | DCASE 2026, результаты задачи 6 |
Итоги: автоматическое описание аудио в цифрах
| Показатель | Значение | Источник |
|---|---|---|
| Победитель 2024 года против базовой | FENSE 0,554 против 0,510; SPIDEr-FL 0,241 против 0,287 | DCASE Challenge, результаты задачи 6, 2024 |
| SPIDEr человеческого консенсуса на AudioCaps и Clotho | 0,56 и 0,54 | Mei и др., Audio Captioning Overview, 2022 |
| SPIDEr CNext-trans, тестовый набор AudioCaps против тестового набора Clotho | 0,466 против 0,301 | Labbé и др., CoNeTTE, 2023 |
| Clotho версии 1 | 4 981 клип, 24 905 описаний | Drossos и др., Clotho, 2019 |
| Официальный размер AudioCaps | 51 308 клипов | Mei и др., Audio Captioning Overview, 2022 |
| Размер WavCaps | 403 050 клипов, 7 567,92 часа | Mei и др., WavCaps, 2023 |
| Записи описаний AudioSetCaps | 1 910 920 | Bai и др., AudioSetCaps, 2024 |
| Средняя экспертная оценка людей из 5, AudioCaps против AudioSetCaps | 3,79 против 3,70 | Bai и др., AudioSetCaps, 2024 |
| Точность на Clotho-Eval, FENSE против SPICE | 75,7% против 56,3% | Zhou и др., FENSE, 2021 |
| Согласие оценщиков на Clotho (каппа Флейсса), абсолютные оценки против выбора из пар | 0,18 против 0,48 | Zhou и др., FENSE, 2021 |
| Точность на парах из двух верных человеческих описаний, SPICE на Clotho-Eval | 44,3% | Dixit и др., MACE, 2024 |
| Общая точность на Clotho-Eval, CLAIR-A с GPT-4o | 79,7% | Wu и др., CLAIR-A, 2024 |
| CIDEr на AudioCaps, Audio Flamingo 2 против Audio Flamingo 3 | 0,58 против 0,70 | Goel и др., Audio Flamingo 3, 2025 |
| F1 GPT-4o-Audio-Preview, ранжирование качества описаний против обнаружения подменённого существительного на AudioCaps | 55,24 против 95,76 | Guo и др., BRACE, 2025 |
| Среднее по MMAU-Pro, описания плюс GPT-4o против Gemini 2.5 Flash | 35,3 против 59,2 | Kumar и др., MMAU-Pro, 2025 |
| Описания TACOS, выровненные по времени | 47 748 | Primus и др., TACOS, 2025 |
| Локальные описания CASTELLA | 3 881 | Munakata и др., CASTELLA, 2025 |
| Статьи с ‘audio captioning’ в названии, 2024 против 2025 | 36 против 33 | Поиск по названию в OpenAlex, 31 октября 2026 года |
Методология и источники
Мы прочитали таблицы результатов, страницы задач и статьи, перечисленные ниже, в ходе этого обновления и ссылаемся на первоначальных авторов. Ни одна цифра не взята из блога или зеркала таблицы лидеров.
- Результаты DCASE Challenge: 2020, 2021, 2022, 2023, 2024, 2025, задача 5, 2026, задача 5, 2026, задача 6; страницы задач: 2020, 2022, 2024, 2026, задача 6; программы: 2025, 2026.
- Jung и др., технический отчёт о слиянии энкодеров и суммаризации с помощью LLM, 2024.
- Drossos и др., Clotho: An Audio Captioning Dataset, 2019.
- Mei и др., Automated Audio Captioning: An Overview of Recent Progress and New Challenges, 2022.
- Mei и др., WavCaps, 2023.
- Bai и др., AudioSetCaps, 2024.
- Labbé и др., CoNeTTE, 2023.
- Zhou и др., Can Audio Captions Be Evaluated with Image Caption Metrics?, 2021.
- Dixit и др., MACE, 2024.
- Wu и др., CLAIR-A, 2024.
- Guo и др., BRACE, 2025.
- Goel и др., Audio Flamingo 3, 2025.
- Kumar и др., MMAU-Pro, 2025.
- Primus и др., TACOS, 2025.
- Munakata и др., CASTELLA, 2025.
- Поиск по названию в OpenAlex и общий поиск, оба выполнены 31 октября 2026 года.
- Наблюдение по данным: результаты разных редакций не вполне сопоставимы. Метрика ранжирования менялась с SPIDEr (2020-2022) на SPIDEr-FL (2023) и на FENSE (2024), в редакции 2020 года использовался Clotho версии 1, а в редакциях 2022 и 2024 годов версии 2, и отложенная выборка называлась тестовой до 2023 года и оценочной в 2024 году. Итоговые размеры Clotho различаются по редакциям: страница задачи 2022 года указывает 6 974 клипа и 34 870 описаний, страница задачи 2024 года - 6 972 и 34 860. В тексте CoNeTTE указано 3 840 обучающих файлов Clotho, а в его таблице 3 839, и в его заключении приводится значение 49,5%, которое соответствует пересекающемуся энкодеру из его таблицы V, поэтому мы цитируем таблицу. У WavCaps в собственной статье 7 567,92 часа, а в CoNeTTE 7 563,3. Текст MACE, судя по всему, меняет местами его значения для Clotho-Eval и AudioCaps-Eval по FENSE, поэтому мы следуем исходной статье о FENSE; в аннотации CLAIR-A заявлено улучшение на 5,8% относительно FENSE, а в таблице 4,0 пункта, поэтому мы цитируем таблицу. Показатель Avg-All у BRACE для GPT-4o-Audio-Preview по галлюцинациям (96,37) не равен среднему двух его столбцов, поэтому мы цитируем столбцы; его описания с подменённым существительным писала GPT-4o, то есть модель того же семейства, что и лучший детектор, а в отфильтрованных парах оставлены только единогласные голоса людей. В тексте AudioSetCaps указано «не менее пяти» оценщиков, а в подписи к рисунку другое число; мы не подтвердили, были ли тестовые клипы AudioCaps исключены из его обучения на основе AudioSet. CIDEr приводится в шкалах от 0 до 1 и от 0 до 100, а Audio Flamingo 2 помечает свой результат на AudioCaps как полученный без дообучения на целевых данных, поэтому сравнения CIDEr между статьями приблизительны. Clotho-Moment указан как 44,3 тыс. клипов в статье о CASTELLA и как более 51 240 записей с 44 261 описанием на странице задачи 2026 года. Данные OpenAlex меняются по мере добавления записей, а 2026 год неполный. Самые свежие доступные данные для разделов с 3 по 5 включают статьи 2019-2023 годов; более новых исследований консенсуса найти не удалось.
Последнее обновление: 31 октября 2026 года. Мы обновляем этот обзор ежеквартально, и следующее обновление ожидается, когда DCASE Challenge 2027 опубликует описания своих задач.