El sistema ganador de la tarea de descripción de audio más reciente de DCASE obtuvo FENSE 0,554, apenas 0,044 sobre la línea base de los organizadores, de 0,510, y 29 de los 30 sistemas de equipos superaron esa línea base (DCASE Challenge, resultados de la Tarea 6, 2024). Los humanos siguen muy por delante en el conjunto de datos más difícil: las descripciones de referencia coinciden entre sí en SPIDEr 0,54 en Clotho (Mei et al., Audio Captioning Overview, 2022), mientras que un modelo compacto llega a 0,301 (Labbé et al., CoNeTTE, 2023). La vara de medir también es imperfecta, porque la métrica FENSE elige la descripción que prefieren los humanos en el 75,7% de los pares de Clotho-Eval (Zhou et al., FENSE, 2021). Este informe trata de máquinas que describen sonidos que no son voz, no de subtítulos de voz, que cubrimos en nuestras estadísticas de subtítulos y rotulación y en nuestro panorama del mercado de subtitulado. Reunimos datos de los artículos de los conjuntos Clotho, AudioCaps, WavCaps y AudioSetCaps, de los estudios de evaluación FENSE, MACE, CLAIR-A y BRACE, de los artículos de Audio Flamingo y MMAU-Pro, de OpenAlex y de las propias tablas de resultados del desafío.
Algunos términos se repiten a continuación. Una “descripción” aquí es una frase, escrita por una máquina o por una persona, que describe sonidos. Una “línea base” es el sistema de referencia que aportan los organizadores y que los equipos intentan superar. SPIDEr, CIDEr y SPICE son puntuaciones tomadas de la descripción de imágenes, FENSE combina la similitud entre frases con una penalización por gramática defectuosa, y SPIDEr-FL es SPIDEr con una penalización parecida. En todas, cuanto más alto, mejor.
TL;DR
- El ganador de 2024 superó la línea base en FENSE, 0,554 frente a 0,510, pero quedó por detrás en SPIDEr-FL, 0,241 frente a 0,287 (DCASE Challenge, resultados de la Tarea 6, 2024).
- Las descripciones humanas de referencia coinciden en SPIDEr 0,56 en AudioCaps y 0,54 en Clotho (Mei et al., Audio Captioning Overview, 2022).
- Un modelo obtuvo SPIDEr 0,466 en AudioCaps, pero 0,301 en Clotho (Labbé et al., CoNeTTE, 2023).
- FENSE coincidió con la preferencia humana en el 75,7% de los pares de Clotho-Eval; SPICE, en el 56,3% (Zhou et al., FENSE, 2021).
- En pares de dos descripciones humanas correctas, SPICE acertó el 44,3% en Clotho-Eval, peor que lanzar una moneda (Dixit et al., MACE, 2024).
- WavCaps reúne 403.050 clips y 7.567,92 horas de audio (Mei et al., WavCaps, 2023).
- AudioSetCaps reúne 1.910.920 descripciones, valoradas por humanos con 3,70 sobre 5 (Bai et al., AudioSetCaps, 2024).
- GPT-4o-Audio-Preview obtuvo F1 95,76 y 96,75 al detectar sonidos inventados en descripciones, pero 55,24 al ordenar la calidad de las descripciones (Guo et al., BRACE, 2025).
- Los artículos con ‘audio captioning’ en el título pasaron de 6 en 2019 a 36 en 2024 (OpenAlex, búsqueda por título, 31 de octubre de 2026).
1. Puntuaciones de la Clasificación: Cinco Ediciones, Márgenes que se Estrechan
La historia de esta clasificación es la de un suelo que sube. En términos de SPIDEr, el margen del ganador sobre la línea base pasó de 0,298 en 2021 (0,310 menos 0,012) a 0,095 en 2022 (0,319 menos 0,224), porque el sistema de partida de los organizadores mejoró mucho más rápido que lo más alto de la tabla. En 2024 la línea base quedó 30.ª de 31 participaciones, y todo el campo cupo entre FENSE 0,508 y 0,554.
La clasificación también está cerca de un empate estadístico en la cima. El intervalo del 95% del ganador (0,543 a 0,563) se solapa con el del subcampeón (0,534 a 0,555), aunque supera el de la línea base (0,499 a 0,521). Si se cambia la métrica, cambia el orden: la participación ganadora muestreó descripciones candidatas, las filtró y las resumió con GPT-4 Turbo, algo que le convino mucho más a FENSE que a SPIDEr-FL. La sección 5 explica hasta qué punto se puede confiar en cada métrica.
| Métrica | Valor | Fuente |
|---|---|---|
| SPIDEr del mejor frente a la línea base en la partición reservada para la clasificación, por edición | 2020: 0,222 frente a 0,018; 2021: 0,310 frente a 0,012; 2022: 0,319 frente a 0,224 | DCASE 2020, 2021 y 2022, resultados de la Tarea 6 |
| SPIDEr-FL del mejor frente a la línea base de 2023 en la partición reservada para la clasificación | 0,327 frente a 0,264 | DCASE 2023, resultados de la Tarea 6a |
| FENSE del mejor frente a la línea base de 2024 en la partición de evaluación de Clotho | 0,554 (IC del 95% de 0,543 a 0,563) frente a 0,510 (IC del 95% de 0,499 a 0,521) | DCASE 2024, resultados de la Tarea 6 |
| SPIDEr-FL del ganador de 2024 frente a la línea base; mayor SPIDEr-FL de cualquier participación de 2024 | 0,241 frente a 0,287; mayor 0,329, de un sistema señalado por una fuga de datos | DCASE 2024, resultados de la Tarea 6 |
| Modelo único de un equipo frente a su conjunto de 25 modelos, FENSE en su propio informe | 0,5410 frente a 0,5442 (línea base 0,5040) | Jung et al., informe técnico, 2024 |
Datos más recientes disponibles: DCASE Challenge, resultados de la Tarea 6, 2024. Ninguna edición posterior tiene una tarea de descripción de audio. La fila del conjunto muestra lo poco que quedaba por ganar con fuerza bruta: 25 modelos añadieron 0,0032 de FENSE (0,5442 menos 0,5410).
2. Participación y Volumen de Publicaciones
El número de equipos se mantuvo estable: la tarea reunió entre 9 y 12 equipos durante cinco años y luego salió del programa. Ni el programa de 2025 (seis tareas) ni el de 2026 (siete tareas) incluyen la descripción de audio. Las páginas publicadas no explican el motivo, pero las tareas que la reemplazaron indican la dirección, y la sección 7 la sigue.
La producción académica cuenta una historia parecida. Los artículos con la expresión en el título se multiplicaron por seis entre 2019 y 2024 (36 dividido entre 6) y después se estabilizaron. Una búsqueda más amplia en OpenAlex sigue subiendo, lo que sugiere que la descripción de audio se está convirtiendo en una función dentro de modelos de audio más grandes y no en un campo propio. Esa lectura es nuestra, y la búsqueda amplia tiene ruido.
| Métrica | Valor | Fuente |
|---|---|---|
| Equipos y sistemas enviados por edición, sin contar la línea base | 2020: 10 y 34; 2021: 12 y 37; 2022: 9 y 36; 2023: 10 y 28; 2024: 11 y 30 | Resultados de la Tarea 6 de DCASE de 2020 a 2024 (enlaces en la sección 1) |
| Tareas de descripción de audio en el programa del desafío; participaciones en todo el programa de 2025 | 2025: 0 de 6 tareas; 2026: 0 de 7 tareas; 277 participaciones en 2025 | Páginas de los programas DCASE 2025 y DCASE 2026 |
| Artículos con ‘audio captioning’ en el título, por año de publicación | 2019: 6; 2022: 27; 2024: 36; 2025: 33; 2026 hasta el 31 de octubre: 29 | Búsqueda por título en OpenAlex, 31 de octubre de 2026 |
| Todos los artículos con ‘audio captioning’ en el título, de 2017 al 31 de octubre de 2026 | 203 | Búsqueda por título en OpenAlex, 31 de octubre de 2026 |
| Registros devueltos por la búsqueda más amplia de la expresión en OpenAlex | 2.109 en total; 433 en 2025; 726 en 2026 hasta el 31 de octubre | Búsqueda general en OpenAlex, 31 de octubre de 2026 |
3. El Techo Humano: Qué Tan Lejos Están las Máquinas del Acuerdo Humano
La descripción de audio no tiene una única respuesta correcta, así que los investigadores puntúan las referencias humanas entre sí para estimar un techo, llamado puntuación de consenso. Los humanos coinciden casi al mismo nivel en los dos conjuntos de datos principales, SPIDEr 0,56 en AudioCaps y 0,54 en Clotho, pero la misma arquitectura de modelo queda muy distanciada: 0,466 y 0,301.
Como proporción de la cifra humana, eso equivale a cerca del 83% en AudioCaps (0,466 dividido entre 0,56) y al 56% en Clotho (0,301 dividido entre 0,54). La brecha, por tanto, no se explica solo por el desacuerdo humano. Los clips de Clotho también son más largos, de 15 a 30 segundos frente a 10, y MACS muestra el otro extremo, donde las descripciones humanas del mismo clip apenas coinciden en la redacción. Su cifra Sentence-BERT se sostiene mucho mejor que su cifra SPIDEr, lo que sugiere que las personas describen la misma escena con palabras distintas.
La última fila importa para quien lea afirmaciones sobre AudioCaps. Los codificadores preentrenados en AudioSet ya han escuchado los archivos de prueba de AudioCaps, y retirarlos del preentrenamiento le costó 0,029 de SPIDEr a un modelo.
| Métrica | Valor | Fuente |
|---|---|---|
| SPIDEr de consenso humano en AudioCaps, Clotho y MACS | 0,56, 0,54 y 0,17 | Mei et al., Audio Captioning Overview, 2022 |
| CIDEr de consenso humano en AudioCaps, Clotho y MACS | 0,90, 0,86 y 0,21 | Mei et al., Audio Captioning Overview, 2022 |
| Sentence-BERT de consenso humano en AudioCaps, Clotho y MACS | 0,64, 0,53 y 0,52 | Mei et al., Audio Captioning Overview, 2022 |
| Misma arquitectura CNext-trans, SPIDEr en el conjunto de prueba de AudioCaps frente al de Clotho | 0,466 frente a 0,301 | Labbé et al., CoNeTTE, 2023 |
| Misma arquitectura CNext-trans, FENSE en el conjunto de prueba de AudioCaps frente al de Clotho | 0,633 frente a 0,516 | Labbé et al., CoNeTTE, 2023 |
| SPIDEr de CNext-trans en AudioCaps, codificador que había escuchado el audio de prueba frente a uno que no | 0,495 frente a 0,466 | Labbé et al., CoNeTTE, 2023 |
Datos más recientes disponibles: Mei et al., Audio Captioning Overview, 2022. Las cifras de consenso usan subconjuntos distintos de los de las puntuaciones de los modelos: validación y prueba de AudioCaps, entrenamiento de Clotho y clips de MACS con cinco referencias.
4. Escala de los Conjuntos de Datos: de las Descripciones por Crowdsourcing a las Escritas por LLM
La anotación humana construyó el campo, y los grandes modelos de lenguaje (LLM) lo escalaron. WavCaps reúne 403.050 clips y unas 60 veces el audio del conjunto de entrenamiento de AudioCaps (7.563,3 horas divididas entre 126,6 horas, ambas de Labbé et al., 2023). AudioSetCaps llevó después la cifra a 1.910.920 descripciones, con una longitud media de descripción que pasó de 11 palabras en Clotho a 28.
Más datos no significaron mejoras gratuitas. WavCaps conservó solo el 46,3% de sus clips de FreeSound (262.300 de 567.078) tras la limpieza, y preentrenar con él elevó las puntuaciones en una cantidad modesta. La calidad en bruto también se sostuvo mejor de lo que sugiere el nombre “débilmente etiquetado”, aunque 79 clips son una muestra pequeña.
| Métrica | Valor | Fuente |
|---|---|---|
| Tamaño de Clotho versión 1 | 4.981 clips, 24.905 descripciones, de 15 a 30 segundos por clip | Drossos et al., Clotho, 2019 |
| Tamaño oficial de AudioCaps | 51.308 clips de 10 segundos | Mei et al., Audio Captioning Overview, 2022 |
| Archivos de entrenamiento de AudioCaps aún disponibles para un equipo de investigación | 46.213 de 49.838 (92,7%) | Labbé et al., CoNeTTE, 2023 |
| Tamaño de WavCaps | 403.050 clips, 7.567,92 horas | Mei et al., WavCaps, 2023 |
| Clips de FreeSound de WavCaps antes frente a después de la limpieza con ChatGPT | 567.078 frente a 262.300 | Mei et al., WavCaps, 2023 |
| SPIDEr (porcentaje) entrenando solo con el conjunto de datos objetivo frente a preentrenado en WavCaps y ajustado en el objetivo | HTSAT-BART en AudioCaps: 44,4 frente a 48,5; CNN14-BART en Clotho: 25,5 frente a 31,0 | Mei et al., WavCaps, 2023 |
| Entradas de descripción de AudioSetCaps; descripciones en sus tres conjuntos de datos ampliados | 1.910.920; 6.117.099 | Bai et al., AudioSetCaps, 2024 |
| Puntuación media de opinión humana sobre 5 en 79 clips | Etiquetas de AudioSet 3,81; AudioCaps 3,79; AudioSetCaps 3,70; WavCaps 3,70; Auto-ACD 3,60 | Bai et al., AudioSetCaps, 2024 |
Datos más recientes disponibles para Clotho: Drossos et al., 2019. Los clips de AudioCaps provienen de YouTube, así que la disponibilidad disminuye a medida que desaparecen los videos, y dos equipos pueden no estar entrenando con los mismos archivos.
5. Métricas de Evaluación: ¿Las Puntuaciones Reflejan el Juicio Humano?
Una clasificación vale lo que valga su métrica, y las métricas usadas en los primeros años de esta tarea nunca se diseñaron para el sonido. FENSE, la métrica de clasificación de 2024, sigue discrepando de la preferencia humana en aproximadamente uno de cada cuatro pares de Clotho-Eval (100 menos 75,7 da 24,3%). SPICE lo hace peor y, en pares de dos descripciones humanas correctas, queda por debajo del azar.
El lado humano también es inestable. Cuando los evaluadores puntuaron las descripciones en una escala absoluta, el acuerdo fue pobre, con un kappa de Fleiss (medida del acuerdo entre evaluadores, donde 1 es perfecto) de 0,18 en Clotho. Preguntar cuál de dos descripciones es mejor lo elevó a 0,48. Por eso estas pruebas comparan pares. La generación de métricas de 2024 añade el audio o un LLM como juez y gana unos puntos más, y CLAIR-A además explica sus puntuaciones con palabras, algo que los evaluadores humanos consideraron más justo que un número escueto de FENSE.
| Métrica | Valor | Fuente |
|---|---|---|
| Proporción de pares en que la métrica eligió la descripción preferida por los humanos, FENSE frente a SPICE | Clotho-Eval: 75,7% frente a 56,3%; AudioCaps-Eval: 85,3% frente a 59,7% | Zhou et al., FENSE, 2021 |
| Acuerdo entre evaluadores (kappa de Fleiss), puntuaciones absolutas frente a elecciones por pares | Clotho: 0,18 frente a 0,48; AudioCaps: 0,23 frente a 0,33 | Zhou et al., FENSE, 2021 |
| Tamaño de las pruebas Clotho-Eval y AudioCaps-Eval | 1.750 y 1.671 pares; 250 clips cada una; 4 evaluadores por par | Zhou et al., FENSE, 2021 |
| Detector de errores de FENSE con umbral 0,9, en 723 descripciones generadas por máquina | Precisión 96,8, exhaustividad 76,4, F1 85,4 | Zhou et al., FENSE, 2021 |
| Exactitud en pares de Clotho-Eval de dos descripciones humanas correctas: SPICE, FENSE, MACE | 44,3%, 60,5%, 63,3% | Dixit et al., MACE, 2024 |
| Exactitud global en Clotho-Eval: CLAIR-A con GPT-4o frente a FENSE | 79,7% frente a 75,7% | Wu et al., CLAIR-A, 2024 |
| Valoración humana de justicia sobre 5 para las puntuaciones de FENSE frente a las de CLAIR-A con razones escritas (N=200) | 2,97 frente a 3,66 | Wu et al., CLAIR-A, 2024 |
Datos más recientes disponibles para las propias pruebas de pares: Zhou et al., 2021. Los estudios más nuevos vuelven a aplicar nuevas métricas a esos mismos pares de 2021.
6. Grandes Modelos de Audio, Tamaño del Modelo y Sonidos Inventados
La descripción de audio ha pasado de ser una tarea propia a una habilidad secundaria de los modelos de audio generales, y los especialistas siguen liderando en su terreno. Audio Flamingo 3 elevó el CIDEr en AudioCaps de 0,58 a 0,70, pero eso sigue muy por debajo del consenso humano de 0,90 de la sección 3 y de los 84,8 (en una escala de 0 a 100) obtenidos por un modelo entrenado en AudioSetCaps y ajustado en AudioCaps. El tamaño tampoco garantiza nada: un modelo de 12,0M de parámetros compite con sistemas de 171M y 400M.
Buenas descripciones no sustituyen a escuchar. Cuando MMAU-Pro entregó descripciones a GPT-4o en lugar del audio, la exactitud cayó al 35,3%, frente al 59,2% de un modelo que recibe el audio directamente. Quien siga la misma división en la voz puede comparar nuestros benchmarks de preguntas y respuestas habladas.
Los resultados de BRACE muestran una personalidad dividida. GPT-4o-Audio-Preview fue el mejor detectando una descripción con un sustantivo inventado, pero flojo al ordenar dos descripciones reales. El riesgo es un reflejo de la alucinación en el reconocimiento de voz, con sonidos inventados en lugar de palabras inventadas.
| Métrica | Valor | Fuente |
|---|---|---|
| CIDEr, Audio Flamingo 2 frente a Audio Flamingo 3 | AudioCaps: 0,58 frente a 0,70; Clotho-v2: 0,46 frente a 0,50 | Goel et al., Audio Flamingo 3, 2025 |
| Modelo preentrenado en AudioSetCaps, AudioCaps y Clotho y luego ajustado en AudioCaps: puntuaciones en el conjunto de prueba de AudioCaps | CIDEr 84,8, SPIDEr 51,6 | Bai et al., AudioSetCaps, 2024 |
| Parámetros entrenables en AudioCaps: CNext-trans frente a HTSAT-BART frente a PYB | 12,0M frente a 171M frente a 400M | Labbé et al., CoNeTTE, 2023 |
| Ordenación de la calidad de las descripciones en 2.496 pares (BRACE-Main), F1: mejor métrica basada en CLAP frente a Audio Flamingo 2 frente a GPT-4o-Audio-Preview | 70,01 frente a 63,19 frente a 55,24 | Guo et al., BRACE, 2025 |
| Detección de una descripción con un sustantivo cambiado en 10.315 pares (BRACE-Hallucination), F1 en AudioCaps y Clotho: GPT-4o-Audio-Preview frente a Audio Flamingo 2 | 95,76 y 96,75 frente a 79,55 y 72,91 | Guo et al., BRACE, 2025 |
| Promedio de MMAU-Pro en 5.305 preguntas: descripciones más GPT-4o frente a Audio Flamingo 3 frente a Gemini 2.5 Flash | 35,3 frente a 51,7 frente a 59,2 | Kumar et al., MMAU-Pro, 2025 |
| Exactitud en preguntas y respuestas sobre audio, mejor participación frente a la base de comparación más fuerte (dos pruebas distintas) | 2025: 73,74% frente a 52,09%; 2026: 58,33% frente a 53,17% | Resultados de la Tarea 5 de DCASE 2025 y de la Tarea 5 de DCASE 2026 |
7. Descripciones con Marcas de Tiempo: Hacia Dónde se Movió el Benchmark
Una frase para un clip entero no puede decir cuándo ocurrió algo, y los conjuntos de datos más nuevos existen para resolverlo. La tarea de 2026 sobre encontrar un momento en audio largo atrajo a 21 equipos y 59 envíos, más que cualquiera de las cinco ediciones de descripción de la sección 2, y el mejor Recall1@0.7, de 48,59, superó en más de tres veces la línea base de 13,56 (48,59 dividido entre 13,56 da 3,6). Recall1@0.7 pregunta si la mejor conjetura del modelo se solapa con el momento real en al menos 0,7.
La diferencia entre el mejor resultado de la tarea y los 20,3 informados en el artículo del conjunto de datos es grande, pero ambos se midieron en conjuntos de prueba distintos. TACOS aporta una segunda señal: cuando el entrenamiento pasó de descripciones por clip a descripciones alineadas en el tiempo, la detección de sonidos guiada por texto puntuó más alto, aunque quedó muy por debajo del entrenamiento supervisado.
| Métrica | Valor | Fuente |
|---|---|---|
| Tamaño de TACOS | 12.358 grabaciones; 47.748 descripciones alineadas en el tiempo; 76,59 horas | Primus et al., TACOS, 2025 |
| Anotación de TACOS | 337 estudiantes; 3,57 descripciones por clip de media; 92,84% de cada clip cubierto de media | Primus et al., TACOS, 2025 |
| Detección de sonidos guiada por texto en 50 categorías, PSDS1 (una puntuación de detección): preentrenamiento, ajuste por clip, ajuste alineado en el tiempo, totalmente supervisado | 4,61, 12,44, 17,99, 54,26 | Primus et al., TACOS, 2025 |
| Tamaño de CASTELLA | 1.862 grabaciones de 1 a 5 minutos; 3.881 descripciones locales; 11.308 marcas de tiempo; más de 120 horas | Munakata et al., CASTELLA, 2025 |
| Tamaño de Clotho-Moment, el conjunto de datos sintético complementario | 44,3 mil clips anotados; 853 horas | Munakata et al., CASTELLA, 2025 |
| Mejor Recall1@0.7 en el artículo de CASTELLA | 20,3 | Munakata et al., CASTELLA, 2025 |
| Tarea de 2026 de recuperación de momentos en audio: equipos, envíos, mejor frente a línea base en Recall1@0.7 | 21 equipos; 59 envíos; 48,59 frente a 13,56 | DCASE 2026, resultados de la Tarea 6 |
Resumen: Descripción Automática de Audio en Cifras
| Métrica | Valor | Fuente |
|---|---|---|
| Ganador de 2024 frente a la línea base | FENSE 0,554 frente a 0,510; SPIDEr-FL 0,241 frente a 0,287 | DCASE Challenge, resultados de la Tarea 6, 2024 |
| SPIDEr de consenso humano en AudioCaps y Clotho | 0,56 y 0,54 | Mei et al., Audio Captioning Overview, 2022 |
| SPIDEr de CNext-trans, conjunto de prueba de AudioCaps frente al de Clotho | 0,466 frente a 0,301 | Labbé et al., CoNeTTE, 2023 |
| Clotho versión 1 | 4.981 clips, 24.905 descripciones | Drossos et al., Clotho, 2019 |
| Tamaño oficial de AudioCaps | 51.308 clips | Mei et al., Audio Captioning Overview, 2022 |
| Tamaño de WavCaps | 403.050 clips, 7.567,92 horas | Mei et al., WavCaps, 2023 |
| Entradas de descripción de AudioSetCaps | 1.910.920 | Bai et al., AudioSetCaps, 2024 |
| Puntuación media de opinión humana sobre 5, AudioCaps frente a AudioSetCaps | 3,79 frente a 3,70 | Bai et al., AudioSetCaps, 2024 |
| Exactitud en Clotho-Eval, FENSE frente a SPICE | 75,7% frente a 56,3% | Zhou et al., FENSE, 2021 |
| Acuerdo entre evaluadores en Clotho (kappa de Fleiss), puntuaciones absolutas frente a elecciones por pares | 0,18 frente a 0,48 | Zhou et al., FENSE, 2021 |
| Exactitud en pares de dos descripciones humanas correctas, SPICE en Clotho-Eval | 44,3% | Dixit et al., MACE, 2024 |
| Exactitud global en Clotho-Eval, CLAIR-A con GPT-4o | 79,7% | Wu et al., CLAIR-A, 2024 |
| CIDEr en AudioCaps, Audio Flamingo 2 frente a Audio Flamingo 3 | 0,58 frente a 0,70 | Goel et al., Audio Flamingo 3, 2025 |
| F1 de GPT-4o-Audio-Preview, ordenar la calidad de las descripciones frente a detectar un sustantivo cambiado en AudioCaps | 55,24 frente a 95,76 | Guo et al., BRACE, 2025 |
| Promedio de MMAU-Pro, descripciones más GPT-4o frente a Gemini 2.5 Flash | 35,3 frente a 59,2 | Kumar et al., MMAU-Pro, 2025 |
| Descripciones alineadas en el tiempo de TACOS | 47.748 | Primus et al., TACOS, 2025 |
| Descripciones locales de CASTELLA | 3.881 | Munakata et al., CASTELLA, 2025 |
| Artículos con ‘audio captioning’ en el título, 2024 frente a 2025 | 36 frente a 33 | Búsqueda por título en OpenAlex, 31 de octubre de 2026 |
Metodología y Fuentes
Leímos las tablas de resultados, las páginas de las tareas y los artículos que aparecen a continuación durante esta actualización y citamos a los autores originales. Ninguna cifra proviene de un blog ni de un espejo de clasificaciones.
- Resultados de DCASE Challenge: 2020, 2021, 2022, 2023, 2024, 2025, Tarea 5, 2026, Tarea 5, 2026, Tarea 6; páginas de las tareas: 2020, 2022, 2024, 2026, Tarea 6; programas: 2025, 2026.
- Jung et al., informe técnico sobre fusión de codificadores y resumen con LLM, 2024.
- Drossos et al., Clotho: An Audio Captioning Dataset, 2019.
- Mei et al., Automated Audio Captioning: An Overview of Recent Progress and New Challenges, 2022.
- Mei et al., WavCaps, 2023.
- Bai et al., AudioSetCaps, 2024.
- Labbé et al., CoNeTTE, 2023.
- Zhou et al., Can Audio Captions Be Evaluated with Image Caption Metrics?, 2021.
- Dixit et al., MACE, 2024.
- Wu et al., CLAIR-A, 2024.
- Guo et al., BRACE, 2025.
- Goel et al., Audio Flamingo 3, 2025.
- Kumar et al., MMAU-Pro, 2025.
- Primus et al., TACOS, 2025.
- Munakata et al., CASTELLA, 2025.
- Búsqueda por título en OpenAlex y búsqueda general, ambas realizadas el 31 de octubre de 2026.
- Nota sobre los datos: las puntuaciones de distintas ediciones no son estrictamente comparables. La métrica de clasificación cambió de SPIDEr (2020 a 2022) a SPIDEr-FL (2023) y a FENSE (2024), la edición de 2020 usó Clotho versión 1 mientras que las de 2022 y 2024 usaron la versión 2, y la partición reservada se llamó partición de prueba hasta 2023 y partición de evaluación en 2024. Los totales de Clotho difieren según la edición: la página de la tarea de 2022 indica 6.974 clips y 34.870 descripciones, la de 2024 indica 6.972 y 34.860. El texto de CoNeTTE indica 3.840 archivos de entrenamiento de Clotho y su tabla indica 3.839, y su conclusión cita una cifra de 49,5% que coincide con el codificador con solapamiento de su Tabla V, así que citamos la tabla. WavCaps tiene 7.567,92 horas en su propio artículo y 7.563,3 en CoNeTTE. El texto de MACE parece intercambiar sus cifras de Clotho-Eval y AudioCaps-Eval para FENSE, así que seguimos el artículo original de FENSE; el resumen de CLAIR-A afirma una mejora del 5,8% sobre FENSE mientras que su tabla muestra 4,0 puntos, así que citamos la tabla. El Avg-All de BRACE para GPT-4o-Audio-Preview en alucinación (96,37) no es igual a la media de sus dos columnas, así que citamos las columnas; sus descripciones con sustantivo cambiado fueron escritas por GPT-4o, de la misma familia que el mejor detector, y sus pares filtrados conservan solo los votos humanos unánimes. AudioSetCaps indica “al menos cinco” evaluadores en su texto y una cifra distinta en el pie de una figura; no confirmamos si los clips de prueba de AudioCaps se excluyeron de su entrenamiento basado en AudioSet. CIDEr se informa en escalas de 0 a 1 y de 0 a 100, y Audio Flamingo 2 etiqueta su puntuación en AudioCaps como zero-shot, así que las comparaciones de CIDEr entre artículos son aproximadas. Clotho-Moment figura como 44,3 mil clips en el artículo de CASTELLA y como más de 51.240 grabaciones con 44.261 descripciones en la página de la tarea de 2026. Los recuentos de OpenAlex cambian a medida que se añaden registros, y 2026 es un año parcial. Los datos más recientes disponibles para las secciones 3 a 5 incluyen artículos de 2019 a 2023; no apareció ningún estudio de consenso más nuevo.
Última actualización: 31 de octubre de 2026. Actualizamos este informe trimestralmente, y la próxima revisión se espera cuando DCASE Challenge 2027 publique las descripciones de sus tareas.