Le système vainqueur de la dernière édition de la tâche DCASE de légendage audio a obtenu un FENSE de 0,554, soit seulement 0,044 de plus que le système de base des organisateurs (0,510), et 29 des 30 systèmes d’équipe ont battu cette base (DCASE Challenge, Task 6 Results 2024). Les humains restent loin devant sur le jeu de données le plus difficile : les légendes de référence s’accordent entre elles à un SPIDEr de 0,54 sur Clotho (Mei et al., Audio Captioning Overview, 2022), tandis qu’un modèle compact atteint 0,301 (Labbé et al., CoNeTTE, 2023). La règle de mesure est elle aussi imparfaite, car la métrique FENSE choisit la légende préférée des humains dans 75,7% des paires de Clotho-Eval (Zhou et al., FENSE, 2021). Ce tour d’horizon porte sur des machines qui décrivent des sons autres que la parole, pas sur le sous-titrage de la parole, traité dans nos statistiques sur les légendes et sous-titres et notre tour d’horizon du marché du sous-titrage. Nous avons agrégé les données des articles sur les jeux de données Clotho, AudioCaps, WavCaps et AudioSetCaps, des études d’évaluation FENSE, MACE, CLAIR-A et BRACE, des articles Audio Flamingo et MMAU-Pro, d’OpenAlex et des propres tableaux de résultats du concours.
Quelques termes reviennent plus bas. Une « légende » désigne ici une phrase décrivant des sons, écrite par une machine ou par un humain. Un « système de base » (baseline) est le système de référence fourni par les organisateurs, que les équipes cherchent à battre. SPIDEr, CIDEr et SPICE sont des scores empruntés au légendage d’images, FENSE combine la similarité des phrases avec une pénalité pour grammaire défaillante, et SPIDEr-FL est SPIDEr avec une pénalité similaire. Pour tous, plus la valeur est élevée, mieux c’est.
TL;DR
- Le vainqueur 2024 a battu le système de base sur FENSE, 0,554 contre 0,510, mais restait derrière sur SPIDEr-FL, 0,241 contre 0,287 (DCASE Challenge, Task 6 Results 2024).
- Les légendes de référence humaines s’accordent à un SPIDEr de 0,56 sur AudioCaps et de 0,54 sur Clotho (Mei et al., Audio Captioning Overview, 2022).
- Un modèle a obtenu un SPIDEr de 0,466 sur AudioCaps mais de 0,301 sur Clotho (Labbé et al., CoNeTTE, 2023).
- FENSE a coïncidé avec la préférence humaine dans 75,7% des paires de Clotho-Eval ; SPICE dans 56,3% (Zhou et al., FENSE, 2021).
- Sur des paires de deux légendes humaines correctes, SPICE a obtenu 44,3% sur Clotho-Eval, soit moins qu’un tirage à pile ou face (Dixit et al., MACE, 2024).
- WavCaps contient 403 050 extraits et 7 567,92 heures d’audio (Mei et al., WavCaps, 2023).
- AudioSetCaps contient 1 910 920 légendes, notées 3,70 sur 5 par des humains (Bai et al., AudioSetCaps, 2024).
- GPT-4o-Audio-Preview a obtenu un F1 de 95,76 et 96,75 pour repérer les sons inventés dans les légendes, mais de 55,24 pour classer leur qualité (Guo et al., BRACE, 2025).
- Les articles avec ‘audio captioning’ dans le titre sont passés de 6 en 2019 à 36 en 2024 (OpenAlex, recherche par titre, 31 octobre 2026).
1. Scores du classement : cinq éditions, des écarts qui se resserrent
L’histoire de ce classement est celle d’un plancher qui monte. En termes de SPIDEr, l’avance du vainqueur sur le système de base est passée de 0,298 en 2021 (0,310 moins 0,012) à 0,095 en 2022 (0,319 moins 0,224), parce que le système de départ des organisateurs s’est amélioré bien plus vite que le haut du tableau. En 2024, le système de base se classait 30e sur 31 entrées, et tout le peloton tenait entre un FENSE de 0,508 et 0,554.
Le classement est aussi proche d’une égalité statistique en tête. L’intervalle à 95% du vainqueur (0,543 à 0,563) chevauche celui du deuxième (0,534 à 0,555), même s’il dépasse celui du système de base (0,499 à 0,521). Changez de métrique et l’ordre change : l’entrée gagnante a échantillonné des légendes candidates, les a filtrées et les a résumées avec GPT-4 Turbo, ce qui convenait bien mieux à FENSE qu’à SPIDEr-FL. La section 5 examine dans quelle mesure on peut se fier à chaque métrique.
| Métrique | Valeur | Source |
|---|---|---|
| Meilleur SPIDEr contre celui du système de base sur la partition de classement réservée, par édition | 2020 : 0,222 contre 0,018 ; 2021 : 0,310 contre 0,012 ; 2022 : 0,319 contre 0,224 | Résultats de la Task 6 de DCASE 2020, 2021 et 2022 |
| Meilleur SPIDEr-FL 2023 contre celui du système de base sur la partition de classement réservée | 0,327 contre 0,264 | Résultats de la Task 6a de DCASE 2023 |
| Meilleur FENSE 2024 contre celui du système de base sur la partition d’évaluation de Clotho | 0,554 (IC à 95% de 0,543 à 0,563) contre 0,510 (IC à 95% de 0,499 à 0,521) | Résultats de la Task 6 de DCASE 2024 |
| SPIDEr-FL du vainqueur 2024 contre celui du système de base ; SPIDEr-FL le plus élevé de toutes les entrées 2024 | 0,241 contre 0,287 ; maximum 0,329, issu d’un système signalé pour une fuite de données | Résultats de la Task 6 de DCASE 2024 |
| Modèle unique d’une équipe contre son ensemble de 25 modèles, FENSE dans son propre rapport | 0,5410 contre 0,5442 (système de base 0,5040) | Jung et al., rapport technique 2024 |
Données les plus récentes disponibles : DCASE Challenge, Task 6 Results 2024. Aucune édition ultérieure n’a de tâche de légendage. La ligne de l’ensemble montre le peu qu’il restait à gagner par la force brute : 25 modèles ont ajouté 0,0032 de FENSE (0,5442 moins 0,5410).
2. Participation et volume de publications
Le nombre d’équipes est resté stable : la tâche a réuni entre 9 et 12 équipes pendant cinq ans, puis a quitté le programme. Ni le programme 2025 (six tâches) ni celui de 2026 (sept tâches) ne liste le légendage audio. Les pages publiées n’en donnent pas la raison, mais les tâches de remplacement laissent entrevoir la direction, que suit la section 7.
La production académique raconte une histoire semblable. Les articles contenant cette expression dans leur titre ont été multipliés par six entre 2019 et 2024 (36 divisé par 6), puis ont plafonné. Une recherche OpenAlex plus large continue de grimper, ce qui laisse penser que le légendage devient une fonctionnalité au sein de modèles audio plus vastes plutôt qu’un domaine à part. Cette lecture est la nôtre, et la recherche large est bruitée.
| Métrique | Valeur | Source |
|---|---|---|
| Équipes et systèmes soumis par édition, hors système de base | 2020 : 10 et 34 ; 2021 : 12 et 37 ; 2022 : 9 et 36 ; 2023 : 10 et 28 ; 2024 : 11 et 30 | Résultats de la Task 6 de DCASE 2020 à 2024 (liens à la section 1) |
| Tâches de légendage dans le programme du concours ; entrées soumises sur l’ensemble du programme 2025 | 2025 : 0 tâche sur 6 ; 2026 : 0 tâche sur 7 ; 277 entrées en 2025 | Pages de programme DCASE 2025 et DCASE 2026 |
| Articles avec ‘audio captioning’ dans le titre, par année de publication | 2019 : 6 ; 2022 : 27 ; 2024 : 36 ; 2025 : 33 ; 2026 au 31 octobre : 29 | Recherche par titre OpenAlex, 31 octobre 2026 |
| Tous les articles avec ‘audio captioning’ dans le titre, de 2017 au 31 octobre 2026 | 203 | Recherche par titre OpenAlex, 31 octobre 2026 |
| Enregistrements renvoyés par la recherche d’expression OpenAlex plus large | 2 109 au total ; 433 en 2025 ; 726 en 2026 au 31 octobre | Recherche générale OpenAlex, 31 octobre 2026 |
3. Le plafond humain : l’écart entre les machines et l’accord humain
Le légendage audio n’a pas de réponse unique, si bien que les chercheurs notent les références humaines les unes par rapport aux autres pour estimer un plafond, appelé score de consensus. Les humains s’accordent à presque le même niveau sur les deux principaux jeux de données, SPIDEr 0,56 sur AudioCaps et 0,54 sur Clotho, et pourtant la même architecture de modèle atterrit très loin : 0,466 et 0,301.
Rapporté au chiffre humain, cela représente environ 83% sur AudioCaps (0,466 divisé par 0,56) et 56% sur Clotho (0,301 divisé par 0,54). L’écart ne s’explique donc pas par le seul désaccord entre humains. Les extraits de Clotho sont aussi plus longs, 15 à 30 secondes contre 10, et MACS montre l’autre extrême, où les légendes humaines d’un même extrait se recoupent à peine dans leur formulation. Son chiffre Sentence-BERT tient bien mieux que son chiffre SPIDEr, ce qui suggère que les gens décrivent la même scène avec des mots différents.
La dernière ligne compte pour quiconque lit des affirmations sur AudioCaps. Les encodeurs préentraînés sur AudioSet ont déjà entendu les fichiers de test d’AudioCaps, et retirer ces fichiers du préentraînement a coûté 0,029 de SPIDEr à un modèle.
| Métrique | Valeur | Source |
|---|---|---|
| SPIDEr de consensus humain sur AudioCaps, Clotho et MACS | 0,56, 0,54 et 0,17 | Mei et al., Audio Captioning Overview, 2022 |
| CIDEr de consensus humain sur AudioCaps, Clotho et MACS | 0,90, 0,86 et 0,21 | Mei et al., Audio Captioning Overview, 2022 |
| Sentence-BERT de consensus humain sur AudioCaps, Clotho et MACS | 0,64, 0,53 et 0,52 | Mei et al., Audio Captioning Overview, 2022 |
| Même architecture CNext-trans, SPIDEr sur le jeu de test d’AudioCaps contre celui de Clotho | 0,466 contre 0,301 | Labbé et al., CoNeTTE, 2023 |
| Même architecture CNext-trans, FENSE sur le jeu de test d’AudioCaps contre celui de Clotho | 0,633 contre 0,516 | Labbé et al., CoNeTTE, 2023 |
| SPIDEr de CNext-trans sur AudioCaps, encodeur ayant entendu l’audio de test contre encodeur ne l’ayant pas entendu | 0,495 contre 0,466 | Labbé et al., CoNeTTE, 2023 |
Données les plus récentes disponibles : Mei et al., Audio Captioning Overview, 2022. Les chiffres de consensus utilisent des sous-ensembles différents de ceux des scores des modèles : validation et test d’AudioCaps, entraînement de Clotho, et extraits de MACS ayant cinq références.
4. Échelle des jeux de données : des légendes participatives aux légendes écrites par des LLM
L’annotation humaine a fondé le domaine, et les grands modèles de langage (LLM) l’ont fait passer à l’échelle. WavCaps contient 403 050 extraits et environ 60 fois plus d’audio que l’ensemble d’entraînement d’AudioCaps (7 563,3 heures divisées par 126,6 heures, toutes deux issues de Labbé et al., 2023). AudioSetCaps a ensuite porté le total à 1 910 920 légendes, la longueur moyenne d’une légende passant de 11 mots dans Clotho à 28.
Plus de données n’a pas voulu dire gains gratuits. WavCaps n’a conservé que 46,3% de ses extraits FreeSound (262 300 sur 567 078) après nettoyage, et le préentraînement dessus a relevé les scores de façon modeste. La qualité brute a aussi mieux tenu que le nom « faiblement étiqueté » ne le laisse penser, même si 79 extraits forment un petit échantillon.
| Métrique | Valeur | Source |
|---|---|---|
| Taille de Clotho version 1 | 4 981 extraits, 24 905 légendes, 15 à 30 secondes par extrait | Drossos et al., Clotho, 2019 |
| Taille officielle d’AudioCaps | 51 308 extraits de 10 secondes | Mei et al., Audio Captioning Overview, 2022 |
| Fichiers d’entraînement d’AudioCaps encore disponibles pour une équipe de recherche | 46 213 sur 49 838 (92,7%) | Labbé et al., CoNeTTE, 2023 |
| Taille de WavCaps | 403 050 extraits, 7 567,92 heures | Mei et al., WavCaps, 2023 |
| Extraits FreeSound de WavCaps avant et après nettoyage avec ChatGPT | 567 078 contre 262 300 | Mei et al., WavCaps, 2023 |
| SPIDEr (pourcentage) entraîné uniquement sur le jeu cible contre préentraîné sur WavCaps puis affiné sur le jeu cible | HTSAT-BART sur AudioCaps : 44,4 contre 48,5 ; CNN14-BART sur Clotho : 25,5 contre 31,0 | Mei et al., WavCaps, 2023 |
| Entrées de légendes d’AudioSetCaps ; légendes dans ses trois jeux de données étendus | 1 910 920 ; 6 117 099 | Bai et al., AudioSetCaps, 2024 |
| Note d’opinion moyenne humaine sur 5, sur 79 extraits | Étiquettes AudioSet 3,81 ; AudioCaps 3,79 ; AudioSetCaps 3,70 ; WavCaps 3,70 ; Auto-ACD 3,60 | Bai et al., AudioSetCaps, 2024 |
Données les plus récentes disponibles pour Clotho : Drossos et al., 2019. Les extraits d’AudioCaps proviennent de YouTube, si bien que leur disponibilité diminue à mesure que des vidéos disparaissent, et deux équipes peuvent ne pas s’entraîner sur les mêmes fichiers.
5. Métriques d’évaluation : les scores reflètent-ils le jugement humain ?
Un classement ne vaut que par sa métrique, et celles utilisées pendant les premières années de cette tâche n’ont jamais été conçues pour le son. FENSE, la métrique de classement 2024, est encore en désaccord avec la préférence humaine dans environ une paire de Clotho-Eval sur quatre (100 moins 75,7 donne 24,3%). SPICE fait moins bien, et sur des paires de deux légendes humaines correctes, il tombe sous le hasard.
Le côté humain est fragile lui aussi. Lorsque les évaluateurs notaient les légendes sur une échelle absolue, l’accord était faible, avec un kappa de Fleiss (une mesure de l’accord entre évaluateurs, où 1 est parfait) de 0,18 sur Clotho. Demander laquelle de deux légendes est la meilleure l’a porté à 0,48. C’est pourquoi ces références comparent des paires. La génération 2024 de métriques ajoute l’audio ou un juge LLM et gagne quelques points de plus, et CLAIR-A explique aussi ses scores en mots, ce que les évaluateurs humains ont jugé plus équitable qu’un simple nombre FENSE.
| Métrique | Valeur | Source |
|---|---|---|
| Part des paires où la métrique a choisi la légende préférée des humains, FENSE contre SPICE | Clotho-Eval : 75,7% contre 56,3% ; AudioCaps-Eval : 85,3% contre 59,7% | Zhou et al., FENSE, 2021 |
| Accord entre évaluateurs (kappa de Fleiss), scores absolus contre choix par paires | Clotho : 0,18 contre 0,48 ; AudioCaps : 0,23 contre 0,33 | Zhou et al., FENSE, 2021 |
| Taille des références Clotho-Eval et AudioCaps-Eval | 1 750 et 1 671 paires ; 250 extraits chacune ; 4 évaluateurs par paire | Zhou et al., FENSE, 2021 |
| Détecteur d’erreurs FENSE au seuil de 0,9, sur 723 légendes de machine | Précision 96,8, rappel 76,4, F1 85,4 | Zhou et al., FENSE, 2021 |
| Exactitude sur les paires Clotho-Eval de deux légendes humaines correctes : SPICE, FENSE, MACE | 44,3%, 60,5%, 63,3% | Dixit et al., MACE, 2024 |
| Exactitude globale sur Clotho-Eval : CLAIR-A avec GPT-4o contre FENSE | 79,7% contre 75,7% | Wu et al., CLAIR-A, 2024 |
| Note d’équité humaine sur 5 pour les scores FENSE contre les scores CLAIR-A accompagnés de justifications écrites (N=200) | 2,97 contre 3,66 | Wu et al., CLAIR-A, 2024 |
Données les plus récentes disponibles pour les références par paires elles-mêmes : Zhou et al., 2021. Des études plus récentes refont tourner de nouvelles métriques sur ces mêmes paires de 2021.
6. Grands modèles audio, taille des modèles et sons inventés
Le légendage est passé d’une tâche dédiée à une compétence annexe des modèles audio généralistes, et les spécialistes gardent l’avantage sur leur terrain. Audio Flamingo 3 a fait passer le CIDEr sur AudioCaps de 0,58 à 0,70, mais cela reste bien sous le consensus humain de 0,90 de la section 3 et sous le 84,8 (sur une échelle de 0 à 100) rapporté pour un modèle entraîné sur AudioSetCaps et ajusté sur AudioCaps. La taille ne garantit rien non plus : un modèle de 12,0M de paramètres rivalise avec des systèmes de 171M et 400M.
De bonnes légendes ne remplacent pas l’écoute. Lorsque MMAU-Pro a fourni des légendes à GPT-4o au lieu de l’audio, l’exactitude est tombée à 35,3%, contre 59,2% pour un modèle qui prend directement l’audio. Les lecteurs qui suivent la même séparation dans la parole peuvent comparer avec nos références de questions-réponses orales.
Les résultats de BRACE montrent une double personnalité. GPT-4o-Audio-Preview était le meilleur pour repérer une légende contenant un seul nom inventé, mais faible pour classer deux vraies légendes. Le risque rejoint l’hallucination de la reconnaissance vocale, avec des sons inventés à la place de mots inventés.
| Métrique | Valeur | Source |
|---|---|---|
| CIDEr, Audio Flamingo 2 contre Audio Flamingo 3 | AudioCaps : 0,58 contre 0,70 ; Clotho-v2 : 0,46 contre 0,50 | Goel et al., Audio Flamingo 3, 2025 |
| Modèle préentraîné sur AudioSetCaps, AudioCaps et Clotho puis affiné sur AudioCaps : scores sur le jeu de test d’AudioCaps | CIDEr 84,8, SPIDEr 51,6 | Bai et al., AudioSetCaps, 2024 |
| Paramètres entraînables sur AudioCaps : CNext-trans contre HTSAT-BART contre PYB | 12,0M contre 171M contre 400M | Labbé et al., CoNeTTE, 2023 |
| Classement de la qualité des légendes sur 2 496 paires (BRACE-Main), F1 : meilleure métrique basée sur CLAP contre Audio Flamingo 2 contre GPT-4o-Audio-Preview | 70,01 contre 63,19 contre 55,24 | Guo et al., BRACE, 2025 |
| Repérage d’une légende dont un nom a été remplacé, sur 10 315 paires (BRACE-Hallucination), F1 sur AudioCaps et Clotho : GPT-4o-Audio-Preview contre Audio Flamingo 2 | 95,76 et 96,75 contre 79,55 et 72,91 | Guo et al., BRACE, 2025 |
| Moyenne MMAU-Pro sur 5 305 questions : légendes plus GPT-4o contre Audio Flamingo 3 contre Gemini 2.5 Flash | 35,3 contre 51,7 contre 59,2 | Kumar et al., MMAU-Pro, 2025 |
| Exactitude en questions-réponses sur l’audio, meilleure entrée contre meilleur système de base (deux références différentes) | 2025 : 73,74% contre 52,09% ; 2026 : 58,33% contre 53,17% | Résultats de DCASE 2025 Task 5 et de DCASE 2026 Task 5 |
7. Légendes horodatées : là où la référence s’est déplacée
Une phrase pour tout un extrait ne peut pas dire quand quelque chose s’est produit, et les jeux de données les plus récents existent pour y remédier. La tâche 2026 de recherche d’un moment dans un audio long a réuni 21 équipes et 59 soumissions, plus qu’aucune des cinq éditions de légendage de la section 2, et le meilleur Recall1@0.7, 48,59, valait plus de trois fois les 13,56 du système de base (48,59 divisé par 13,56 donne 3,6). Recall1@0.7 demande si la meilleure proposition du modèle recoupe le vrai moment à au moins 0,7.
L’écart entre le meilleur résultat de la tâche et les 20,3 rapportés dans l’article du jeu de données est grand, mais les deux ont été mesurés sur des jeux de test différents. TACOS ajoute un second signal : quand l’entraînement est passé de légendes au niveau de l’extrait à des légendes alignées dans le temps, la détection de sons à partir de texte a obtenu de meilleurs scores, tout en restant très en dessous de l’entraînement supervisé.
| Métrique | Valeur | Source |
|---|---|---|
| Taille de TACOS | 12 358 enregistrements ; 47 748 légendes alignées dans le temps ; 76,59 heures | Primus et al., TACOS, 2025 |
| Annotation de TACOS | 337 étudiants ; 3,57 légendes par extrait en moyenne ; 92,84% de chaque extrait couvert en moyenne | Primus et al., TACOS, 2025 |
| Détection de sons à partir de texte sur 50 catégories, PSDS1 (un score de détection) : préentraînement, affinage au niveau de l’extrait, affinage avec alignement temporel, entièrement supervisé | 4,61, 12,44, 17,99, 54,26 | Primus et al., TACOS, 2025 |
| Taille de CASTELLA | 1 862 enregistrements de 1 à 5 minutes ; 3 881 légendes locales ; 11 308 horodatages ; plus de 120 heures | Munakata et al., CASTELLA, 2025 |
| Taille de Clotho-Moment, le jeu de données synthétique associé | 44,3K extraits annotés ; 853 heures | Munakata et al., CASTELLA, 2025 |
| Meilleur Recall1@0.7 dans l’article CASTELLA | 20,3 | Munakata et al., CASTELLA, 2025 |
| Tâche Audio Moment Retrieval 2026 : équipes, soumissions, meilleur Recall1@0.7 contre système de base | 21 équipes ; 59 soumissions ; 48,59 contre 13,56 | Résultats de la Task 6 de DCASE 2026 |
Résumé : le légendage audio automatique en chiffres
| Métrique | Valeur | Source |
|---|---|---|
| Vainqueur 2024 contre système de base | FENSE 0,554 contre 0,510 ; SPIDEr-FL 0,241 contre 0,287 | DCASE Challenge, Task 6 Results 2024 |
| SPIDEr de consensus humain sur AudioCaps et Clotho | 0,56 et 0,54 | Mei et al., Audio Captioning Overview, 2022 |
| SPIDEr de CNext-trans, jeu de test d’AudioCaps contre jeu de test de Clotho | 0,466 contre 0,301 | Labbé et al., CoNeTTE, 2023 |
| Clotho version 1 | 4 981 extraits, 24 905 légendes | Drossos et al., Clotho, 2019 |
| Taille officielle d’AudioCaps | 51 308 extraits | Mei et al., Audio Captioning Overview, 2022 |
| Taille de WavCaps | 403 050 extraits, 7 567,92 heures | Mei et al., WavCaps, 2023 |
| Entrées de légendes d’AudioSetCaps | 1 910 920 | Bai et al., AudioSetCaps, 2024 |
| Note d’opinion moyenne humaine sur 5, AudioCaps contre AudioSetCaps | 3,79 contre 3,70 | Bai et al., AudioSetCaps, 2024 |
| Exactitude sur Clotho-Eval, FENSE contre SPICE | 75,7% contre 56,3% | Zhou et al., FENSE, 2021 |
| Accord entre évaluateurs sur Clotho (kappa de Fleiss), scores absolus contre choix par paires | 0,18 contre 0,48 | Zhou et al., FENSE, 2021 |
| Exactitude sur les paires de deux légendes humaines correctes, SPICE sur Clotho-Eval | 44,3% | Dixit et al., MACE, 2024 |
| Exactitude globale sur Clotho-Eval, CLAIR-A avec GPT-4o | 79,7% | Wu et al., CLAIR-A, 2024 |
| CIDEr sur AudioCaps, Audio Flamingo 2 contre Audio Flamingo 3 | 0,58 contre 0,70 | Goel et al., Audio Flamingo 3, 2025 |
| F1 de GPT-4o-Audio-Preview, classement de la qualité des légendes contre repérage d’un nom remplacé sur AudioCaps | 55,24 contre 95,76 | Guo et al., BRACE, 2025 |
| Moyenne MMAU-Pro, légendes plus GPT-4o contre Gemini 2.5 Flash | 35,3 contre 59,2 | Kumar et al., MMAU-Pro, 2025 |
| Légendes alignées dans le temps de TACOS | 47 748 | Primus et al., TACOS, 2025 |
| Légendes locales de CASTELLA | 3 881 | Munakata et al., CASTELLA, 2025 |
| Articles avec ‘audio captioning’ dans le titre, 2024 contre 2025 | 36 contre 33 | Recherche par titre OpenAlex, 31 octobre 2026 |
Méthodologie et sources
Nous avons lu les tableaux de résultats, les pages de tâches et les articles ci-dessous lors de cette mise à jour et nous citons les auteurs originaux. Aucun chiffre ne provient d’un blog ou d’un miroir de classement.
- Résultats du DCASE Challenge : 2020, 2021, 2022, 2023, 2024, 2025 Task 5, 2026 Task 5, 2026 Task 6 ; pages de tâches : 2020, 2022, 2024, 2026 Task 6 ; programmes : 2025, 2026.
- Jung et al., rapport technique sur la fusion d’encodeurs et le résumé par LLM, 2024.
- Drossos et al., Clotho: An Audio Captioning Dataset, 2019.
- Mei et al., Automated Audio Captioning: An Overview of Recent Progress and New Challenges, 2022.
- Mei et al., WavCaps, 2023.
- Bai et al., AudioSetCaps, 2024.
- Labbé et al., CoNeTTE, 2023.
- Zhou et al., Can Audio Captions Be Evaluated with Image Caption Metrics?, 2021.
- Dixit et al., MACE, 2024.
- Wu et al., CLAIR-A, 2024.
- Guo et al., BRACE, 2025.
- Goel et al., Audio Flamingo 3, 2025.
- Kumar et al., MMAU-Pro, 2025.
- Primus et al., TACOS, 2025.
- Munakata et al., CASTELLA, 2025.
- Recherche par titre OpenAlex et recherche générale, toutes deux exécutées le 31 octobre 2026.
- Note sur les données : les scores d’une édition à l’autre ne sont pas strictement comparables. La métrique de classement est passée de SPIDEr (2020 à 2022) à SPIDEr-FL (2023) puis à FENSE (2024), l’édition 2020 a utilisé Clotho version 1 tandis que celles de 2022 et 2024 ont utilisé la version 2, et la partition réservée s’appelait partition de test jusqu’en 2023 et partition d’évaluation en 2024. Les totaux de Clotho diffèrent selon l’édition : la page de la tâche 2022 donne 6 974 extraits et 34 870 légendes, celle de 2024 6 972 et 34 860. Le texte de CoNeTTE donne 3 840 fichiers d’entraînement de Clotho et son tableau 3 839, et sa conclusion cite un chiffre de 49,5% qui correspond à l’encodeur avec recouvrement de son Tableau V, nous citons donc le tableau. WavCaps fait 7 567,92 heures dans son propre article et 7 563,3 dans CoNeTTE. Le texte de MACE semble intervertir ses chiffres Clotho-Eval et AudioCaps-Eval pour FENSE, nous suivons donc l’article FENSE d’origine ; le résumé de CLAIR-A revendique un gain de 5,8% sur FENSE alors que son tableau montre 4,0 points, nous citons donc le tableau. Le Avg-All de BRACE pour GPT-4o-Audio-Preview sur l’hallucination (96,37) n’est pas égal à la moyenne de ses deux colonnes, nous citons donc les colonnes ; ses légendes à nom remplacé ont été écrites par GPT-4o, la même famille de modèles que le meilleur détecteur, et ses paires filtrées ne retiennent que les votes humains unanimes. AudioSetCaps indique « au moins cinq » évaluateurs dans son texte et un chiffre différent dans la légende d’une figure ; nous n’avons pas confirmé si les extraits de test d’AudioCaps ont été exclus de son entraînement fondé sur AudioSet. CIDEr est rapporté sur des échelles de 0 à 1 et de 0 à 100, et Audio Flamingo 2 qualifie son score AudioCaps de zero-shot, donc les comparaisons de CIDEr entre articles sont approximatives. Clotho-Moment est indiqué à 44,3K extraits dans l’article CASTELLA et à plus de 51 240 enregistrements avec 44 261 légendes sur la page de la tâche 2026. Les comptes OpenAlex changent à mesure que des enregistrements sont ajoutés, et 2026 est une année partielle. Les données les plus récentes disponibles pour les sections 3 à 5 incluent des articles de 2019 à 2023 ; aucune étude de consensus plus récente n’a été trouvée.
Dernière mise à jour : 31 octobre 2026. Nous actualisons ce tour d’horizon chaque trimestre, et la prochaine révision est attendue lorsque le DCASE 2027 Challenge publiera ses descriptions de tâches.