O sistema vencedor da tarefa mais recente de descrição de áudio do DCASE fez FENSE 0,554, apenas 0,044 acima da linha de base dos organizadores, de 0,510, e 29 dos 30 sistemas de equipes superaram essa linha de base (DCASE Challenge, resultados da Tarefa 6, 2024). Os humanos ainda estão bem à frente no conjunto de dados mais difícil: as descrições de referência concordam entre si em SPIDEr 0,54 no Clotho (Mei et al., Audio Captioning Overview, 2022), enquanto um modelo compacto chega a 0,301 (Labbé et al., CoNeTTE, 2023). A régua também é imperfeita, pois a métrica FENSE escolhe a descrição que os humanos preferem em 75,7% dos pares do Clotho-Eval (Zhou et al., FENSE, 2021). Este levantamento trata de máquinas descrevendo sons que não são fala, não de legendas de fala, que cobrimos em nossas estatísticas de legendas e subtítulos e em nosso panorama do mercado de legendagem. Reunimos dados dos artigos dos conjuntos Clotho, AudioCaps, WavCaps e AudioSetCaps, dos estudos de avaliação FENSE, MACE, CLAIR-A e BRACE, dos artigos Audio Flamingo e MMAU-Pro, do OpenAlex e das próprias tabelas de resultados do desafio.
Alguns termos se repetem a seguir. Uma “descrição” aqui é uma frase, escrita por máquina ou por humano, que descreve sons. Uma “linha de base” é o sistema de referência fornecido pelos organizadores, que as equipes tentam superar. SPIDEr, CIDEr e SPICE são pontuações emprestadas da descrição de imagens, a FENSE combina similaridade entre frases com uma penalidade para gramática quebrada, e a SPIDEr-FL é a SPIDEr com uma penalidade semelhante. Em todas, quanto maior, melhor.
TL;DR
- O vencedor de 2024 superou a linha de base em FENSE, 0,554 vs 0,510, mas ficou atrás em SPIDEr-FL, 0,241 vs 0,287 (DCASE Challenge, resultados da Tarefa 6, 2024).
- As descrições humanas de referência concordam em SPIDEr 0,56 no AudioCaps e 0,54 no Clotho (Mei et al., Audio Captioning Overview, 2022).
- Um modelo fez SPIDEr 0,466 no AudioCaps, mas 0,301 no Clotho (Labbé et al., CoNeTTE, 2023).
- A FENSE coincidiu com a preferência humana em 75,7% dos pares do Clotho-Eval; a SPICE, em 56,3% (Zhou et al., FENSE, 2021).
- Em pares de duas descrições humanas corretas, a SPICE acertou 44,3% no Clotho-Eval, pior do que cara ou coroa (Dixit et al., MACE, 2024).
- O WavCaps reúne 403.050 clipes e 7.567,92 horas de áudio (Mei et al., WavCaps, 2023).
- O AudioSetCaps reúne 1.910.920 descrições, avaliadas por humanos com 3,70 em 5 (Bai et al., AudioSetCaps, 2024).
- O GPT-4o-Audio-Preview fez F1 95,76 e 96,75 ao identificar sons inventados em descrições, mas 55,24 ao ordenar a qualidade das descrições (Guo et al., BRACE, 2025).
- Os artigos com ‘audio captioning’ no título passaram de 6 em 2019 para 36 em 2024 (OpenAlex, busca por título, 31 de outubro de 2026).
1. Pontuações do Ranking: Cinco Edições, Margens Cada Vez Menores
A história deste ranking é a de um piso que sobe. Em termos de SPIDEr, a margem do vencedor sobre a linha de base passou de 0,298 em 2021 (0,310 menos 0,012) para 0,095 em 2022 (0,319 menos 0,224), porque o sistema inicial dos organizadores melhorou muito mais rápido do que o topo da tabela. Em 2024, a linha de base ficou em 30º entre 31 inscrições, e o campo inteiro coube entre FENSE 0,508 e 0,554.
O ranking também está perto de um empate estatístico no topo. O intervalo de 95% do vencedor (0,543 a 0,563) se sobrepõe ao do segundo colocado (0,534 a 0,555), embora fique acima do da linha de base (0,499 a 0,521). Mudando a métrica, a ordem muda: a inscrição vencedora amostrou descrições candidatas, filtrou-as e as resumiu com o GPT-4 Turbo, o que serviu muito melhor à FENSE do que à SPIDEr-FL. A seção 5 mostra até onde cada métrica merece confiança.
| Métrica | Valor | Fonte |
|---|---|---|
| SPIDEr do melhor vs linha de base na divisão reservada ao ranking, por edição | 2020: 0,222 vs 0,018; 2021: 0,310 vs 0,012; 2022: 0,319 vs 0,224 | DCASE 2020, 2021 e 2022, resultados da Tarefa 6 |
| SPIDEr-FL do melhor vs linha de base de 2023 na divisão reservada ao ranking | 0,327 vs 0,264 | DCASE 2023, resultados da Tarefa 6a |
| FENSE do melhor vs linha de base de 2024 na divisão de avaliação do Clotho | 0,554 (IC de 95% de 0,543 a 0,563) vs 0,510 (IC de 95% de 0,499 a 0,521) | DCASE 2024, resultados da Tarefa 6 |
| SPIDEr-FL do vencedor de 2024 vs linha de base; maior SPIDEr-FL entre todas as inscrições de 2024 | 0,241 vs 0,287; maior 0,329, de um sistema sinalizado por vazamento de dados | DCASE 2024, resultados da Tarefa 6 |
| Modelo único de uma equipe vs seu conjunto de 25 modelos, FENSE no próprio relatório | 0,5410 vs 0,5442 (linha de base 0,5040) | Jung et al., relatório técnico, 2024 |
Dados mais recentes disponíveis: DCASE Challenge, resultados da Tarefa 6, 2024. Nenhuma edição posterior tem uma tarefa de descrição de áudio. A linha do conjunto mostra quão pouco ainda havia a ganhar na força bruta: 25 modelos acrescentaram 0,0032 de FENSE (0,5442 menos 0,5410).
2. Participação e Volume de Publicações
O número de equipes ficou estável: a tarefa teve entre 9 e 12 equipes por cinco anos e depois saiu do programa. Nem o programa de 2025 (seis tarefas) nem o de 2026 (sete tarefas) lista a descrição de áudio. As páginas publicadas não dizem por quê, mas as tarefas que a substituíram indicam a direção, e a seção 7 a acompanha.
A produção acadêmica conta uma história parecida. Os artigos com a expressão no título se multiplicaram por seis entre 2019 e 2024 (36 dividido por 6) e depois estabilizaram. Uma busca mais ampla no OpenAlex continua subindo, o que sugere que a descrição de áudio está virando uma função dentro de modelos de áudio maiores, e não um campo próprio. Essa leitura é nossa, e a busca ampla tem ruído.
| Métrica | Valor | Fonte |
|---|---|---|
| Equipes e sistemas enviados por edição, excluindo a linha de base | 2020: 10 e 34; 2021: 12 e 37; 2022: 9 e 36; 2023: 10 e 28; 2024: 11 e 30 | Resultados da Tarefa 6 do DCASE de 2020 a 2024 (links na seção 1) |
| Tarefas de descrição de áudio no programa do desafio; inscrições em todo o programa de 2025 | 2025: 0 de 6 tarefas; 2026: 0 de 7 tarefas; 277 inscrições em 2025 | Páginas dos programas DCASE 2025 e DCASE 2026 |
| Artigos com ‘audio captioning’ no título, por ano de publicação | 2019: 6; 2022: 27; 2024: 36; 2025: 33; 2026 até 31 de outubro: 29 | Busca por título no OpenAlex, 31 de outubro de 2026 |
| Todos os artigos com ‘audio captioning’ no título, de 2017 a 31 de outubro de 2026 | 203 | Busca por título no OpenAlex, 31 de outubro de 2026 |
| Registros retornados pela busca mais ampla da expressão no OpenAlex | 2.109 no total; 433 em 2025; 726 em 2026 até 31 de outubro | Busca geral no OpenAlex, 31 de outubro de 2026 |
3. O Teto Humano: Quão Longe as Máquinas Estão da Concordância Humana
A descrição de áudio não tem uma única resposta certa, então os pesquisadores pontuam as referências humanas entre si para estimar um teto, chamado de pontuação de consenso. Os humanos concordam em nível quase igual nos dois principais conjuntos de dados, SPIDEr 0,56 no AudioCaps e 0,54 no Clotho, mas a mesma arquitetura de modelo cai muito longe: 0,466 e 0,301.
Como fração do valor humano, isso dá cerca de 83% no AudioCaps (0,466 dividido por 0,56) e 56% no Clotho (0,301 dividido por 0,54). A diferença, portanto, não se explica só pela discordância humana. Os clipes do Clotho também são mais longos, de 15 a 30 segundos contra 10, e o MACS mostra o outro extremo, em que as descrições humanas do mesmo clipe quase não coincidem em vocabulário. Sua pontuação Sentence-BERT se sustenta muito melhor do que a SPIDEr, o que sugere que as pessoas descrevem a mesma cena com palavras diferentes.
A última linha importa para quem lê afirmações sobre o AudioCaps. Codificadores pré-treinados no AudioSet já ouviram os arquivos de teste do AudioCaps, e tirá-los do pré-treinamento custou 0,029 de SPIDEr a um modelo.
| Métrica | Valor | Fonte |
|---|---|---|
| SPIDEr de consenso humano no AudioCaps, Clotho e MACS | 0,56, 0,54 e 0,17 | Mei et al., Audio Captioning Overview, 2022 |
| CIDEr de consenso humano no AudioCaps, Clotho e MACS | 0,90, 0,86 e 0,21 | Mei et al., Audio Captioning Overview, 2022 |
| Sentence-BERT de consenso humano no AudioCaps, Clotho e MACS | 0,64, 0,53 e 0,52 | Mei et al., Audio Captioning Overview, 2022 |
| Mesma arquitetura CNext-trans, SPIDEr no conjunto de teste do AudioCaps vs no do Clotho | 0,466 vs 0,301 | Labbé et al., CoNeTTE, 2023 |
| Mesma arquitetura CNext-trans, FENSE no conjunto de teste do AudioCaps vs no do Clotho | 0,633 vs 0,516 | Labbé et al., CoNeTTE, 2023 |
| SPIDEr da CNext-trans no AudioCaps, codificador que tinha ouvido o áudio de teste vs que não tinha | 0,495 vs 0,466 | Labbé et al., CoNeTTE, 2023 |
Dados mais recentes disponíveis: Mei et al., Audio Captioning Overview, 2022. Os valores de consenso usam subconjuntos diferentes dos das pontuações dos modelos: validação e teste do AudioCaps, treinamento do Clotho e clipes do MACS com cinco referências.
4. Escala dos Conjuntos de Dados: de Descrições por Crowdsourcing às Escritas por LLMs
A anotação humana construiu o campo, e os grandes modelos de linguagem (LLMs) o escalaram. O WavCaps reúne 403.050 clipes e cerca de 60 vezes o áudio do conjunto de treinamento do AudioCaps (7.563,3 horas divididas por 126,6 horas, ambas de Labbé et al., 2023). O AudioSetCaps elevou então a contagem para 1.910.920 descrições, com o tamanho médio das descrições subindo de 11 palavras no Clotho para 28.
Mais dados não significaram ganhos de graça. O WavCaps manteve apenas 46,3% de seus clipes do FreeSound (262.300 de 567.078) depois da limpeza, e o pré-treinamento com ele elevou as pontuações de forma modesta. A qualidade bruta também se sustentou melhor do que o nome “fracamente rotulado” sugere, embora 79 clipes sejam uma amostra pequena.
| Métrica | Valor | Fonte |
|---|---|---|
| Tamanho do Clotho versão 1 | 4.981 clipes, 24.905 descrições, de 15 a 30 segundos por clipe | Drossos et al., Clotho, 2019 |
| Tamanho oficial do AudioCaps | 51.308 clipes de 10 segundos | Mei et al., Audio Captioning Overview, 2022 |
| Arquivos de treinamento do AudioCaps ainda disponíveis para uma equipe de pesquisa | 46.213 de 49.838 (92,7%) | Labbé et al., CoNeTTE, 2023 |
| Tamanho do WavCaps | 403.050 clipes, 7.567,92 horas | Mei et al., WavCaps, 2023 |
| Clipes do FreeSound no WavCaps antes vs depois da limpeza com o ChatGPT | 567.078 vs 262.300 | Mei et al., WavCaps, 2023 |
| SPIDEr (percentual) treinando só no conjunto de dados-alvo vs pré-treinado no WavCaps e ajustado no alvo | HTSAT-BART no AudioCaps: 44,4 vs 48,5; CNN14-BART no Clotho: 25,5 vs 31,0 | Mei et al., WavCaps, 2023 |
| Entradas de descrição do AudioSetCaps; descrições em seus três conjuntos de dados estendidos | 1.910.920; 6.117.099 | Bai et al., AudioSetCaps, 2024 |
| Nota média de opinião humana em 5, em 79 clipes | Rótulos do AudioSet 3,81; AudioCaps 3,79; AudioSetCaps 3,70; WavCaps 3,70; Auto-ACD 3,60 | Bai et al., AudioSetCaps, 2024 |
Dados mais recentes disponíveis para o Clotho: Drossos et al., 2019. Os clipes do AudioCaps vêm do YouTube, então a disponibilidade diminui conforme os vídeos somem, e duas equipes podem não estar treinando com os mesmos arquivos.
5. Métricas de Avaliação: As Pontuações Refletem o Julgamento Humano?
Um ranking vale tanto quanto sua métrica, e as métricas usadas nos primeiros anos desta tarefa nunca foram feitas para som. A FENSE, a métrica de ranking de 2024, ainda discorda da preferência humana em cerca de um par do Clotho-Eval em quatro (100 menos 75,7 dá 24,3%). A SPICE vai pior e, em pares de duas descrições humanas corretas, fica abaixo do acaso.
O lado humano também é instável. Quando os avaliadores pontuaram as descrições em escala absoluta, a concordância foi fraca, com kappa de Fleiss (medida de concordância entre avaliadores, em que 1 é perfeita) de 0,18 no Clotho. Perguntar qual de duas descrições é melhor elevou esse valor para 0,48. Por isso estes testes comparam pares. A geração de métricas de 2024 acrescenta o áudio ou um LLM como juiz e ganha mais alguns pontos, e a CLAIR-A ainda explica suas notas em palavras, o que os avaliadores humanos acharam mais justo do que um número seco da FENSE.
| Métrica | Valor | Fonte |
|---|---|---|
| Parcela dos pares em que a métrica escolheu a descrição preferida pelos humanos, FENSE vs SPICE | Clotho-Eval: 75,7% vs 56,3%; AudioCaps-Eval: 85,3% vs 59,7% | Zhou et al., FENSE, 2021 |
| Concordância entre avaliadores (kappa de Fleiss), pontuações absolutas vs escolhas por pares | Clotho: 0,18 vs 0,48; AudioCaps: 0,23 vs 0,33 | Zhou et al., FENSE, 2021 |
| Tamanho dos testes Clotho-Eval e AudioCaps-Eval | 1.750 e 1.671 pares; 250 clipes cada; 4 avaliadores por par | Zhou et al., FENSE, 2021 |
| Detector de erros da FENSE com limiar 0,9, em 723 descrições geradas por máquina | Precisão 96,8, revocação 76,4, F1 85,4 | Zhou et al., FENSE, 2021 |
| Acurácia em pares do Clotho-Eval de duas descrições humanas corretas: SPICE, FENSE, MACE | 44,3%, 60,5%, 63,3% | Dixit et al., MACE, 2024 |
| Acurácia geral no Clotho-Eval: CLAIR-A com GPT-4o vs FENSE | 79,7% vs 75,7% | Wu et al., CLAIR-A, 2024 |
| Nota humana de justiça em 5 para as pontuações da FENSE vs as da CLAIR-A com justificativas escritas (N=200) | 2,97 vs 3,66 | Wu et al., CLAIR-A, 2024 |
Dados mais recentes disponíveis para os próprios testes de pares: Zhou et al., 2021. Estudos mais novos reaplicam novas métricas a esses mesmos pares de 2021.
6. Grandes Modelos de Áudio, Tamanho do Modelo e Sons Inventados
A descrição de áudio deixou de ser uma tarefa dedicada e virou uma habilidade secundária dos modelos de áudio gerais, e os especialistas ainda lideram em seu terreno. O Audio Flamingo 3 elevou o CIDEr no AudioCaps de 0,58 para 0,70, mas isso continua bem abaixo do consenso humano de 0,90 da seção 3 e dos 84,8 (em escala de 0 a 100) obtidos por um modelo treinado no AudioSetCaps e ajustado no AudioCaps. O tamanho também não garante nada: um modelo de 12,0M de parâmetros compete com sistemas de 171M e 400M.
Boas descrições não substituem a escuta. Quando o MMAU-Pro entregou descrições ao GPT-4o no lugar do áudio, a acurácia caiu para 35,3%, contra 59,2% de um modelo que recebe o áudio diretamente. Quem acompanha essa mesma divisão na fala pode comparar nossos benchmarks de perguntas e respostas faladas.
Os resultados do BRACE mostram uma personalidade dividida. O GPT-4o-Audio-Preview foi o melhor em flagrar uma descrição com um substantivo inventado, mas fraco em ordenar duas descrições reais. O risco espelha a alucinação em reconhecimento de fala, com sons inventados no lugar de palavras inventadas.
| Métrica | Valor | Fonte |
|---|---|---|
| CIDEr, Audio Flamingo 2 vs Audio Flamingo 3 | AudioCaps: 0,58 vs 0,70; Clotho-v2: 0,46 vs 0,50 | Goel et al., Audio Flamingo 3, 2025 |
| Modelo pré-treinado no AudioSetCaps, AudioCaps e Clotho e depois ajustado no AudioCaps: pontuações no conjunto de teste do AudioCaps | CIDEr 84,8, SPIDEr 51,6 | Bai et al., AudioSetCaps, 2024 |
| Parâmetros treináveis no AudioCaps: CNext-trans vs HTSAT-BART vs PYB | 12,0M vs 171M vs 400M | Labbé et al., CoNeTTE, 2023 |
| Ordenação da qualidade das descrições em 2.496 pares (BRACE-Main), F1: melhor métrica baseada em CLAP vs Audio Flamingo 2 vs GPT-4o-Audio-Preview | 70,01 vs 63,19 vs 55,24 | Guo et al., BRACE, 2025 |
| Identificação de uma descrição com um substantivo trocado em 10.315 pares (BRACE-Hallucination), F1 no AudioCaps e no Clotho: GPT-4o-Audio-Preview vs Audio Flamingo 2 | 95,76 e 96,75 vs 79,55 e 72,91 | Guo et al., BRACE, 2025 |
| Média do MMAU-Pro em 5.305 perguntas: descrições mais GPT-4o vs Audio Flamingo 3 vs Gemini 2.5 Flash | 35,3 vs 51,7 vs 59,2 | Kumar et al., MMAU-Pro, 2025 |
| Acurácia em perguntas e respostas sobre áudio, melhor inscrição vs base de comparação mais forte (dois testes diferentes) | 2025: 73,74% vs 52,09%; 2026: 58,33% vs 53,17% | Resultados da Tarefa 5 do DCASE 2025 e da Tarefa 5 do DCASE 2026 |
7. Descrições com Marcação de Tempo: Para Onde o Benchmark Foi
Uma frase para um clipe inteiro não diz quando algo aconteceu, e os conjuntos de dados mais novos existem para resolver isso. A tarefa de 2026 sobre encontrar um momento em áudio longo atraiu 21 equipes e 59 envios, mais do que qualquer uma das cinco edições de descrição da seção 2, e o melhor Recall1@0.7, de 48,59, foi mais de três vezes a linha de base de 13,56 (48,59 dividido por 13,56 dá 3,6). O Recall1@0.7 mede se o melhor palpite do modelo se sobrepõe ao momento verdadeiro em pelo menos 0,7.
A diferença entre o melhor resultado da tarefa e os 20,3 relatados no artigo do conjunto de dados é grande, mas os dois foram medidos em conjuntos de teste diferentes. O TACOS traz um segundo sinal: quando o treinamento passou de descrições por clipe para descrições alinhadas no tempo, a detecção de sons guiada por texto pontuou mais, embora tenha ficado bem abaixo do treinamento supervisionado.
| Métrica | Valor | Fonte |
|---|---|---|
| Tamanho do TACOS | 12.358 gravações; 47.748 descrições alinhadas no tempo; 76,59 horas | Primus et al., TACOS, 2025 |
| Anotação do TACOS | 337 estudantes; 3,57 descrições por clipe em média; 92,84% de cada clipe coberto em média | Primus et al., TACOS, 2025 |
| Detecção de sons guiada por texto em 50 categorias, PSDS1 (uma pontuação de detecção): pré-treinamento, ajuste por clipe, ajuste alinhado no tempo, totalmente supervisionado | 4,61, 12,44, 17,99, 54,26 | Primus et al., TACOS, 2025 |
| Tamanho do CASTELLA | 1.862 gravações de 1 a 5 minutos; 3.881 descrições locais; 11.308 marcações de tempo; mais de 120 horas | Munakata et al., CASTELLA, 2025 |
| Tamanho do Clotho-Moment, o conjunto de dados sintético complementar | 44,3 mil clipes anotados; 853 horas | Munakata et al., CASTELLA, 2025 |
| Melhor Recall1@0.7 no artigo do CASTELLA | 20,3 | Munakata et al., CASTELLA, 2025 |
| Tarefa de 2026 de recuperação de momentos em áudio: equipes, envios, melhor vs linha de base em Recall1@0.7 | 21 equipes; 59 envios; 48,59 vs 13,56 | DCASE 2026, resultados da Tarefa 6 |
Resumo: Descrição Automática de Áudio em Números
| Métrica | Valor | Fonte |
|---|---|---|
| Vencedor de 2024 vs linha de base | FENSE 0,554 vs 0,510; SPIDEr-FL 0,241 vs 0,287 | DCASE Challenge, resultados da Tarefa 6, 2024 |
| SPIDEr de consenso humano no AudioCaps e no Clotho | 0,56 e 0,54 | Mei et al., Audio Captioning Overview, 2022 |
| SPIDEr da CNext-trans, conjunto de teste do AudioCaps vs do Clotho | 0,466 vs 0,301 | Labbé et al., CoNeTTE, 2023 |
| Clotho versão 1 | 4.981 clipes, 24.905 descrições | Drossos et al., Clotho, 2019 |
| Tamanho oficial do AudioCaps | 51.308 clipes | Mei et al., Audio Captioning Overview, 2022 |
| Tamanho do WavCaps | 403.050 clipes, 7.567,92 horas | Mei et al., WavCaps, 2023 |
| Entradas de descrição do AudioSetCaps | 1.910.920 | Bai et al., AudioSetCaps, 2024 |
| Nota média de opinião humana em 5, AudioCaps vs AudioSetCaps | 3,79 vs 3,70 | Bai et al., AudioSetCaps, 2024 |
| Acurácia no Clotho-Eval, FENSE vs SPICE | 75,7% vs 56,3% | Zhou et al., FENSE, 2021 |
| Concordância entre avaliadores no Clotho (kappa de Fleiss), pontuações absolutas vs escolhas por pares | 0,18 vs 0,48 | Zhou et al., FENSE, 2021 |
| Acurácia em pares de duas descrições humanas corretas, SPICE no Clotho-Eval | 44,3% | Dixit et al., MACE, 2024 |
| Acurácia geral no Clotho-Eval, CLAIR-A com GPT-4o | 79,7% | Wu et al., CLAIR-A, 2024 |
| CIDEr no AudioCaps, Audio Flamingo 2 vs Audio Flamingo 3 | 0,58 vs 0,70 | Goel et al., Audio Flamingo 3, 2025 |
| F1 do GPT-4o-Audio-Preview, ordenar a qualidade das descrições vs identificar um substantivo trocado no AudioCaps | 55,24 vs 95,76 | Guo et al., BRACE, 2025 |
| Média do MMAU-Pro, descrições mais GPT-4o vs Gemini 2.5 Flash | 35,3 vs 59,2 | Kumar et al., MMAU-Pro, 2025 |
| Descrições alinhadas no tempo do TACOS | 47.748 | Primus et al., TACOS, 2025 |
| Descrições locais do CASTELLA | 3.881 | Munakata et al., CASTELLA, 2025 |
| Artigos com ‘audio captioning’ no título, 2024 vs 2025 | 36 vs 33 | Busca por título no OpenAlex, 31 de outubro de 2026 |
Metodologia e Fontes
Lemos as tabelas de resultados, as páginas das tarefas e os artigos abaixo durante esta atualização e citamos os autores originais. Nenhum número vem de um blog ou de um espelho de ranking.
- Resultados do DCASE Challenge: 2020, 2021, 2022, 2023, 2024, 2025, Tarefa 5, 2026, Tarefa 5, 2026, Tarefa 6; páginas das tarefas: 2020, 2022, 2024, 2026, Tarefa 6; programas: 2025, 2026.
- Jung et al., relatório técnico sobre fusão de codificadores e resumo por LLM, 2024.
- Drossos et al., Clotho: An Audio Captioning Dataset, 2019.
- Mei et al., Automated Audio Captioning: An Overview of Recent Progress and New Challenges, 2022.
- Mei et al., WavCaps, 2023.
- Bai et al., AudioSetCaps, 2024.
- Labbé et al., CoNeTTE, 2023.
- Zhou et al., Can Audio Captions Be Evaluated with Image Caption Metrics?, 2021.
- Dixit et al., MACE, 2024.
- Wu et al., CLAIR-A, 2024.
- Guo et al., BRACE, 2025.
- Goel et al., Audio Flamingo 3, 2025.
- Kumar et al., MMAU-Pro, 2025.
- Primus et al., TACOS, 2025.
- Munakata et al., CASTELLA, 2025.
- Busca por título no OpenAlex e busca geral, ambas feitas em 31 de outubro de 2026.
- Nota sobre os dados: as pontuações de diferentes edições não são estritamente comparáveis. A métrica de ranking mudou da SPIDEr (2020 a 2022) para a SPIDEr-FL (2023) e para a FENSE (2024), a edição de 2020 usou o Clotho versão 1 enquanto as de 2022 e 2024 usaram a versão 2, e a divisão reservada foi chamada de divisão de teste até 2023 e de divisão de avaliação em 2024. Os totais do Clotho diferem por edição: a página da tarefa de 2022 indica 6.974 clipes e 34.870 descrições, a de 2024 indica 6.972 e 34.860. O texto do CoNeTTE indica 3.840 arquivos de treinamento do Clotho e sua tabela indica 3.839, e sua conclusão cita um valor de 49,5% que corresponde ao codificador com sobreposição na Tabela V, então citamos a tabela. O WavCaps tem 7.567,92 horas em seu próprio artigo e 7.563,3 no CoNeTTE. O texto do MACE parece trocar seus valores do Clotho-Eval e do AudioCaps-Eval para a FENSE, então seguimos o artigo original da FENSE; o resumo do CLAIR-A afirma um ganho de 5,8% sobre a FENSE enquanto sua tabela mostra 4,0 pontos, então citamos a tabela. O Avg-All do BRACE para o GPT-4o-Audio-Preview em alucinação (96,37) não é igual à média de suas duas colunas, então citamos as colunas; suas descrições com substantivo trocado foram escritas pelo GPT-4o, da mesma família do melhor detector, e seus pares filtrados mantêm apenas votos humanos unânimes. O AudioSetCaps indica “pelo menos cinco” avaliadores no texto e um valor diferente na legenda de uma figura; não confirmamos se os clipes de teste do AudioCaps foram excluídos de seu treinamento baseado no AudioSet. O CIDEr é relatado em escalas de 0 a 1 e de 0 a 100, e o Audio Flamingo 2 rotula sua pontuação no AudioCaps como zero-shot, então as comparações de CIDEr entre artigos são aproximadas. O Clotho-Moment aparece como 44,3 mil clipes no artigo do CASTELLA e como mais de 51.240 gravações com 44.261 descrições na página da tarefa de 2026. As contagens do OpenAlex mudam conforme registros são adicionados, e 2026 é um ano parcial. Os dados mais recentes disponíveis para as seções 3 a 5 incluem artigos de 2019 a 2023; nenhum estudo de consenso mais novo apareceu.
Última atualização: 31 de outubro de 2026. Atualizamos este levantamento trimestralmente, e a próxima revisão é esperada quando o DCASE Challenge 2027 publicar as descrições de suas tarefas.