가장 최근 DCASE 오디오 캡셔닝 과제의 우승 시스템은 FENSE 0.554를 기록해 주최 측 베이스라인 0.510보다 불과 0.044 높았고, 팀 시스템 30개 중 29개가 그 베이스라인을 넘어섰다 (DCASE Challenge, 2024년 과제 6 결과). 더 어려운 데이터셋에서는 인간이 여전히 크게 앞선다. 참조 캡션끼리의 일치도는 Clotho에서 SPIDEr 0.54인 반면 (Mei 외, Audio Captioning Overview, 2022), 소형 모델은 0.301에 그친다 (Labbé 외, CoNeTTE, 2023). 측정 도구도 완벽하지 않아서, FENSE 지표가 인간이 선호하는 캡션을 고르는 비율은 Clotho-Eval 쌍의 75.7%에 불과하다 (Zhou 외, FENSE, 2021). 이 정리는 음성 자막이 아니라 음성이 아닌 소리를 기계가 설명하는 작업을 다루며, 음성 자막은 저희 캡션과 자막 통계와 캡션 및 자막 제작 시장 정리에서 다룬다. 데이터는 Clotho, AudioCaps, WavCaps, AudioSetCaps 데이터셋 논문, FENSE, MACE, CLAIR-A, BRACE 평가 연구, Audio Flamingo와 MMAU-Pro 논문, OpenAlex, 그리고 챌린지 자체의 결과 표에서 모았다.
아래에서는 몇 가지 용어가 반복해서 나온다. 여기서 ‘캡션’은 소리를 설명하는, 기계 또는 사람이 쓴 문장 하나를 뜻한다. ‘베이스라인’은 주최 측이 제공하는 기준 시스템으로, 각 팀이 이를 넘어서려 한다. SPIDEr, CIDEr, SPICE는 이미지 캡셔닝에서 빌려 온 점수이고, FENSE는 문장 유사도에 문법 오류에 대한 감점을 결합한 것이며, SPIDEr-FL은 비슷한 감점을 넣은 SPIDEr다. 모두 값이 높을수록 좋다.
요약
- 2024년 우승 시스템은 FENSE에서는 베이스라인을 앞섰지만(0.554 대 0.510), SPIDEr-FL에서는 뒤졌다(0.241 대 0.287) (DCASE Challenge, 2024년 과제 6 결과).
- 인간 참조 캡션의 일치도는 AudioCaps에서 SPIDEr 0.56, Clotho에서 0.54다 (Mei 외, Audio Captioning Overview, 2022).
- 한 모델은 AudioCaps에서 SPIDEr 0.466을 기록했지만 Clotho에서는 0.301이었다 (Labbé 외, CoNeTTE, 2023).
- FENSE는 Clotho-Eval 쌍의 75.7%에서 인간의 선호와 일치했고, SPICE는 56.3%였다 (Zhou 외, FENSE, 2021).
- 올바른 인간 캡션 두 개로 이루어진 쌍에서 SPICE는 Clotho-Eval에서 44.3%를 기록해 동전 던지기보다 나빴다 (Dixit 외, MACE, 2024).
- WavCaps는 클립 403,050개와 7,567.92시간의 오디오를 담고 있다 (Mei 외, WavCaps, 2023).
- AudioSetCaps는 캡션 1,910,920개를 담고 있으며, 인간 평가는 5점 만점에 3.70이었다 (Bai 외, AudioSetCaps, 2024).
- GPT-4o-Audio-Preview는 캡션 속 존재하지 않는 소리를 찾아내는 데서 F1 95.76과 96.75를 기록했지만, 캡션 품질 순위 매기기에서는 55.24였다 (Guo 외, BRACE, 2025).
- 제목에 ‘자동 오디오 캡셔닝’이 들어간 논문은 2019년 6편에서 2024년 36편으로 늘었다 (OpenAlex, 제목 검색, 2026년 10월 31일).
1. 리더보드 점수: 다섯 번의 대회와 줄어드는 격차
이 리더보드의 이야기는 올라가는 바닥이다. SPIDEr 기준으로 우승 시스템이 베이스라인을 앞선 폭은 2021년 0.298(0.310 빼기 0.012)에서 2022년 0.095(0.319 빼기 0.224)로 줄었는데, 주최 측의 출발 시스템이 표 상단보다 훨씬 빠르게 개선되었기 때문이다. 2024년에는 베이스라인이 31개 출품작 중 30위였고, 전체가 FENSE 0.508에서 0.554 사이에 들어갔다.
상위권 순위는 통계적으로 거의 동점이기도 하다. 우승 시스템의 95% 구간(0.5430.563)은 2위의 구간(0.5340.555)과 겹치지만, 베이스라인의 구간(0.499~0.521)은 넘어선다. 지표를 바꾸면 순서도 바뀐다. 우승 출품작은 후보 캡션을 샘플링하고, 걸러내고, GPT-4 Turbo로 요약했는데, 이는 SPIDEr-FL보다 FENSE에 훨씬 잘 맞았다. 각 지표를 어디까지 신뢰할 수 있는지는 5절에서 다룬다.
| 지표 | 값 | 출처 |
|---|---|---|
| 순위용 비공개 분할에서 SPIDEr 최고 점수 대 베이스라인, 대회별 | 2020년: 0.222 대 0.018; 2021년: 0.310 대 0.012; 2022년: 0.319 대 0.224 | 과제 6 결과: DCASE 2020, 2021, 2022 |
| 순위용 비공개 분할에서 2023년 SPIDEr-FL 최고 점수 대 베이스라인 | 0.327 대 0.264 | DCASE 2023 과제 6a 결과 |
| Clotho 평가 분할에서 2024년 FENSE 최고 점수 대 베이스라인 | 0.554 (95% 신뢰구간 0.543 | DCASE 2024 과제 6 결과 |
| 2024년 우승 시스템 대 베이스라인의 SPIDEr-FL; 2024년 전체 출품작 중 가장 높은 SPIDEr-FL | 0.241 대 0.287; 가장 높은 값은 0.329로, 데이터 유출 표시가 붙은 시스템 | DCASE 2024 과제 6 결과 |
| 한 팀의 단일 모델 대 25개 모델 앙상블, 자체 보고서의 FENSE | 0.5410 대 0.5442 (베이스라인 0.5040) | Jung 외, 기술 보고서 2024 |
확인 가능한 최신 데이터: DCASE Challenge, 2024년 과제 6 결과. 이후 대회에는 캡셔닝 과제가 없다. 앙상블 행은 무작정 힘으로 얻을 수 있는 여지가 얼마나 남아 있지 않았는지를 보여 준다. 모델 25개를 더해도 FENSE는 0.0032(0.5442 빼기 0.5410)밖에 오르지 않았다.
2. 참가 규모와 논문 수
팀 수는 그대로였다. 이 과제는 5년 동안 9~12개 팀을 유지하다가 프로그램에서 빠졌다. 2025년 프로그램(6개 과제)에도 2026년 프로그램(7개 과제)에도 오디오 캡셔닝은 없다. 공개된 페이지에는 이유가 적혀 있지 않지만, 대체 과제들이 방향을 암시하며 7절에서 이를 따라간다.
학계의 성과도 비슷한 흐름을 보인다. 제목에 이 표현이 들어간 논문은 2019년에서 2024년 사이 6배로 늘었고(36 나누기 6), 이후 정체되었다. OpenAlex의 더 넓은 검색은 계속 상승하고 있는데, 이는 캡셔닝이 독자적인 분야가 아니라 더 큰 오디오 모델 안의 한 기능이 되고 있음을 시사한다. 이 해석은 저희의 것이며, 넓은 검색에는 잡음이 많다.
| 지표 | 값 | 출처 |
|---|---|---|
| 대회별 팀 수와 제출 시스템 수 (베이스라인 제외) | 2020년: 10과 34; 2021년: 12와 37; 2022년: 9와 36; 2023년: 10과 28; 2024년: 11과 30 | DCASE 과제 6 결과 2020~2024년 (링크는 1절) |
| 챌린지 프로그램 내 캡셔닝 과제 수; 2025년 프로그램 전체의 제출 출품작 수 | 2025년: 6개 과제 중 0개; 2026년: 7개 과제 중 0개; 2025년 출품작 277건 | DCASE 2025와 DCASE 2026 프로그램 페이지 |
| 제목에 ‘audio captioning’이 들어간 논문 수, 발행 연도별 | 2019년: 6; 2022년: 27; 2024년: 36; 2025년: 33; 2026년 10월 31일까지: 29 | OpenAlex 제목 검색, 2026년 10월 31일 |
| 제목에 이 표현이 들어간 전체 논문, 2017년부터 2026년 10월 31일까지 | 203 | OpenAlex 제목 검색, 2026년 10월 31일 |
| OpenAlex의 더 넓은 구문 검색이 반환한 레코드 | 총 2,109; 2025년 433; 2026년 10월 31일까지 726 | OpenAlex 일반 검색, 2026년 10월 31일 |
3. 인간 상한선: 기계는 인간 간 일치도에서 얼마나 떨어져 있나
오디오 캡셔닝에는 정답이 하나만 있지 않기 때문에, 연구자들은 인간 참조 캡션끼리 점수를 매겨 상한선을 추정한다. 이를 합의 점수라고 한다. 인간의 일치도는 두 주요 데이터셋에서 거의 같은 수준으로, AudioCaps에서 SPIDEr 0.56, Clotho에서 0.54이지만, 같은 모델 구조의 결과는 0.466과 0.301로 크게 벌어진다.
인간 점수에 대한 비율로 나타내면 AudioCaps에서 약 83%(0.466 나누기 0.56), Clotho에서 56%(0.301 나누기 0.54)다. 따라서 이 격차는 인간끼리의 불일치만으로는 설명되지 않는다. Clotho 클립은 10초에 비해 15~30초로 길기도 하며, MACS는 반대편 극단으로 같은 클립에 대한 인간 캡션의 표현이 거의 겹치지 않는다. MACS의 Sentence-BERT 값은 SPIDEr 값보다 훨씬 잘 유지되는데, 이는 사람들이 같은 장면을 서로 다른 말로 설명한다는 것을 시사한다.
마지막 행은 AudioCaps에 관한 주장을 읽는 사람에게 중요하다. AudioSet으로 사전 학습한 인코더는 이미 AudioCaps 테스트 파일을 들어 보았고, 그 파일을 사전 학습에서 빼자 한 모델은 SPIDEr 0.029를 잃었다.
| 지표 | 값 | 출처 |
|---|---|---|
| AudioCaps, Clotho, MACS의 인간 합의 SPIDEr | 0.56, 0.54, 0.17 | Mei 외, Audio Captioning Overview, 2022 |
| AudioCaps, Clotho, MACS의 인간 합의 CIDEr | 0.90, 0.86, 0.21 | Mei 외, Audio Captioning Overview, 2022 |
| AudioCaps, Clotho, MACS의 인간 합의 Sentence-BERT | 0.64, 0.53, 0.52 | Mei 외, Audio Captioning Overview, 2022 |
| 같은 CNext-trans 구조, AudioCaps 테스트 세트 대 Clotho 테스트 세트의 SPIDEr | 0.466 대 0.301 | Labbé 외, CoNeTTE, 2023 |
| 같은 CNext-trans 구조, AudioCaps 테스트 세트 대 Clotho 테스트 세트의 FENSE | 0.633 대 0.516 | Labbé 외, CoNeTTE, 2023 |
| AudioCaps에서 CNext-trans의 SPIDEr, 테스트 오디오를 들어 본 인코더 대 들어 보지 못한 인코더 | 0.495 대 0.466 | Labbé 외, CoNeTTE, 2023 |
확인 가능한 최신 데이터: Mei 외, Audio Captioning Overview, 2022. 합의 수치는 모델 점수와 다른 부분집합을 사용한다. AudioCaps 검증용과 테스트용, Clotho 학습용, 그리고 참조 캡션이 5개인 MACS 클립이다.
4. 데이터셋 규모: 크라우드소싱에서 LLM이 쓴 캡션으로
인간의 주석 작업이 이 분야를 세웠고, 대규모 언어 모델(LLM)이 이를 확장했다. WavCaps는 클립 403,050개를 담고 있으며 AudioCaps 학습 세트의 약 60배에 달하는 오디오를 갖고 있다(7,563.3시간 나누기 126.6시간, 둘 다 Labbé 외, 2023 기준). 이후 AudioSetCaps가 캡션 수를 1,910,920개로 끌어올렸고, 캡션의 평균 길이는 Clotho의 11단어에서 28단어로 늘었다.
데이터가 많다고 공짜 이득이 따라오지는 않았다. WavCaps는 정제 후 FreeSound 클립의 46.3%(567,078개 중 262,300개)만 남겼고, 이를 이용한 사전 학습으로 점수는 소폭 올랐을 뿐이다. 원본 품질도 ‘약하게 라벨링된’이라는 이름이 시사하는 것보다 잘 유지되었지만, 클립 79개는 작은 표본이다.
| 지표 | 값 | 출처 |
|---|---|---|
| Clotho 버전 1 규모 | 클립 4,981개, 캡션 24,905개, 클립당 15~30초 | Drossos 외, Clotho, 2019 |
| AudioCaps 공식 규모 | 10초 클립 51,308개 | Mei 외, Audio Captioning Overview, 2022 |
| 한 연구팀이 아직 입수할 수 있는 AudioCaps 학습 파일 | 49,838개 중 46,213개 (92.7%) | Labbé 외, CoNeTTE, 2023 |
| WavCaps 규모 | 클립 403,050개, 7,567.92시간 | Mei 외, WavCaps, 2023 |
| ChatGPT로 정제하기 전과 후의 WavCaps FreeSound 클립 | 567,078 대 262,300 | Mei 외, WavCaps, 2023 |
| 대상 데이터셋으로만 학습했을 때 대 WavCaps로 사전 학습하고 대상으로 미세 조정했을 때의 SPIDEr (퍼센트) | AudioCaps의 HTSAT-BART: 44.4 대 48.5; Clotho의 CNN14-BART: 25.5 대 31.0 | Mei 외, WavCaps, 2023 |
| AudioSetCaps 캡션 항목 수; 확장된 세 데이터셋 전체의 캡션 수 | 1,910,920; 6,117,099 | Bai 외, AudioSetCaps, 2024 |
| 클립 79개에 대한 인간 평균 의견 점수 (5점 만점) | AudioSet 라벨 3.81; AudioCaps 3.79; AudioSetCaps 3.70; WavCaps 3.70; Auto-ACD 3.60 | Bai 외, AudioSetCaps, 2024 |
Clotho에 대해 확인 가능한 최신 데이터: Drossos 외, 2019. AudioCaps 클립은 YouTube에서 파생되어 영상이 사라질수록 입수 가능한 수가 줄어들며, 두 팀이 같은 파일로 학습하고 있지 않을 수도 있다.
5. 평가 지표: 점수는 인간의 판단과 일치하는가
리더보드는 그 지표만큼만 좋다. 그리고 이 과제의 첫 몇 해 동안 쓰인 지표는 애초에 소리를 위해 만들어진 것이 아니었다. 2024년 순위 지표인 FENSE는 여전히 Clotho-Eval 쌍 약 네 쌍 중 한 쌍에서 인간의 선호와 어긋난다(100 빼기 75.7은 24.3%). SPICE는 더 나빠서, 올바른 인간 캡션 두 개의 쌍에서는 우연 수준 아래로 떨어진다.
인간 쪽도 불안정하다. 평가자가 절대 척도로 캡션에 점수를 매겼을 때 일치도는 낮았고, 플라이스 카파(평가자 간 일치도를 나타내는 지표로 1이 완전 일치)는 Clotho에서 0.18이었다. 두 캡션 중 어느 쪽이 더 나은지를 묻자 0.48로 올랐다. 이 벤치마크들이 쌍으로 비교하는 이유다. 2024년 세대의 지표는 오디오나 LLM 심사자를 더해 몇 점을 더 얻었고, CLAIR-A는 점수의 이유를 글로도 설명하는데, 인간 평가자는 이를 단순한 FENSE 숫자보다 더 공정하다고 보았다.
| 지표 | 값 | 출처 |
|---|---|---|
| 지표가 인간이 선호한 캡션을 고른 쌍의 비율, FENSE 대 SPICE | Clotho-Eval: 75.7% 대 56.3%; AudioCaps-Eval: 85.3% 대 59.7% | Zhou 외, FENSE, 2021 |
| 평가자 간 일치도 (플라이스 카파), 절대 점수 대 쌍 선택 | Clotho: 0.18 대 0.48; AudioCaps: 0.23 대 0.33 | Zhou 외, FENSE, 2021 |
| Clotho-Eval과 AudioCaps-Eval 벤치마크의 규모 | 1,750쌍과 1,671쌍; 각각 클립 250개; 쌍당 평가자 4명 | Zhou 외, FENSE, 2021 |
| 임계값 0.9에서의 FENSE 오류 탐지기, 기계 캡션 723개 기준 | 정밀도 96.8, 재현율 76.4, F1 85.4 | Zhou 외, FENSE, 2021 |
| 올바른 인간 캡션 두 개로 이루어진 Clotho-Eval 쌍에서의 정확도: SPICE, FENSE, MACE | 44.3%, 60.5%, 63.3% | Dixit 외, MACE, 2024 |
| Clotho-Eval 전체 정확도: GPT-4o를 쓴 CLAIR-A 대 FENSE | 79.7% 대 75.7% | Wu 외, CLAIR-A, 2024 |
| FENSE 점수 대 서술형 이유가 붙은 CLAIR-A 점수에 대한 인간의 공정성 평가 (5점 만점, N=200) | 2.97 대 3.66 | Wu 외, CLAIR-A, 2024 |
쌍 벤치마크 자체에 대해 확인 가능한 최신 데이터: Zhou 외, 2021. 더 새로운 연구들은 이 2021년 쌍에 새로운 지표를 다시 돌린다.
6. 대형 오디오 모델, 모델 크기, 존재하지 않는 소리
캡셔닝은 전용 과제에서 범용 오디오 모델의 부수적 기능으로 옮겨 갔고, 전문 모델은 여전히 자기 영역에서 앞서 있다. Audio Flamingo 3는 AudioCaps의 CIDEr를 0.58에서 0.70으로 끌어올렸지만, 이는 3절의 인간 합의 0.90과, AudioSetCaps로 학습하고 AudioCaps로 조정한 모델에서 보고된 84.8(0~100 척도)에 한참 못 미친다. 크기도 보장이 되지 못한다. 12.0M 파라미터 모델이 171M, 400M 시스템과 경쟁한다.
좋은 캡션이 직접 듣는 것을 대신하지는 못한다. MMAU-Pro가 오디오 대신 캡션을 GPT-4o에 넣자 정확도는 35.3%로 떨어졌고, 오디오를 직접 받는 모델은 59.2%였다. 음성에서 같은 분리를 추적하는 독자라면 저희 음성 질의응답 벤치마크와 비교해 볼 수 있다.
BRACE 결과는 이중적인 성격을 보여 준다. GPT-4o-Audio-Preview는 명사 하나가 지어낸 것으로 바뀐 캡션을 잡아내는 데는 가장 뛰어났지만, 진짜 캡션 두 개의 순위를 매기는 데는 약했다. 이 위험은 음성 인식 환각과 같은 구도이며, 지어낸 단어 대신 존재하지 않는 소리가 나온다.
| 지표 | 값 | 출처 |
|---|---|---|
| CIDEr, Audio Flamingo 2 대 Audio Flamingo 3 | AudioCaps: 0.58 대 0.70; Clotho-v2: 0.46 대 0.50 | Goel 외, Audio Flamingo 3, 2025 |
| AudioSetCaps, AudioCaps, Clotho로 사전 학습한 뒤 AudioCaps로 미세 조정한 모델: AudioCaps 테스트 세트 점수 | CIDEr 84.8, SPIDEr 51.6 | Bai 외, AudioSetCaps, 2024 |
| AudioCaps에서의 학습 가능 파라미터: CNext-trans 대 HTSAT-BART 대 PYB | 12.0M 대 171M 대 400M | Labbé 외, CoNeTTE, 2023 |
| 2,496쌍에서의 캡션 품질 순위 매기기 (BRACE-Main), F1: CLAP 기반 최고 지표 대 Audio Flamingo 2 대 GPT-4o-Audio-Preview | 70.01 대 63.19 대 55.24 | Guo 외, BRACE, 2025 |
| 명사 하나가 바뀐 캡션 탐지, 10,315쌍 (BRACE-Hallucination), AudioCaps와 Clotho에서의 F1: GPT-4o-Audio-Preview 대 Audio Flamingo 2 | 95.76과 96.75 대 79.55와 72.91 | Guo 외, BRACE, 2025 |
| 5,305개 질문에서의 MMAU-Pro 평균: 캡션과 GPT-4o 대 Audio Flamingo 3 대 Gemini 2.5 Flash | 35.3 대 51.7 대 59.2 | Kumar 외, MMAU-Pro, 2025 |
| 오디오 질의응답 정확도, 최고 출품작 대 가장 강한 베이스라인 (서로 다른 두 벤치마크) | 2025년: 73.74% 대 52.09%; 2026년: 58.33% 대 53.17% | DCASE 2025 과제 5와 DCASE 2026 과제 5 결과 |
7. 타임스탬프 캡션: 벤치마크가 옮겨 간 곳
클립 전체에 대한 문장 하나로는 무언가가 언제 일어났는지 말할 수 없으며, 최신 데이터셋은 이를 해결하기 위해 존재한다. 긴 오디오에서 순간을 찾는 2026년 과제에는 21개 팀이 59건을 제출했는데, 이는 2절의 다섯 번의 캡셔닝 대회 어느 것보다 많았고, Recall1@0.7 최고값 48.59는 베이스라인 13.56의 세 배가 넘었다(48.59 나누기 13.56은 3.6). Recall1@0.7은 모델의 최상위 예측이 실제 순간과 적어도 0.7만큼 겹치는지를 묻는다.
이 과제의 최고 결과와 데이터셋 논문에서 보고된 20.3 사이의 차이는 크지만, 둘은 서로 다른 테스트 세트에서 측정되었다. TACOS는 두 번째 신호를 더한다. 학습이 클립 단위 캡션에서 시간 정렬 캡션으로 옮겨 가자 텍스트 기반 소리 탐지 점수가 올랐지만, 지도 학습에는 훨씬 못 미쳤다.
| 지표 | 값 | 출처 |
|---|---|---|
| TACOS 규모 | 녹음 12,358개; 시간 정렬 캡션 47,748개; 76.59시간 | Primus 외, TACOS, 2025 |
| TACOS 주석 | 학생 337명; 클립당 평균 캡션 3.57개; 각 클립의 평균 92.84% 포괄 | Primus 외, TACOS, 2025 |
| 50개 범주에서의 텍스트 기반 소리 탐지, PSDS1 (탐지 점수): 사전 학습, 클립 단위 미세 조정, 시간 정렬 미세 조정, 완전 지도 학습 | 4.61, 12.44, 17.99, 54.26 | Primus 외, TACOS, 2025 |
| CASTELLA 규모 | 1~5분 길이 녹음 1,862개; 지역 캡션 3,881개; 타임스탬프 11,308개; 120시간 초과 | Munakata 외, CASTELLA, 2025 |
| Clotho-Moment 규모, 합성 보조 데이터셋 | 주석이 달린 클립 44.3K개; 853시간 | Munakata 외, CASTELLA, 2025 |
| CASTELLA 논문의 Recall1@0.7 최고값 | 20.3 | Munakata 외, CASTELLA, 2025 |
| 2026년 오디오 순간 검색 과제: 팀 수, 제출 수, Recall1@0.7 최고값 대 베이스라인 | 21개 팀; 59건 제출; 48.59 대 13.56 | DCASE 2026 과제 6 결과 |
숫자로 보는 자동 오디오 캡셔닝
| 지표 | 값 | 출처 |
|---|---|---|
| 2024년 우승 시스템 대 베이스라인 | FENSE 0.554 대 0.510; SPIDEr-FL 0.241 대 0.287 | DCASE Challenge, 2024년 과제 6 결과 |
| AudioCaps와 Clotho의 인간 합의 SPIDEr | 0.56과 0.54 | Mei 외, Audio Captioning Overview, 2022 |
| CNext-trans의 SPIDEr, AudioCaps 테스트 세트 대 Clotho 테스트 세트 | 0.466 대 0.301 | Labbé 외, CoNeTTE, 2023 |
| Clotho 버전 1 | 클립 4,981개, 캡션 24,905개 | Drossos 외, Clotho, 2019 |
| AudioCaps 공식 규모 | 클립 51,308개 | Mei 외, Audio Captioning Overview, 2022 |
| WavCaps 규모 | 클립 403,050개, 7,567.92시간 | Mei 외, WavCaps, 2023 |
| AudioSetCaps 캡션 항목 수 | 1,910,920 | Bai 외, AudioSetCaps, 2024 |
| 인간 평균 의견 점수 (5점 만점), AudioCaps 대 AudioSetCaps | 3.79 대 3.70 | Bai 외, AudioSetCaps, 2024 |
| Clotho-Eval 정확도, FENSE 대 SPICE | 75.7% 대 56.3% | Zhou 외, FENSE, 2021 |
| Clotho 평가자 간 일치도 (플라이스 카파), 절대 점수 대 쌍 선택 | 0.18 대 0.48 | Zhou 외, FENSE, 2021 |
| 올바른 인간 캡션 두 개의 쌍에서의 정확도, Clotho-Eval의 SPICE | 44.3% | Dixit 외, MACE, 2024 |
| Clotho-Eval 전체 정확도, GPT-4o를 쓴 CLAIR-A | 79.7% | Wu 외, CLAIR-A, 2024 |
| AudioCaps의 CIDEr, Audio Flamingo 2 대 Audio Flamingo 3 | 0.58 대 0.70 | Goel 외, Audio Flamingo 3, 2025 |
| GPT-4o-Audio-Preview의 F1, 캡션 품질 순위 매기기 대 AudioCaps에서 바뀐 명사 탐지 | 55.24 대 95.76 | Guo 외, BRACE, 2025 |
| MMAU-Pro 평균, 캡션과 GPT-4o 대 Gemini 2.5 Flash | 35.3 대 59.2 | Kumar 외, MMAU-Pro, 2025 |
| TACOS 시간 정렬 캡션 | 47,748 | Primus 외, TACOS, 2025 |
| CASTELLA 지역 캡션 | 3,881 | Munakata 외, CASTELLA, 2025 |
| 제목에 ‘자동 오디오 캡셔닝’이 들어간 논문, 2024년 대 2025년 | 36 대 33 | OpenAlex 제목 검색, 2026년 10월 31일 |
방법론과 출처
이번 업데이트에서 아래의 결과 표, 과제 페이지, 논문을 읽었으며 원저자를 인용한다. 어떤 수치도 블로그나 리더보드 미러 사이트에서 가져오지 않았다.
- DCASE Challenge 결과: 2020, 2021, 2022, 2023, 2024, 2025년 과제 5, 2026년 과제 5, 2026년 과제 6; 과제 페이지: 2020, 2022, 2024, 2026년 과제 6; 프로그램: 2025, 2026.
- Jung 외, 인코더 융합과 LLM 요약에 관한 기술 보고서, 2024.
- Drossos 외, Clotho: An Audio Captioning Dataset, 2019.
- Mei 외, Automated Audio Captioning: An Overview of Recent Progress and New Challenges, 2022.
- Mei 외, WavCaps, 2023.
- Bai 외, AudioSetCaps, 2024.
- Labbé 외, CoNeTTE, 2023.
- Zhou 외, Can Audio Captions Be Evaluated with Image Caption Metrics?, 2021.
- Dixit 외, MACE, 2024.
- Wu 외, CLAIR-A, 2024.
- Guo 외, BRACE, 2025.
- Goel 외, Audio Flamingo 3, 2025.
- Kumar 외, MMAU-Pro, 2025.
- Primus 외, TACOS, 2025.
- Munakata 외, CASTELLA, 2025.
- OpenAlex 제목 검색과 일반 검색, 둘 다 2026년 10월 31일에 실행했다.
- 데이터 참고 사항: 대회를 가로지르는 점수는 엄밀하게 비교할 수 없다. 순위 지표는 SPIDEr(2020
2022년)에서 SPIDEr-FL(2023년), FENSE(2024년)로 바뀌었고, 2020년 대회는 Clotho 버전 1을, 2022년과 2024년 대회는 버전 2를 썼으며, 비공개 분할은 2023년까지 테스트 분할, 2024년에는 평가 분할로 불렸다. Clotho 합계도 대회마다 다르다. 2022년 과제 페이지는 클립 6,974개와 캡션 34,870개를, 2024년 과제 페이지는 6,972개와 34,860개를 제시한다. CoNeTTE의 본문은 Clotho 학습 파일을 3,840개, 표는 3,839개로 적고 있으며, 결론에서 인용한 49.5%라는 수치는 표 V의 겹치는 인코더와 일치하므로 표의 값을 인용한다. WavCaps는 자체 논문에서 7,567.92시간이고 CoNeTTE에서는 7,563.3시간이다. MACE의 본문은 FENSE에 대한 Clotho-Eval과 AudioCaps-Eval 수치를 서로 바꿔 쓴 것으로 보이므로 원래의 FENSE 논문을 따른다. CLAIR-A의 초록은 FENSE 대비 5.8% 향상을 주장하지만 표에서는 4.0점이므로 표의 값을 인용한다. BRACE에서 GPT-4o-Audio-Preview의 환각 부문 Avg-All(96.37)은 두 열의 평균과 같지 않아서 열의 값을 인용한다. 명사를 바꾼 캡션은 최고의 탐지기와 같은 모델 계열인 GPT-4o가 썼고, 필터링된 쌍은 만장일치의 인간 투표만 남긴다. AudioSetCaps는 본문에서 평가자가 ‘최소 다섯 명’이라고 하고 그림 설명에서는 다른 숫자를 제시한다. AudioCaps 테스트 클립이 AudioSet 기반 학습에서 제외되었는지는 확인하지 못했다. CIDEr는 01 척도와 0100 척도로 모두 보고되며, Audio Flamingo 2는 AudioCaps 점수를 제로샷으로 표시하므로, 논문 간 CIDEr 비교는 근사치다. Clotho-Moment는 CASTELLA 논문에서 클립 44.3K개로, 2026년 과제 페이지에서는 녹음 51,240개 초과와 캡션 44,261개로 기재되어 있다. OpenAlex 건수는 레코드가 추가됨에 따라 바뀌며, 2026년은 일부 기간만 포함된 해다. 35절의 확인 가능한 최신 데이터에는 2019~2023년 논문이 포함되며, 더 새로운 합의 연구는 찾지 못했다.
마지막 업데이트: 2026년 10월 31일. 저희는 이 정리를 분기마다 업데이트하며, 다음 갱신은 DCASE 2027 Challenge가 과제 설명을 공개할 때로 예상한다.