Zwycięski system w ostatnim zadaniu DCASE dotyczącym opisywania dźwięku uzyskał FENSE 0,554, zaledwie o 0,044 więcej niż system bazowy organizatorów (0,510), a 29 z 30 systemów zespołów pokonało ten system bazowy (DCASE Challenge, wyniki zadania 6 z 2024 roku). Ludzie wciąż są daleko z przodu na trudniejszym zbiorze: opisy referencyjne zgadzają się ze sobą na poziomie SPIDEr 0,54 na Clotho (Mei i in., Audio Captioning Overview, 2022), podczas gdy kompaktowy model osiąga 0,301 (Labbé i in., CoNeTTE, 2023). Sama miarka też jest niedoskonała, bo metryka FENSE wskazuje opis preferowany przez ludzi w 75,7% par Clotho-Eval (Zhou i in., FENSE, 2021). To zestawienie dotyczy maszyn opisujących dźwięki niebędące mową, a nie napisów do mowy, które omawiamy w naszych statystykach napisów dla niesłyszących i napisów dialogowych oraz w zestawieniu rynku tworzenia napisów. Zebraliśmy dane z prac opisujących zbiory Clotho, AudioCaps, WavCaps i AudioSetCaps, z badań ewaluacyjnych FENSE, MACE, CLAIR-A i BRACE, z prac o Audio Flamingo i MMAU-Pro, z OpenAlex oraz z własnych tabel wyników wyzwania.
Poniżej powtarza się kilka terminów. ‘Opis’ oznacza tu zdanie napisane przez maszynę lub człowieka, opisujące dźwięki. ‘System bazowy’ to system referencyjny dostarczany przez organizatorów, który zespoły próbują pokonać. SPIDEr, CIDEr i SPICE to miary zapożyczone z opisywania obrazów, FENSE łączy podobieństwo zdań z karą za błędy gramatyczne, a SPIDEr-FL to SPIDEr z podobną karą. We wszystkich im wyższa wartość, tym lepiej.
TL;DR
- Zwycięzca 2024 pokonał system bazowy w FENSE, 0,554 wobec 0,510, ale ustąpił mu w SPIDEr-FL, 0,241 wobec 0,287 (DCASE Challenge, wyniki zadania 6 z 2024 roku).
- Ludzkie opisy referencyjne zgadzają się na poziomie SPIDEr 0,56 na AudioCaps i 0,54 na Clotho (Mei i in., Audio Captioning Overview, 2022).
- Jeden model uzyskał SPIDEr 0,466 na AudioCaps, ale 0,301 na Clotho (Labbé i in., CoNeTTE, 2023).
- FENSE zgodził się z preferencją ludzi w 75,7% par Clotho-Eval, a SPICE w 56,3% (Zhou i in., FENSE, 2021).
- Na parach dwóch poprawnych opisów ludzkich SPICE uzyskał 44,3% na Clotho-Eval, czyli gorzej niż rzut monetą (Dixit i in., MACE, 2024).
- WavCaps zawiera 403.050 nagrań i 7.567,92 godziny dźwięku (Mei i in., WavCaps, 2023).
- AudioSetCaps zawiera 1.910.920 opisów, ocenionych przez ludzi na 3,70 na 5 (Bai i in., AudioSetCaps, 2024).
- GPT-4o-Audio-Preview uzyskał F1 95,76 i 96,75 w wykrywaniu zmyślonych dźwięków w opisach, ale 55,24 w ocenie jakości opisów (Guo i in., BRACE, 2025).
- Liczba prac z frazą ‘automatyczne opisywanie dźwięku’ w tytule wzrosła z 6 w 2019 roku do 36 w 2024 (OpenAlex, wyszukiwanie w tytułach, 31 października 2026).
1. Wyniki rankingu: pięć edycji i kurczące się marże
Historia tego rankingu to historia rosnącej podłogi. W ujęciu SPIDEr przewaga zwycięzcy nad systemem bazowym spadła z 0,298 w 2021 roku (0,310 minus 0,012) do 0,095 w 2022 (0,319 minus 0,224), ponieważ system wyjściowy organizatorów poprawiał się znacznie szybciej niż szczyt tabeli. Do 2024 roku system bazowy zajmował 30. miejsce na 31 zgłoszeń, a cała stawka mieściła się między FENSE 0,508 a 0,554.
Ranking na szczycie to też niemal remis statystyczny. 95-procentowy przedział zwycięzcy (od 0,543 do 0,563) pokrywa się z przedziałem wicelidera (od 0,534 do 0,555), choć wykracza poza przedział systemu bazowego (od 0,499 do 0,521). Zmień metrykę, a zmieni się kolejność: zwycięskie zgłoszenie próbkowało opisy kandydujące, filtrowało je i streszczało za pomocą GPT-4 Turbo, co pasowało do FENSE znacznie lepiej niż do SPIDEr-FL. Sekcja 5 omawia, na ile można ufać każdej metryce.
| Metryka | Wartość | Źródło |
|---|---|---|
| Najlepszy wynik wobec systemu bazowego w SPIDEr na wyłączonym zbiorze rankingowym, według edycji | 2020: 0,222 wobec 0,018; 2021: 0,310 wobec 0,012; 2022: 0,319 wobec 0,224 | Wyniki zadania 6 w DCASE 2020, 2021 i 2022 |
| Najlepszy wynik 2023 wobec systemu bazowego w SPIDEr-FL na wyłączonym zbiorze rankingowym | 0,327 wobec 0,264 | Wyniki zadania 6a w DCASE 2023 |
| Najlepszy wynik 2024 wobec systemu bazowego w FENSE na zbiorze ewaluacyjnym Clotho | 0,554 (95% przedział ufności od 0,543 do 0,563) wobec 0,510 (95% przedział ufności od 0,499 do 0,521) | Wyniki zadania 6 w DCASE 2024 |
| Zwycięzca 2024 wobec systemu bazowego w SPIDEr-FL; najwyższy SPIDEr-FL spośród wszystkich zgłoszeń 2024 | 0,241 wobec 0,287; najwyższy 0,329, od systemu oznaczonego jako obarczony wyciekiem danych | Wyniki zadania 6 w DCASE 2024 |
| Pojedynczy model jednego zespołu wobec jego zespołu 25 modeli, FENSE we własnym raporcie | 0,5410 wobec 0,5442 (system bazowy 0,5040) | Jung i in., raport techniczny 2024 |
Najnowsze dostępne dane: DCASE Challenge, wyniki zadania 6 z 2024 roku. Żadna późniejsza edycja nie ma zadania opisywania. Wiersz z zespołem modeli pokazuje, jak mało zostało do zyskania siłą brutalną: 25 modeli dodało 0,0032 FENSE (0,5442 minus 0,5410).
2. Uczestnictwo i liczba publikacji
Liczba zespołów była stała: zadanie miało od 9 do 12 zespołów przez pięć lat, po czym opuściło program. Ani program 2025 (sześć zadań), ani program 2026 (siedem zadań) nie wymienia opisywania dźwięku. Opublikowane strony nie podają powodu, ale zadania zastępujące je sugerują kierunek, którym podąża sekcja 7.
Dorobek naukowy opowiada podobną historię. Liczba prac z tą frazą w tytule wzrosła sześciokrotnie między 2019 a 2024 (36 podzielone przez 6), a potem się wypłaszczyła. Szersze wyszukiwanie w OpenAlex wciąż rośnie, co sugeruje, że opisywanie staje się jedną z funkcji większych modeli audio, a nie osobną dziedziną. Ta interpretacja jest nasza, a szerokie wyszukiwanie jest zaszumione.
| Metryka | Wartość | Źródło |
|---|---|---|
| Zespoły i zgłoszone systemy w każdej edycji, bez systemu bazowego | 2020: 10 i 34; 2021: 12 i 37; 2022: 9 i 36; 2023: 10 i 28; 2024: 11 i 30 | Wyniki zadania 6 w DCASE z lat 2020 do 2024 (linki w sekcji 1) |
| Zadania opisywania w programie wyzwania; wpisy zgłoszone w całym programie 2025 | 2025: 0 z 6 zadań; 2026: 0 z 7 zadań; 277 wpisów w 2025 | Strony programów DCASE 2025 i DCASE 2026 |
| Prace z frazą ‘audio captioning’ w tytule, według roku publikacji | 2019: 6; 2022: 27; 2024: 36; 2025: 33; 2026 do 31 października: 29 | Wyszukiwanie w tytułach OpenAlex, 31 października 2026 |
| Wszystkie prace z tą frazą w tytule, od 2017 do 31 października 2026 | 203 | Wyszukiwanie w tytułach OpenAlex, 31 października 2026 |
| Rekordy zwrócone przez szersze wyszukiwanie frazy w OpenAlex | 2.109 łącznie; 433 w 2025; 726 w 2026 do 31 października | Wyszukiwanie ogólne OpenAlex, 31 października 2026 |
3. Ludzki pułap: jak daleko maszyny są od zgodności ludzi
Opisywanie dźwięku nie ma jednej prawidłowej odpowiedzi, więc badacze porównują opisy referencyjne ludzi między sobą, by oszacować pułap, zwany wynikiem konsensusu. Ludzie zgadzają się na prawie tym samym poziomie na obu głównych zbiorach, SPIDEr 0,56 na AudioCaps i 0,54 na Clotho, a mimo to ta sama architektura modelu ląduje daleko od siebie: 0,466 i 0,301.
Wyrażone jako odsetek wyniku ludzkiego, to około 83% na AudioCaps (0,466 podzielone przez 0,56) i 56% na Clotho (0,301 podzielone przez 0,54). Luki nie tłumaczy więc sama niezgodność ludzi. Nagrania Clotho są też dłuższe, od 15 do 30 sekund wobec 10, a MACS pokazuje drugi skrajny przypadek, w którym ludzkie opisy tego samego nagrania ledwo pokrywają się słownictwem. Jego wynik Sentence-BERT trzyma się znacznie lepiej niż wynik SPIDEr, co sugeruje, że ludzie opisują tę samą scenę innymi słowami.
Ostatni wiersz ma znaczenie dla każdego, kto czyta twierdzenia o AudioCaps. Enkodery wstępnie trenowane na AudioSet słyszały już pliki testowe AudioCaps, a usunięcie tych plików ze wstępnego trenowania kosztowało jeden model 0,029 SPIDEr.
| Metryka | Wartość | Źródło |
|---|---|---|
| Konsensus ludzki SPIDEr na AudioCaps, Clotho i MACS | 0,56, 0,54 i 0,17 | Mei i in., Audio Captioning Overview, 2022 |
| Konsensus ludzki CIDEr na AudioCaps, Clotho i MACS | 0,90, 0,86 i 0,21 | Mei i in., Audio Captioning Overview, 2022 |
| Konsensus ludzki Sentence-BERT na AudioCaps, Clotho i MACS | 0,64, 0,53 i 0,52 | Mei i in., Audio Captioning Overview, 2022 |
| Ta sama architektura CNext-trans, SPIDEr na zbiorze testowym AudioCaps wobec zbioru testowego Clotho | 0,466 wobec 0,301 | Labbé i in., CoNeTTE, 2023 |
| Ta sama architektura CNext-trans, FENSE na zbiorze testowym AudioCaps wobec zbioru testowego Clotho | 0,633 wobec 0,516 | Labbé i in., CoNeTTE, 2023 |
| SPIDEr modelu CNext-trans na AudioCaps, enkoder, który słyszał dźwięk testowy, wobec enkodera, który go nie słyszał | 0,495 wobec 0,466 | Labbé i in., CoNeTTE, 2023 |
Najnowsze dostępne dane: Mei i in., Audio Captioning Overview, 2022. Wartości konsensusu opierają się na innych podzbiorach niż wyniki modeli: walidacji i teście AudioCaps, treningu Clotho oraz nagraniach MACS z pięcioma opisami referencyjnymi.
4. Skala zbiorów danych: od opisów zbieranych społecznościowo do opisów pisanych przez LLM
Ludzkie opisywanie zbudowało tę dziedzinę, a duże modele językowe (LLM) ją przeskalowały. WavCaps zawiera 403.050 nagrań i około 60 razy więcej dźwięku niż zbiór treningowy AudioCaps (7.563,3 godziny podzielone przez 126,6 godziny, obie wartości z Labbé i in., 2023). AudioSetCaps podniósł następnie liczbę opisów do 1.910.920, a średnia długość opisu wzrosła z 11 słów w Clotho do 28.
Więcej danych nie oznaczało darmowych zysków. WavCaps zachował po oczyszczeniu tylko 46,3% nagrań z FreeSound (262.300 z 567.078), a wstępne trenowanie na nim podniosło wyniki umiarkowanie. Surowa jakość utrzymała się też lepiej, niż sugeruje nazwa ‘słabo etykietowane’, choć 79 nagrań to mała próba.
| Metryka | Wartość | Źródło |
|---|---|---|
| Rozmiar Clotho w wersji 1 | 4.981 nagrań, 24.905 opisów, od 15 do 30 sekund na nagranie | Drossos i in., Clotho, 2019 |
| Oficjalny rozmiar AudioCaps | 51.308 nagrań po 10 sekund | Mei i in., Audio Captioning Overview, 2022 |
| Pliki treningowe AudioCaps wciąż dostępne dla jednego zespołu badawczego | 46.213 z 49.838 (92,7%) | Labbé i in., CoNeTTE, 2023 |
| Rozmiar WavCaps | 403.050 nagrań, 7.567,92 godziny | Mei i in., WavCaps, 2023 |
| Nagrania FreeSound w WavCaps przed oczyszczeniem z użyciem ChatGPT i po nim | 567.078 wobec 262.300 | Mei i in., WavCaps, 2023 |
| SPIDEr (w procentach) przy trenowaniu wyłącznie na zbiorze docelowym wobec wstępnego trenowania na WavCaps i dostrojenia na zbiorze docelowym | HTSAT-BART na AudioCaps: 44,4 wobec 48,5; CNN14-BART na Clotho: 25,5 wobec 31,0 | Mei i in., WavCaps, 2023 |
| Wpisy z opisami w AudioSetCaps; opisy w trzech jego rozszerzonych zbiorach | 1.910.920; 6.117.099 | Bai i in., AudioSetCaps, 2024 |
| Średnia ocena opinii ludzi na 5 dla 79 nagrań | Etykiety AudioSet 3,81; AudioCaps 3,79; AudioSetCaps 3,70; WavCaps 3,70; Auto-ACD 3,60 | Bai i in., AudioSetCaps, 2024 |
Najnowsze dostępne dane dla Clotho: Drossos i in., 2019. Nagrania AudioCaps pochodzą z YouTube, więc ich dostępność maleje wraz ze znikaniem filmów, a dwa zespoły mogą nie trenować na tych samych plikach.
5. Metryki oceny: czy wyniki zgadzają się z oceną ludzi?
Ranking jest tak dobry, jak jego metryka, a metryki używane w pierwszych latach tego zadania nigdy nie powstały z myślą o dźwięku. FENSE, metryka rankingowa z 2024 roku, wciąż rozmija się z preferencją ludzi w mniej więcej jednej parze Clotho-Eval na cztery (100 minus 75,7 daje 24,3%). SPICE wypada gorzej, a na parach dwóch poprawnych opisów ludzkich spada poniżej poziomu przypadku.
Strona ludzka też jest chwiejna. Gdy oceniający punktowali opisy w skali bezwzględnej, zgodność była słaba: kappa Fleissa (miara zgodności oceniających, gdzie 1 oznacza zgodność idealną) wyniosła 0,18 na Clotho. Pytanie, który z dwóch opisów jest lepszy, podniosło ją do 0,48. Dlatego te testy porównują pary. Generacja metryk z 2024 roku dodaje dźwięk lub sędziego w postaci LLM i zyskuje jeszcze kilka punktów, a CLAIR-A dodatkowo wyjaśnia swoje oceny słowami, co ludzcy oceniający uznali za bardziej sprawiedliwe niż samą liczbę FENSE.
| Metryka | Wartość | Źródło |
|---|---|---|
| Odsetek par, w których metryka wskazała opis preferowany przez ludzi, FENSE wobec SPICE | Clotho-Eval: 75,7% wobec 56,3%; AudioCaps-Eval: 85,3% wobec 59,7% | Zhou i in., FENSE, 2021 |
| Zgodność oceniających (kappa Fleissa), oceny bezwzględne wobec wyborów w parach | Clotho: 0,18 wobec 0,48; AudioCaps: 0,23 wobec 0,33 | Zhou i in., FENSE, 2021 |
| Rozmiar testów Clotho-Eval i AudioCaps-Eval | 1.750 i 1.671 par; po 250 nagrań; 4 oceniających na parę | Zhou i in., FENSE, 2021 |
| Detektor błędów FENSE przy progu 0,9, na 723 opisach maszynowych | Precyzja 96,8, czułość 76,4, F1 85,4 | Zhou i in., FENSE, 2021 |
| Dokładność na parach Clotho-Eval złożonych z dwóch poprawnych opisów ludzkich: SPICE, FENSE, MACE | 44,3%, 60,5%, 63,3% | Dixit i in., MACE, 2024 |
| Całkowita dokładność na Clotho-Eval: CLAIR-A z GPT-4o wobec FENSE | 79,7% wobec 75,7% | Wu i in., CLAIR-A, 2024 |
| Ocena sprawiedliwości przez ludzi na 5 dla wyników FENSE wobec wyników CLAIR-A z pisemnym uzasadnieniem (N=200) | 2,97 wobec 3,66 | Wu i in., CLAIR-A, 2024 |
Najnowsze dostępne dane dla samych testów par: Zhou i in., 2021. Nowsze badania uruchamiają nowe metryki na tych samych parach z 2021 roku.
6. Duże modele audio, rozmiar modelu i zmyślone dźwięki
Opisywanie przeniosło się z osobnego zadania do umiejętności pobocznej ogólnych modeli audio, a specjaliści wciąż prowadzą na własnym terenie. Audio Flamingo 3 podniósł CIDEr na AudioCaps z 0,58 do 0,70, ale to wciąż znacznie poniżej konsensusu ludzkiego 0,90 z sekcji 3 i wartości 84,8 (w skali od 0 do 100) podanej dla modelu trenowanego na AudioSetCaps i dostrojonego na AudioCaps. Rozmiar też niczego nie gwarantuje: model z 12,0M parametrów konkuruje z systemami z 171M i 400M.
Dobre opisy nie zastępują słuchania. Gdy MMAU-Pro podało GPT-4o opisy zamiast dźwięku, dokładność spadła do 35,3%, wobec 59,2% dla modelu przyjmującego dźwięk bezpośrednio. Czytelnicy śledzący ten sam podział w mowie mogą porównać nasze testy porównawcze odpowiadania na pytania mówione.
Wyniki BRACE pokazują rozdwojoną osobowość. GPT-4o-Audio-Preview był najlepszy w wychwytywaniu opisu z jednym zmyślonym rzeczownikiem, ale słaby w ocenie dwóch prawdziwych opisów. Ryzyko odzwierciedla halucynacje w rozpoznawaniu mowy, tylko że zamiast zmyślonych słów mamy zmyślone dźwięki.
| Metryka | Wartość | Źródło |
|---|---|---|
| CIDEr, Audio Flamingo 2 wobec Audio Flamingo 3 | AudioCaps: 0,58 wobec 0,70; Clotho-v2: 0,46 wobec 0,50 | Goel i in., Audio Flamingo 3, 2025 |
| Model wstępnie trenowany na AudioSetCaps, AudioCaps i Clotho, a następnie dostrojony na AudioCaps: wyniki na zbiorze testowym AudioCaps | CIDEr 84,8, SPIDEr 51,6 | Bai i in., AudioSetCaps, 2024 |
| Trenowalne parametry na AudioCaps: CNext-trans wobec HTSAT-BART wobec PYB | 12,0M wobec 171M wobec 400M | Labbé i in., CoNeTTE, 2023 |
| Ocena jakości opisów na 2.496 parach (BRACE-Main), F1: najlepsza metryka oparta na CLAP wobec Audio Flamingo 2 wobec GPT-4o-Audio-Preview | 70,01 wobec 63,19 wobec 55,24 | Guo i in., BRACE, 2025 |
| Wykrywanie opisu z jednym podmienionym rzeczownikiem na 10.315 parach (BRACE-Hallucination), F1 na AudioCaps i Clotho: GPT-4o-Audio-Preview wobec Audio Flamingo 2 | 95,76 i 96,75 wobec 79,55 i 72,91 | Guo i in., BRACE, 2025 |
| Średnia MMAU-Pro na 5.305 pytaniach: opisy plus GPT-4o wobec Audio Flamingo 3 wobec Gemini 2.5 Flash | 35,3 wobec 51,7 wobec 59,2 | Kumar i in., MMAU-Pro, 2025 |
| Dokładność odpowiadania na pytania o dźwięk, najlepsze zgłoszenie wobec najsilniejszego systemu bazowego (dwa różne testy) | 2025: 73,74% wobec 52,09%; 2026: 58,33% wobec 53,17% | Wyniki zadania 5 w DCASE 2025 i zadania 5 w DCASE 2026 |
7. Opisy ze znacznikami czasu: dokąd przesunął się test porównawczy
Jedno zdanie dla całego nagrania nie powie, kiedy coś się wydarzyło, a najnowsze zbiory danych powstały, żeby to naprawić. Zadanie 2026 polegające na znajdowaniu momentu w długim nagraniu przyciągnęło 21 zespołów i 59 zgłoszeń, więcej niż którakolwiek z pięciu edycji opisywania z sekcji 2, a najlepszy Recall1@0.7 równy 48,59 był ponad trzykrotnie wyższy niż 13,56 systemu bazowego (48,59 podzielone przez 13,56 daje 3,6). Recall1@0.7 sprawdza, czy pierwsza propozycja modelu pokrywa się z prawdziwym momentem w co najmniej 0,7.
Różnica między najlepszym wynikiem zadania a 20,3 podanym w pracy o zbiorze jest duża, ale obie wartości zmierzono na różnych zbiorach testowych. TACOS dodaje drugi sygnał: gdy trenowanie przeszło z opisów na poziomie nagrania na opisy wyrównane w czasie, wykrywanie dźwięków na podstawie tekstu osiągnęło wyższe wyniki, choć wciąż było daleko za trenowaniem nadzorowanym.
| Metryka | Wartość | Źródło |
|---|---|---|
| Rozmiar TACOS | 12.358 nagrań; 47.748 opisów wyrównanych w czasie; 76,59 godziny | Primus i in., TACOS, 2025 |
| Adnotacja TACOS | 337 studentów; średnio 3,57 opisu na nagranie; średnio 92,84% każdego nagrania pokryte | Primus i in., TACOS, 2025 |
| Wykrywanie dźwięków na podstawie tekstu w 50 kategoriach, PSDS1 (miara detekcji): wstępne trenowanie, dostrajanie na poziomie nagrania, dostrajanie z wyrównaniem w czasie, pełny nadzór | 4,61, 12,44, 17,99, 54,26 | Primus i in., TACOS, 2025 |
| Rozmiar CASTELLA | 1.862 nagrania, każde od 1 do 5 minut; 3.881 opisów lokalnych; 11.308 znaczników czasu; ponad 120 godzin | Munakata i in., CASTELLA, 2025 |
| Rozmiar Clotho-Moment, syntetycznego zbioru towarzyszącego | 44,3K opatrzonych adnotacjami nagrań; 853 godziny | Munakata i in., CASTELLA, 2025 |
| Najlepszy Recall1@0.7 w pracy o CASTELLA | 20,3 | Munakata i in., CASTELLA, 2025 |
| Zadanie wyszukiwania momentu w nagraniu 2026: zespoły, zgłoszenia, najlepszy Recall1@0.7 wobec systemu bazowego | 21 zespołów; 59 zgłoszeń; 48,59 wobec 13,56 | Wyniki zadania 6 w DCASE 2026 |
Podsumowanie: automatyczne opisywanie dźwięku w liczbach
| Metryka | Wartość | Źródło |
|---|---|---|
| Zwycięzca 2024 wobec systemu bazowego | FENSE 0,554 wobec 0,510; SPIDEr-FL 0,241 wobec 0,287 | DCASE Challenge, wyniki zadania 6 z 2024 roku |
| Konsensus ludzki SPIDEr na AudioCaps i Clotho | 0,56 i 0,54 | Mei i in., Audio Captioning Overview, 2022 |
| SPIDEr modelu CNext-trans, zbiór testowy AudioCaps wobec zbioru testowego Clotho | 0,466 wobec 0,301 | Labbé i in., CoNeTTE, 2023 |
| Clotho w wersji 1 | 4.981 nagrań, 24.905 opisów | Drossos i in., Clotho, 2019 |
| Oficjalny rozmiar AudioCaps | 51.308 nagrań | Mei i in., Audio Captioning Overview, 2022 |
| Rozmiar WavCaps | 403.050 nagrań, 7.567,92 godziny | Mei i in., WavCaps, 2023 |
| Wpisy z opisami w AudioSetCaps | 1.910.920 | Bai i in., AudioSetCaps, 2024 |
| Średnia ocena opinii ludzi na 5, AudioCaps wobec AudioSetCaps | 3,79 wobec 3,70 | Bai i in., AudioSetCaps, 2024 |
| Dokładność na Clotho-Eval, FENSE wobec SPICE | 75,7% wobec 56,3% | Zhou i in., FENSE, 2021 |
| Zgodność oceniających na Clotho (kappa Fleissa), oceny bezwzględne wobec wyborów w parach | 0,18 wobec 0,48 | Zhou i in., FENSE, 2021 |
| Dokładność na parach dwóch poprawnych opisów ludzkich, SPICE na Clotho-Eval | 44,3% | Dixit i in., MACE, 2024 |
| Całkowita dokładność na Clotho-Eval, CLAIR-A z GPT-4o | 79,7% | Wu i in., CLAIR-A, 2024 |
| CIDEr na AudioCaps, Audio Flamingo 2 wobec Audio Flamingo 3 | 0,58 wobec 0,70 | Goel i in., Audio Flamingo 3, 2025 |
| F1 GPT-4o-Audio-Preview, ocena jakości opisów wobec wykrywania podmienionego rzeczownika na AudioCaps | 55,24 wobec 95,76 | Guo i in., BRACE, 2025 |
| Średnia MMAU-Pro, opisy plus GPT-4o wobec Gemini 2.5 Flash | 35,3 wobec 59,2 | Kumar i in., MMAU-Pro, 2025 |
| Opisy wyrównane w czasie w TACOS | 47.748 | Primus i in., TACOS, 2025 |
| Opisy lokalne w CASTELLA | 3.881 | Munakata i in., CASTELLA, 2025 |
| Prace z frazą ‘automatyczne opisywanie dźwięku’ w tytule, 2024 wobec 2025 | 36 wobec 33 | Wyszukiwanie w tytułach OpenAlex, 31 października 2026 |
Metodologia i źródła
Podczas tej aktualizacji przeczytaliśmy poniższe tabele wyników, strony zadań i prace, a cytujemy pierwotnych autorów. Żadna wartość nie pochodzi z bloga ani z lustrzanej kopii rankingu.
- Wyniki DCASE Challenge: 2020, 2021, 2022, 2023, 2024, zadanie 5 z 2025, zadanie 5 z 2026, zadanie 6 z 2026; strony zadań: 2020, 2022, 2024, zadanie 6 z 2026; programy: 2025, 2026.
- Jung i in., raport techniczny o fuzji enkoderów i streszczaniu przez LLM, 2024.
- Drossos i in., Clotho: An Audio Captioning Dataset, 2019.
- Mei i in., Automated Audio Captioning: An Overview of Recent Progress and New Challenges, 2022.
- Mei i in., WavCaps, 2023.
- Bai i in., AudioSetCaps, 2024.
- Labbé i in., CoNeTTE, 2023.
- Zhou i in., Can Audio Captions Be Evaluated with Image Caption Metrics?, 2021.
- Dixit i in., MACE, 2024.
- Wu i in., CLAIR-A, 2024.
- Guo i in., BRACE, 2025.
- Goel i in., Audio Flamingo 3, 2025.
- Kumar i in., MMAU-Pro, 2025.
- Primus i in., TACOS, 2025.
- Munakata i in., CASTELLA, 2025.
- Wyszukiwanie w tytułach OpenAlex i wyszukiwanie ogólne, oba wykonane 31 października 2026 roku.
- Uwaga o danych: wyniki z różnych edycji nie są ściśle porównywalne. Metryka rankingowa zmieniła się z SPIDEr (2020 do 2022) na SPIDEr-FL (2023), a potem na FENSE (2024), edycja 2020 używała Clotho w wersji 1, a edycje 2022 i 2024 w wersji 2, zaś wyłączony zbiór nazywano zbiorem testowym do 2023 roku, a w 2024 zbiorem ewaluacyjnym. Sumy Clotho różnią się w zależności od edycji: strona zadania z 2022 roku podaje 6.974 nagrań i 34.870 opisów, strona zadania z 2024 roku 6.972 i 34.860. Tekst pracy o CoNeTTE podaje 3.840 plików treningowych Clotho, a jej tabela 3.839, zaś wniosek przywołuje wartość 49,5%, która odpowiada enkoderowi z nakładaniem się danych w jej tabeli V, więc cytujemy tabelę. WavCaps to 7.567,92 godziny w jej własnej pracy i 7.563,3 w CoNeTTE. Tekst MACE wydaje się zamieniać miejscami jego wartości FENSE dla Clotho-Eval i AudioCaps-Eval, więc idziemy za oryginalną pracą o FENSE; streszczenie CLAIR-A deklaruje poprawę o 5,8% względem FENSE, podczas gdy jej tabela pokazuje 4,0 punktu, więc cytujemy tabelę. Wartość Avg-All w BRACE dla GPT-4o-Audio-Preview w teście halucynacji (96,37) nie jest równa średniej jego dwóch kolumn, więc cytujemy kolumny; opisy z podmienionym rzeczownikiem napisał GPT-4o, ta sama rodzina modeli co najlepszy detektor, a przefiltrowane pary zachowują tylko jednomyślne głosy ludzi. AudioSetCaps podaje w tekście ‘co najmniej pięciu’ oceniających, a w podpisie rysunku inną liczbę; nie potwierdziliśmy, czy nagrania testowe AudioCaps wykluczono z jej treningu opartego na AudioSet. CIDEr podaje się w skalach od 0 do 1 i od 0 do 100, a Audio Flamingo 2 oznacza swój wynik na AudioCaps jako zero-shot, więc porównania CIDEr między pracami są przybliżone. Clotho-Moment figuruje jako 44,3K nagrań w pracy o CASTELLA i jako ponad 51.240 nagrań z 44.261 opisami na stronie zadania z 2026 roku. Liczby z OpenAlex zmieniają się wraz z dodawaniem rekordów, a rok 2026 jest rokiem niepełnym. Najnowsze dostępne dane dla sekcji od 3 do 5 obejmują prace z lat 2019 do 2023; nie znaleźliśmy nowszego badania konsensusu.
Ostatnia aktualizacja: 31 października 2026 roku. Aktualizujemy to zestawienie kwartalnie, a kolejnego odświeżenia spodziewamy się, gdy DCASE 2027 Challenge opublikuje opisy swoich zadań.