Das siegreiche System der jüngsten DCASE-Aufgabe zur Audiobeschreibung erreichte FENSE 0,554, nur 0,044 über der Baseline der Veranstalter von 0,510, und 29 der 30 Teamsysteme schlugen diese Baseline (DCASE Challenge, Ergebnisse Aufgabe 6, 2024). Auf dem schwierigeren Datensatz liegen Menschen weiterhin weit vorn: Referenzbeschreibungen stimmen auf Clotho untereinander bei SPIDEr 0,54 überein (Mei et al., Audio Captioning Overview, 2022), während ein kompaktes Modell 0,301 erreicht (Labbé et al., CoNeTTE, 2023). Auch der Maßstab ist unvollkommen, denn die Metrik FENSE wählt in 75,7% der Clotho-Eval-Paare die Beschreibung, die Menschen bevorzugen (Zhou et al., FENSE, 2021). Diese Zusammenstellung behandelt Maschinen, die nicht-sprachliche Geräusche beschreiben, nicht Sprachuntertitel, die wir in unseren Statistiken zu Untertiteln und in unserem Überblick über den Markt für Untertitelung behandeln. Wir haben Daten aus den Datensatz-Veröffentlichungen zu Clotho, AudioCaps, WavCaps und AudioSetCaps, den Bewertungsstudien zu FENSE, MACE, CLAIR-A und BRACE, den Veröffentlichungen zu Audio Flamingo und MMAU-Pro, aus OpenAlex und aus den eigenen Ergebnistabellen der Challenge zusammengeführt.
Einige Begriffe kehren unten wieder. Eine “Beschreibung” ist hier ein von Maschine oder Mensch geschriebener Satz, der Geräusche beschreibt. Eine “Baseline” ist das von den Veranstaltern bereitgestellte Referenzsystem, das die Teams zu schlagen versuchen. SPIDEr, CIDEr und SPICE sind aus der Bildbeschreibung entlehnte Werte, FENSE kombiniert Satzähnlichkeit mit einem Abzug für fehlerhafte Grammatik, und SPIDEr-FL ist SPIDEr mit einem ähnlichen Abzug. Für alle gilt: Höher ist besser.
TL;DR
- Der Sieger von 2024 schlug die Baseline bei FENSE, 0,554 gegenüber 0,510, lag aber bei SPIDEr-FL dahinter, 0,241 gegenüber 0,287 (DCASE Challenge, Ergebnisse Aufgabe 6, 2024).
- Menschliche Referenzbeschreibungen stimmen bei SPIDEr 0,56 auf AudioCaps und 0,54 auf Clotho überein (Mei et al., Audio Captioning Overview, 2022).
- Ein Modell erreichte SPIDEr 0,466 auf AudioCaps, aber 0,301 auf Clotho (Labbé et al., CoNeTTE, 2023).
- FENSE stimmte in 75,7% der Clotho-Eval-Paare mit der menschlichen Präferenz überein; SPICE in 56,3% (Zhou et al., FENSE, 2021).
- Bei Paaren aus zwei korrekten menschlichen Beschreibungen erreichte SPICE auf Clotho-Eval 44,3%, schlechter als ein Münzwurf (Dixit et al., MACE, 2024).
- WavCaps umfasst 403.050 Clips und 7.567,92 Stunden Audio (Mei et al., WavCaps, 2023).
- AudioSetCaps umfasst 1.910.920 Beschreibungen, von Menschen mit 3,70 von 5 bewertet (Bai et al., AudioSetCaps, 2024).
- GPT-4o-Audio-Preview erreichte F1 95,76 und 96,75 beim Erkennen erfundener Geräusche in Beschreibungen, aber 55,24 beim Ordnen der Beschreibungsqualität (Guo et al., BRACE, 2025).
- Veröffentlichungen mit ‘audio captioning’ im Titel stiegen von 6 im Jahr 2019 auf 36 im Jahr 2024 (OpenAlex, Titelsuche, 31. Oktober 2026).
1. Ranglistenwerte: Fünf Ausgaben, schrumpfende Abstände
Die Geschichte dieser Rangliste ist die eines steigenden Bodens. Gemessen in SPIDEr sank der Abstand des Siegers zur Baseline von 0,298 im Jahr 2021 (0,310 minus 0,012) auf 0,095 im Jahr 2022 (0,319 minus 0,224), weil sich das Ausgangssystem der Veranstalter viel schneller verbesserte als die Spitze der Tabelle. 2024 lag die Baseline auf Platz 30 von 31 Einreichungen, und das gesamte Feld passte zwischen FENSE 0,508 und 0,554.
Auch an der Spitze herrscht fast ein statistisches Unentschieden. Das 95%-Intervall des Siegers (0,543 bis 0,563) überlappt mit dem des Zweitplatzierten (0,534 bis 0,555), liegt aber über dem der Baseline (0,499 bis 0,521). Ändert man die Metrik, ändert sich die Reihenfolge: Die siegreiche Einreichung zog Kandidatenbeschreibungen, filterte sie und fasste sie mit GPT-4 Turbo zusammen, was zu FENSE weit besser passte als zu SPIDEr-FL. Abschnitt 5 zeigt, wie weit sich jede Metrik verlässlich einsetzen lässt.
| Metrik | Wert | Quelle |
|---|---|---|
| SPIDEr des Besten gegenüber der Baseline auf dem zurückgehaltenen Ranking-Split, nach Ausgabe | 2020: 0,222 gegenüber 0,018; 2021: 0,310 gegenüber 0,012; 2022: 0,319 gegenüber 0,224 | DCASE 2020, 2021 und 2022, Ergebnisse Aufgabe 6 |
| SPIDEr-FL des Besten gegenüber der Baseline 2023 auf dem zurückgehaltenen Ranking-Split | 0,327 gegenüber 0,264 | DCASE 2023, Ergebnisse Aufgabe 6a |
| FENSE des Besten gegenüber der Baseline 2024 auf dem Clotho-Evaluierungs-Split | 0,554 (95%-KI 0,543 bis 0,563) gegenüber 0,510 (95%-KI 0,499 bis 0,521) | DCASE 2024, Ergebnisse Aufgabe 6 |
| SPIDEr-FL des Siegers 2024 gegenüber der Baseline; höchstes SPIDEr-FL einer Einreichung 2024 | 0,241 gegenüber 0,287; höchstes 0,329, von einem System, das wegen eines Datenlecks markiert wurde | DCASE 2024, Ergebnisse Aufgabe 6 |
| Einzelmodell eines Teams gegenüber seinem Ensemble aus 25 Modellen, FENSE im eigenen Bericht | 0,5410 gegenüber 0,5442 (Baseline 0,5040) | Jung et al., technischer Bericht, 2024 |
Aktuellste verfügbare Daten: DCASE Challenge, Ergebnisse Aufgabe 6, 2024. Keine spätere Ausgabe hat eine Aufgabe zur Audiobeschreibung. Die Ensemble-Zeile zeigt, wie wenig durch rohe Rechenkraft noch zu gewinnen war: 25 Modelle brachten 0,0032 FENSE (0,5442 minus 0,5410).
2. Teilnahme und Publikationsvolumen
Die Teamzahlen blieben flach: Die Aufgabe hatte fünf Jahre lang zwischen 9 und 12 Teams und verschwand dann aus dem Programm. Weder das Programm 2025 (sechs Aufgaben) noch das Programm 2026 (sieben Aufgaben) führt Audiobeschreibung auf. Die veröffentlichten Seiten nennen keinen Grund, aber die Ersatzaufgaben deuten die Richtung an, und Abschnitt 7 folgt ihr.
Die akademische Produktion erzählt eine ähnliche Geschichte. Veröffentlichungen mit dem Begriff im Titel haben sich zwischen 2019 und 2024 versechsfacht (36 geteilt durch 6) und flachten dann ab. Eine breitere OpenAlex-Suche steigt weiter, was darauf hindeutet, dass Audiobeschreibung zu einer Funktion innerhalb größerer Audiomodelle wird und kein eigenes Feld mehr ist. Diese Lesart stammt von uns, und die breite Suche ist verrauscht.
| Metrik | Wert | Quelle |
|---|---|---|
| Teams und eingereichte Systeme pro Ausgabe, ohne die Baseline | 2020: 10 und 34; 2021: 12 und 37; 2022: 9 und 36; 2023: 10 und 28; 2024: 11 und 30 | DCASE-Ergebnisse Aufgabe 6, 2020 bis 2024 (Links in Abschnitt 1) |
| Aufgaben zur Audiobeschreibung im Challenge-Programm; Einreichungen im gesamten Programm 2025 | 2025: 0 von 6 Aufgaben; 2026: 0 von 7 Aufgaben; 277 Einreichungen 2025 | Programmseiten DCASE 2025 und DCASE 2026 |
| Veröffentlichungen mit ‘audio captioning’ im Titel, nach Erscheinungsjahr | 2019: 6; 2022: 27; 2024: 36; 2025: 33; 2026 bis 31. Oktober: 29 | OpenAlex-Titelsuche, 31. Oktober 2026 |
| Alle Veröffentlichungen mit ‘audio captioning’ im Titel, 2017 bis 31. Oktober 2026 | 203 | OpenAlex-Titelsuche, 31. Oktober 2026 |
| Von der breiteren OpenAlex-Phrasensuche gelieferte Datensätze | 2.109 insgesamt; 433 im Jahr 2025; 726 in 2026 bis 31. Oktober | OpenAlex-Allgemeinsuche, 31. Oktober 2026 |
3. Die menschliche Obergrenze: Wie weit Maschinen von der menschlichen Übereinstimmung entfernt sind
Audiobeschreibung hat keine einzige richtige Antwort, daher bewerten Forscher die menschlichen Referenzen gegeneinander, um eine Obergrenze zu schätzen, den sogenannten Konsenswert. Menschen stimmen auf beiden Hauptdatensätzen fast auf demselben Niveau überein, SPIDEr 0,56 auf AudioCaps und 0,54 auf Clotho, doch dieselbe Modellarchitektur landet weit auseinander: 0,466 und 0,301.
Als Anteil des menschlichen Werts sind das etwa 83% auf AudioCaps (0,466 geteilt durch 0,56) und 56% auf Clotho (0,301 geteilt durch 0,54). Die Lücke erklärt sich also nicht allein durch menschliche Uneinigkeit. Clotho-Clips sind zudem länger, 15 bis 30 Sekunden gegenüber 10, und MACS zeigt das andere Extrem, bei dem sich menschliche Beschreibungen desselben Clips im Wortlaut kaum überschneiden. Sein Sentence-BERT-Wert hält sich weit besser als sein SPIDEr-Wert, was darauf hindeutet, dass Menschen dieselbe Szene mit anderen Worten beschreiben.
Die letzte Zeile ist wichtig für alle, die Aussagen zu AudioCaps lesen. Auf AudioSet vortrainierte Encoder haben die AudioCaps-Testdateien bereits gehört, und deren Entfernung aus dem Vortraining kostete ein Modell 0,029 SPIDEr.
| Metrik | Wert | Quelle |
|---|---|---|
| Menschlicher Konsens-SPIDEr auf AudioCaps, Clotho und MACS | 0,56, 0,54 und 0,17 | Mei et al., Audio Captioning Overview, 2022 |
| Menschlicher Konsens-CIDEr auf AudioCaps, Clotho und MACS | 0,90, 0,86 und 0,21 | Mei et al., Audio Captioning Overview, 2022 |
| Menschlicher Konsens-Sentence-BERT auf AudioCaps, Clotho und MACS | 0,64, 0,53 und 0,52 | Mei et al., Audio Captioning Overview, 2022 |
| Gleiche CNext-trans-Architektur, SPIDEr auf dem AudioCaps-Testset gegenüber dem Clotho-Testset | 0,466 gegenüber 0,301 | Labbé et al., CoNeTTE, 2023 |
| Gleiche CNext-trans-Architektur, FENSE auf dem AudioCaps-Testset gegenüber dem Clotho-Testset | 0,633 gegenüber 0,516 | Labbé et al., CoNeTTE, 2023 |
| CNext-trans-SPIDEr auf AudioCaps, Encoder, der das Testaudio gehört hatte, gegenüber einem, der es nicht gehört hatte | 0,495 gegenüber 0,466 | Labbé et al., CoNeTTE, 2023 |
Aktuellste verfügbare Daten: Mei et al., Audio Captioning Overview, 2022. Die Konsenswerte nutzen andere Teilmengen als die Modellwerte: AudioCaps-Validierung und -Test, Clotho-Training und MACS-Clips mit fünf Referenzen.
4. Größe der Datensätze: Von per Crowdsourcing zu von LLMs geschriebenen Beschreibungen
Menschliche Annotation hat das Feld aufgebaut, und große Sprachmodelle (LLMs) haben es skaliert. WavCaps umfasst 403.050 Clips und rund das 60-Fache des Audios des AudioCaps-Trainingssets (7.563,3 Stunden geteilt durch 126,6 Stunden, beide aus Labbé et al., 2023). AudioSetCaps hob die Zahl dann auf 1.910.920 Beschreibungen, wobei die mittlere Beschreibungslänge von 11 Wörtern bei Clotho auf 28 stieg.
Mehr Daten bedeuteten keine Gewinne zum Nulltarif. WavCaps behielt nach der Bereinigung nur 46,3% seiner FreeSound-Clips (262.300 von 567.078), und das Vortraining damit hob die Werte nur mäßig. Auch die Rohqualität hielt sich besser, als der Name “schwach gelabelt” vermuten lässt, wenngleich 79 Clips eine kleine Stichprobe sind.
| Metrik | Wert | Quelle |
|---|---|---|
| Umfang von Clotho Version 1 | 4.981 Clips, 24.905 Beschreibungen, 15 bis 30 Sekunden pro Clip | Drossos et al., Clotho, 2019 |
| Offizieller Umfang von AudioCaps | 51.308 Clips von 10 Sekunden | Mei et al., Audio Captioning Overview, 2022 |
| AudioCaps-Trainingsdateien, die einem Forschungsteam noch zur Verfügung standen | 46.213 von 49.838 (92,7%) | Labbé et al., CoNeTTE, 2023 |
| Umfang von WavCaps | 403.050 Clips, 7.567,92 Stunden | Mei et al., WavCaps, 2023 |
| FreeSound-Clips von WavCaps vor gegenüber nach der Bereinigung mit ChatGPT | 567.078 gegenüber 262.300 | Mei et al., WavCaps, 2023 |
| SPIDEr (Prozent) bei Training nur auf dem Zieldatensatz gegenüber Vortraining auf WavCaps und Feinabstimmung auf dem Ziel | HTSAT-BART auf AudioCaps: 44,4 gegenüber 48,5; CNN14-BART auf Clotho: 25,5 gegenüber 31,0 | Mei et al., WavCaps, 2023 |
| Beschreibungseinträge von AudioSetCaps; Beschreibungen in seinen drei erweiterten Datensätzen | 1.910.920; 6.117.099 | Bai et al., AudioSetCaps, 2024 |
| Menschliche mittlere Meinungsnote von 5 über 79 Clips | AudioSet-Labels 3,81; AudioCaps 3,79; AudioSetCaps 3,70; WavCaps 3,70; Auto-ACD 3,60 | Bai et al., AudioSetCaps, 2024 |
Aktuellste verfügbare Daten für Clotho: Drossos et al., 2019. AudioCaps-Clips stammen von YouTube, die Verfügbarkeit schrumpft also, wenn Videos verschwinden, und zwei Teams trainieren womöglich nicht auf denselben Dateien.
5. Bewertungsmetriken: Stimmen die Werte mit dem menschlichen Urteil überein?
Eine Rangliste ist nur so gut wie ihre Metrik, und die in den ersten Jahren dieser Aufgabe verwendeten Metriken wurden nie für Geräusche entwickelt. FENSE, die Ranking-Metrik von 2024, widerspricht der menschlichen Präferenz immer noch bei etwa einem von vier Clotho-Eval-Paaren (100 minus 75,7 ergibt 24,3%). SPICE schneidet schlechter ab und liegt bei Paaren aus zwei korrekten menschlichen Beschreibungen unter dem Zufall.
Auch die menschliche Seite ist wackelig. Als Bewerter Beschreibungen auf einer absoluten Skala bewerteten, war die Übereinstimmung schwach, mit einem Fleiss-Kappa (ein Maß für die Übereinstimmung zwischen Bewertern, bei dem 1 perfekt ist) von 0,18 auf Clotho. Die Frage, welche von zwei Beschreibungen besser ist, hob ihn auf 0,48. Deshalb vergleichen diese Benchmarks Paare. Die Metrikgeneration von 2024 ergänzt Audio oder einen LLM als Richter und gewinnt einige Punkte hinzu, und CLAIR-A erklärt seine Werte zusätzlich in Worten, was menschliche Bewerter fairer fanden als eine nackte FENSE-Zahl.
| Metrik | Wert | Quelle |
|---|---|---|
| Anteil der Paare, bei denen die Metrik die von Menschen bevorzugte Beschreibung wählte, FENSE gegenüber SPICE | Clotho-Eval: 75,7% gegenüber 56,3%; AudioCaps-Eval: 85,3% gegenüber 59,7% | Zhou et al., FENSE, 2021 |
| Übereinstimmung der Bewerter (Fleiss-Kappa), absolute Werte gegenüber paarweisen Entscheidungen | Clotho: 0,18 gegenüber 0,48; AudioCaps: 0,23 gegenüber 0,33 | Zhou et al., FENSE, 2021 |
| Umfang der Benchmarks Clotho-Eval und AudioCaps-Eval | 1.750 und 1.671 Paare; je 250 Clips; 4 Bewerter pro Paar | Zhou et al., FENSE, 2021 |
| FENSE-Fehlerdetektor bei Schwellenwert 0,9, an 723 maschinellen Beschreibungen | Präzision 96,8, Recall 76,4, F1 85,4 | Zhou et al., FENSE, 2021 |
| Genauigkeit bei Clotho-Eval-Paaren aus zwei korrekten menschlichen Beschreibungen: SPICE, FENSE, MACE | 44,3%, 60,5%, 63,3% | Dixit et al., MACE, 2024 |
| Gesamtgenauigkeit auf Clotho-Eval: CLAIR-A mit GPT-4o gegenüber FENSE | 79,7% gegenüber 75,7% | Wu et al., CLAIR-A, 2024 |
| Menschliche Fairness-Bewertung von 5 für FENSE-Werte gegenüber CLAIR-A-Werten mit schriftlicher Begründung (N=200) | 2,97 gegenüber 3,66 | Wu et al., CLAIR-A, 2024 |
Aktuellste verfügbare Daten für die Paar-Benchmarks selbst: Zhou et al., 2021. Neuere Studien lassen neue Metriken auf denselben Paaren von 2021 erneut laufen.
6. Große Audiomodelle, Modellgröße und erfundene Geräusche
Die Audiobeschreibung hat sich von einer eigenen Aufgabe zu einer Nebenfähigkeit allgemeiner Audiomodelle entwickelt, und die Spezialisten führen auf ihrem Heimatgebiet weiterhin. Audio Flamingo 3 hob den CIDEr auf AudioCaps von 0,58 auf 0,70, doch das liegt weiterhin weit unter dem menschlichen Konsens von 0,90 aus Abschnitt 3 und den 84,8 (auf einer Skala von 0 bis 100) eines auf AudioSetCaps trainierten und auf AudioCaps feinabgestimmten Modells. Auch Größe garantiert nichts: Ein Modell mit 12,0M Parametern konkurriert mit Systemen von 171M und 400M.
Gute Beschreibungen ersetzen das Hören nicht. Als MMAU-Pro GPT-4o statt Audio Beschreibungen vorlegte, sank die Genauigkeit auf 35,3%, gegenüber 59,2% bei einem Modell, das das Audio direkt erhält. Wer dieselbe Trennung bei Sprache verfolgt, kann unsere Benchmarks zu gesprochenen Frage-Antwort-Aufgaben vergleichen.
Die BRACE-Ergebnisse zeigen eine gespaltene Persönlichkeit. GPT-4o-Audio-Preview war am besten darin, eine Beschreibung mit einem erfundenen Substantiv zu erkennen, aber schwach beim Ordnen zweier echter Beschreibungen. Das Risiko spiegelt die Halluzination bei der Spracherkennung, nur mit erfundenen Geräuschen statt erfundener Wörter.
| Metrik | Wert | Quelle |
|---|---|---|
| CIDEr, Audio Flamingo 2 gegenüber Audio Flamingo 3 | AudioCaps: 0,58 gegenüber 0,70; Clotho-v2: 0,46 gegenüber 0,50 | Goel et al., Audio Flamingo 3, 2025 |
| Modell, vortrainiert auf AudioSetCaps, AudioCaps und Clotho, dann feinabgestimmt auf AudioCaps: Werte auf dem AudioCaps-Testset | CIDEr 84,8, SPIDEr 51,6 | Bai et al., AudioSetCaps, 2024 |
| Trainierbare Parameter auf AudioCaps: CNext-trans gegenüber HTSAT-BART gegenüber PYB | 12,0M gegenüber 171M gegenüber 400M | Labbé et al., CoNeTTE, 2023 |
| Ordnen der Beschreibungsqualität an 2.496 Paaren (BRACE-Main), F1: beste CLAP-basierte Metrik gegenüber Audio Flamingo 2 gegenüber GPT-4o-Audio-Preview | 70,01 gegenüber 63,19 gegenüber 55,24 | Guo et al., BRACE, 2025 |
| Erkennen einer Beschreibung mit einem vertauschten Substantiv an 10.315 Paaren (BRACE-Hallucination), F1 auf AudioCaps und Clotho: GPT-4o-Audio-Preview gegenüber Audio Flamingo 2 | 95,76 und 96,75 gegenüber 79,55 und 72,91 | Guo et al., BRACE, 2025 |
| MMAU-Pro-Durchschnitt an 5.305 Fragen: Beschreibungen plus GPT-4o gegenüber Audio Flamingo 3 gegenüber Gemini 2.5 Flash | 35,3 gegenüber 51,7 gegenüber 59,2 | Kumar et al., MMAU-Pro, 2025 |
| Genauigkeit bei Frage-Antwort-Aufgaben zu Audio, beste Einreichung gegenüber stärkster Vergleichsbasis (zwei verschiedene Benchmarks) | 2025: 73,74% gegenüber 52,09%; 2026: 58,33% gegenüber 53,17% | Ergebnisse zu DCASE 2025 Aufgabe 5 und DCASE 2026 Aufgabe 5 |
7. Beschreibungen mit Zeitstempeln: Wohin der Benchmark gewandert ist
Ein Satz für einen ganzen Clip kann nicht sagen, wann etwas geschah, und die neuesten Datensätze sollen genau das beheben. Die Aufgabe 2026 zum Auffinden eines Moments in langem Audio zog 21 Teams und 59 Einreichungen an, mehr als jede der fünf Ausgaben zur Audiobeschreibung aus Abschnitt 2, und der beste Recall1@0.7 von 48,59 lag mehr als dreimal über der Baseline von 13,56 (48,59 geteilt durch 13,56 ergibt 3,6). Recall1@0.7 fragt, ob der beste Tipp des Modells den wahren Moment um mindestens 0,7 überlappt.
Der Abstand zwischen dem Spitzenergebnis der Aufgabe und den 20,3 aus der Veröffentlichung zum Datensatz ist groß, doch beide wurden auf verschiedenen Testsets gemessen. TACOS liefert ein zweites Signal: Als das Training von clipweisen zu zeitlich ausgerichteten Beschreibungen überging, erzielte die textbasierte Geräuscherkennung höhere Werte, blieb aber weit unter dem überwachten Training.
| Metrik | Wert | Quelle |
|---|---|---|
| Umfang von TACOS | 12.358 Aufnahmen; 47.748 zeitlich ausgerichtete Beschreibungen; 76,59 Stunden | Primus et al., TACOS, 2025 |
| Annotation von TACOS | 337 Studierende; durchschnittlich 3,57 Beschreibungen pro Clip; durchschnittlich 92,84% jedes Clips abgedeckt | Primus et al., TACOS, 2025 |
| Textbasierte Geräuscherkennung in 50 Kategorien, PSDS1 (ein Erkennungswert): Vortraining, clipweise Feinabstimmung, zeitlich ausgerichtete Feinabstimmung, vollständig überwacht | 4,61, 12,44, 17,99, 54,26 | Primus et al., TACOS, 2025 |
| Umfang von CASTELLA | 1.862 Aufnahmen von 1 bis 5 Minuten; 3.881 lokale Beschreibungen; 11.308 Zeitstempel; über 120 Stunden | Munakata et al., CASTELLA, 2025 |
| Umfang von Clotho-Moment, dem synthetischen Begleitdatensatz | 44,3 Tsd. annotierte Clips; 853 Stunden | Munakata et al., CASTELLA, 2025 |
| Bester Recall1@0.7 in der CASTELLA-Veröffentlichung | 20,3 | Munakata et al., CASTELLA, 2025 |
| Aufgabe 2026 zum Auffinden von Momenten in Audio: Teams, Einreichungen, bester gegenüber Baseline bei Recall1@0.7 | 21 Teams; 59 Einreichungen; 48,59 gegenüber 13,56 | DCASE 2026, Ergebnisse Aufgabe 6 |
Zusammenfassung: Automatische Audiobeschreibung in Zahlen
| Metrik | Wert | Quelle |
|---|---|---|
| Sieger 2024 gegenüber Baseline | FENSE 0,554 gegenüber 0,510; SPIDEr-FL 0,241 gegenüber 0,287 | DCASE Challenge, Ergebnisse Aufgabe 6, 2024 |
| Menschlicher Konsens-SPIDEr auf AudioCaps und Clotho | 0,56 und 0,54 | Mei et al., Audio Captioning Overview, 2022 |
| CNext-trans-SPIDEr, AudioCaps-Testset gegenüber Clotho-Testset | 0,466 gegenüber 0,301 | Labbé et al., CoNeTTE, 2023 |
| Clotho Version 1 | 4.981 Clips, 24.905 Beschreibungen | Drossos et al., Clotho, 2019 |
| Offizieller Umfang von AudioCaps | 51.308 Clips | Mei et al., Audio Captioning Overview, 2022 |
| Umfang von WavCaps | 403.050 Clips, 7.567,92 Stunden | Mei et al., WavCaps, 2023 |
| Beschreibungseinträge von AudioSetCaps | 1.910.920 | Bai et al., AudioSetCaps, 2024 |
| Menschliche mittlere Meinungsnote von 5, AudioCaps gegenüber AudioSetCaps | 3,79 gegenüber 3,70 | Bai et al., AudioSetCaps, 2024 |
| Genauigkeit auf Clotho-Eval, FENSE gegenüber SPICE | 75,7% gegenüber 56,3% | Zhou et al., FENSE, 2021 |
| Übereinstimmung der Bewerter auf Clotho (Fleiss-Kappa), absolute Werte gegenüber paarweisen Entscheidungen | 0,18 gegenüber 0,48 | Zhou et al., FENSE, 2021 |
| Genauigkeit bei Paaren aus zwei korrekten menschlichen Beschreibungen, SPICE auf Clotho-Eval | 44,3% | Dixit et al., MACE, 2024 |
| Gesamtgenauigkeit auf Clotho-Eval, CLAIR-A mit GPT-4o | 79,7% | Wu et al., CLAIR-A, 2024 |
| CIDEr auf AudioCaps, Audio Flamingo 2 gegenüber Audio Flamingo 3 | 0,58 gegenüber 0,70 | Goel et al., Audio Flamingo 3, 2025 |
| F1 von GPT-4o-Audio-Preview, Beschreibungsqualität ordnen gegenüber vertauschtes Substantiv erkennen auf AudioCaps | 55,24 gegenüber 95,76 | Guo et al., BRACE, 2025 |
| MMAU-Pro-Durchschnitt, Beschreibungen plus GPT-4o gegenüber Gemini 2.5 Flash | 35,3 gegenüber 59,2 | Kumar et al., MMAU-Pro, 2025 |
| Zeitlich ausgerichtete Beschreibungen von TACOS | 47.748 | Primus et al., TACOS, 2025 |
| Lokale Beschreibungen von CASTELLA | 3.881 | Munakata et al., CASTELLA, 2025 |
| Veröffentlichungen mit ‘audio captioning’ im Titel, 2024 gegenüber 2025 | 36 gegenüber 33 | OpenAlex-Titelsuche, 31. Oktober 2026 |
Methodik und Quellen
Wir haben die Ergebnistabellen, Aufgabenseiten und Veröffentlichungen unten bei dieser Aktualisierung gelesen und nennen die ursprünglichen Autoren. Keine Zahl stammt aus einem Blog oder einem Ranglisten-Spiegel.
- Ergebnisse der DCASE Challenge: 2020, 2021, 2022, 2023, 2024, 2025 Aufgabe 5, 2026 Aufgabe 5, 2026 Aufgabe 6; Aufgabenseiten: 2020, 2022, 2024, 2026 Aufgabe 6; Programme: 2025, 2026.
- Jung et al., technischer Bericht zu Encoder-Fusion und LLM-Zusammenfassung, 2024.
- Drossos et al., Clotho: An Audio Captioning Dataset, 2019.
- Mei et al., Automated Audio Captioning: An Overview of Recent Progress and New Challenges, 2022.
- Mei et al., WavCaps, 2023.
- Bai et al., AudioSetCaps, 2024.
- Labbé et al., CoNeTTE, 2023.
- Zhou et al., Can Audio Captions Be Evaluated with Image Caption Metrics?, 2021.
- Dixit et al., MACE, 2024.
- Wu et al., CLAIR-A, 2024.
- Guo et al., BRACE, 2025.
- Goel et al., Audio Flamingo 3, 2025.
- Kumar et al., MMAU-Pro, 2025.
- Primus et al., TACOS, 2025.
- Munakata et al., CASTELLA, 2025.
- OpenAlex-Titelsuche und Allgemeinsuche, beide am 31. Oktober 2026 ausgeführt.
- Daten-Hinweis: Die Werte verschiedener Ausgaben sind nicht streng vergleichbar. Die Ranking-Metrik wechselte von SPIDEr (2020 bis 2022) zu SPIDEr-FL (2023) und zu FENSE (2024), die Ausgabe 2020 nutzte Clotho Version 1, die Ausgaben 2022 und 2024 Version 2, und der zurückgehaltene Split hieß bis 2023 Test-Split und 2024 Evaluierungs-Split. Die Clotho-Summen unterscheiden sich je nach Ausgabe: Die Aufgabenseite 2022 nennt 6.974 Clips und 34.870 Beschreibungen, die Aufgabenseite 2024 nennt 6.972 und 34.860. Der Text von CoNeTTE nennt 3.840 Clotho-Trainingsdateien und seine Tabelle 3.839, und seine Schlussfolgerung zitiert einen Wert von 49,5%, der dem überlappenden Encoder in seiner Tabelle V entspricht, daher zitieren wir die Tabelle. WavCaps hat in der eigenen Veröffentlichung 7.567,92 Stunden und in CoNeTTE 7.563,3. Der Fließtext von MACE scheint seine Clotho-Eval- und AudioCaps-Eval-Werte für FENSE zu vertauschen, daher folgen wir der ursprünglichen FENSE-Veröffentlichung; die Zusammenfassung von CLAIR-A behauptet einen Zugewinn von 5,8% gegenüber FENSE, während seine Tabelle 4,0 Punkte zeigt, daher zitieren wir die Tabelle. Der Avg-All-Wert von BRACE für GPT-4o-Audio-Preview bei Halluzination (96,37) entspricht nicht dem Mittel seiner beiden Spalten, daher zitieren wir die Spalten; die Beschreibungen mit vertauschtem Substantiv wurden von GPT-4o geschrieben, derselben Modellfamilie wie der beste Detektor, und die gefilterten Paare behalten nur einstimmige menschliche Stimmen. AudioSetCaps nennt im Text “mindestens fünf” Bewerter und in einer Abbildungsunterschrift einen anderen Wert; wir haben nicht bestätigt, ob AudioCaps-Testclips aus seinem auf AudioSet basierenden Training ausgeschlossen wurden. CIDEr wird auf Skalen von 0 bis 1 und von 0 bis 100 berichtet, und Audio Flamingo 2 kennzeichnet seinen AudioCaps-Wert als Zero-Shot, daher sind CIDEr-Vergleiche zwischen Veröffentlichungen näherungsweise. Clotho-Moment wird in der CASTELLA-Veröffentlichung mit 44,3 Tsd. Clips geführt und auf der Aufgabenseite 2026 mit über 51.240 Aufnahmen und 44.261 Beschreibungen. Die OpenAlex-Zahlen ändern sich, wenn Datensätze hinzukommen, und 2026 ist ein Teiljahr. Die aktuellsten verfügbaren Daten für die Abschnitte 3 bis 5 umfassen Veröffentlichungen von 2019 bis 2023; eine neuere Konsensstudie war nicht zu finden.
Zuletzt aktualisiert: 31. Oktober 2026. Wir aktualisieren diese Zusammenstellung vierteljährlich, und die nächste Aktualisierung wird erwartet, wenn die DCASE Challenge 2027 ihre Aufgabenbeschreibungen veröffentlicht.