Sistem pemenang pada tugas takarir audio DCASE terbaru meraih FENSE 0,554, hanya 0,044 di atas sistem dasar penyelenggara sebesar 0,510, dan 29 dari 30 sistem tim mengalahkan sistem dasar itu (DCASE Challenge, Task 6 Results 2024). Manusia masih jauh di depan pada dataset yang lebih sulit: takarir acuan saling sepakat pada SPIDEr 0,54 di Clotho (Mei et al., Audio Captioning Overview, 2022), sementara model ringkas mencapai 0,301 (Labbé et al., CoNeTTE, 2023). Alat ukurnya pun tidak sempurna, karena metrik FENSE memilih takarir yang disukai manusia pada 75,7% pasangan Clotho-Eval (Zhou et al., FENSE, 2021). Rangkuman ini membahas mesin yang menggambarkan bunyi selain ucapan, bukan subtitel ucapan, yang dibahas dalam statistik takarir dan subtitel serta rangkuman pasar takarir dan subtitel kami. Kami menghimpun data dari makalah dataset Clotho, AudioCaps, WavCaps, dan AudioSetCaps, studi evaluasi FENSE, MACE, CLAIR-A, dan BRACE, makalah Audio Flamingo dan MMAU-Pro, OpenAlex, serta tabel hasil milik tantangan itu sendiri.
Beberapa istilah muncul berulang di bawah. “Takarir” di sini adalah kalimat yang menggambarkan bunyi, baik ditulis mesin maupun manusia. “Sistem dasar” (baseline) adalah sistem acuan yang disediakan penyelenggara, yang berusaha dikalahkan oleh tim. SPIDEr, CIDEr, dan SPICE adalah skor yang dipinjam dari pembuatan takarir gambar, FENSE menggabungkan kemiripan kalimat dengan penalti untuk tata bahasa yang rusak, dan SPIDEr-FL adalah SPIDEr dengan penalti serupa. Untuk semuanya, makin tinggi makin baik.
TL;DR
- Pemenang 2024 mengalahkan sistem dasar pada FENSE, 0,554 berbanding 0,510, tetapi tertinggal pada SPIDEr-FL, 0,241 berbanding 0,287 (DCASE Challenge, Task 6 Results 2024).
- Takarir acuan manusia saling sepakat pada SPIDEr 0,56 di AudioCaps dan 0,54 di Clotho (Mei et al., Audio Captioning Overview, 2022).
- Satu model meraih SPIDEr 0,466 di AudioCaps tetapi 0,301 di Clotho (Labbé et al., CoNeTTE, 2023).
- FENSE sejalan dengan preferensi manusia pada 75,7% pasangan Clotho-Eval; SPICE pada 56,3% (Zhou et al., FENSE, 2021).
- Pada pasangan dua takarir manusia yang benar, SPICE meraih 44,3% di Clotho-Eval, lebih buruk daripada lempar koin (Dixit et al., MACE, 2024).
- WavCaps memuat 403.050 klip dan 7.567,92 jam audio (Mei et al., WavCaps, 2023).
- AudioSetCaps memuat 1.910.920 takarir, dinilai manusia 3,70 dari 5 (Bai et al., AudioSetCaps, 2024).
- GPT-4o-Audio-Preview meraih F1 95,76 dan 96,75 dalam menemukan bunyi karangan pada takarir, tetapi 55,24 dalam meranking kualitas takarir (Guo et al., BRACE, 2025).
- Makalah dengan ‘audio captioning’ di judulnya naik dari 6 pada 2019 menjadi 36 pada 2024 (OpenAlex, pencarian judul, 31 Oktober 2026).
1. Skor Papan Peringkat: Lima Edisi, Selisih yang Menyempit
Kisah papan peringkat ini adalah lantai yang terus naik. Dalam SPIDEr, selisih pemenang atas sistem dasar turun dari 0,298 pada 2021 (0,310 dikurangi 0,012) menjadi 0,095 pada 2022 (0,319 dikurangi 0,224), karena sistem awal penyelenggara membaik jauh lebih cepat daripada puncak tabel. Pada 2024, sistem dasar berada di peringkat ke-30 dari 31 entri, dan seluruh peserta berada di antara FENSE 0,508 dan 0,554.
Peringkat di puncak juga mendekati seri secara statistik. Interval 95% pemenang (0,543 hingga 0,563) tumpang tindih dengan interval juara dua (0,534 hingga 0,555), meski melampaui interval sistem dasar (0,499 hingga 0,521). Ganti metriknya dan urutannya berubah: entri pemenang mengambil sampel takarir kandidat, menyaringnya, dan merangkumnya dengan GPT-4 Turbo, yang jauh lebih cocok untuk FENSE daripada SPIDEr-FL. Bagian 5 membahas seberapa jauh setiap metrik dapat dipercaya.
| Metrik | Nilai | Sumber |
|---|---|---|
| SPIDEr terbaik berbanding sistem dasar pada pembagian peringkat tertahan, per edisi | 2020: 0,222 berbanding 0,018; 2021: 0,310 berbanding 0,012; 2022: 0,319 berbanding 0,224 | Hasil Task 6 DCASE 2020, 2021, dan 2022 |
| SPIDEr-FL terbaik 2023 berbanding sistem dasar pada pembagian peringkat tertahan | 0,327 berbanding 0,264 | Hasil Task 6a DCASE 2023 |
| FENSE terbaik 2024 berbanding sistem dasar pada pembagian evaluasi Clotho | 0,554 (CI 95% 0,543 hingga 0,563) berbanding 0,510 (CI 95% 0,499 hingga 0,521) | Hasil Task 6 DCASE 2024 |
| SPIDEr-FL pemenang 2024 berbanding sistem dasar; SPIDEr-FL tertinggi dari semua entri 2024 | 0,241 berbanding 0,287; tertinggi 0,329, dari sistem yang ditandai karena kebocoran data | Hasil Task 6 DCASE 2024 |
| Model tunggal satu tim berbanding ansambelnya yang terdiri dari 25 model, FENSE dalam laporannya sendiri | 0,5410 berbanding 0,5442 (sistem dasar 0,5040) | Jung et al., laporan teknis 2024 |
Data terbaru yang tersedia: DCASE Challenge, Task 6 Results 2024. Tidak ada edisi berikutnya yang memiliki tugas takarir. Baris ansambel menunjukkan betapa sedikit yang tersisa untuk diraih dengan tenaga kasar: 25 model hanya menambah 0,0032 FENSE (0,5442 dikurangi 0,5410).
2. Partisipasi dan Volume Publikasi
Jumlah tim stabil: tugas ini menarik 9 hingga 12 tim selama lima tahun, lalu keluar dari program. Baik program 2025 (enam tugas) maupun program 2026 (tujuh tugas) tidak mencantumkan takarir audio. Halaman yang dipublikasikan tidak menyebut alasannya, tetapi tugas pengganti memberi petunjuk arahnya, yang diikuti bagian 7.
Keluaran akademik menunjukkan cerita serupa. Makalah dengan frasa itu di judulnya bertambah enam kali lipat antara 2019 dan 2024 (36 dibagi 6), lalu mendatar. Pencarian OpenAlex yang lebih luas terus naik, yang menunjukkan bahwa pembuatan takarir menjadi satu fitur di dalam model audio yang lebih besar, bukan bidang tersendiri. Pembacaan itu milik kami, dan pencarian luas itu berisik.
| Metrik | Nilai | Sumber |
|---|---|---|
| Tim dan sistem yang dikirim per edisi, tidak termasuk sistem dasar | 2020: 10 dan 34; 2021: 12 dan 37; 2022: 9 dan 36; 2023: 10 dan 28; 2024: 11 dan 30 | Hasil Task 6 DCASE 2020 hingga 2024 (tautan di bagian 1) |
| Tugas takarir dalam program tantangan; entri pengiriman di seluruh program 2025 | 2025: 0 dari 6 tugas; 2026: 0 dari 7 tugas; 277 entri pada 2025 | Halaman program DCASE 2025 dan DCASE 2026 |
| Makalah dengan ‘audio captioning’ di judul, menurut tahun terbit | 2019: 6; 2022: 27; 2024: 36; 2025: 33; 2026 hingga 31 Oktober: 29 | Pencarian judul OpenAlex, 31 Oktober 2026 |
| Semua makalah dengan ‘audio captioning’ di judul, 2017 hingga 31 Oktober 2026 | 203 | Pencarian judul OpenAlex, 31 Oktober 2026 |
| Rekaman yang dikembalikan pencarian frasa OpenAlex yang lebih luas | 2.109 secara total; 433 pada 2025; 726 pada 2026 hingga 31 Oktober | Pencarian umum OpenAlex, 31 Oktober 2026 |
3. Batas Atas Manusia: Seberapa Jauh Mesin dari Kesepakatan Manusia
Takarir audio tidak memiliki satu jawaban yang benar, sehingga peneliti menilai takarir acuan manusia satu sama lain untuk memperkirakan batas atas, yang disebut skor konsensus. Manusia sepakat pada tingkat yang hampir sama di kedua dataset utama, SPIDEr 0,56 di AudioCaps dan 0,54 di Clotho, namun arsitektur model yang sama mendarat jauh berbeda: 0,466 dan 0,301.
Sebagai bagian dari angka manusia, itu sekitar 83% di AudioCaps (0,466 dibagi 0,56) dan 56% di Clotho (0,301 dibagi 0,54). Jadi selisih ini tidak dapat dijelaskan oleh ketidaksepakatan manusia saja. Klip Clotho juga lebih panjang, 15 hingga 30 detik dibandingkan 10, dan MACS menunjukkan kutub lainnya, ketika takarir manusia untuk klip yang sama nyaris tidak tumpang tindih dalam pilihan kata. Angka Sentence-BERT-nya jauh lebih bertahan daripada angka SPIDEr-nya, yang menunjukkan bahwa orang menggambarkan adegan yang sama dengan kata-kata berbeda.
Baris terakhir penting bagi siapa pun yang membaca klaim AudioCaps. Encoder yang dilatih awal pada AudioSet sudah pernah mendengar berkas uji AudioCaps, dan menghapus berkas itu dari pelatihan awal mengurangi SPIDEr satu model sebesar 0,029.
| Metrik | Nilai | Sumber |
|---|---|---|
| SPIDEr konsensus manusia pada AudioCaps, Clotho, dan MACS | 0,56, 0,54, dan 0,17 | Mei et al., Audio Captioning Overview, 2022 |
| CIDEr konsensus manusia pada AudioCaps, Clotho, dan MACS | 0,90, 0,86, dan 0,21 | Mei et al., Audio Captioning Overview, 2022 |
| Sentence-BERT konsensus manusia pada AudioCaps, Clotho, dan MACS | 0,64, 0,53, dan 0,52 | Mei et al., Audio Captioning Overview, 2022 |
| Arsitektur CNext-trans yang sama, SPIDEr pada set uji AudioCaps berbanding set uji Clotho | 0,466 berbanding 0,301 | Labbé et al., CoNeTTE, 2023 |
| Arsitektur CNext-trans yang sama, FENSE pada set uji AudioCaps berbanding set uji Clotho | 0,633 berbanding 0,516 | Labbé et al., CoNeTTE, 2023 |
| SPIDEr CNext-trans pada AudioCaps, encoder yang pernah mendengar audio uji berbanding yang belum | 0,495 berbanding 0,466 | Labbé et al., CoNeTTE, 2023 |
Data terbaru yang tersedia: Mei et al., Audio Captioning Overview, 2022. Angka konsensus memakai subset yang berbeda dari skor model: validasi dan uji AudioCaps, pelatihan Clotho, dan klip MACS dengan lima acuan.
4. Skala Dataset: Dari Takarir Hasil Urun Daya hingga Takarir Tulisan LLM
Anotasi manusia membangun bidang ini, dan model bahasa besar (LLM) memperbesar skalanya. WavCaps memuat 403.050 klip dan sekitar 60 kali lipat audio dari set pelatihan AudioCaps (7.563,3 jam dibagi 126,6 jam, keduanya dari Labbé et al., 2023). AudioSetCaps kemudian mendorong jumlahnya menjadi 1.910.920 takarir, dengan panjang rata-rata takarir naik dari 11 kata di Clotho menjadi 28.
Lebih banyak data tidak berarti keuntungan gratis. WavCaps hanya mempertahankan 46,3% klip FreeSound-nya (262.300 dari 567.078) setelah pembersihan, dan pelatihan awal padanya hanya menaikkan skor dalam jumlah yang sederhana. Kualitas mentahnya juga bertahan lebih baik daripada yang disiratkan oleh nama “berlabel lemah”, meski 79 klip adalah sampel yang kecil.
| Metrik | Nilai | Sumber |
|---|---|---|
| Ukuran Clotho versi 1 | 4.981 klip, 24.905 takarir, 15 hingga 30 detik per klip | Drossos et al., Clotho, 2019 |
| Ukuran resmi AudioCaps | 51.308 klip berdurasi 10 detik | Mei et al., Audio Captioning Overview, 2022 |
| Berkas pelatihan AudioCaps yang masih tersedia bagi satu tim peneliti | 46.213 dari 49.838 (92,7%) | Labbé et al., CoNeTTE, 2023 |
| Ukuran WavCaps | 403.050 klip, 7.567,92 jam | Mei et al., WavCaps, 2023 |
| Klip FreeSound WavCaps sebelum dan sesudah dibersihkan dengan ChatGPT | 567.078 berbanding 262.300 | Mei et al., WavCaps, 2023 |
| SPIDEr (persen) saat dilatih hanya pada dataset target berbanding dilatih awal pada WavCaps dan disetel pada target | HTSAT-BART pada AudioCaps: 44,4 berbanding 48,5; CNN14-BART pada Clotho: 25,5 berbanding 31,0 | Mei et al., WavCaps, 2023 |
| Entri takarir AudioSetCaps; takarir di ketiga dataset perluasannya | 1.910.920; 6.117.099 | Bai et al., AudioSetCaps, 2024 |
| Skor opini rata-rata manusia dari 5 pada 79 klip | Label AudioSet 3,81; AudioCaps 3,79; AudioSetCaps 3,70; WavCaps 3,70; Auto-ACD 3,60 | Bai et al., AudioSetCaps, 2024 |
Data terbaru yang tersedia untuk Clotho: Drossos et al., 2019. Klip AudioCaps berasal dari YouTube, sehingga ketersediaannya menyusut seiring video menghilang, dan dua tim mungkin tidak berlatih pada berkas yang sama.
5. Metrik Evaluasi: Apakah Skor Sesuai dengan Penilaian Manusia?
Papan peringkat hanya sebaik metriknya, dan metrik yang dipakai pada tahun-tahun awal tugas ini tidak pernah dibuat untuk bunyi. FENSE, metrik peringkat 2024, masih berbeda dari preferensi manusia pada sekitar satu dari empat pasangan Clotho-Eval (100 dikurangi 75,7 menghasilkan 24,3%). SPICE lebih buruk, dan pada pasangan dua takarir manusia yang benar ia jatuh di bawah peluang acak.
Sisi manusianya juga goyah. Ketika penilai menilai takarir pada skala mutlak, kesepakatannya buruk, dengan kappa Fleiss (ukuran kesepakatan antarpenilai, dengan 1 berarti sempurna) sebesar 0,18 di Clotho. Menanyakan mana yang lebih baik dari dua takarir menaikkannya menjadi 0,48. Itulah sebabnya tolok ukur ini membandingkan pasangan. Metrik generasi 2024 menambahkan audio atau juri LLM dan mendapat beberapa poin lagi, dan CLAIR-A juga menjelaskan skornya dengan kata-kata, yang dinilai penilai manusia lebih adil daripada angka FENSE yang polos.
| Metrik | Nilai | Sumber |
|---|---|---|
| Persentase pasangan di mana metrik memilih takarir yang disukai manusia, FENSE berbanding SPICE | Clotho-Eval: 75,7% berbanding 56,3%; AudioCaps-Eval: 85,3% berbanding 59,7% | Zhou et al., FENSE, 2021 |
| Kesepakatan penilai (kappa Fleiss), skor mutlak berbanding pilihan berpasangan | Clotho: 0,18 berbanding 0,48; AudioCaps: 0,23 berbanding 0,33 | Zhou et al., FENSE, 2021 |
| Ukuran tolok ukur Clotho-Eval dan AudioCaps-Eval | 1.750 dan 1.671 pasangan; masing-masing 250 klip; 4 penilai per pasangan | Zhou et al., FENSE, 2021 |
| Pendeteksi kesalahan FENSE pada ambang 0,9, pada 723 takarir mesin | Presisi 96,8, recall 76,4, F1 85,4 | Zhou et al., FENSE, 2021 |
| Akurasi pada pasangan Clotho-Eval berisi dua takarir manusia yang benar: SPICE, FENSE, MACE | 44,3%, 60,5%, 63,3% | Dixit et al., MACE, 2024 |
| Akurasi keseluruhan Clotho-Eval: CLAIR-A dengan GPT-4o berbanding FENSE | 79,7% berbanding 75,7% | Wu et al., CLAIR-A, 2024 |
| Penilaian keadilan manusia dari 5 untuk skor FENSE berbanding skor CLAIR-A dengan alasan tertulis (N=200) | 2,97 berbanding 3,66 | Wu et al., CLAIR-A, 2024 |
Data terbaru yang tersedia untuk tolok ukur pasangan itu sendiri: Zhou et al., 2021. Studi yang lebih baru menjalankan ulang metrik baru pada pasangan 2021 yang sama.
6. Model Audio Besar, Ukuran Model, dan Bunyi Karangan
Pembuatan takarir telah bergeser dari tugas khusus menjadi kemampuan sampingan model audio umum, dan model spesialis masih unggul di kandangnya sendiri. Audio Flamingo 3 menaikkan CIDEr di AudioCaps dari 0,58 menjadi 0,70, namun itu masih jauh di bawah konsensus manusia 0,90 dari bagian 3 dan 84,8 (pada skala 0 sampai 100) yang dilaporkan untuk model yang dilatih pada AudioSetCaps dan disetel pada AudioCaps. Ukuran juga bukan jaminan: model dengan 12,0M parameter bersaing dengan sistem 171M dan 400M.
Takarir yang bagus tidak menggantikan mendengarkan. Ketika MMAU-Pro memberikan takarir kepada GPT-4o sebagai ganti audio, akurasi turun menjadi 35,3%, dibandingkan 59,2% untuk model yang menerima audio secara langsung. Pembaca yang mengikuti pembagian serupa pada ucapan dapat membandingkannya dengan tolok ukur tanya jawab lisan kami.
Hasil BRACE menunjukkan kepribadian ganda. GPT-4o-Audio-Preview paling baik dalam menangkap takarir dengan satu kata benda karangan tetapi lemah dalam meranking dua takarir yang nyata. Risikonya mirip dengan halusinasi pengenalan ucapan, dengan bunyi karangan sebagai pengganti kata karangan.
| Metrik | Nilai | Sumber |
|---|---|---|
| CIDEr, Audio Flamingo 2 berbanding Audio Flamingo 3 | AudioCaps: 0,58 berbanding 0,70; Clotho-v2: 0,46 berbanding 0,50 | Goel et al., Audio Flamingo 3, 2025 |
| Model yang dilatih awal pada AudioSetCaps, AudioCaps, dan Clotho, lalu disetel pada AudioCaps: skor pada set uji AudioCaps | CIDEr 84,8, SPIDEr 51,6 | Bai et al., AudioSetCaps, 2024 |
| Parameter yang dapat dilatih pada AudioCaps: CNext-trans berbanding HTSAT-BART berbanding PYB | 12,0M berbanding 171M berbanding 400M | Labbé et al., CoNeTTE, 2023 |
| Meranking kualitas takarir pada 2.496 pasangan (BRACE-Main), F1: metrik berbasis CLAP terbaik berbanding Audio Flamingo 2 berbanding GPT-4o-Audio-Preview | 70,01 berbanding 63,19 berbanding 55,24 | Guo et al., BRACE, 2025 |
| Menemukan takarir dengan satu kata benda yang ditukar pada 10.315 pasangan (BRACE-Hallucination), F1 pada AudioCaps dan Clotho: GPT-4o-Audio-Preview berbanding Audio Flamingo 2 | 95,76 dan 96,75 berbanding 79,55 dan 72,91 | Guo et al., BRACE, 2025 |
| Rata-rata MMAU-Pro pada 5.305 pertanyaan: takarir plus GPT-4o berbanding Audio Flamingo 3 berbanding Gemini 2.5 Flash | 35,3 berbanding 51,7 berbanding 59,2 | Kumar et al., MMAU-Pro, 2025 |
| Akurasi tanya jawab audio, entri terbaik berbanding sistem dasar terkuat (dua tolok ukur berbeda) | 2025: 73,74% berbanding 52,09%; 2026: 58,33% berbanding 53,17% | Hasil DCASE 2025 Task 5 dan DCASE 2026 Task 5 |
7. Takarir Bercap Waktu: Ke Mana Tolok Ukur Berpindah
Satu kalimat untuk seluruh klip tidak bisa menyatakan kapan sesuatu terjadi, dan dataset terbaru ada untuk memperbaikinya. Tugas 2026 untuk menemukan sebuah momen dalam audio panjang menarik 21 tim dan 59 pengiriman, lebih banyak daripada edisi takarir mana pun dari lima edisi di bagian 2, dan Recall1@0.7 tertinggi sebesar 48,59 lebih dari tiga kali lipat sistem dasar 13,56 (48,59 dibagi 13,56 menghasilkan 3,6). Recall1@0.7 menanyakan apakah tebakan teratas model tumpang tindih dengan momen sebenarnya setidaknya 0,7.
Selisih antara hasil teratas tugas itu dan 20,3 yang dilaporkan dalam makalah dataset memang besar, tetapi keduanya diukur pada set uji yang berbeda. TACOS menambahkan sinyal kedua: ketika pelatihan berpindah dari takarir tingkat klip ke takarir yang selaras waktu, deteksi bunyi berbasis teks mencetak skor lebih tinggi, meski tetap jauh di bawah pelatihan terawasi.
| Metrik | Nilai | Sumber |
|---|---|---|
| Ukuran TACOS | 12.358 rekaman; 47.748 takarir selaras waktu; 76,59 jam | Primus et al., TACOS, 2025 |
| Anotasi TACOS | 337 mahasiswa; rata-rata 3,57 takarir per klip; rata-rata 92,84% dari setiap klip tercakup | Primus et al., TACOS, 2025 |
| Deteksi bunyi berbasis teks pada 50 kategori, PSDS1 (skor deteksi): pelatihan awal, penyetelan tingkat klip, penyetelan selaras waktu, terawasi penuh | 4,61, 12,44, 17,99, 54,26 | Primus et al., TACOS, 2025 |
| Ukuran CASTELLA | 1.862 rekaman berdurasi 1 hingga 5 menit; 3.881 takarir lokal; 11.308 cap waktu; lebih dari 120 jam | Munakata et al., CASTELLA, 2025 |
| Ukuran Clotho-Moment, dataset pendamping sintetis | 44,3K klip beranotasi; 853 jam | Munakata et al., CASTELLA, 2025 |
| Recall1@0.7 terbaik dalam makalah CASTELLA | 20,3 | Munakata et al., CASTELLA, 2025 |
| Tugas Audio Moment Retrieval 2026: tim, pengiriman, Recall1@0.7 terbaik berbanding sistem dasar | 21 tim; 59 pengiriman; 48,59 berbanding 13,56 | Hasil Task 6 DCASE 2026 |
Ringkasan: Takarir Audio Otomatis dalam Angka
| Metrik | Nilai | Sumber |
|---|---|---|
| Pemenang 2024 berbanding sistem dasar | FENSE 0,554 berbanding 0,510; SPIDEr-FL 0,241 berbanding 0,287 | DCASE Challenge, Task 6 Results 2024 |
| SPIDEr konsensus manusia pada AudioCaps dan Clotho | 0,56 dan 0,54 | Mei et al., Audio Captioning Overview, 2022 |
| SPIDEr CNext-trans, set uji AudioCaps berbanding set uji Clotho | 0,466 berbanding 0,301 | Labbé et al., CoNeTTE, 2023 |
| Clotho versi 1 | 4.981 klip, 24.905 takarir | Drossos et al., Clotho, 2019 |
| Ukuran resmi AudioCaps | 51.308 klip | Mei et al., Audio Captioning Overview, 2022 |
| Ukuran WavCaps | 403.050 klip, 7.567,92 jam | Mei et al., WavCaps, 2023 |
| Entri takarir AudioSetCaps | 1.910.920 | Bai et al., AudioSetCaps, 2024 |
| Skor opini rata-rata manusia dari 5, AudioCaps berbanding AudioSetCaps | 3,79 berbanding 3,70 | Bai et al., AudioSetCaps, 2024 |
| Akurasi Clotho-Eval, FENSE berbanding SPICE | 75,7% berbanding 56,3% | Zhou et al., FENSE, 2021 |
| Kesepakatan penilai Clotho (kappa Fleiss), skor mutlak berbanding pilihan berpasangan | 0,18 berbanding 0,48 | Zhou et al., FENSE, 2021 |
| Akurasi pada pasangan dua takarir manusia yang benar, SPICE pada Clotho-Eval | 44,3% | Dixit et al., MACE, 2024 |
| Akurasi keseluruhan Clotho-Eval, CLAIR-A dengan GPT-4o | 79,7% | Wu et al., CLAIR-A, 2024 |
| CIDEr pada AudioCaps, Audio Flamingo 2 berbanding Audio Flamingo 3 | 0,58 berbanding 0,70 | Goel et al., Audio Flamingo 3, 2025 |
| F1 GPT-4o-Audio-Preview, meranking kualitas takarir berbanding menemukan kata benda yang ditukar pada AudioCaps | 55,24 berbanding 95,76 | Guo et al., BRACE, 2025 |
| Rata-rata MMAU-Pro, takarir plus GPT-4o berbanding Gemini 2.5 Flash | 35,3 berbanding 59,2 | Kumar et al., MMAU-Pro, 2025 |
| Takarir selaras waktu TACOS | 47.748 | Primus et al., TACOS, 2025 |
| Takarir lokal CASTELLA | 3.881 | Munakata et al., CASTELLA, 2025 |
| Makalah dengan ‘audio captioning’ di judul, 2024 berbanding 2025 | 36 berbanding 33 | Pencarian judul OpenAlex, 31 Oktober 2026 |
Metodologi dan Sumber
Kami membaca tabel hasil, halaman tugas, dan makalah di bawah ini selama pembaruan ini dan mengutip penulis aslinya. Tidak ada angka yang berasal dari blog atau cermin papan peringkat.
- Hasil DCASE Challenge: 2020, 2021, 2022, 2023, 2024, 2025 Task 5, 2026 Task 5, 2026 Task 6; halaman tugas: 2020, 2022, 2024, 2026 Task 6; program: 2025, 2026.
- Jung et al., laporan teknis fusi encoder dan perangkuman LLM, 2024.
- Drossos et al., Clotho: An Audio Captioning Dataset, 2019.
- Mei et al., Automated Audio Captioning: An Overview of Recent Progress and New Challenges, 2022.
- Mei et al., WavCaps, 2023.
- Bai et al., AudioSetCaps, 2024.
- Labbé et al., CoNeTTE, 2023.
- Zhou et al., Can Audio Captions Be Evaluated with Image Caption Metrics?, 2021.
- Dixit et al., MACE, 2024.
- Wu et al., CLAIR-A, 2024.
- Guo et al., BRACE, 2025.
- Goel et al., Audio Flamingo 3, 2025.
- Kumar et al., MMAU-Pro, 2025.
- Primus et al., TACOS, 2025.
- Munakata et al., CASTELLA, 2025.
- Pencarian judul OpenAlex dan pencarian umum, keduanya dijalankan pada 31 Oktober 2026.
- Catatan data: skor antaredisi tidak sepenuhnya dapat dibandingkan. Metrik peringkat berubah dari SPIDEr (2020 hingga 2022) ke SPIDEr-FL (2023) lalu ke FENSE (2024), edisi 2020 memakai Clotho versi 1 sedangkan edisi 2022 dan 2024 memakai versi 2, dan pembagian tertahan disebut pembagian uji hingga 2023 serta pembagian evaluasi pada 2024. Total Clotho berbeda menurut edisi: halaman tugas 2022 menyebut 6.974 klip dan 34.870 takarir, halaman tugas 2024 menyebut 6.972 dan 34.860. Teks CoNeTTE menyebut 3.840 berkas pelatihan Clotho dan tabelnya 3.839, dan kesimpulannya mengutip angka 49,5% yang cocok dengan encoder yang tumpang tindih pada Tabel V-nya, sehingga kami mengutip tabelnya. WavCaps berukuran 7.567,92 jam dalam makalahnya sendiri dan 7.563,3 dalam CoNeTTE. Prosa MACE tampaknya menukar angka Clotho-Eval dan AudioCaps-Eval untuk FENSE, sehingga kami mengikuti makalah FENSE yang asli; abstrak CLAIR-A mengklaim peningkatan 5,8% atas FENSE sementara tabelnya menunjukkan 4,0 poin, sehingga kami mengutip tabelnya. Avg-All BRACE untuk GPT-4o-Audio-Preview pada halusinasi (96,37) tidak sama dengan rata-rata kedua kolomnya, sehingga kami mengutip kolomnya; takarirnya dengan kata benda yang ditukar ditulis oleh GPT-4o, keluarga model yang sama dengan pendeteksi terbaik, dan pasangan yang disaringnya hanya menyimpan suara manusia yang bulat. AudioSetCaps menyebut ‘sedikitnya lima’ penilai dalam teksnya dan angka berbeda dalam keterangan gambar; kami tidak memastikan apakah klip uji AudioCaps dikecualikan dari pelatihannya yang berbasis AudioSet. CIDEr dilaporkan pada skala 0 hingga 1 dan 0 hingga 100, dan Audio Flamingo 2 melabeli skor AudioCaps-nya sebagai zero-shot, sehingga perbandingan CIDEr antarmakalah bersifat perkiraan. Clotho-Moment dicantumkan sebagai 44,3K klip dalam makalah CASTELLA dan sebagai lebih dari 51.240 rekaman dengan 44.261 takarir di halaman tugas 2026. Hitungan OpenAlex berubah seiring penambahan rekaman, dan 2026 adalah tahun parsial. Data terbaru yang tersedia untuk Bagian 3 hingga 5 mencakup makalah 2019 hingga 2023; tidak ada studi konsensus yang lebih baru yang ditemukan.
Terakhir diperbarui: 31 Oktober 2026. Kami memperbarui rangkuman ini setiap kuartal, dan pembaruan berikutnya diperkirakan terjadi ketika DCASE 2027 Challenge menerbitkan deskripsi tugasnya.