Altyazılama görevi bulunan en son DCASE sürümünün kazanan sistemi FENSE 0,554 aldı; bu, organizatörlerin 0,510’luk temel sisteminin yalnızca 0,044 üzerinde ve 30 takım sisteminden 29’u bu temel sistemi geçti (DCASE Challenge, Task 6 Results 2024). İnsanlar daha zor veri kümesinde hâlâ çok önde: referans altyazılar Clotho’da kendi aralarında SPIDEr 0,54 düzeyinde uyuşurken (Mei et al., Audio Captioning Overview, 2022), kompakt bir model 0,301’e ulaşıyor (Labbé et al., CoNeTTE, 2023). Ölçüm çubuğu da kusurlu, çünkü FENSE metriği Clotho-Eval çiftlerinin %75,7’sinde insanların tercih ettiği altyazıyı seçiyor (Zhou et al., FENSE, 2021). Bu derleme, konuşma altyazılarını değil, makinelerin konuşma dışı sesleri tanımlamasını kapsar; konuşma altyazıları altyazı ve alt yazı istatistiklerimizde ve altyazılama ve alt yazılama pazarı derlememizde ele alınıyor. Verileri Clotho, AudioCaps, WavCaps ve AudioSetCaps veri kümesi makalelerinden, FENSE, MACE, CLAIR-A ve BRACE değerlendirme çalışmalarından, Audio Flamingo ve MMAU-Pro makalelerinden, OpenAlex’ten ve yarışmanın kendi sonuç tablolarından derledik.
Aşağıda birkaç terim tekrar ediyor. Burada bir “altyazı”, sesleri anlatan, makine ya da insan tarafından yazılmış bir cümledir. “Temel sistem” (baseline), organizatörlerin sağladığı ve takımların geçmeye çalıştığı referans sistemdir. SPIDEr, CIDEr ve SPICE görüntü altyazılamadan ödünç alınmış skorlardır, FENSE cümle benzerliğini bozuk dilbilgisi cezasıyla birleştirir, SPIDEr-FL ise benzer bir cezaya sahip SPIDEr’dir. Hepsinde yüksek değer daha iyidir.
TL;DR
- 2024 birincisi temel sistemi FENSE’te geçti (0,554’e karşı 0,510) ama SPIDEr-FL’de geride kaldı (0,241’e karşı 0,287) (DCASE Challenge, Task 6 Results 2024).
- İnsan referans altyazıları AudioCaps’te SPIDEr 0,56, Clotho’da 0,54 düzeyinde uyuşuyor (Mei et al., Audio Captioning Overview, 2022).
- Bir model AudioCaps’te SPIDEr 0,466, Clotho’da ise 0,301 aldı (Labbé et al., CoNeTTE, 2023).
- FENSE, Clotho-Eval çiftlerinin %75,7’sinde insan tercihiyle örtüştü; SPICE %56,3’ünde örtüştü (Zhou et al., FENSE, 2021).
- İki doğru insan altyazısından oluşan çiftlerde SPICE, Clotho-Eval’de %44,3 aldı, yani yazı turadan kötü (Dixit et al., MACE, 2024).
- WavCaps 403.050 klip ve 7.567,92 saat ses içeriyor (Mei et al., WavCaps, 2023).
- AudioSetCaps 1.910.920 altyazı içeriyor ve insanlar bunu 5 üzerinden 3,70 olarak puanladı (Bai et al., AudioSetCaps, 2024).
- GPT-4o-Audio-Preview, altyazılardaki uydurma sesleri yakalamada F1 95,76 ve 96,75 aldı, ancak altyazı kalitesini sıralamada 55,24 aldı (Guo et al., BRACE, 2025).
- Başlığında ‘audio captioning’ geçen makaleler 2019’da 6’dan 2024’te 36’ya yükseldi (OpenAlex, başlık araması, 31 Ekim 2026).
1. Sıralama Tablosu Skorları: Beş Sürüm, Daralan Farklar
Bu sıralama tablosunun hikâyesi yükselen bir taban. SPIDEr açısından, kazananın temel sisteme karşı farkı 2021’deki 0,298’den (0,310 eksi 0,012) 2022’de 0,095’e (0,319 eksi 0,224) düştü; çünkü organizatörlerin başlangıç sistemi, tablonun tepesinden çok daha hızlı iyileşti. 2024’e gelindiğinde temel sistem 31 girişin 30.‘su oldu ve tüm alan FENSE 0,508 ile 0,554 arasına sığdı.
Sıralama, tepede istatistiksel bir beraberliğe de yakın. Kazananın %95 aralığı (0,543 ile 0,563 arası), ikincinin aralığıyla (0,534 ile 0,555 arası) örtüşüyor; ancak temel sistemin aralığını (0,499 ile 0,521 arası) aşıyor. Metriği değiştirirseniz sıralama değişiyor: kazanan giriş aday altyazıları örnekledi, süzdü ve GPT-4 Turbo ile özetledi; bu yaklaşım FENSE’e SPIDEr-FL’den çok daha iyi uydu. Her metriğe ne kadar güvenilebileceğini 5. bölüm ele alıyor.
| Metrik | Değer | Kaynak |
|---|---|---|
| Tutulan sıralama bölümünde sürüme göre en iyi SPIDEr ile temel sistem SPIDEr’i | 2020: 0,222’ye karşı 0,018; 2021: 0,310’a karşı 0,012; 2022: 0,319’a karşı 0,224 | DCASE 2020, 2021 ve 2022 Task 6 sonuçları |
| Tutulan sıralama bölümünde 2023 en iyi SPIDEr-FL ile temel sistem SPIDEr-FL’i | 0,327’ye karşı 0,264 | DCASE 2023 Task 6a sonuçları |
| Clotho değerlendirme bölümünde 2024 en iyi FENSE ile temel sistem FENSE’i | 0,554 (%95 GA 0,543 ile 0,563 arası) karşı 0,510 (%95 GA 0,499 ile 0,521 arası) | DCASE 2024 Task 6 sonuçları |
| 2024 kazananı ile temel sistemin SPIDEr-FL’i; 2024 girişleri arasındaki en yüksek SPIDEr-FL | 0,241’e karşı 0,287; en yüksek 0,329, veri sızıntısı nedeniyle işaretlenen bir sistemden | DCASE 2024 Task 6 sonuçları |
| Bir takımın tek modeli ile 25 modelli topluluğu, kendi raporunda FENSE | 0,5410’a karşı 0,5442 (temel sistem 0,5040) | Jung et al., teknik rapor 2024 |
En güncel veri: DCASE Challenge, Task 6 Results 2024. Sonraki hiçbir sürümde altyazılama görevi yok. Topluluk satırı, kaba kuvvetle kazanılacak ne kadar az şey kaldığını gösteriyor: 25 model FENSE’e yalnızca 0,0032 ekledi (0,5442 eksi 0,5410).
2. Katılım ve Yayın Hacmi
Takım sayıları sabit kaldı: görev beş yıl boyunca 9 ile 12 takım arasında seyretti, sonra programdan çıktı. Ne 2025 programında (altı görev) ne de 2026 programında (yedi görev) ses altyazılama yer alıyor. Yayımlanan sayfalar nedenini söylemiyor, ama yerine gelen görevler yönü ele veriyor ve 7. bölüm bunu izliyor.
Akademik üretim de benzer bir hikâye anlatıyor. Başlığında bu ifade geçen makaleler 2019 ile 2024 arasında altı katına çıktı (36 bölü 6), sonra yatay seyretti. Daha geniş bir OpenAlex araması ise tırmanmaya devam ediyor; bu, altyazılamanın başlı başına bir alan olmaktan çok daha büyük ses modelleri içinde bir özellik haline geldiğini düşündürüyor. Bu yorum bize ait ve geniş arama gürültülü.
| Metrik | Değer | Kaynak |
|---|---|---|
| Sürüm başına takım ve gönderilen sistem sayısı, temel sistem hariç | 2020: 10 ve 34; 2021: 12 ve 37; 2022: 9 ve 36; 2023: 10 ve 28; 2024: 11 ve 30 | DCASE Task 6 sonuçları 2020 ile 2024 arası (bağlantılar 1. bölümde) |
| Yarışma programındaki altyazılama görevleri; 2025 programındaki toplam gönderim girişi | 2025: 6 görevin 0’ı; 2026: 7 görevin 0’ı; 2025’te 277 giriş | DCASE 2025 ve DCASE 2026 program sayfaları |
| Başlığında ‘audio captioning’ geçen makaleler, yayın yılına göre | 2019: 6; 2022: 27; 2024: 36; 2025: 33; 2026, 31 Ekim’e kadar: 29 | OpenAlex başlık araması, 31 Ekim 2026 |
| Başlığında ‘audio captioning’ geçen tüm makaleler, 2017’den 31 Ekim 2026’ya kadar | 203 | OpenAlex başlık araması, 31 Ekim 2026 |
| Daha geniş OpenAlex ifade aramasının döndürdüğü kayıtlar | toplam 2.109; 2025’te 433; 2026’da 31 Ekim’e kadar 726 | OpenAlex genel arama, 31 Ekim 2026 |
3. İnsan Tavanı: Makineler İnsan Uyuşmasından Ne Kadar Uzakta
Ses altyazılamanın tek bir doğru yanıtı yoktur; bu yüzden araştırmacılar bir tavan tahmin etmek için insan referanslarını birbirine karşı puanlar ve buna uzlaşı skoru denir. İnsanlar iki ana veri kümesinde neredeyse aynı düzeyde uyuşuyor, AudioCaps’te SPIDEr 0,56 ve Clotho’da 0,54, ama aynı model mimarisi çok farklı yerlere düşüyor: 0,466 ve 0,301.
İnsan rakamına oran olarak bu, AudioCaps’te yaklaşık %83 (0,466 bölü 0,56) ve Clotho’da %56 (0,301 bölü 0,54) eder. Dolayısıyla fark, yalnızca insanların kendi aralarındaki uyuşmazlıkla açıklanamaz. Clotho klipleri de daha uzun, 10 saniyeye karşılık 15 ile 30 saniye; MACS ise öbür uç durumu gösteriyor: orada aynı klibin insan altyazıları kelime düzeyinde neredeyse hiç örtüşmüyor. Sentence-BERT rakamı SPIDEr rakamından çok daha iyi dayanıyor, bu da insanların aynı sahneyi farklı sözcüklerle anlattığını düşündürüyor.
Son satır, AudioCaps iddialarını okuyan herkes için önemli. AudioSet üzerinde ön eğitilmiş kodlayıcılar AudioCaps test dosyalarını zaten duymuş durumda ve bu dosyaları ön eğitimden çıkarmak bir modele 0,029 SPIDEr’e mal oldu.
| Metrik | Değer | Kaynak |
|---|---|---|
| AudioCaps, Clotho ve MACS için insan uzlaşı SPIDEr’i | 0,56, 0,54 ve 0,17 | Mei et al., Audio Captioning Overview, 2022 |
| AudioCaps, Clotho ve MACS için insan uzlaşı CIDEr’i | 0,90, 0,86 ve 0,21 | Mei et al., Audio Captioning Overview, 2022 |
| AudioCaps, Clotho ve MACS için insan uzlaşı Sentence-BERT’i | 0,64, 0,53 ve 0,52 | Mei et al., Audio Captioning Overview, 2022 |
| Aynı CNext-trans mimarisi, AudioCaps test kümesinde ve Clotho test kümesinde SPIDEr | 0,466’ya karşı 0,301 | Labbé et al., CoNeTTE, 2023 |
| Aynı CNext-trans mimarisi, AudioCaps test kümesinde ve Clotho test kümesinde FENSE | 0,633’e karşı 0,516 | Labbé et al., CoNeTTE, 2023 |
| AudioCaps’te CNext-trans SPIDEr’i, test sesini duymuş kodlayıcı ile duymamış kodlayıcı | 0,495’e karşı 0,466 | Labbé et al., CoNeTTE, 2023 |
En güncel veri: Mei et al., Audio Captioning Overview, 2022. Uzlaşı rakamları model skorlarından farklı alt kümeler kullanıyor: AudioCaps doğrulama ve test, Clotho eğitim ve beş referansı olan MACS klipleri.
4. Veri Kümesi Ölçeği: Kitle Kaynaklı Altyazılardan LLM Yazımı Altyazılara
Alanı insan açıklaması kurdu, büyük dil modelleri (LLM) ise onu ölçekledi. WavCaps 403.050 klip içeriyor ve AudioCaps eğitim kümesinin yaklaşık 60 katı ses barındırıyor (7.563,3 saat bölü 126,6 saat, ikisi de Labbé et al., 2023’ten). AudioSetCaps ardından altyazı sayısını 1.910.920’ye çıkardı; ortalama altyazı uzunluğu Clotho’daki 11 kelimeden 28’e yükseldi.
Daha fazla veri, bedava kazanç anlamına gelmedi. WavCaps, temizlikten sonra FreeSound kliplerinin yalnızca %46,3’ünü tuttu (567.078’den 262.300) ve onunla yapılan ön eğitim skorları mütevazı bir miktarda yükseltti. Ham kalite de “zayıf etiketli” adının düşündürdüğünden daha iyi çıktı, ancak 79 klip küçük bir örneklem.
| Metrik | Değer | Kaynak |
|---|---|---|
| Clotho sürüm 1 boyutu | 4.981 klip, 24.905 altyazı, klip başına 15 ila 30 saniye | Drossos et al., Clotho, 2019 |
| AudioCaps resmi boyutu | 10 saniyelik 51.308 klip | Mei et al., Audio Captioning Overview, 2022 |
| Bir araştırma ekibinin hâlâ erişebildiği AudioCaps eğitim dosyaları | 49.838’in 46.213’ü (%92,7) | Labbé et al., CoNeTTE, 2023 |
| WavCaps boyutu | 403.050 klip, 7.567,92 saat | Mei et al., WavCaps, 2023 |
| ChatGPT ile temizlemeden önce ve sonra WavCaps FreeSound klipleri | 567.078’e karşı 262.300 | Mei et al., WavCaps, 2023 |
| SPIDEr (yüzde), yalnızca hedef veri kümesinde eğitildiğinde ve WavCaps’te ön eğitilip hedefte ince ayar yapıldığında | AudioCaps’te HTSAT-BART: 44,4’e karşı 48,5; Clotho’da CNN14-BART: 25,5’e karşı 31,0 | Mei et al., WavCaps, 2023 |
| AudioSetCaps altyazı girişleri; üç genişletilmiş veri kümesindeki altyazılar | 1.910.920; 6.117.099 | Bai et al., AudioSetCaps, 2024 |
| 79 klip üzerinde 5 üzerinden insan ortalama görüş puanı | AudioSet etiketleri 3,81; AudioCaps 3,79; AudioSetCaps 3,70; WavCaps 3,70; Auto-ACD 3,60 | Bai et al., AudioSetCaps, 2024 |
Clotho için en güncel veri: Drossos et al., 2019. AudioCaps klipleri YouTube kaynaklı olduğundan, videolar kayboldukça erişilebilirlik azalıyor ve iki takım aynı dosyalarla eğitim yapıyor olmayabilir.
5. Değerlendirme Metrikleri: Skorlar İnsan Yargısıyla Örtüşüyor mu?
Bir sıralama tablosu yalnızca metriği kadar iyidir ve bu görevin ilk yıllarında kullanılan metrikler hiçbir zaman ses için tasarlanmamıştı. 2024 sıralama metriği FENSE, her dört Clotho-Eval çiftinden yaklaşık birinde hâlâ insan tercihiyle çelişiyor (100 eksi 75,7 = %24,3). SPICE daha kötü durumda ve iki doğru insan altyazısından oluşan çiftlerde şansın altına düşüyor.
İnsan tarafı da sallantılı. Değerlendiriciler altyazıları mutlak bir ölçekte puanladığında uyuşma zayıftı: Fleiss kappa (değerlendirici uyuşmasının bir ölçüsü, 1 mükemmel demek) Clotho’da 0,18 çıktı. İki altyazıdan hangisinin daha iyi olduğunu sormak bunu 0,48’e yükseltti. Bu kıyaslamaların çiftleri karşılaştırmasının nedeni budur. 2024 kuşağı metrikler sese ya da bir LLM hakemine yer veriyor ve birkaç puan daha kazanıyor; CLAIR-A ayrıca skorlarını sözcüklerle açıklıyor ve insan değerlendiriciler bunu çıplak bir FENSE sayısından daha adil buldu.
| Metrik | Değer | Kaynak |
|---|---|---|
| Metriğin insanın tercih ettiği altyazıyı seçtiği çiftlerin payı, FENSE ve SPICE | Clotho-Eval: %75,7’ye karşı %56,3; AudioCaps-Eval: %85,3’e karşı %59,7 | Zhou et al., FENSE, 2021 |
| Değerlendirici uyuşması (Fleiss kappa), mutlak skorlar ve ikili tercihler | Clotho: 0,18’e karşı 0,48; AudioCaps: 0,23’e karşı 0,33 | Zhou et al., FENSE, 2021 |
| Clotho-Eval ve AudioCaps-Eval kıyaslamalarının boyutu | 1.750 ve 1.671 çift; her biri 250 klip; çift başına 4 değerlendirici | Zhou et al., FENSE, 2021 |
| 723 makine altyazısında 0,9 eşiğinde FENSE hata dedektörü | Kesinlik 96,8, duyarlılık 76,4, F1 85,4 | Zhou et al., FENSE, 2021 |
| İki doğru insan altyazısından oluşan Clotho-Eval çiftlerinde doğruluk: SPICE, FENSE, MACE | %44,3, %60,5, %63,3 | Dixit et al., MACE, 2024 |
| Clotho-Eval genel doğruluğu: GPT-4o ile CLAIR-A ve FENSE | %79,7’ye karşı %75,7 | Wu et al., CLAIR-A, 2024 |
| FENSE skorları ile yazılı gerekçeli CLAIR-A skorları için 5 üzerinden insan adalet puanı (N=200) | 2,97’ye karşı 3,66 | Wu et al., CLAIR-A, 2024 |
Çift kıyaslamalarının kendisi için en güncel veri: Zhou et al., 2021. Daha yeni çalışmalar, yeni metrikleri aynı 2021 çiftleri üzerinde yeniden çalıştırıyor.
6. Büyük Ses Modelleri, Model Boyutu ve Uydurma Sesler
Altyazılama, özel bir görevden genel ses modellerinin yan yeteneğine kaydı ve uzmanlar kendi sahalarında hâlâ önde. Audio Flamingo 3, AudioCaps’te CIDEr’i 0,58’den 0,70’e çıkardı; ancak bu, 3. bölümdeki 0,90’lık insan uzlaşısının ve AudioSetCaps üzerinde eğitilip AudioCaps üzerinde ayarlanan bir model için bildirilen 84,8’in (0 ile 100 ölçeğinde) hayli altında kalıyor. Boyut da bir garanti değil: 12,0M parametreli bir model, 171M ve 400M’lik sistemlerle yarışıyor.
İyi altyazılar duymanın yerini tutmaz. MMAU-Pro, GPT-4o’ya ses yerine altyazı verdiğinde doğruluk %35,3’e düştü; sesi doğrudan alan bir model için bu oran %59,2’ydi. Aynı ayrımı konuşmada izleyen okuyucular sözlü soru yanıtlama kıyaslamalarımızla karşılaştırma yapabilir.
BRACE sonuçları bölünmüş bir kişilik gösteriyor. GPT-4o-Audio-Preview, tek bir uydurma ad içeren bir altyazıyı yakalamada en iyisiydi ama iki gerçek altyazıyı sıralamada zayıftı. Bu risk, uydurma sözcükler yerine uydurma seslerin geçtiği konuşma tanıma halüsinasyonuna benziyor.
| Metrik | Değer | Kaynak |
|---|---|---|
| CIDEr, Audio Flamingo 2 ve Audio Flamingo 3 | AudioCaps: 0,58’e karşı 0,70; Clotho-v2: 0,46’ya karşı 0,50 | Goel et al., Audio Flamingo 3, 2025 |
| AudioSetCaps, AudioCaps ve Clotho üzerinde ön eğitilip AudioCaps üzerinde ince ayar yapılan model: AudioCaps test kümesindeki skorlar | CIDEr 84,8, SPIDEr 51,6 | Bai et al., AudioSetCaps, 2024 |
| AudioCaps’te eğitilebilir parametreler: CNext-trans, HTSAT-BART ve PYB | 12,0M, 171M ve 400M | Labbé et al., CoNeTTE, 2023 |
| 2.496 çiftte altyazı kalitesini sıralama (BRACE-Main), F1: en iyi CLAP tabanlı metrik, Audio Flamingo 2 ve GPT-4o-Audio-Preview | 70,01, 63,19 ve 55,24 | Guo et al., BRACE, 2025 |
| 10.315 çiftte tek bir adı değiştirilmiş altyazıyı yakalama (BRACE-Hallucination), AudioCaps ve Clotho’da F1: GPT-4o-Audio-Preview ve Audio Flamingo 2 | 95,76 ve 96,75; 79,55 ve 72,91 | Guo et al., BRACE, 2025 |
| 5.305 soruda MMAU-Pro ortalaması: altyazılar artı GPT-4o, Audio Flamingo 3 ve Gemini 2.5 Flash | 35,3, 51,7 ve 59,2 | Kumar et al., MMAU-Pro, 2025 |
| Sesli soru yanıtlama doğruluğu, en iyi giriş ve en güçlü temel sistem (iki farklı kıyaslama) | 2025: %73,74’e karşı %52,09; 2026: %58,33’e karşı %53,17 | DCASE 2025 Task 5 ve DCASE 2026 Task 5 sonuçları |
7. Zaman Damgalı Altyazılar: Kıyaslamanın Taşındığı Yer
Tüm klip için tek bir cümle, bir şeyin ne zaman olduğunu söyleyemez ve en yeni veri kümeleri bunu düzeltmek için var. Uzun seste bir anı bulma görevi 2026’da 21 takım ve 59 gönderim çekti; bu, 2. bölümdeki beş altyazılama sürümünün hiçbirinden fazla ve en yüksek Recall1@0.7 olan 48,59, 13,56’lık temel sistemin üç katından fazla (48,59 bölü 13,56 = 3,6). Recall1@0.7, modelin ilk tahmininin gerçek anla en az 0,7 örtüşüp örtüşmediğini sorar.
Görevin en iyi sonucu ile veri kümesi makalesinde bildirilen 20,3 arasındaki fark büyük, ama ikisi farklı test kümelerinde ölçüldü. TACOS ikinci bir işaret ekliyor: eğitim klip düzeyinden zamanla hizalı altyazılara geçtiğinde, metin tabanlı ses tespiti daha yüksek skor aldı, ancak denetimli eğitimin çok altında kaldı.
| Metrik | Değer | Kaynak |
|---|---|---|
| TACOS boyutu | 12.358 kayıt; 47.748 zamanla hizalı altyazı; 76,59 saat | Primus et al., TACOS, 2025 |
| TACOS açıklama süreci | 337 öğrenci; klip başına ortalama 3,57 altyazı; her klibin ortalama %92,84’ü kapsandı | Primus et al., TACOS, 2025 |
| 50 kategoride metin tabanlı ses tespiti, PSDS1 (bir tespit skoru): ön eğitim, klip düzeyinde ince ayar, zamanla hizalı ince ayar, tam denetimli | 4,61, 12,44, 17,99, 54,26 | Primus et al., TACOS, 2025 |
| CASTELLA boyutu | 1 ila 5 dakikalık 1.862 kayıt; 3.881 yerel altyazı; 11.308 zaman damgası; 120 saatten fazla | Munakata et al., CASTELLA, 2025 |
| Clotho-Moment boyutu, sentetik eşlik eden veri kümesi | 44,3K açıklamalı klip; 853 saat | Munakata et al., CASTELLA, 2025 |
| CASTELLA makalesindeki en iyi Recall1@0.7 | 20,3 | Munakata et al., CASTELLA, 2025 |
| 2026 Audio Moment Retrieval görevi: takımlar, gönderimler, en iyi ve temel sistem Recall1@0.7 | 21 takım; 59 gönderim; 48,59’a karşı 13,56 | DCASE 2026 Task 6 sonuçları |
Özet: Rakamlarla Otomatik Ses Altyazılama
| Metrik | Değer | Kaynak |
|---|---|---|
| 2024 kazananı ve temel sistem | FENSE 0,554’e karşı 0,510; SPIDEr-FL 0,241’e karşı 0,287 | DCASE Challenge, Task 6 Results 2024 |
| AudioCaps ve Clotho için insan uzlaşı SPIDEr’i | 0,56 ve 0,54 | Mei et al., Audio Captioning Overview, 2022 |
| CNext-trans SPIDEr’i, AudioCaps test kümesi ve Clotho test kümesi | 0,466’ya karşı 0,301 | Labbé et al., CoNeTTE, 2023 |
| Clotho sürüm 1 | 4.981 klip, 24.905 altyazı | Drossos et al., Clotho, 2019 |
| AudioCaps resmi boyutu | 51.308 klip | Mei et al., Audio Captioning Overview, 2022 |
| WavCaps boyutu | 403.050 klip, 7.567,92 saat | Mei et al., WavCaps, 2023 |
| AudioSetCaps altyazı girişleri | 1.910.920 | Bai et al., AudioSetCaps, 2024 |
| 5 üzerinden insan ortalama görüş puanı, AudioCaps ve AudioSetCaps | 3,79’a karşı 3,70 | Bai et al., AudioSetCaps, 2024 |
| Clotho-Eval doğruluğu, FENSE ve SPICE | %75,7’ye karşı %56,3 | Zhou et al., FENSE, 2021 |
| Clotho değerlendirici uyuşması (Fleiss kappa), mutlak skorlar ve ikili tercihler | 0,18’e karşı 0,48 | Zhou et al., FENSE, 2021 |
| İki doğru insan altyazısından oluşan çiftlerde doğruluk, Clotho-Eval’de SPICE | %44,3 | Dixit et al., MACE, 2024 |
| Clotho-Eval genel doğruluğu, GPT-4o ile CLAIR-A | %79,7 | Wu et al., CLAIR-A, 2024 |
| AudioCaps’te CIDEr, Audio Flamingo 2 ve Audio Flamingo 3 | 0,58’e karşı 0,70 | Goel et al., Audio Flamingo 3, 2025 |
| GPT-4o-Audio-Preview F1, altyazı kalitesini sıralama ve AudioCaps’te değiştirilmiş adı yakalama | 55,24’e karşı 95,76 | Guo et al., BRACE, 2025 |
| MMAU-Pro ortalaması, altyazılar artı GPT-4o ve Gemini 2.5 Flash | 35,3’e karşı 59,2 | Kumar et al., MMAU-Pro, 2025 |
| TACOS zamanla hizalı altyazılar | 47.748 | Primus et al., TACOS, 2025 |
| CASTELLA yerel altyazıları | 3.881 | Munakata et al., CASTELLA, 2025 |
| Başlığında ‘audio captioning’ geçen makaleler, 2024 ve 2025 | 36’ya karşı 33 | OpenAlex başlık araması, 31 Ekim 2026 |
Metodoloji ve Kaynaklar
Aşağıdaki sonuç tablolarını, görev sayfalarını ve makaleleri bu güncelleme sırasında okuduk ve özgün yazarlara atıf yapıyoruz. Hiçbir rakam bir blog yazısından ya da sıralama tablosu yansısından gelmiyor.
- DCASE Challenge sonuçları: 2020, 2021, 2022, 2023, 2024, 2025 Task 5, 2026 Task 5, 2026 Task 6; görev sayfaları: 2020, 2022, 2024, 2026 Task 6; programlar: 2025, 2026.
- Jung et al., kodlayıcı birleştirme ve LLM özetleme teknik raporu, 2024.
- Drossos et al., Clotho: An Audio Captioning Dataset, 2019.
- Mei et al., Automated Audio Captioning: An Overview of Recent Progress and New Challenges, 2022.
- Mei et al., WavCaps, 2023.
- Bai et al., AudioSetCaps, 2024.
- Labbé et al., CoNeTTE, 2023.
- Zhou et al., Can Audio Captions Be Evaluated with Image Caption Metrics?, 2021.
- Dixit et al., MACE, 2024.
- Wu et al., CLAIR-A, 2024.
- Guo et al., BRACE, 2025.
- Goel et al., Audio Flamingo 3, 2025.
- Kumar et al., MMAU-Pro, 2025.
- Primus et al., TACOS, 2025.
- Munakata et al., CASTELLA, 2025.
- OpenAlex başlık araması ve genel arama, ikisi de 31 Ekim 2026’da çalıştırıldı.
- Veri notu: sürümler arasındaki skorlar kesin olarak karşılaştırılabilir değil. Sıralama metriği SPIDEr’den (2020 ile 2022 arası) SPIDEr-FL’ye (2023), oradan FENSE’e (2024) değişti; 2020 sürümü Clotho sürüm 1’i, 2022 ve 2024 sürümleri ise sürüm 2’yi kullandı; tutulan bölüm 2023’e kadar test bölümü, 2024’te ise değerlendirme bölümü olarak adlandırıldı. Clotho toplamları sürüme göre farklılaşıyor: 2022 görev sayfası 6.974 klip ve 34.870 altyazı veriyor, 2024 görev sayfası 6.972 ve 34.860. CoNeTTE’nin metni 3.840 Clotho eğitim dosyası veriyor, tablosu ise 3.839; sonuç bölümü ise Tablo V’teki örtüşen kodlayıcıyla uyuşan bir %49,5 rakamına atıf yapıyor, bu yüzden tabloyu alıntılıyoruz. WavCaps kendi makalesinde 7.567,92 saat, CoNeTTE’de ise 7.563,3 saat. MACE’in düzyazısı FENSE için Clotho-Eval ve AudioCaps-Eval rakamlarını yer değiştirmiş görünüyor, bu yüzden özgün FENSE makalesini izliyoruz; CLAIR-A’nın özeti FENSE’e göre %5,8’lik bir kazanç iddia ederken tablosu 4,0 puan gösteriyor, bu yüzden tabloyu alıntılıyoruz. BRACE’in GPT-4o-Audio-Preview için halüsinasyondaki Avg-All değeri (96,37) iki sütununun ortalamasına eşit değil, bu yüzden sütunları alıntılıyoruz; adı değiştirilmiş altyazılarını en iyi dedektörle aynı model ailesinden GPT-4o yazdı ve süzülmüş çiftleri yalnızca oybirliğiyle verilmiş insan oylarını tutuyor. AudioSetCaps metninde ‘en az beş’ değerlendirici diyor, bir şekil altyazısında ise farklı bir rakam veriyor; AudioCaps test kliplerinin AudioSet tabanlı eğitiminden çıkarılıp çıkarılmadığını doğrulamadık. CIDEr hem 0 ile 1 hem de 0 ile 100 ölçeklerinde bildiriliyor ve Audio Flamingo 2 AudioCaps skorunu sıfır atış olarak etiketliyor, bu yüzden makaleler arası CIDEr karşılaştırmaları yaklaşıktır. Clotho-Moment, CASTELLA makalesinde 44,3K klip olarak, 2026 görev sayfasında ise 51.240’tan fazla kayıt ve 44.261 altyazı olarak listeleniyor. OpenAlex sayıları kayıtlar eklendikçe değişiyor ve 2026 kısmi bir yıl. 3 ile 5. bölümler için en güncel veri 2019 ile 2023 arası makaleleri içeriyor; daha yeni bir uzlaşı çalışması bulunamadı.
Son güncelleme: 31 Ekim 2026. Bu derlemeyi üç ayda bir güncelliyoruz ve bir sonraki yenilemenin, DCASE 2027 Challenge görev tanımlarını yayımladığında yapılması bekleniyor.