Hệ thống thắng cuộc ở nhiệm vụ chú thích âm thanh DCASE gần nhất đạt FENSE 0,554, chỉ cao hơn 0,044 so với hệ thống cơ sở 0,510 của ban tổ chức, và 29 trong 30 hệ thống của các đội đã vượt qua hệ thống cơ sở đó (DCASE Challenge, Task 6 Results 2024). Con người vẫn dẫn rất xa trên bộ dữ liệu khó hơn: các chú thích tham chiếu đồng thuận với nhau ở mức SPIDEr 0,54 trên Clotho (Mei et al., Audio Captioning Overview, 2022), trong khi một mô hình gọn nhẹ đạt 0,301 (Labbé et al., CoNeTTE, 2023). Chiếc thước đo cũng không hoàn hảo, vì chỉ số FENSE chọn đúng chú thích mà con người ưa thích ở 75,7% cặp Clotho-Eval (Zhou et al., FENSE, 2021). Bài tổng hợp này nói về việc máy mô tả các âm thanh không phải lời nói, không phải phụ đề cho lời nói, vốn được trình bày trong thống kê chú thích và phụ đề và bài tổng hợp thị trường chú thích và phụ đề của chúng tôi. Chúng tôi tổng hợp dữ liệu từ các bài báo về bộ dữ liệu Clotho, AudioCaps, WavCaps và AudioSetCaps, các nghiên cứu đánh giá FENSE, MACE, CLAIR-A và BRACE, các bài báo Audio Flamingo và MMAU-Pro, OpenAlex và chính các bảng kết quả của thử thách.
Một vài thuật ngữ sẽ lặp lại bên dưới. “Chú thích” ở đây là một câu mô tả âm thanh, do máy hoặc con người viết. “Hệ thống cơ sở” (baseline) là hệ thống tham chiếu do ban tổ chức cung cấp, mà các đội tìm cách vượt qua. SPIDEr, CIDEr và SPICE là các điểm số mượn từ chú thích hình ảnh, FENSE kết hợp độ tương đồng của câu với mức phạt cho ngữ pháp hỏng, còn SPIDEr-FL là SPIDEr có mức phạt tương tự. Với tất cả các chỉ số này, giá trị càng cao càng tốt.
Tóm tắt nhanh
- Đội thắng cuộc 2024 vượt hệ thống cơ sở về FENSE, 0,554 so với 0,510, nhưng thua về SPIDEr-FL, 0,241 so với 0,287 (DCASE Challenge, Task 6 Results 2024).
- Các chú thích tham chiếu của con người đồng thuận ở mức SPIDEr 0,56 trên AudioCaps và 0,54 trên Clotho (Mei et al., Audio Captioning Overview, 2022).
- Một mô hình đạt SPIDEr 0,466 trên AudioCaps nhưng chỉ 0,301 trên Clotho (Labbé et al., CoNeTTE, 2023).
- FENSE trùng với lựa chọn của con người ở 75,7% cặp Clotho-Eval; SPICE trùng ở 56,3% (Zhou et al., FENSE, 2021).
- Trên các cặp gồm hai chú thích đúng của con người, SPICE đạt 44,3% ở Clotho-Eval, tệ hơn tung đồng xu (Dixit et al., MACE, 2024).
- WavCaps có 403.050 đoạn âm thanh và 7.567,92 giờ âm thanh (Mei et al., WavCaps, 2023).
- AudioSetCaps có 1.910.920 chú thích, được con người chấm 3,70 trên 5 (Bai et al., AudioSetCaps, 2024).
- GPT-4o-Audio-Preview đạt F1 95,76 và 96,75 khi phát hiện âm thanh bịa đặt trong chú thích, nhưng chỉ 55,24 khi xếp hạng chất lượng chú thích (Guo et al., BRACE, 2025).
- Số bài báo có ‘audio captioning’ trong tiêu đề tăng từ 6 năm 2019 lên 36 năm 2024 (OpenAlex, tìm theo tiêu đề, ngày 31 tháng 10 năm 2026).
1. Điểm Bảng Xếp Hạng: Năm Kỳ, Khoảng Cách Thu Hẹp
Câu chuyện của bảng xếp hạng này là một mặt sàn đang nâng lên. Tính theo SPIDEr, mức vượt của đội thắng so với hệ thống cơ sở giảm từ 0,298 năm 2021 (0,310 trừ 0,012) xuống 0,095 năm 2022 (0,319 trừ 0,224), vì hệ thống xuất phát của ban tổ chức cải thiện nhanh hơn nhiều so với đỉnh bảng. Đến năm 2024, hệ thống cơ sở đứng thứ 30 trên 31 bài dự thi, và toàn bộ các đội nằm gọn giữa FENSE 0,508 và 0,554.
Thứ hạng ở đầu bảng cũng gần như hòa về mặt thống kê. Khoảng tin cậy 95% của đội thắng (0,543 đến 0,563) chồng lên khoảng của đội về nhì (0,534 đến 0,555), dù vượt khỏi khoảng của hệ thống cơ sở (0,499 đến 0,521). Đổi chỉ số thì thứ tự đổi theo: bài dự thi thắng cuộc lấy mẫu các chú thích ứng viên, lọc chúng rồi tóm tắt bằng GPT-4 Turbo, cách làm phù hợp với FENSE hơn nhiều so với SPIDEr-FL. Phần 5 bàn về mức độ tin cậy của từng chỉ số.
| Chỉ số | Giá trị | Nguồn |
|---|---|---|
| SPIDEr tốt nhất so với hệ thống cơ sở trên tập xếp hạng được giữ kín, theo từng kỳ | 2020: 0,222 so với 0,018; 2021: 0,310 so với 0,012; 2022: 0,319 so với 0,224 | Kết quả Task 6 của DCASE 2020, 2021 và 2022 |
| SPIDEr-FL tốt nhất năm 2023 so với hệ thống cơ sở trên tập xếp hạng được giữ kín | 0,327 so với 0,264 | Kết quả Task 6a của DCASE 2023 |
| FENSE tốt nhất năm 2024 so với hệ thống cơ sở trên tập đánh giá Clotho | 0,554 (CI 95% từ 0,543 đến 0,563) so với 0,510 (CI 95% từ 0,499 đến 0,521) | Kết quả Task 6 của DCASE 2024 |
| SPIDEr-FL của đội thắng 2024 so với hệ thống cơ sở; SPIDEr-FL cao nhất trong mọi bài dự thi 2024 | 0,241 so với 0,287; cao nhất 0,329, từ một hệ thống bị gắn cờ vì rò rỉ dữ liệu | Kết quả Task 6 của DCASE 2024 |
| Mô hình đơn của một đội so với tập hợp 25 mô hình của đội đó, FENSE trong báo cáo riêng | 0,5410 so với 0,5442 (hệ thống cơ sở 0,5040) | Jung et al., báo cáo kỹ thuật 2024 |
Dữ liệu mới nhất hiện có: DCASE Challenge, Task 6 Results 2024. Không kỳ nào sau đó có nhiệm vụ chú thích. Dòng về tập hợp mô hình cho thấy sức mạnh tính toán thô còn lại rất ít để khai thác: 25 mô hình chỉ thêm 0,0032 FENSE (0,5442 trừ 0,5410).
2. Mức Tham Gia và Khối Lượng Công Bố
Số đội giữ nguyên: nhiệm vụ này có từ 9 đến 12 đội trong năm năm, rồi rời khỏi chương trình. Cả chương trình 2025 (sáu nhiệm vụ) lẫn chương trình 2026 (bảy nhiệm vụ) đều không liệt kê chú thích âm thanh. Các trang đã công bố không nêu lý do, nhưng các nhiệm vụ thay thế gợi ý hướng đi, và phần 7 đi theo hướng đó.
Sản lượng học thuật kể một câu chuyện tương tự. Số bài báo có cụm từ này trong tiêu đề tăng gấp sáu lần giữa 2019 và 2024 (36 chia 6), rồi đi ngang. Một tìm kiếm OpenAlex rộng hơn vẫn tiếp tục tăng, cho thấy chú thích đang trở thành một tính năng bên trong các mô hình âm thanh lớn hơn chứ không còn là một lĩnh vực riêng. Cách đọc đó là của chúng tôi, và tìm kiếm rộng này có nhiều nhiễu.
| Chỉ số | Giá trị | Nguồn |
|---|---|---|
| Số đội và số hệ thống nộp mỗi kỳ, không tính hệ thống cơ sở | 2020: 10 và 34; 2021: 12 và 37; 2022: 9 và 36; 2023: 10 và 28; 2024: 11 và 30 | Kết quả Task 6 của DCASE 2020 đến 2024 (liên kết ở phần 1) |
| Nhiệm vụ chú thích trong chương trình thử thách; số bài nộp trong toàn bộ chương trình 2025 | 2025: 0 trên 6 nhiệm vụ; 2026: 0 trên 7 nhiệm vụ; 277 bài nộp năm 2025 | Trang chương trình DCASE 2025 và DCASE 2026 |
| Bài báo có ‘audio captioning’ trong tiêu đề, theo năm xuất bản | 2019: 6; 2022: 27; 2024: 36; 2025: 33; 2026 tính đến 31 tháng 10: 29 | Tìm theo tiêu đề trên OpenAlex, ngày 31 tháng 10 năm 2026 |
| Tất cả bài báo có ‘audio captioning’ trong tiêu đề, từ 2017 đến 31 tháng 10 năm 2026 | 203 | Tìm theo tiêu đề trên OpenAlex, ngày 31 tháng 10 năm 2026 |
| Số bản ghi do tìm kiếm cụm từ rộng hơn trên OpenAlex trả về | 2.109 tổng cộng; 433 năm 2025; 726 năm 2026 tính đến 31 tháng 10 | Tìm kiếm chung trên OpenAlex, ngày 31 tháng 10 năm 2026 |
3. Trần Của Con Người: Máy Cách Mức Đồng Thuận Của Con Người Bao Xa
Chú thích âm thanh không có một đáp án đúng duy nhất, nên các nhà nghiên cứu chấm các chú thích tham chiếu của con người với nhau để ước lượng một mức trần, gọi là điểm đồng thuận. Con người đồng thuận ở mức gần như nhau trên hai bộ dữ liệu chính, SPIDEr 0,56 trên AudioCaps và 0,54 trên Clotho, vậy mà cùng một kiến trúc mô hình lại rơi vào hai mức rất xa nhau: 0,466 và 0,301.
Tính theo tỷ lệ so với con số của con người, đó là khoảng 83% trên AudioCaps (0,466 chia 0,56) và 56% trên Clotho (0,301 chia 0,54). Vì vậy khoảng cách không thể chỉ được giải thích bằng sự bất đồng giữa con người với nhau. Các đoạn Clotho cũng dài hơn, 15 đến 30 giây so với 10, và MACS cho thấy thái cực còn lại, khi các chú thích của con người cho cùng một đoạn gần như không trùng nhau về cách dùng từ. Con số Sentence-BERT của nó giữ vững tốt hơn nhiều so với con số SPIDEr, cho thấy mọi người mô tả cùng một cảnh bằng những từ khác nhau.
Dòng cuối quan trọng với bất kỳ ai đọc các tuyên bố về AudioCaps. Các bộ mã hóa được huấn luyện trước trên AudioSet đã nghe qua các tệp kiểm tra của AudioCaps, và việc loại các tệp đó khỏi huấn luyện trước làm một mô hình mất 0,029 SPIDEr.
| Chỉ số | Giá trị | Nguồn |
|---|---|---|
| SPIDEr đồng thuận của con người trên AudioCaps, Clotho và MACS | 0,56, 0,54 và 0,17 | Mei et al., Audio Captioning Overview, 2022 |
| CIDEr đồng thuận của con người trên AudioCaps, Clotho và MACS | 0,90, 0,86 và 0,21 | Mei et al., Audio Captioning Overview, 2022 |
| Sentence-BERT đồng thuận của con người trên AudioCaps, Clotho và MACS | 0,64, 0,53 và 0,52 | Mei et al., Audio Captioning Overview, 2022 |
| Cùng kiến trúc CNext-trans, SPIDEr trên tập kiểm tra AudioCaps so với tập kiểm tra Clotho | 0,466 so với 0,301 | Labbé et al., CoNeTTE, 2023 |
| Cùng kiến trúc CNext-trans, FENSE trên tập kiểm tra AudioCaps so với tập kiểm tra Clotho | 0,633 so với 0,516 | Labbé et al., CoNeTTE, 2023 |
| SPIDEr của CNext-trans trên AudioCaps, bộ mã hóa đã nghe âm thanh kiểm tra so với bộ mã hóa chưa nghe | 0,495 so với 0,466 | Labbé et al., CoNeTTE, 2023 |
Dữ liệu mới nhất hiện có: Mei et al., Audio Captioning Overview, 2022. Các con số đồng thuận dùng những tập con khác với điểm của mô hình: xác thực và kiểm tra của AudioCaps, huấn luyện của Clotho, và các đoạn MACS có năm chú thích tham chiếu.
4. Quy Mô Bộ Dữ Liệu: Từ Chú Thích Huy Động Cộng Đồng Đến Chú Thích Do LLM Viết
Chú thích do con người thực hiện đã xây nên lĩnh vực này, còn các mô hình ngôn ngữ lớn (LLM) đã mở rộng quy mô của nó. WavCaps có 403.050 đoạn âm thanh và lượng âm thanh gấp khoảng 60 lần tập huấn luyện AudioCaps (7.563,3 giờ chia 126,6 giờ, cả hai từ Labbé et al., 2023). Sau đó AudioSetCaps đẩy con số lên 1.910.920 chú thích, với độ dài chú thích trung bình tăng từ 11 từ ở Clotho lên 28.
Nhiều dữ liệu hơn không có nghĩa là được lợi miễn phí. WavCaps chỉ giữ lại 46,3% số đoạn FreeSound của mình (262.300 trên 567.078) sau khi làm sạch, và việc huấn luyện trước trên nó chỉ nâng điểm ở mức khiêm tốn. Chất lượng thô cũng tốt hơn so với những gì cái tên “gán nhãn yếu” gợi ra, dù 79 đoạn là một mẫu nhỏ.
| Chỉ số | Giá trị | Nguồn |
|---|---|---|
| Kích thước Clotho phiên bản 1 | 4.981 đoạn, 24.905 chú thích, 15 đến 30 giây mỗi đoạn | Drossos et al., Clotho, 2019 |
| Kích thước chính thức của AudioCaps | 51.308 đoạn dài 10 giây | Mei et al., Audio Captioning Overview, 2022 |
| Tệp huấn luyện AudioCaps mà một nhóm nghiên cứu vẫn còn truy cập được | 46.213 trên 49.838 (92,7%) | Labbé et al., CoNeTTE, 2023 |
| Kích thước WavCaps | 403.050 đoạn, 7.567,92 giờ | Mei et al., WavCaps, 2023 |
| Đoạn FreeSound của WavCaps trước và sau khi làm sạch bằng ChatGPT | 567.078 so với 262.300 | Mei et al., WavCaps, 2023 |
| SPIDEr (phần trăm) khi chỉ huấn luyện trên bộ dữ liệu đích so với huấn luyện trước trên WavCaps rồi tinh chỉnh trên bộ đích | HTSAT-BART trên AudioCaps: 44,4 so với 48,5; CNN14-BART trên Clotho: 25,5 so với 31,0 | Mei et al., WavCaps, 2023 |
| Số mục chú thích của AudioSetCaps; số chú thích trên ba bộ dữ liệu mở rộng của nó | 1.910.920; 6.117.099 | Bai et al., AudioSetCaps, 2024 |
| Điểm ý kiến trung bình của con người trên 5, qua 79 đoạn | Nhãn AudioSet 3,81; AudioCaps 3,79; AudioSetCaps 3,70; WavCaps 3,70; Auto-ACD 3,60 | Bai et al., AudioSetCaps, 2024 |
Dữ liệu mới nhất hiện có cho Clotho: Drossos et al., 2019. Các đoạn AudioCaps có nguồn gốc từ YouTube, nên khả năng truy cập thu hẹp dần khi video biến mất, và hai đội có thể không huấn luyện trên cùng các tệp.
5. Các Chỉ Số Đánh Giá: Điểm Số Có Khớp Với Đánh Giá Của Con Người Không?
Một bảng xếp hạng chỉ tốt bằng chỉ số của nó, và các chỉ số được dùng trong những năm đầu của nhiệm vụ này chưa bao giờ được thiết kế cho âm thanh. FENSE, chỉ số xếp hạng năm 2024, vẫn bất đồng với lựa chọn của con người ở khoảng một trên bốn cặp Clotho-Eval (100 trừ 75,7 ra 24,3%). SPICE còn kém hơn, và trên các cặp gồm hai chú thích đúng của con người, nó rơi xuống dưới mức ngẫu nhiên.
Phía con người cũng không vững. Khi người chấm cho điểm chú thích trên thang tuyệt đối, mức đồng thuận kém, với kappa Fleiss (thước đo mức đồng thuận giữa người chấm, trong đó 1 là hoàn hảo) là 0,18 trên Clotho. Hỏi xem trong hai chú thích cái nào tốt hơn đã nâng nó lên 0,48. Đó là lý do các bộ chuẩn này so sánh theo cặp. Thế hệ chỉ số 2024 bổ sung âm thanh hoặc một giám khảo LLM và tăng thêm vài điểm, và CLAIR-A còn giải thích điểm số bằng lời, điều mà người chấm thấy công bằng hơn một con số FENSE trơ trọi.
| Chỉ số | Giá trị | Nguồn |
|---|---|---|
| Tỷ lệ cặp mà chỉ số chọn đúng chú thích được con người ưa thích, FENSE so với SPICE | Clotho-Eval: 75,7% so với 56,3%; AudioCaps-Eval: 85,3% so với 59,7% | Zhou et al., FENSE, 2021 |
| Mức đồng thuận của người chấm (kappa Fleiss), điểm tuyệt đối so với lựa chọn theo cặp | Clotho: 0,18 so với 0,48; AudioCaps: 0,23 so với 0,33 | Zhou et al., FENSE, 2021 |
| Quy mô của hai bộ chuẩn Clotho-Eval và AudioCaps-Eval | 1.750 và 1.671 cặp; mỗi bộ 250 đoạn; 4 người chấm mỗi cặp | Zhou et al., FENSE, 2021 |
| Bộ phát hiện lỗi FENSE ở ngưỡng 0,9, trên 723 chú thích do máy tạo | Độ chính xác 96,8, độ phủ 76,4, F1 85,4 | Zhou et al., FENSE, 2021 |
| Độ chính xác trên các cặp Clotho-Eval gồm hai chú thích đúng của con người: SPICE, FENSE, MACE | 44,3%, 60,5%, 63,3% | Dixit et al., MACE, 2024 |
| Độ chính xác tổng thể trên Clotho-Eval: CLAIR-A dùng GPT-4o so với FENSE | 79,7% so với 75,7% | Wu et al., CLAIR-A, 2024 |
| Điểm công bằng do con người chấm trên 5 cho điểm FENSE so với điểm CLAIR-A kèm lý do bằng văn bản (N=200) | 2,97 so với 3,66 | Wu et al., CLAIR-A, 2024 |
Dữ liệu mới nhất hiện có cho chính các bộ chuẩn theo cặp: Zhou et al., 2021. Các nghiên cứu mới hơn chạy lại những chỉ số mới trên chính các cặp năm 2021 này.
6. Mô Hình Âm Thanh Lớn, Kích Thước Mô Hình và Âm Thanh Bịa Đặt
Chú thích đã chuyển từ một nhiệm vụ riêng thành kỹ năng phụ của các mô hình âm thanh đa năng, và các mô hình chuyên biệt vẫn dẫn đầu trên sân nhà. Audio Flamingo 3 nâng CIDEr trên AudioCaps từ 0,58 lên 0,70, nhưng vẫn thấp hơn nhiều so với mức đồng thuận 0,90 của con người ở phần 3 và 84,8 (trên thang 0 đến 100) được báo cáo cho một mô hình huấn luyện trên AudioSetCaps và tinh chỉnh trên AudioCaps. Kích thước cũng không phải bảo đảm: một mô hình 12,0M tham số cạnh tranh được với các hệ thống 171M và 400M.
Chú thích hay không thể thay thế việc nghe. Khi MMAU-Pro đưa chú thích thay vì âm thanh cho GPT-4o, độ chính xác giảm xuống 35,3%, so với 59,2% của mô hình nhận trực tiếp âm thanh. Độc giả theo dõi sự phân tách tương tự ở lời nói có thể so sánh với các bộ chuẩn hỏi đáp bằng giọng nói của chúng tôi.
Kết quả BRACE cho thấy một tính cách bị chia đôi. GPT-4o-Audio-Preview phát hiện tốt nhất một chú thích có một danh từ bịa đặt nhưng yếu khi xếp hạng hai chú thích thật. Rủi ro này tương tự ảo giác trong nhận dạng giọng nói, với âm thanh bịa đặt thay cho từ bịa đặt.
| Chỉ số | Giá trị | Nguồn |
|---|---|---|
| CIDEr, Audio Flamingo 2 so với Audio Flamingo 3 | AudioCaps: 0,58 so với 0,70; Clotho-v2: 0,46 so với 0,50 | Goel et al., Audio Flamingo 3, 2025 |
| Mô hình huấn luyện trước trên AudioSetCaps, AudioCaps và Clotho, rồi tinh chỉnh trên AudioCaps: điểm trên tập kiểm tra AudioCaps | CIDEr 84,8, SPIDEr 51,6 | Bai et al., AudioSetCaps, 2024 |
| Tham số có thể huấn luyện trên AudioCaps: CNext-trans so với HTSAT-BART so với PYB | 12,0M so với 171M so với 400M | Labbé et al., CoNeTTE, 2023 |
| Xếp hạng chất lượng chú thích trên 2.496 cặp (BRACE-Main), F1: chỉ số dựa trên CLAP tốt nhất so với Audio Flamingo 2 so với GPT-4o-Audio-Preview | 70,01 so với 63,19 so với 55,24 | Guo et al., BRACE, 2025 |
| Phát hiện chú thích bị tráo một danh từ trên 10.315 cặp (BRACE-Hallucination), F1 trên AudioCaps và Clotho: GPT-4o-Audio-Preview so với Audio Flamingo 2 | 95,76 và 96,75 so với 79,55 và 72,91 | Guo et al., BRACE, 2025 |
| Trung bình MMAU-Pro trên 5.305 câu hỏi: chú thích cộng GPT-4o so với Audio Flamingo 3 so với Gemini 2.5 Flash | 35,3 so với 51,7 so với 59,2 | Kumar et al., MMAU-Pro, 2025 |
| Độ chính xác hỏi đáp âm thanh, bài dự thi tốt nhất so với hệ thống cơ sở mạnh nhất (hai bộ chuẩn khác nhau) | 2025: 73,74% so với 52,09%; 2026: 58,33% so với 53,17% | Kết quả DCASE 2025 Task 5 và DCASE 2026 Task 5 |
7. Chú Thích Có Dấu Thời Gian: Nơi Bộ Chuẩn Chuyển Tới
Một câu cho cả đoạn âm thanh không thể nói điều gì xảy ra vào lúc nào, và các bộ dữ liệu mới nhất ra đời để khắc phục điều đó. Nhiệm vụ năm 2026 về tìm một khoảnh khắc trong âm thanh dài thu hút 21 đội và 59 bài nộp, nhiều hơn bất kỳ kỳ nào trong năm kỳ chú thích ở phần 2, và Recall1@0.7 cao nhất là 48,59 gấp hơn ba lần mức cơ sở 13,56 (48,59 chia 13,56 ra 3,6). Recall1@0.7 hỏi liệu dự đoán hàng đầu của mô hình có trùng với khoảnh khắc thật ít nhất 0,7 hay không.
Khoảng cách giữa kết quả cao nhất của nhiệm vụ và 20,3 được báo cáo trong bài báo về bộ dữ liệu là lớn, nhưng hai con số được đo trên các tập kiểm tra khác nhau. TACOS bổ sung một tín hiệu thứ hai: khi huấn luyện chuyển từ chú thích ở mức đoạn sang chú thích căn theo thời gian, việc phát hiện âm thanh dựa trên văn bản đạt điểm cao hơn, dù vẫn thấp xa so với huấn luyện có giám sát.
| Chỉ số | Giá trị | Nguồn |
|---|---|---|
| Kích thước TACOS | 12.358 bản ghi; 47.748 chú thích căn theo thời gian; 76,59 giờ | Primus et al., TACOS, 2025 |
| Chú thích của TACOS | 337 sinh viên; trung bình 3,57 chú thích mỗi đoạn; trung bình 92,84% mỗi đoạn được bao phủ | Primus et al., TACOS, 2025 |
| Phát hiện âm thanh dựa trên văn bản trên 50 hạng mục, PSDS1 (điểm phát hiện): huấn luyện trước, tinh chỉnh ở mức đoạn, tinh chỉnh căn theo thời gian, có giám sát hoàn toàn | 4,61, 12,44, 17,99, 54,26 | Primus et al., TACOS, 2025 |
| Kích thước CASTELLA | 1.862 bản ghi dài 1 đến 5 phút; 3.881 chú thích cục bộ; 11.308 mốc thời gian; hơn 120 giờ | Munakata et al., CASTELLA, 2025 |
| Kích thước Clotho-Moment, bộ dữ liệu tổng hợp đi kèm | 44,3K đoạn được chú thích; 853 giờ | Munakata et al., CASTELLA, 2025 |
| Recall1@0.7 tốt nhất trong bài báo CASTELLA | 20,3 | Munakata et al., CASTELLA, 2025 |
| Nhiệm vụ Audio Moment Retrieval 2026: số đội, số bài nộp, Recall1@0.7 tốt nhất so với mức cơ sở | 21 đội; 59 bài nộp; 48,59 so với 13,56 | Kết quả Task 6 của DCASE 2026 |
Tổng Kết: Chú Thích Âm Thanh Tự Động Qua Các Con Số
| Chỉ số | Giá trị | Nguồn |
|---|---|---|
| Đội thắng 2024 so với hệ thống cơ sở | FENSE 0,554 so với 0,510; SPIDEr-FL 0,241 so với 0,287 | DCASE Challenge, Task 6 Results 2024 |
| SPIDEr đồng thuận của con người trên AudioCaps và Clotho | 0,56 và 0,54 | Mei et al., Audio Captioning Overview, 2022 |
| SPIDEr của CNext-trans, tập kiểm tra AudioCaps so với tập kiểm tra Clotho | 0,466 so với 0,301 | Labbé et al., CoNeTTE, 2023 |
| Clotho phiên bản 1 | 4.981 đoạn, 24.905 chú thích | Drossos et al., Clotho, 2019 |
| Kích thước chính thức của AudioCaps | 51.308 đoạn | Mei et al., Audio Captioning Overview, 2022 |
| Kích thước WavCaps | 403.050 đoạn, 7.567,92 giờ | Mei et al., WavCaps, 2023 |
| Số mục chú thích của AudioSetCaps | 1.910.920 | Bai et al., AudioSetCaps, 2024 |
| Điểm ý kiến trung bình của con người trên 5, AudioCaps so với AudioSetCaps | 3,79 so với 3,70 | Bai et al., AudioSetCaps, 2024 |
| Độ chính xác Clotho-Eval, FENSE so với SPICE | 75,7% so với 56,3% | Zhou et al., FENSE, 2021 |
| Mức đồng thuận của người chấm trên Clotho (kappa Fleiss), điểm tuyệt đối so với lựa chọn theo cặp | 0,18 so với 0,48 | Zhou et al., FENSE, 2021 |
| Độ chính xác trên các cặp gồm hai chú thích đúng của con người, SPICE trên Clotho-Eval | 44,3% | Dixit et al., MACE, 2024 |
| Độ chính xác tổng thể trên Clotho-Eval, CLAIR-A dùng GPT-4o | 79,7% | Wu et al., CLAIR-A, 2024 |
| CIDEr trên AudioCaps, Audio Flamingo 2 so với Audio Flamingo 3 | 0,58 so với 0,70 | Goel et al., Audio Flamingo 3, 2025 |
| F1 của GPT-4o-Audio-Preview, xếp hạng chất lượng chú thích so với phát hiện danh từ bị tráo trên AudioCaps | 55,24 so với 95,76 | Guo et al., BRACE, 2025 |
| Trung bình MMAU-Pro, chú thích cộng GPT-4o so với Gemini 2.5 Flash | 35,3 so với 59,2 | Kumar et al., MMAU-Pro, 2025 |
| Chú thích căn theo thời gian của TACOS | 47.748 | Primus et al., TACOS, 2025 |
| Chú thích cục bộ của CASTELLA | 3.881 | Munakata et al., CASTELLA, 2025 |
| Bài báo có ‘audio captioning’ trong tiêu đề, 2024 so với 2025 | 36 so với 33 | Tìm theo tiêu đề trên OpenAlex, ngày 31 tháng 10 năm 2026 |
Phương Pháp Luận và Nguồn
Chúng tôi đã đọc các bảng kết quả, trang nhiệm vụ và bài báo dưới đây trong lần cập nhật này và trích dẫn các tác giả gốc. Không con số nào đến từ một blog hay một bản sao của bảng xếp hạng.
- Kết quả DCASE Challenge: 2020, 2021, 2022, 2023, 2024, 2025 Task 5, 2026 Task 5, 2026 Task 6; trang nhiệm vụ: 2020, 2022, 2024, 2026 Task 6; chương trình: 2025, 2026.
- Jung et al., báo cáo kỹ thuật về hợp nhất bộ mã hóa và tóm tắt bằng LLM, 2024.
- Drossos et al., Clotho: An Audio Captioning Dataset, 2019.
- Mei et al., Automated Audio Captioning: An Overview of Recent Progress and New Challenges, 2022.
- Mei et al., WavCaps, 2023.
- Bai et al., AudioSetCaps, 2024.
- Labbé et al., CoNeTTE, 2023.
- Zhou et al., Can Audio Captions Be Evaluated with Image Caption Metrics?, 2021.
- Dixit et al., MACE, 2024.
- Wu et al., CLAIR-A, 2024.
- Guo et al., BRACE, 2025.
- Goel et al., Audio Flamingo 3, 2025.
- Kumar et al., MMAU-Pro, 2025.
- Primus et al., TACOS, 2025.
- Munakata et al., CASTELLA, 2025.
- Tìm theo tiêu đề trên OpenAlex và tìm kiếm chung, cả hai đều chạy vào ngày 31 tháng 10 năm 2026.
- Lưu ý về dữ liệu: điểm số giữa các kỳ không thể so sánh một cách chặt chẽ. Chỉ số xếp hạng đã đổi từ SPIDEr (2020 đến 2022) sang SPIDEr-FL (2023) rồi sang FENSE (2024), kỳ 2020 dùng Clotho phiên bản 1 trong khi các kỳ 2022 và 2024 dùng phiên bản 2, và tập được giữ kín được gọi là tập kiểm tra cho đến 2023 và tập đánh giá vào năm 2024. Tổng số của Clotho khác nhau theo kỳ: trang nhiệm vụ 2022 ghi 6.974 đoạn và 34.870 chú thích, trang nhiệm vụ 2024 ghi 6.972 và 34.860. Văn bản của CoNeTTE ghi 3.840 tệp huấn luyện Clotho còn bảng của nó ghi 3.839, và phần kết luận trích dẫn con số 49,5% khớp với bộ mã hóa trùng lặp trong Bảng V, nên chúng tôi trích dẫn bảng. WavCaps là 7.567,92 giờ trong bài báo của chính nó và 7.563,3 trong CoNeTTE. Phần văn xuôi của MACE dường như hoán đổi các con số Clotho-Eval và AudioCaps-Eval của FENSE, nên chúng tôi theo bài báo FENSE gốc; phần tóm tắt của CLAIR-A tuyên bố cải thiện 5,8% so với FENSE trong khi bảng của nó cho thấy 4,0 điểm, nên chúng tôi trích dẫn bảng. Avg-All của BRACE cho GPT-4o-Audio-Preview về ảo giác (96,37) không bằng trung bình của hai cột của nó, nên chúng tôi trích dẫn các cột; các chú thích bị tráo danh từ của nó do GPT-4o viết, cùng họ mô hình với bộ phát hiện tốt nhất, và các cặp đã lọc của nó chỉ giữ những phiếu bầu nhất trí của con người. AudioSetCaps ghi ‘ít nhất năm’ người chấm trong văn bản và một con số khác trong chú thích hình; chúng tôi chưa xác nhận liệu các đoạn kiểm tra của AudioCaps có bị loại khỏi quá trình huấn luyện dựa trên AudioSet của nó hay không. CIDEr được báo cáo trên cả thang 0 đến 1 lẫn 0 đến 100, và Audio Flamingo 2 gắn nhãn điểm AudioCaps của mình là zero-shot, nên các phép so sánh CIDEr giữa các bài báo chỉ mang tính gần đúng. Clotho-Moment được ghi là 44,3K đoạn trong bài báo CASTELLA và hơn 51.240 bản ghi với 44.261 chú thích trên trang nhiệm vụ 2026. Số liệu OpenAlex thay đổi khi có thêm bản ghi, và 2026 là năm chưa trọn vẹn. Dữ liệu mới nhất hiện có cho các Phần 3 đến 5 gồm các bài báo từ 2019 đến 2023; chúng tôi không tìm thấy nghiên cứu đồng thuận nào mới hơn.
Cập nhật lần cuối: ngày 31 tháng 10 năm 2026. Chúng tôi cập nhật bài tổng hợp này hàng quý, và lần làm mới tiếp theo dự kiến diễn ra khi DCASE 2027 Challenge công bố các mô tả nhiệm vụ.