ระบบผู้ชนะของงานคำบรรยายเสียงของ DCASE รอบล่าสุดได้ FENSE 0.554 สูงกว่าระบบพื้นฐานของผู้จัดที่ 0.510 เพียง 0.044 และ 29 จาก 30 ระบบของทีมต่าง ๆ เอาชนะระบบพื้นฐานนั้นได้ (DCASE Challenge, Task 6 Results 2024) มนุษย์ยังนำอยู่ไกลบนชุดข้อมูลที่ยากกว่า คือคำบรรยายอ้างอิงสอดคล้องกันเองที่ SPIDEr 0.54 บน Clotho (Mei et al., Audio Captioning Overview, 2022) ขณะที่โมเดลขนาดกะทัดรัดได้ 0.301 (Labbé et al., CoNeTTE, 2023) ไม้บรรทัดที่ใช้วัดก็ยังไม่สมบูรณ์เช่นกัน เพราะเมตริก FENSE เลือกคำบรรยายที่มนุษย์ชอบได้ถูกต้อง 75.7% ของคู่ข้อมูลใน Clotho-Eval (Zhou et al., FENSE, 2021) สรุปนี้ครอบคลุมเรื่องเครื่องที่บรรยายเสียงที่ไม่ใช่เสียงพูด ไม่ใช่ซับไตเติลของเสียงพูด ซึ่งเราได้รวบรวมไว้ในสถิติคำบรรยายและซับไตเติลและสรุปตลาดคำบรรยายและซับไตเติล เรารวบรวมข้อมูลจากบทความของชุดข้อมูล Clotho, AudioCaps, WavCaps และ AudioSetCaps, งานศึกษาการประเมินผล FENSE, MACE, CLAIR-A และ BRACE, บทความ Audio Flamingo และ MMAU-Pro, OpenAlex และตารางผลลัพธ์ของการแข่งขันเอง
มีคำศัพท์ไม่กี่คำที่ปรากฏซ้ำด้านล่าง “คำบรรยาย” ในที่นี้คือประโยคที่อธิบายเสียง ไม่ว่าเครื่องหรือมนุษย์จะเป็นผู้เขียน “ระบบพื้นฐาน” (baseline) คือระบบอ้างอิงที่ผู้จัดจัดเตรียมไว้ให้ทีมต่าง ๆ พยายามเอาชนะ SPIDEr, CIDEr และ SPICE เป็นคะแนนที่ยืมมาจากการบรรยายภาพ FENSE รวมความคล้ายของประโยคเข้ากับบทลงโทษสำหรับไวยากรณ์ที่ผิดเพี้ยน และ SPIDEr-FL คือ SPIDEr ที่มีบทลงโทษลักษณะคล้ายกัน สำหรับทุกตัว ค่ายิ่งสูงยิ่งดี
สรุปโดยย่อ
- ผู้ชนะปี 2024 เอาชนะระบบพื้นฐานด้าน FENSE ได้ 0.554 เทียบกับ 0.510 แต่แพ้ด้าน SPIDEr-FL ที่ 0.241 เทียบกับ 0.287 (DCASE Challenge, Task 6 Results 2024)
- คำบรรยายอ้างอิงของมนุษย์สอดคล้องกันที่ SPIDEr 0.56 บน AudioCaps และ 0.54 บน Clotho (Mei et al., Audio Captioning Overview, 2022)
- โมเดลหนึ่งได้ SPIDEr 0.466 บน AudioCaps แต่ได้เพียง 0.301 บน Clotho (Labbé et al., CoNeTTE, 2023)
- FENSE ตรงกับความชอบของมนุษย์ใน 75.7% ของคู่ข้อมูลใน Clotho-Eval ส่วน SPICE ตรงกัน 56.3% (Zhou et al., FENSE, 2021)
- ในคู่ข้อมูลที่เป็นคำบรรยายของมนุษย์ที่ถูกต้องทั้งสองรายการ SPICE ได้ 44.3% บน Clotho-Eval ซึ่งแย่กว่าการโยนเหรียญ (Dixit et al., MACE, 2024)
- WavCaps มี 403,050 คลิป และเสียงรวม 7,567.92 ชั่วโมง (Mei et al., WavCaps, 2023)
- AudioSetCaps มีคำบรรยาย 1,910,920 รายการ ซึ่งมนุษย์ให้คะแนน 3.70 เต็ม 5 (Bai et al., AudioSetCaps, 2024)
- GPT-4o-Audio-Preview ได้ F1 95.76 และ 96.75 ในการจับเสียงที่แต่งขึ้นในคำบรรยาย แต่ได้เพียง 55.24 ในการจัดอันดับคุณภาพคำบรรยาย (Guo et al., BRACE, 2025)
- บทความที่มีคำว่า ‘Audio Captioning’ ในชื่อเรื่องเพิ่มจาก 6 บทความในปี 2019 เป็น 36 บทความในปี 2024 (OpenAlex, ค้นหาจากชื่อเรื่อง, 31 ตุลาคม 2026)
1. คะแนนตารางอันดับ: ห้ารอบ ส่วนต่างที่แคบลง
เรื่องราวของตารางอันดับนี้คือพื้นที่สูงขึ้นเรื่อย ๆ ในแง่ SPIDEr ส่วนต่างของผู้ชนะเหนือระบบพื้นฐานลดจาก 0.298 ในปี 2021 (0.310 ลบ 0.012) เหลือ 0.095 ในปี 2022 (0.319 ลบ 0.224) เพราะระบบตั้งต้นของผู้จัดดีขึ้นเร็วกว่าส่วนบนของตารางมาก ในปี 2024 ระบบพื้นฐานอยู่อันดับที่ 30 จาก 31 รายการ และทั้งกลุ่มอยู่ระหว่าง FENSE 0.508 ถึง 0.554
อันดับที่ส่วนบนใกล้เคียงกับการเสมอกันทางสถิติด้วย ช่วงความเชื่อมั่น 95% ของผู้ชนะ (0.543 ถึง 0.563) ซ้อนทับกับของอันดับสอง (0.534 ถึง 0.555) แม้จะเหนือกว่าช่วงของระบบพื้นฐาน (0.499 ถึง 0.521) เปลี่ยนเมตริกแล้วลำดับก็เปลี่ยน รายการที่ชนะสุ่มคำบรรยายผู้สมัคร กรองออก และสรุปด้วย GPT-4 Turbo ซึ่งเหมาะกับ FENSE มากกว่า SPIDEr-FL อย่างมาก ส่วนที่ 5 อธิบายว่าเชื่อถือแต่ละเมตริกได้มากน้อยเพียงใด
| ตัวชี้วัด | ค่า | แหล่งที่มา |
|---|---|---|
| SPIDEr ที่ดีที่สุดเทียบกับระบบพื้นฐานบนชุดจัดอันดับที่กันไว้ แยกตามรอบ | 2020: 0.222 เทียบกับ 0.018; 2021: 0.310 เทียบกับ 0.012; 2022: 0.319 เทียบกับ 0.224 | ผลลัพธ์ Task 6 ของ DCASE 2020, 2021 และ 2022 |
| SPIDEr-FL ที่ดีที่สุดของปี 2023 เทียบกับระบบพื้นฐานบนชุดจัดอันดับที่กันไว้ | 0.327 เทียบกับ 0.264 | ผลลัพธ์ Task 6a ของ DCASE 2023 |
| FENSE ที่ดีที่สุดของปี 2024 เทียบกับระบบพื้นฐานบนชุดประเมินผลของ Clotho | 0.554 (ช่วงความเชื่อมั่น 95% คือ 0.543 ถึง 0.563) เทียบกับ 0.510 (ช่วงความเชื่อมั่น 95% คือ 0.499 ถึง 0.521) | ผลลัพธ์ Task 6 ของ DCASE 2024 |
| SPIDEr-FL ของผู้ชนะปี 2024 เทียบกับระบบพื้นฐาน และ SPIDEr-FL สูงสุดของทุกรายการในปี 2024 | 0.241 เทียบกับ 0.287 สูงสุด 0.329 จากระบบที่ถูกระบุว่าข้อมูลรั่วไหล | ผลลัพธ์ Task 6 ของ DCASE 2024 |
| โมเดลเดี่ยวของทีมหนึ่งเทียบกับชุดรวม 25 โมเดล ค่า FENSE ในรายงานของทีมเอง | 0.5410 เทียบกับ 0.5442 (ระบบพื้นฐาน 0.5040) | Jung et al., รายงานทางเทคนิค 2024 |
ข้อมูลล่าสุดที่มี: DCASE Challenge, Task 6 Results 2024 ไม่มีรอบใดหลังจากนั้นที่มีงานคำบรรยายเสียง แถวของชุดรวมโมเดลแสดงว่าเหลือสิ่งที่จะได้จากการใช้กำลังคำนวณล้วน ๆ น้อยเพียงใด คือ 25 โมเดลเพิ่ม FENSE ได้เพียง 0.0032 (0.5442 ลบ 0.5410)
2. การเข้าร่วมและปริมาณการตีพิมพ์
จำนวนทีมคงที่ งานนี้มีทีมเข้าร่วม 9 ถึง 12 ทีมตลอดห้าปี แล้วก็หลุดจากโปรแกรม ทั้งโปรแกรมปี 2025 (หกงาน) และโปรแกรมปี 2026 (เจ็ดงาน) ไม่มีงานคำบรรยายเสียง หน้าที่เผยแพร่ไม่ได้ระบุเหตุผล แต่งานที่เข้ามาแทนบอกทิศทางไว้ และส่วนที่ 7 ติดตามทิศทางนั้น
ผลงานทางวิชาการเล่าเรื่องคล้ายกัน บทความที่มีวลีนี้ในชื่อเรื่องเพิ่มขึ้นหกเท่าระหว่างปี 2019 ถึง 2024 (36 หารด้วย 6) จากนั้นก็ทรงตัว การค้นหา OpenAlex ที่กว้างกว่ายังคงเพิ่มขึ้น ซึ่งชี้ว่าคำบรรยายเสียงกำลังกลายเป็นความสามารถหนึ่งภายในโมเดลเสียงขนาดใหญ่ แทนที่จะเป็นสาขาของตัวเอง การตีความนี้เป็นของเรา และการค้นหาแบบกว้างมีสัญญาณรบกวนมาก
| ตัวชี้วัด | ค่า | แหล่งที่มา |
|---|---|---|
| จำนวนทีมและระบบที่ส่งในแต่ละรอบ ไม่รวมระบบพื้นฐาน | 2020: 10 และ 34; 2021: 12 และ 37; 2022: 9 และ 36; 2023: 10 และ 28; 2024: 11 และ 30 | ผลลัพธ์ Task 6 ของ DCASE ปี 2020 ถึง 2024 (ลิงก์อยู่ในส่วนที่ 1) |
| งานคำบรรยายเสียงในโปรแกรมการแข่งขัน และจำนวนผลงานที่ส่งทั้งโปรแกรมปี 2025 | 2025: 0 จาก 6 งาน; 2026: 0 จาก 7 งาน; 277 ผลงานในปี 2025 | หน้าโปรแกรม DCASE 2025 และ DCASE 2026 |
| บทความที่มีคำว่า ‘Audio Captioning’ ในชื่อเรื่อง แยกตามปีที่ตีพิมพ์ | 2019: 6; 2022: 27; 2024: 36; 2025: 33; 2026 ถึง 31 ตุลาคม: 29 | การค้นหาจากชื่อเรื่องใน OpenAlex, 31 ตุลาคม 2026 |
| บทความทั้งหมดที่มีคำว่า ‘Audio Captioning’ ในชื่อเรื่อง ตั้งแต่ปี 2017 ถึง 31 ตุลาคม 2026 | 203 | การค้นหาจากชื่อเรื่องใน OpenAlex, 31 ตุลาคม 2026 |
| จำนวนระเบียนที่การค้นหาวลีแบบกว้างกว่าใน OpenAlex ส่งกลับมา | รวม 2,109; 433 ในปี 2025; 726 ในปี 2026 ถึง 31 ตุลาคม | การค้นหาทั่วไปใน OpenAlex, 31 ตุลาคม 2026 |
3. เพดานของมนุษย์: เครื่องห่างจากความสอดคล้องของมนุษย์แค่ไหน
คำบรรยายเสียงไม่มีคำตอบที่ถูกเพียงข้อเดียว นักวิจัยจึงให้คะแนนคำบรรยายอ้างอิงของมนุษย์เทียบกันเองเพื่อประมาณเพดาน เรียกว่าคะแนนฉันทามติ มนุษย์สอดคล้องกันในระดับเกือบเท่ากันบนชุดข้อมูลหลักทั้งสอง คือ SPIDEr 0.56 บน AudioCaps และ 0.54 บน Clotho แต่สถาปัตยกรรมโมเดลเดียวกันกลับได้ผลต่างกันมาก คือ 0.466 และ 0.301
เมื่อคิดเป็นสัดส่วนของตัวเลขมนุษย์ ก็คือราว 83% บน AudioCaps (0.466 หารด้วย 0.56) และ 56% บน Clotho (0.301 หารด้วย 0.54) ดังนั้นช่องว่างนี้อธิบายด้วยความเห็นไม่ตรงกันของมนุษย์เพียงอย่างเดียวไม่ได้ คลิปของ Clotho ยังยาวกว่า คือ 15 ถึง 30 วินาทีเทียบกับ 10 วินาที และ MACS แสดงปลายทางอีกด้านหนึ่ง ซึ่งคำบรรยายของมนุษย์สำหรับคลิปเดียวกันแทบไม่ซ้อนทับกันในแง่ถ้อยคำ ตัวเลข Sentence-BERT ของมันคงทนกว่าตัวเลข SPIDEr มาก ซึ่งชี้ว่าผู้คนบรรยายฉากเดียวกันด้วยถ้อยคำต่างกัน
แถวสุดท้ายสำคัญสำหรับผู้ที่อ่านข้ออ้างเกี่ยวกับ AudioCaps ตัวเข้ารหัสที่ฝึกล่วงหน้าบน AudioSet เคยได้ยินไฟล์ชุดทดสอบของ AudioCaps มาแล้ว และการตัดไฟล์เหล่านั้นออกจากการฝึกล่วงหน้าทำให้โมเดลหนึ่งเสีย SPIDEr ไป 0.029
| ตัวชี้วัด | ค่า | แหล่งที่มา |
|---|---|---|
| SPIDEr ฉันทามติของมนุษย์บน AudioCaps, Clotho และ MACS | 0.56, 0.54 และ 0.17 | Mei et al., Audio Captioning Overview, 2022 |
| CIDEr ฉันทามติของมนุษย์บน AudioCaps, Clotho และ MACS | 0.90, 0.86 และ 0.21 | Mei et al., Audio Captioning Overview, 2022 |
| Sentence-BERT ฉันทามติของมนุษย์บน AudioCaps, Clotho และ MACS | 0.64, 0.53 และ 0.52 | Mei et al., Audio Captioning Overview, 2022 |
| สถาปัตยกรรม CNext-trans เดียวกัน SPIDEr บนชุดทดสอบ AudioCaps เทียบกับชุดทดสอบ Clotho | 0.466 เทียบกับ 0.301 | Labbé et al., CoNeTTE, 2023 |
| สถาปัตยกรรม CNext-trans เดียวกัน FENSE บนชุดทดสอบ AudioCaps เทียบกับชุดทดสอบ Clotho | 0.633 เทียบกับ 0.516 | Labbé et al., CoNeTTE, 2023 |
| SPIDEr ของ CNext-trans บน AudioCaps ตัวเข้ารหัสที่เคยได้ยินเสียงชุดทดสอบเทียบกับตัวที่ไม่เคยได้ยิน | 0.495 เทียบกับ 0.466 | Labbé et al., CoNeTTE, 2023 |
ข้อมูลล่าสุดที่มี: Mei et al., Audio Captioning Overview, 2022 ตัวเลขฉันทามติใช้ชุดย่อยที่ต่างจากคะแนนของโมเดล ได้แก่ ชุดตรวจสอบและชุดทดสอบของ AudioCaps ชุดฝึกสอนของ Clotho และคลิปของ MACS ที่มีคำบรรยายอ้างอิงห้ารายการ
4. ขนาดชุดข้อมูล: จากคำบรรยายที่ระดมจากมวลชนสู่คำบรรยายที่ LLM เขียน
การบันทึกคำบรรยายโดยมนุษย์สร้างสาขานี้ขึ้นมา และโมเดลภาษาขนาดใหญ่ (LLM) ขยายขนาดของมัน WavCaps มี 403,050 คลิป และมีปริมาณเสียงราว 60 เท่าของชุดฝึกสอน AudioCaps (7,563.3 ชั่วโมง หารด้วย 126.6 ชั่วโมง ทั้งสองตัวเลขมาจาก Labbé et al., 2023) จากนั้น AudioSetCaps ผลักจำนวนขึ้นเป็นคำบรรยาย 1,910,920 รายการ โดยความยาวคำบรรยายเฉลี่ยเพิ่มจาก 11 คำใน Clotho เป็น 28 คำ
ข้อมูลที่มากขึ้นไม่ได้แปลว่าผลลัพธ์ดีขึ้นฟรี ๆ WavCaps เก็บคลิป FreeSound ไว้เพียง 46.3% (262,300 จาก 567,078) หลังการทำความสะอาด และการฝึกล่วงหน้าบนชุดนี้ยกคะแนนขึ้นได้ในระดับพอประมาณ คุณภาพดิบก็ทนทานกว่าที่ชื่อ “ติดป้ายแบบอ่อน” บอกเป็นนัย แม้คลิป 79 คลิปจะเป็นตัวอย่างขนาดเล็ก
| ตัวชี้วัด | ค่า | แหล่งที่มา |
|---|---|---|
| ขนาด Clotho เวอร์ชัน 1 | 4,981 คลิป, 24,905 คำบรรยาย, คลิปละ 15 ถึง 30 วินาที | Drossos et al., Clotho, 2019 |
| ขนาดอย่างเป็นทางการของ AudioCaps | 51,308 คลิป คลิปละ 10 วินาที | Mei et al., Audio Captioning Overview, 2022 |
| ไฟล์ฝึกสอนของ AudioCaps ที่ทีมวิจัยหนึ่งยังเข้าถึงได้ | 46,213 จาก 49,838 (92.7%) | Labbé et al., CoNeTTE, 2023 |
| ขนาด WavCaps | 403,050 คลิป, 7,567.92 ชั่วโมง | Mei et al., WavCaps, 2023 |
| คลิป FreeSound ของ WavCaps ก่อนและหลังทำความสะอาดด้วย ChatGPT | 567,078 เทียบกับ 262,300 | Mei et al., WavCaps, 2023 |
| SPIDEr (เปอร์เซ็นต์) เมื่อฝึกเฉพาะบนชุดข้อมูลเป้าหมายเทียบกับฝึกล่วงหน้าบน WavCaps แล้วปรับแต่งบนชุดเป้าหมาย | HTSAT-BART บน AudioCaps: 44.4 เทียบกับ 48.5; CNN14-BART บน Clotho: 25.5 เทียบกับ 31.0 | Mei et al., WavCaps, 2023 |
| จำนวนรายการคำบรรยายของ AudioSetCaps และคำบรรยายทั้งหมดในสามชุดข้อมูลส่วนขยาย | 1,910,920; 6,117,099 | Bai et al., AudioSetCaps, 2024 |
| คะแนนความคิดเห็นเฉลี่ยของมนุษย์เต็ม 5 จากคลิป 79 คลิป | ป้ายกำกับ AudioSet 3.81; AudioCaps 3.79; AudioSetCaps 3.70; WavCaps 3.70; Auto-ACD 3.60 | Bai et al., AudioSetCaps, 2024 |
ข้อมูลล่าสุดที่มีสำหรับ Clotho: Drossos et al., 2019 คลิปของ AudioCaps มาจาก YouTube จึงมีจำนวนที่เข้าถึงได้ลดลงเมื่อวิดีโอหายไป และสองทีมอาจไม่ได้ฝึกบนไฟล์ชุดเดียวกัน
5. เมตริกการประเมิน: คะแนนตรงกับการตัดสินของมนุษย์หรือไม่?
ตารางอันดับดีได้เท่าที่เมตริกดี และเมตริกที่ใช้ในช่วงปีแรก ๆ ของงานนี้ไม่เคยถูกสร้างมาเพื่อเสียงเลย FENSE ซึ่งเป็นเมตริกจัดอันดับปี 2024 ยังขัดกับความชอบของมนุษย์ในราวหนึ่งใน 4 คู่ข้อมูลของ Clotho-Eval (100 ลบ 75.7 ได้ 24.3%) SPICE แย่กว่านั้น และในคู่ที่เป็นคำบรรยายของมนุษย์ที่ถูกต้องทั้งสองรายการ มันต่ำกว่าโอกาสสุ่ม
ฝั่งมนุษย์ก็ไม่มั่นคงเช่นกัน เมื่อผู้ประเมินให้คะแนนคำบรรยายบนมาตราสัมบูรณ์ ความสอดคล้องต่ำ โดยค่าแคปปาของ Fleiss (ตัววัดความสอดคล้องระหว่างผู้ประเมิน โดย 1 คือสมบูรณ์แบบ) อยู่ที่ 0.18 บน Clotho การถามว่าในสองคำบรรยายอันไหนดีกว่าดันค่านี้ขึ้นเป็น 0.48 นี่คือเหตุผลที่เกณฑ์เหล่านี้เปรียบเทียบเป็นคู่ เมตริกรุ่นปี 2024 เพิ่มเสียงหรือผู้ตัดสินที่เป็น LLM และได้คะแนนเพิ่มอีกเล็กน้อย และ CLAIR-A ยังอธิบายคะแนนของตัวเองเป็นถ้อยคำ ซึ่งผู้ประเมินที่เป็นมนุษย์เห็นว่ายุติธรรมกว่าตัวเลข FENSE เปล่า ๆ
| ตัวชี้วัด | ค่า | แหล่งที่มา |
|---|---|---|
| สัดส่วนคู่ข้อมูลที่เมตริกเลือกคำบรรยายที่มนุษย์ชอบได้ถูกต้อง FENSE เทียบกับ SPICE | Clotho-Eval: 75.7% เทียบกับ 56.3%; AudioCaps-Eval: 85.3% เทียบกับ 59.7% | Zhou et al., FENSE, 2021 |
| ความสอดคล้องของผู้ประเมิน (ค่าแคปปาของ Fleiss) คะแนนสัมบูรณ์เทียบกับการเลือกเป็นคู่ | Clotho: 0.18 เทียบกับ 0.48; AudioCaps: 0.23 เทียบกับ 0.33 | Zhou et al., FENSE, 2021 |
| ขนาดของเกณฑ์ Clotho-Eval และ AudioCaps-Eval | 1,750 และ 1,671 คู่; ชุดละ 250 คลิป; ผู้ประเมิน 4 คนต่อคู่ | Zhou et al., FENSE, 2021 |
| ตัวตรวจจับข้อผิดพลาดของ FENSE ที่เกณฑ์ 0.9 บนคำบรรยายที่เครื่องเขียน 723 รายการ | ความแม่นยำ 96.8, ค่าเรียกคืน 76.4, F1 85.4 | Zhou et al., FENSE, 2021 |
| ความถูกต้องบนคู่ใน Clotho-Eval ที่เป็นคำบรรยายของมนุษย์ที่ถูกต้องทั้งสองรายการ: SPICE, FENSE, MACE | 44.3%, 60.5%, 63.3% | Dixit et al., MACE, 2024 |
| ความถูกต้องโดยรวมบน Clotho-Eval: CLAIR-A ที่ใช้ GPT-4o เทียบกับ FENSE | 79.7% เทียบกับ 75.7% | Wu et al., CLAIR-A, 2024 |
| คะแนนความยุติธรรมจากมนุษย์เต็ม 5 สำหรับคะแนน FENSE เทียบกับคะแนน CLAIR-A ที่มีเหตุผลเป็นลายลักษณ์อักษร (N=200) | 2.97 เทียบกับ 3.66 | Wu et al., CLAIR-A, 2024 |
ข้อมูลล่าสุดที่มีสำหรับเกณฑ์แบบคู่เอง: Zhou et al., 2021 งานศึกษาที่ใหม่กว่านำเมตริกใหม่ไปรันซ้ำบนคู่ข้อมูลปี 2021 ชุดเดิมนี้
6. โมเดลเสียงขนาดใหญ่ ขนาดโมเดล และเสียงที่แต่งขึ้น
คำบรรยายเสียงเปลี่ยนจากงานเฉพาะทางมาเป็นทักษะเสริมของโมเดลเสียงทั่วไป และโมเดลเฉพาะทางยังนำอยู่ในสนามของตัวเอง Audio Flamingo 3 ยก CIDEr บน AudioCaps จาก 0.58 เป็น 0.70 แต่ก็ยังต่ำกว่าฉันทามติของมนุษย์ที่ 0.90 จากส่วนที่ 3 และต่ำกว่า 84.8 (บนมาตรา 0 ถึง 100) ที่รายงานสำหรับโมเดลที่ฝึกบน AudioSetCaps และปรับแต่งบน AudioCaps อยู่มาก ขนาดก็ไม่ใช่หลักประกัน โมเดลขนาด 12.0M พารามิเตอร์สู้กับระบบขนาด 171M และ 400M ได้
คำบรรยายที่ดีไม่อาจทดแทนการได้ยิน เมื่อ MMAU-Pro ป้อนคำบรรยายให้ GPT-4o แทนเสียง ความถูกต้องลดลงเหลือ 35.3% เทียบกับ 59.2% ของโมเดลที่รับเสียงโดยตรง ผู้อ่านที่ติดตามการแบ่งแบบเดียวกันในเสียงพูดสามารถเทียบกับเกณฑ์วัดการถามตอบด้วยเสียงพูดของเราได้
ผลของ BRACE แสดงบุคลิกที่แบ่งเป็นสองด้าน GPT-4o-Audio-Preview จับคำบรรยายที่มีคำนามแต่งขึ้นหนึ่งคำได้ดีที่สุด แต่อ่อนในการจัดอันดับคำบรรยายจริงสองรายการ ความเสี่ยงนี้คล้ายกับภาพหลอนของการรู้จำเสียงพูด โดยเป็นเสียงที่แต่งขึ้นแทนคำที่แต่งขึ้น
| ตัวชี้วัด | ค่า | แหล่งที่มา |
|---|---|---|
| CIDEr, Audio Flamingo 2 เทียบกับ Audio Flamingo 3 | AudioCaps: 0.58 เทียบกับ 0.70; Clotho-v2: 0.46 เทียบกับ 0.50 | Goel et al., Audio Flamingo 3, 2025 |
| โมเดลที่ฝึกล่วงหน้าบน AudioSetCaps, AudioCaps และ Clotho แล้วปรับแต่งบน AudioCaps: คะแนนบนชุดทดสอบ AudioCaps | CIDEr 84.8, SPIDEr 51.6 | Bai et al., AudioSetCaps, 2024 |
| พารามิเตอร์ที่ฝึกได้บน AudioCaps: CNext-trans เทียบกับ HTSAT-BART เทียบกับ PYB | 12.0M เทียบกับ 171M เทียบกับ 400M | Labbé et al., CoNeTTE, 2023 |
| การจัดอันดับคุณภาพคำบรรยายบน 2,496 คู่ (BRACE-Main) ค่า F1: เมตริกที่ใช้ CLAP ดีที่สุดเทียบกับ Audio Flamingo 2 เทียบกับ GPT-4o-Audio-Preview | 70.01 เทียบกับ 63.19 เทียบกับ 55.24 | Guo et al., BRACE, 2025 |
| การจับคำบรรยายที่ถูกสลับคำนามหนึ่งคำบน 10,315 คู่ (BRACE-Hallucination) ค่า F1 บน AudioCaps และ Clotho: GPT-4o-Audio-Preview เทียบกับ Audio Flamingo 2 | 95.76 และ 96.75 เทียบกับ 79.55 และ 72.91 | Guo et al., BRACE, 2025 |
| ค่าเฉลี่ย MMAU-Pro บน 5,305 คำถาม: คำบรรยายร่วมกับ GPT-4o เทียบกับ Audio Flamingo 3 เทียบกับ Gemini 2.5 Flash | 35.3 เทียบกับ 51.7 เทียบกับ 59.2 | Kumar et al., MMAU-Pro, 2025 |
| ความถูกต้องของการถามตอบเกี่ยวกับเสียง ผลงานที่ดีที่สุดเทียบกับระบบพื้นฐานที่แข็งแกร่งที่สุด (เกณฑ์วัดสองชุดที่ต่างกัน) | 2025: 73.74% เทียบกับ 52.09%; 2026: 58.33% เทียบกับ 53.17% | ผลลัพธ์ DCASE 2025 Task 5 และ DCASE 2026 Task 5 |
7. คำบรรยายที่มีการประทับเวลา: จุดที่เกณฑ์วัดย้ายไป
ประโยคเดียวสำหรับทั้งคลิปบอกไม่ได้ว่าเหตุการณ์เกิดขึ้นเมื่อใด และชุดข้อมูลใหม่ล่าสุดเกิดขึ้นเพื่อแก้ปัญหานี้ งานปี 2026 เรื่องการค้นหาช่วงเวลาในเสียงยาวดึงดูด 21 ทีมและ 59 ผลงานที่ส่งเข้าแข่งขัน มากกว่าทั้งห้ารอบของงานคำบรรยายเสียงในส่วนที่ 2 และ Recall1@0.7 สูงสุดที่ 48.59 เป็นมากกว่าสามเท่าของระบบพื้นฐานที่ 13.56 (48.59 หารด้วย 13.56 ได้ 3.6) Recall1@0.7 ถามว่าคำตอบอันดับแรกของโมเดลซ้อนทับกับช่วงเวลาจริงอย่างน้อย 0.7 หรือไม่
ช่องว่างระหว่างผลลัพธ์สูงสุดของงานกับ 20.3 ที่รายงานในบทความชุดข้อมูลนั้นใหญ่ แต่ทั้งสองตัวเลขวัดบนชุดทดสอบที่ต่างกัน TACOS เพิ่มสัญญาณที่สอง คือเมื่อการฝึกเปลี่ยนจากคำบรรยายระดับคลิปไปเป็นคำบรรยายที่จัดแนวตามเวลา การตรวจจับเสียงด้วยข้อความได้คะแนนสูงขึ้น แม้ยังต่ำกว่าการฝึกแบบมีผู้สอนอยู่มาก
| ตัวชี้วัด | ค่า | แหล่งที่มา |
|---|---|---|
| ขนาด TACOS | 12,358 การบันทึก; 47,748 คำบรรยายที่จัดแนวตามเวลา; 76.59 ชั่วโมง | Primus et al., TACOS, 2025 |
| การทำคำบรรยายของ TACOS | นักศึกษา 337 คน; เฉลี่ย 3.57 คำบรรยายต่อคลิป; เฉลี่ยครอบคลุม 92.84% ของแต่ละคลิป | Primus et al., TACOS, 2025 |
| การตรวจจับเสียงด้วยข้อความบน 50 หมวดหมู่ PSDS1 (คะแนนการตรวจจับ): ฝึกล่วงหน้า ปรับแต่งระดับคลิป ปรับแต่งแบบจัดแนวตามเวลา และฝึกแบบมีผู้สอนเต็มรูปแบบ | 4.61, 12.44, 17.99, 54.26 | Primus et al., TACOS, 2025 |
| ขนาด CASTELLA | 1,862 การบันทึก ยาว 1 ถึง 5 นาที; 3,881 คำบรรยายเฉพาะช่วง; 11,308 เวลาที่ประทับ; มากกว่า 120 ชั่วโมง | Munakata et al., CASTELLA, 2025 |
| ขนาด Clotho-Moment ชุดข้อมูลสังเคราะห์ที่เป็นคู่กัน | 44.3K คลิปที่มีการทำคำบรรยาย; 853 ชั่วโมง | Munakata et al., CASTELLA, 2025 |
| Recall1@0.7 ที่ดีที่สุดในบทความ CASTELLA | 20.3 | Munakata et al., CASTELLA, 2025 |
| งาน Audio Moment Retrieval ปี 2026: ทีม ผลงานที่ส่ง และ Recall1@0.7 ที่ดีที่สุดเทียบกับระบบพื้นฐาน | 21 ทีม; 59 ผลงานที่ส่ง; 48.59 เทียบกับ 13.56 | ผลลัพธ์ Task 6 ของ DCASE 2026 |
สรุป: คำบรรยายเสียงอัตโนมัติในรูปแบบตัวเลข
| ตัวชี้วัด | ค่า | แหล่งที่มา |
|---|---|---|
| ผู้ชนะปี 2024 เทียบกับระบบพื้นฐาน | FENSE 0.554 เทียบกับ 0.510; SPIDEr-FL 0.241 เทียบกับ 0.287 | DCASE Challenge, Task 6 Results 2024 |
| SPIDEr ฉันทามติของมนุษย์บน AudioCaps และ Clotho | 0.56 และ 0.54 | Mei et al., Audio Captioning Overview, 2022 |
| SPIDEr ของ CNext-trans ชุดทดสอบ AudioCaps เทียบกับชุดทดสอบ Clotho | 0.466 เทียบกับ 0.301 | Labbé et al., CoNeTTE, 2023 |
| Clotho เวอร์ชัน 1 | 4,981 คลิป, 24,905 คำบรรยาย | Drossos et al., Clotho, 2019 |
| ขนาดอย่างเป็นทางการของ AudioCaps | 51,308 คลิป | Mei et al., Audio Captioning Overview, 2022 |
| ขนาด WavCaps | 403,050 คลิป, 7,567.92 ชั่วโมง | Mei et al., WavCaps, 2023 |
| จำนวนรายการคำบรรยายของ AudioSetCaps | 1,910,920 | Bai et al., AudioSetCaps, 2024 |
| คะแนนความคิดเห็นเฉลี่ยของมนุษย์เต็ม 5 AudioCaps เทียบกับ AudioSetCaps | 3.79 เทียบกับ 3.70 | Bai et al., AudioSetCaps, 2024 |
| ความถูกต้องบน Clotho-Eval, FENSE เทียบกับ SPICE | 75.7% เทียบกับ 56.3% | Zhou et al., FENSE, 2021 |
| ความสอดคล้องของผู้ประเมินบน Clotho (ค่าแคปปาของ Fleiss) คะแนนสัมบูรณ์เทียบกับการเลือกเป็นคู่ | 0.18 เทียบกับ 0.48 | Zhou et al., FENSE, 2021 |
| ความถูกต้องบนคู่ที่เป็นคำบรรยายของมนุษย์ที่ถูกต้องทั้งสองรายการ SPICE บน Clotho-Eval | 44.3% | Dixit et al., MACE, 2024 |
| ความถูกต้องโดยรวมบน Clotho-Eval, CLAIR-A ที่ใช้ GPT-4o | 79.7% | Wu et al., CLAIR-A, 2024 |
| CIDEr บน AudioCaps, Audio Flamingo 2 เทียบกับ Audio Flamingo 3 | 0.58 เทียบกับ 0.70 | Goel et al., Audio Flamingo 3, 2025 |
| F1 ของ GPT-4o-Audio-Preview การจัดอันดับคุณภาพคำบรรยายเทียบกับการจับคำนามที่ถูกสลับบน AudioCaps | 55.24 เทียบกับ 95.76 | Guo et al., BRACE, 2025 |
| ค่าเฉลี่ย MMAU-Pro คำบรรยายร่วมกับ GPT-4o เทียบกับ Gemini 2.5 Flash | 35.3 เทียบกับ 59.2 | Kumar et al., MMAU-Pro, 2025 |
| คำบรรยายที่จัดแนวตามเวลาของ TACOS | 47,748 | Primus et al., TACOS, 2025 |
| คำบรรยายเฉพาะช่วงของ CASTELLA | 3,881 | Munakata et al., CASTELLA, 2025 |
| บทความที่มีคำว่า ‘Audio Captioning’ ในชื่อเรื่อง ปี 2024 เทียบกับ 2025 | 36 เทียบกับ 33 | การค้นหาจากชื่อเรื่องใน OpenAlex, 31 ตุลาคม 2026 |
ระเบียบวิธีและแหล่งที่มา
เราอ่านตารางผลลัพธ์ หน้างาน และบทความด้านล่างในการอัปเดตครั้งนี้ และอ้างอิงผู้เขียนต้นฉบับ ไม่มีตัวเลขใดมาจากบล็อกหรือสำเนาของตารางอันดับ
- ผลลัพธ์ DCASE Challenge: 2020, 2021, 2022, 2023, 2024, 2025 Task 5, 2026 Task 5, 2026 Task 6; หน้างาน: 2020, 2022, 2024, 2026 Task 6; โปรแกรม: 2025, 2026
- Jung et al., รายงานทางเทคนิคเรื่องการรวมตัวเข้ารหัสและการสรุปด้วย LLM, 2024
- Drossos et al., Clotho: An Audio Captioning Dataset, 2019
- Mei et al., Automated Audio Captioning: An Overview of Recent Progress and New Challenges, 2022
- Mei et al., WavCaps, 2023
- Bai et al., AudioSetCaps, 2024
- Labbé et al., CoNeTTE, 2023
- Zhou et al., Can Audio Captions Be Evaluated with Image Caption Metrics?, 2021
- Dixit et al., MACE, 2024
- Wu et al., CLAIR-A, 2024
- Guo et al., BRACE, 2025
- Goel et al., Audio Flamingo 3, 2025
- Kumar et al., MMAU-Pro, 2025
- Primus et al., TACOS, 2025
- Munakata et al., CASTELLA, 2025
- การค้นหาจากชื่อเรื่องใน OpenAlex และการค้นหาทั่วไป ทั้งสองรันเมื่อ 31 ตุลาคม 2026
- ข้อสังเกตเกี่ยวกับข้อมูล: คะแนนข้ามรอบไม่สามารถเทียบกันได้อย่างเคร่งครัด เมตริกจัดอันดับเปลี่ยนจาก SPIDEr (2020 ถึง 2022) เป็น SPIDEr-FL (2023) และเป็น FENSE (2024) รอบปี 2020 ใช้ Clotho เวอร์ชัน 1 ขณะที่รอบปี 2022 และ 2024 ใช้เวอร์ชัน 2 และชุดที่กันไว้ถูกเรียกว่าชุดทดสอบจนถึงปี 2023 และเรียกว่าชุดประเมินผลในปี 2024 ยอดรวมของ Clotho ต่างกันตามรอบ หน้างานปี 2022 ระบุ 6,974 คลิปและ 34,870 คำบรรยาย หน้างานปี 2024 ระบุ 6,972 และ 34,860 ข้อความของ CoNeTTE ระบุไฟล์ฝึกสอน Clotho 3,840 ไฟล์ ส่วนตารางระบุ 3,839 และบทสรุปอ้างตัวเลข 49.5% ซึ่งตรงกับตัวเข้ารหัสที่ซ้อนทับกันในตารางที่ V ของบทความนั้น เราจึงอ้างตามตาราง WavCaps มี 7,567.92 ชั่วโมงในบทความของตัวเอง และ 7,563.3 ใน CoNeTTE ส่วนเนื้อความของ MACE ดูเหมือนสลับตัวเลข Clotho-Eval กับ AudioCaps-Eval ของ FENSE เราจึงยึดตามบทความ FENSE ต้นฉบับ บทคัดย่อของ CLAIR-A อ้างว่าดีกว่า FENSE 5.8% ขณะที่ตารางแสดง 4.0 จุด เราจึงอ้างตามตาราง ค่า Avg-All ของ BRACE สำหรับ GPT-4o-Audio-Preview ด้านภาพหลอน (96.37) ไม่เท่ากับค่าเฉลี่ยของสองคอลัมน์ เราจึงอ้างตามคอลัมน์ คำบรรยายที่สลับคำนามของมันเขียนโดย GPT-4o ซึ่งเป็นโมเดลตระกูลเดียวกับตัวตรวจจับที่ดีที่สุด และคู่ที่กรองแล้วเก็บเฉพาะคะแนนโหวตของมนุษย์ที่เป็นเอกฉันท์ AudioSetCaps ระบุผู้ประเมิน “อย่างน้อยห้าคน” ในเนื้อความ และระบุตัวเลขอื่นในคำอธิบายภาพ เรายังไม่ได้ยืนยันว่าคลิปทดสอบของ AudioCaps ถูกตัดออกจากการฝึกที่อิงกับ AudioSet ของมันหรือไม่ CIDEr รายงานทั้งบนมาตรา 0 ถึง 1 และ 0 ถึง 100 และ Audio Flamingo 2 ระบุว่าคะแนน AudioCaps ของตนเป็นแบบซีโรช็อต การเปรียบเทียบ CIDEr ข้ามบทความจึงเป็นเพียงค่าประมาณ Clotho-Moment ระบุเป็น 44.3K คลิปในบทความ CASTELLA และเป็นมากกว่า 51,240 การบันทึกพร้อมคำบรรยาย 44,261 รายการในหน้างานปี 2026 จำนวนใน OpenAlex เปลี่ยนไปเมื่อมีการเพิ่มระเบียน และปี 2026 เป็นปีที่ยังไม่ครบ ข้อมูลล่าสุดที่มีสำหรับส่วนที่ 3 ถึง 5 รวมบทความปี 2019 ถึง 2023 และไม่พบงานศึกษาฉันทามติที่ใหม่กว่า
อัปเดตล่าสุด: 31 ตุลาคม 2026 เราจะอัปเดตสรุปนี้ทุกไตรมาส และคาดว่าการรีเฟรชครั้งถัดไปจะเกิดขึ้นเมื่อ DCASE 2027 Challenge เผยแพร่คำอธิบายงาน