เมื่อป้อนคลิปเสียงที่ไม่ใช่เสียงพูดล้วน ๆ 301,317 คลิป Whisper large-v3 เขียนข้อความให้ 121,378 คลิป (40.3%) และ 9.1% ของผลลัพธ์ที่แต่งขึ้นเหล่านั้นเป็นการวนซ้ำวลีเดิม (Barański และคณะ, ICASSP 2025) กับคลังเสียงเมือง UrbanSound8K ทีมวิจัยอีกทีมวัดพบข้อความออกมาใน 99.97% ของคลิป (Wang และคณะ, Calm-Whisper, Interspeech 2025) ส่วนกับเสียงพูดจริง อัตราต่ำกว่ามากแต่กระจายไม่เท่ากัน ในคลังข้อมูล AphasiaBank ช่วงเสียงจากผู้พูดที่มีภาวะเสียการสื่อความเกิดภาพหลอนบ่อยกว่าช่วงเสียงกลุ่มควบคุม และช่วงที่ไม่มีเสียงพูดยาวขึ้นสามารถทำนายการเกิดภาพหลอนได้ (Koenecke และคณะ, ACM FAccT 2024) ตารางจัดอันดับจับปัญหานี้ไม่ได้ เพราะ Open ASR Leaderboard จัดอันดับโมเดลด้วยอัตราความผิดพลาดของคำและความเร็วเท่านั้น (Srivastav และคณะ, บทความ Open ASR Leaderboard 2026) ซึ่งเป็นตัวชี้วัดเดียวกับที่อยู่เบื้องหลังช่องว่างด้านสำเนียงและภาษาถิ่นที่เราติดตามแยกต่างหาก เรารวบรวมข้อมูลจากบทความของ Cornell, Carnegie Mellon, Hugging Face, Interspeech และ ICASSP, AssemblyAI, Associated Press และงาน arXiv ปี 2026 ว่าด้วยการตรวจจับและการลดปัญหา
ในสรุปนี้ “ภาพหลอน” หมายถึงข้อความในบันทึกถอดเสียงที่ไม่มีที่มาจากเสียงเลย ได้แก่ คำ วลี หรือประโยคทั้งประโยคที่แต่งขึ้น ซึ่งต่างจากการฟังคำที่พูดจริงผิดไป
สรุปโดยย่อ
- Whisper large-v3 สร้างข้อความให้ 40.3% ของคลิปที่ไม่ใช่เสียงพูด 301,317 คลิป โดย 9.1% ของคลิปเหล่านั้นเป็นการวนซ้ำ (Barański และคณะ, ICASSP 2025)
- Whisper large-v3 สร้างข้อความให้ 99.97% ของคลิปเสียงรบกวน UrbanSound8K ก่อนการปรับแต่งละเอียดแบบเจาะจง (Wang และคณะ, Calm-Whisper, Interspeech 2025)
- คลิปที่มีการพูดติดอ่างเกิดภาพหลอน 14% กับ Whisper v2 และ 2.9% กับ v3 (Sridhar และ Wu, Interspeech 2025)
- Universal-1 รายงานว่าอัตราภาพหลอนลดลงสัมพัทธ์ 30% เมื่อเทียบกับ Whisper large-v3 ซึ่งเป็นข้ออ้างของผู้ให้บริการเอง (AssemblyAI, Anatomy of Industrial Scale Multilingual ASR 2024)
- อัตราความผิดพลาดจากภาพหลอนสัมพันธ์กับการเลื่อนของการแจกแจงข้อมูลที่ α = 0.91 (Atwany และคณะ, arXiv 2025)
- คะแนนภาพหลอน SHALLOW สัมพันธ์กับ WER ที่ ρs > 0.80 เฉพาะในช่วง WER 10-30% (Koudounas และคณะ, arXiv 2025)
- Whisper turbo ยังคงให้ผลลัพธ์ที่เป็นคำใน 74.3% ของคลิปที่ไม่ใช่เสียงพูด (Borodin และคณะ, The Null Token Knows, arXiv 2026)
- Open ASR Leaderboard รายงานเพียง WER และ RTFx โดยระบบที่ใช้ Conformer เร็วกว่าระบบที่ใช้ Whisper 3.77 เท่า (Srivastav และคณะ, บทความ Open ASR Leaderboard 2026)
- การแก้ไขของ Calm-Whisper ทำให้ WER ของ LibriSpeech test-clean เพิ่มขึ้นเพียงจาก 2.12% เป็น 2.19% (Wang และคณะ, Calm-Whisper, Interspeech 2025)
- ค่าฐานของ WhisperX VAD ได้ภาพหลอนจากเสียงที่ไม่ใช่เสียงพูดเฉลี่ย 5.24% โดยปฏิเสธเสียงพูดจริงผิดพลาด 0% (Abbasihafshejani และ Jadliwala, arXiv 2026)
1. ASR แต่งข้อความขึ้นเองบ่อยแค่ไหนกับเสียงพูดจริง
ตัวเลขที่ผ่านการควบคุมตัวแปรกับเสียงพูดจริงนั้นน้อย และนั่นคือกับดักพอดี 187 จาก 13,140 ช่วงเสียงของ AphasiaBank (1.4%) ให้ข้อความที่แต่งขึ้นใน Whisper อย่างสม่ำเสมอ ในงานวิจัย Careless Whisper ขณะที่ช่วงเสียงเดียวกันเมื่อส่งผ่าน Amazon และ Google ไม่เกิดข้อความแต่งขึ้นที่เทียบเคียงกันได้เลย อัตราต่ำที่ตกลงบนประวัติการรักษา การสัมภาษณ์ หรือบันทึกของศาลเป็นความเสี่ยงคนละแบบกับการฟังคำผิด เพราะประโยคที่แต่งขึ้นอ่านลื่นไหล และไม่มีใครคิดจะตรวจสอบ
รายงานภาคสนามที่ Associated Press รวบรวมไว้ในเดือนตุลาคม 2024 สูงกว่ามาก และเทียบกับตัวเลขในห้องปฏิบัติการไม่ได้ วิศวกรแมชชีนเลิร์นนิงคนหนึ่งบอก AP ว่าเขาพบภาพหลอนในราวครึ่งหนึ่งของบันทึกถอดเสียง Whisper กว่า 100 ชั่วโมงที่เขาวิเคราะห์ นี่เป็นการตรวจสอบโดยผู้ใช้แต่ละราย ไม่มีนิยามร่วมกัน จึงควรมองเป็นสัญญาณของระดับความเสี่ยงที่ได้รับ ไม่ใช่อัตรา
| ตัวชี้วัด | ค่า | แหล่งที่มา |
|---|---|---|
| ช่วงเสียงของ AphasiaBank ที่ให้ข้อความภาพหลอนใน Whisper อย่างสม่ำเสมอ (การรันเดือนเมษายน-พฤษภาคม 2023) | 187 จาก 13,140 ช่วง (1.4%) | Koenecke และคณะ, Careless Whisper, ACM FAccT 2024 |
| ช่วงเสียงที่เกิดภาพหลอนและยังคงเกิดภาพหลอนเมื่อรันซ้ำในเดือนธันวาคม 2023 | 12 จาก 187 | Koenecke และคณะ, Careless Whisper, ACM FAccT 2024 |
| อัตราความผิดพลาดจากภาพหลอนของ Whisper large-v3, LibriSpeech เทียบกับ LibriSpeech ที่เพิ่มเสียงรบกวน | 0.3% เทียบกับ 0.4% | Atwany และคณะ, Lost in Transcription, arXiv 2025 |
| บันทึกการประชุมสาธารณะที่มีภาพหลอน ซึ่งนักวิจัยของมหาวิทยาลัยมิชิแกนตรวจสอบ | 8 จากทุก 10 | การสืบสวนของ Associated Press, ตุลาคม 2024 |
| บันทึกถอดเสียง Whisper ที่มีภาพหลอน ซึ่งนักพัฒนาคนหนึ่งรายงาน | เกือบทุกฉบับจาก 26,000 ฉบับ | การสืบสวนของ Associated Press, ตุลาคม 2024 |
| อัตราการแต่งข้อความ (คำที่แทรกหรือแทนที่ติดกัน 5 คำขึ้นไปต่อชั่วโมง), Universal-1 เทียบกับ Whisper large-v3 | ลดลงสัมพัทธ์ 41% (ข้ออ้างของผู้ให้บริการเอง) | AssemblyAI, Anatomy of Industrial Scale Multilingual ASR 2024 |
| อัตราภาพหลอนโดยรวม (ข้อผิดพลาดติดกัน 5 รายการขึ้นไปต่อชั่วโมง), Universal-1 เทียบกับ Whisper large-v3 และเทียบกับ Canary-1B | ลดลงสัมพัทธ์ 30% และ 22% (ข้ออ้างของผู้ให้บริการเอง) | AssemblyAI, Anatomy of Industrial Scale Multilingual ASR 2024 |
บริบท: เมื่อรันซ้ำในเดือนธันวาคม 2023 กรณีที่ทำซ้ำได้ส่วนใหญ่ แต่ไม่ใช่ทั้งหมด หยุดเกิดภาพหลอนแล้ว โดย 12 จาก 187 คิดเป็น 6.4% (คำนวณโดยเราเอง) การเปรียบเทียบกับ Amazon และ Google ดำเนินการเมื่อวันที่ 27 มกราคม 2024 ตัวเลขของ AssemblyAI เป็นการลดลงสัมพัทธ์ที่วัดจากข้อมูลทดสอบภาษาอังกฤษ 146 ชั่วโมงซึ่งผู้ให้บริการเลือกเอง และอัตราสัมบูรณ์ต่อชั่วโมงปรากฏเฉพาะในรูปภาพ
2. ความเงียบ เสียงรบกวน และเสียงที่ไม่ใช่เสียงพูด: กรณีเลวร้ายที่สุด
ในเสียงที่ไม่มีเสียงพูดเลย บันทึกถอดเสียงที่ถูกต้องคือค่าว่าง ดังนั้นทุกคำที่ออกมาล้วนเป็นข้อความที่แต่งขึ้น นั่นทำให้เสียงที่ไม่ใช่เสียงพูดเป็นการทดสอบภาวะกดดันที่สะอาดที่สุด และผลลัพธ์ก็ชัดเจนมาก ขึ้นกับชุดข้อมูลและกฎการนับ Whisper large-v3 เขียนข้อความให้ตั้งแต่ 21.35% ถึง 100% ของคลิปที่ไม่ใช่เสียงพูด ในงานวิจัยด้านล่างนี้ ช่วงที่กว้างนี้ไม่ใช่สัญญาณรบกวนในงานวิจัย แต่สะท้อนคลังเสียง ความยาวคลิป และนิยามที่ต่างกัน ซึ่งเป็นเหตุผลที่ไม่มี “อัตราภาพหลอนของ Whisper” เพียงค่าเดียว
ในเรื่องนี้ โมเดลใหญ่กว่าไม่ได้ดีกว่าเสมอไป ในการตรวจสอบ Null Token เดือนสิงหาคม 2026 Whisper small ให้ผลลัพธ์ที่เป็นคำในคลิปมากกว่า large-v3 ขณะที่ในงานวิจัยการชี้นำเดือนมิถุนายน 2026 large-v3 แย่กว่า small บนชุดทดสอบรวม Canary-1B ซึ่งไม่ใช่โมเดลตระกูล Whisper อยู่ในช่วงเดียวกัน การแยกเสียงพูดออกจากเสียงพื้นหลังเป็นสาขาวิจัยของตัวเอง (ดูสถิติการแยกเสียงพูดของเรา) ตัวรู้จำที่ข้ามขั้นตอนนั้นไปก็รับปัญหาไปด้วย
| ตัวชี้วัด | ค่า | แหล่งที่มา |
|---|---|---|
| การอนุมานของ Whisper large-v3 กับเสียงที่ไม่ใช่เสียงพูด (AudioSet, MUSAN, UrbanSound8K, FSD50K, เสียงรบกวนและความเงียบ) ที่ให้ข้อความ | 121,378 จาก 301,317 (40.3%); 11,049 รายการ (9.1%) มีการวนซ้ำ | Barański และคณะ, ICASSP 2025 |
| อัตราภาพหลอนของ Whisper large-v3 กับคลิปเสียงเมือง UrbanSound8K | 99.97% | Wang และคณะ, Calm-Whisper, Interspeech 2025 |
| Whisper large-v3 เทียบกับ Whisper small, อัตราภาพหลอนบนชุดทดสอบรวมที่ไม่ใช่เสียงพูด (WHAM!, FSD50k, UrbanSound8K) | 86.8% เทียบกับ 72.6% | Aparin และคณะ, Whisper Hallucination Detection and Mitigation, arXiv 2026 |
| อัตราภาพหลอนของ Whisper large-v3 บน UrbanSound8K, การวัดแยกต่างหากปี 2026 | 95.2% | Aparin และคณะ, Whisper Hallucination Detection and Mitigation, arXiv 2026 |
| สัดส่วนของคลิปที่ไม่ใช่เสียงพูดซึ่งมีผลลัพธ์ที่เป็นคำ, Whisper small, large-v3 และ turbo | 96.2%, 77.0% และ 74.3% | Borodin และคณะ, The Null Token Knows, arXiv 2026 |
| สัดส่วนของคลิปที่ไม่ใช่เสียงพูดซึ่งมีผลลัพธ์ที่เป็นคำ, Canary-1B (ชุดย่อย) | 79.3% | Borodin และคณะ, The Null Token Knows, arXiv 2026 |
| ผลลัพธ์ที่ไม่ว่างบนตัวอย่างเสียงรบกวนแวดล้อมของ AudioSet 200 ตัวอย่าง, Whisper large-v3, Canary-1B และ Universal-1 | 100%, 100% และ 10.5% (การทดสอบของผู้ให้บริการเอง) | AssemblyAI, Anatomy of Industrial Scale Multilingual ASR 2024 |
บริบท: บทความที่สามในปี 2026 วัด Whisper large-v3 ได้ 76.08% บน UrbanSound8K, 44.25% บน ESC-50 และ 21.35% บนชุดย่อย FSD50K ที่กรองแล้ว (Abbasihafshejani และ Jadliwala, arXiv 2026) “ผลลัพธ์ที่เป็นคำ” ในบทความ Null Token หมายถึงตัวอักษรใด ๆ ที่เหลืออยู่หลังจากตัวปรับรูปแบบลบแท็กเหตุการณ์ เครื่องหมายวรรคตอน และตัวเลขออกแล้ว ซึ่งเป็นการนับที่กว้างกว่าการจับคู่วลีทั้งวลี
3. สิ่งที่ถูกแต่งขึ้น: ลายนิ้วมือของวลีและความยาวคลิป
ภาพหลอนจากเสียงที่ไม่ใช่เสียงพูดของ Whisper ไม่ได้เกิดแบบสุ่ม วลีสองวลี คือ “thank you” (24.76%) และ “thanks for watching” (10.32%) คิดเป็นราว 35% ของภาพหลอนทั้งหมดจากเสียงที่ไม่ใช่เสียงพูด ในงานวิจัย ICASSP 2025 วลีเหล่านี้เป็นคำลงท้ายของวิดีโอ ซึ่งเป็นรูปแบบที่สอดคล้องกับข้อความฝึกที่ดึงมาจากคำบรรยายวิดีโอออนไลน์ มากกว่าบันทึกถอดเสียงที่ผ่านการตรวจสอบ (การตีความของเราเอง ไม่ใช่ผลการวัดของผู้เขียน)
การซ้ำนี้ยังเป็นช่องทางปฏิบัติสำหรับการป้องกันด้วย เพราะผลลัพธ์ชุดเล็ก ๆ วนกลับมาซ้ำ ผู้เขียนจึงสร้าง “ถุงภาพหลอน” ซึ่งเป็นรายการผลลัพธ์ที่แต่งขึ้นซึ่งพบบ่อยและสามารถกรองได้หลังการถอดเสียง ความยาวสำคัญพอ ๆ กับเนื้อหา การเติมเสียงที่ไม่ใช่เสียงพูดยาว 30 วินาทีลงในคลิปเสียงพูดยาว 10 วินาที ทำให้ตรวจพบภาพหลอนใน 44.5% ของไฟล์ เทียบกับ 0.3% เมื่อเติมเพียง 1 วินาที
| ตัวชี้วัด | ค่า | แหล่งที่มา |
|---|---|---|
| สัดส่วนของภาพหลอนจากเสียงที่ไม่ใช่เสียงพูดที่เป็น “thank you” และ “thanks for watching” | 24.76% และ 10.32% | Barański และคณะ, ICASSP 2025 |
| ผลลัพธ์ภาพหลอนที่ไม่ซ้ำกัน; ผลลัพธ์ที่ปรากฏมากกว่าหนึ่งครั้ง; สัดส่วนของภาพหลอนทั้งหมดที่ครอบคลุมโดยการซ้ำเหล่านั้น | ไม่ซ้ำ 41,231; ซ้ำ 1,270; 67.08% | Barański และคณะ, ICASSP 2025 |
| ภาพหลอนที่ตรวจพบเมื่อเติมเสียงที่ไม่ใช่เสียงพูด 1 วินาทีเทียบกับ 30 วินาทีก่อนหรือหลังเสียงพูด | 0.3% เทียบกับ 44.5% | Barański และคณะ, ICASSP 2025 |
| ข้อมูลฝึกของ Whisper large-v3 | เสียงที่ติดป้ายกำกับแบบอ่อน 1 ล้านชั่วโมงบวกเสียงที่ติดป้ายกำกับเทียม 4 ล้านชั่วโมง | OpenAI, การ์ดโมเดล Whisper large-v3 |
| ข้อมูลฝึกของ Whisper ดั้งเดิม (รุ่นปี 2022) | การกำกับดูแลหลายภาษาและหลายงาน 680,000 ชั่วโมง | Radford และคณะ, บทความ Whisper 2022 |
| ภาพหลอนของโมเดลที่สร้างด้วยเสียงรบกวนที่ใส่เพิ่ม 8%, สัดส่วนของชุดข้อมูลประเมินผล | 1-2% สำหรับโมเดลส่วนใหญ่; 8% สำหรับหนึ่งโมเดล | Frieske และ Shi, Hallucinations in Neural ASR, arXiv 2024 |
บริบท: “ติดป้ายกำกับแบบอ่อน” หมายความว่าข้อความที่จับคู่กับแต่ละการบันทึกไม่ได้ถูกตรวจเทียบกับเสียงทีละคำ และ “ติดป้ายกำกับเทียม” หมายความว่าข้อความถูกสร้างโดยโมเดลรุ่นก่อนหน้า ผู้เขียน Whisper เองระบุ “ภาพหลอนโดยสมบูรณ์ ซึ่งโมเดลจะส่งออกบันทึกถอดเสียงที่ไม่เกี่ยวข้องกับเสียงจริงเลย” ไว้ในรูปแบบความล้มเหลวของเสียงยาวที่ทราบกัน (Radford และคณะ, 2022) ข้อมูลล่าสุดที่มีสำหรับชุดข้อมูลฝึกดั้งเดิม: บทความ Whisper ปี 2022
4. ใครเจอภาพหลอน: รูปแบบการพูดที่มีการหยุดและการพูดซ้ำ
ความเสี่ยงต่อภาพหลอนเป็นไปตามรูปร่างของเสียง และผู้พูดบางคนสร้างเสียงที่มีความเงียบมากกว่าหรือมีเสียงซ้ำมากกว่า Whisper v2 เกิดภาพหลอนใน 14% ของคลิปพอดแคสต์ที่มีการพูดติดอ่าง เทียบกับ 3.3% ของคลิปที่พูดคล่อง ตามเกณฑ์วัดการพูดติดอ่างของ Interspeech 2025 ซึ่งดึงคลิป 2,621 คลิปจากชุดข้อมูลพอดแคสต์ SEP-28K Whisper v3 ลดทั้งสองตัวเลขลงอย่างมาก แต่คลิปที่มีการพูดติดอ่างก็ยังเกิดภาพหลอนบ่อยกว่าคลิปที่พูดคล่องราวสามเท่า (2.9% เทียบกับ 0.9%)
สำหรับภาวะเสียการสื่อความ (ความผิดปกติที่ส่งผลต่อภาษา) ทีม Careless Whisper พบกลไกอยู่ที่ช่วงหยุด ผู้พูดที่มีภาวะเสียการสื่อความมีสัดส่วนช่วงที่ไม่มีเสียงพูดในการบันทึกยาวกว่ามาก และสัดส่วนช่วงที่ไม่มีเสียงพูดที่ยาวกว่าสามารถทำนายการเกิดภาพหลอนได้ หากต้องการทราบว่ารูปแบบการพูดเหล่านี้พบบ่อยเพียงใด ดูสถิติประชากรศาสตร์ของการพูดติดอ่างของเรา
| ตัวชี้วัด | ค่า | แหล่งที่มา |
|---|---|---|
| ช่วงเสียงของผู้มีภาวะเสียการสื่อความเทียบกับกลุ่มควบคุมที่เกิดภาพหลอนใน Whisper | 1.7% เทียบกับ 1.2% (การถดถอย: p=0.019) | Koenecke และคณะ, Careless Whisper, ACM FAccT 2024 |
| อัตราภาพหลอนของผู้มีภาวะเสียการสื่อความเทียบกับกลุ่มควบคุม โดยจับคู่กลุ่มตามประชากรศาสตร์ของผู้เข้าร่วม | 1.82% เทียบกับ 1.16% (ค่า p = 0.044) | Koenecke และคณะ, Careless Whisper, ACM FAccT 2024 |
| สัดส่วนของระยะเวลาบันทึกทั้งหมดที่ไม่มีเสียงพูด, ผู้พูดที่มีภาวะเสียการสื่อความเทียบกับผู้พูดกลุ่มควบคุม | 41% เทียบกับ 15% | Koenecke และคณะ, Careless Whisper, ACM FAccT 2024 |
| คลิปที่มีการพูดติดอ่างเทียบกับคลิปที่พูดคล่องซึ่งเกิดภาพหลอน, Whisper v2 | 14% (293 จาก 2,086) เทียบกับ 3.3% (18 จาก 534) | Sridhar และ Wu, Interspeech 2025 |
| คลิปที่มีการพูดติดอ่างเทียบกับคลิปที่พูดคล่องซึ่งเกิดภาพหลอน, Whisper v3 | 2.9% (61 จาก 2,086) เทียบกับ 0.9% (5 จาก 534) | Sridhar และ Wu, Interspeech 2025 |
| คลิปที่มีการพูดซ้ำเสียง (พูดเสียงแรกของคำซ้ำ) ซึ่งเกิดภาพหลอน, Whisper v2 เทียบกับ v3 | 22.6% เทียบกับ 6.9% | Sridhar และ Wu, Interspeech 2025 |
| คลิปที่มีการลากเสียงยาว (ยืดเสียงหนึ่งให้ยาวออกไป) ซึ่งเกิดภาพหลอน, Whisper v2 เทียบกับ v3 | 15.4% เทียบกับ 1.47% | Sridhar และ Wu, Interspeech 2025 |
บริบท: บทความเรื่องการพูดติดอ่างตรวจจับภาพหลอนที่เป็นไปได้โดยรัน Whisper สองครั้งกับแต่ละคลิปและทำเครื่องหมายส่วนที่ผลต่างกันมาก จากนั้นตรวจทานทุกเครื่องหมายด้วยมือ จำนวนคลิปของบทความต่างกันเล็กน้อยระหว่างแต่ละส่วน (สุ่มตัวอย่างคลิปที่มีการพูดติดอ่าง 2,079 คลิป และ 2,086 คลิปในตารางนับภาพหลอน) เราจึงอ้างอิงแต่ละตัวเลขพร้อมตัวหารของมันเอง
5. การวัดภาพหลอน: ตัวชี้วัดที่เสนอนอกเหนือจาก WER
อัตราความผิดพลาดของคำนับการแทนที่ การลบ และการแทรก แต่แยกคำที่ฟังผิดออกจากประโยคที่แต่งขึ้นไม่ได้ อัตราความผิดพลาดจากภาพหลอนที่นักวิจัยของ Carnegie Mellon และ MBZUAI เสนอสัมพันธ์กับการเลื่อนของการแจกแจงข้อมูลที่ α = 0.91 หมายความว่าภาพหลอนเพิ่มขึ้นตามระยะที่เสียงทดสอบเบี่ยงเบนไปจากเสียงฝึก (Atwany และคณะ, 2025) ขั้นตอนของพวกเขาใช้ LLM เป็นผู้ตัดสิน ซึ่งทำให้ราคาถูกพอที่จะรันในระดับใหญ่ได้
เกณฑ์วัด SHALLOW แบ่งภาพหลอนเป็นสี่แกน ได้แก่ ระดับคำศัพท์ (คำที่แต่งขึ้น) ระดับเสียง (ข้อผิดพลาดที่ฟังคล้ายกัน) ระดับรูปคำ (รูปคำผิด) และระดับความหมาย (ความหมายเปลี่ยน) ข้อค้นพบสำคัญคือจุดที่ WER ไม่ให้ข้อมูลอีกต่อไป ความสัมพันธ์แข็งแกร่งเมื่ออัตราความผิดพลาดต่ำและพังลงเมื่อ WER สูงขึ้น ซึ่งเป็นจุดที่ภาพหลอนสำคัญที่สุดพอดี
| ตัวชี้วัด | ค่า | แหล่งที่มา |
|---|---|---|
| ความสอดคล้องของป้ายกำกับภาพหลอน, มนุษย์เทียบกับมนุษย์ และมนุษย์เทียบกับ GPT-4o-mini | 0.71 เทียบกับ 0.60 | Atwany และคณะ, Lost in Transcription, arXiv 2025 |
| ต้นทุนของขั้นตอนติดป้ายกำกับด้วย LLM เทียบกับการประเมินโดยมนุษย์ | $78 ต่อ 1 ล้านช่วงเสียง ถูกกว่าประมาณ 375 เท่า | Atwany และคณะ, Lost in Transcription, arXiv 2025 |
| ความสัมพันธ์ระหว่างคะแนน SHALLOW กับ WER ที่ WER 10-30% เทียบกับที่ WER 90% (คู่ระดับคำศัพท์กับระดับความหมาย) | ρs > 0.80 เทียบกับต่ำกว่า -0.45 | Koudounas และคณะ, SHALLOW, arXiv 2025 |
| การทดสอบสังเคราะห์: ความสัมพันธ์กับ WER, การแต่งข้อความระดับคำศัพท์เทียบกับข้อผิดพลาดระดับความหมาย | ρ = 0.98 เทียบกับ ρ = 0.15 | Koudounas และคณะ, SHALLOW, arXiv 2025 |
| โมเดลและชุดข้อมูลทดสอบในการประเมิน SHALLOW | 12 โมเดล, 10 ชุดข้อมูล | Koudounas และคณะ, SHALLOW, arXiv 2025 |
| เกณฑ์ที่ใช้แยกภาพหลอนออกจากข้อผิดพลาดด้านเสียง | ความคล้ายโคไซน์ 0.2; WER 30; ค่าเพอร์เพล็กซิตี 200 | Frieske และ Shi, Hallucinations in Neural ASR, arXiv 2024 |
| เครื่องหมายภาพหลอนจากการรันสองครั้งที่ใช้ในเกณฑ์วัดการพูดติดอ่าง | WER ระหว่างการรันสูงกว่า 0.6, BERT F1 ต่ำกว่า 0.6 หรือมีคำแทรกมากกว่า 4 คำ | Sridhar และ Wu, Interspeech 2025 |
บริบท: ตัวชี้วัดเหล่านี้ใช้แทนกันไม่ได้ AssemblyAI นับชุดของข้อผิดพลาดติดกัน 5 รายการขึ้นไปต่อชั่วโมงของเสียง บทความ Null Token นับคลิปที่มีตัวอักษรใด ๆ บนเสียงที่ค่าอ้างอิงว่าง และอัตราความผิดพลาดจากภาพหลอนนับตัวอย่างที่ถูกติดป้ายว่าเป็นภาพหลอน ตัวเลข 2% บนมาตราหนึ่งไม่ได้บอกอะไรเกี่ยวกับ 2% บนอีกมาตราหนึ่ง
6. WER ของตารางจัดอันดับเทียบกับภาพหลอน: การเปรียบเทียบโมเดล
บทความ Open ASR Leaderboard ของ Hugging Face เป็นแหล่งอ้างอิงของวงการสำหรับความแม่นยำและความเร็ว และขอบเขตของมันชัดเจน รายงานเพียง WER และ RTFx (ปัจจัยเวลาจริงผกผัน คือระบบประมวลผลเสียงได้กี่วินาทีต่อวินาที) และไม่มีอย่างอื่น บทความนี้ไม่ได้พูดถึงภาพหลอนหรือการวนซ้ำในฐานะข้อผิดพลาดของโมเดล ข้อมูลความเร็วของมันยังคงสำคัญต่อหัวข้อนี้ เพราะตระกูล Conformer ที่เร็วกว่า (การออกแบบตัวเข้ารหัสที่ผสมคอนโวลูชันกับกลไกความสนใจ) เป็นทางเลือกแทน Whisper ที่ชัดเจนบนตารางจัดอันดับนั้น
ตารางของ CMU และ SHALLOW แสดงว่าทำไมการจัดอันดับด้วย WER จึงไม่ใช่การจัดอันดับด้านความปลอดภัย Whisper large-v3 ได้ WER สูงกว่า 65% กับเสียงพูดจำลองของการควบคุมจราจรทางอากาศ ขณะที่อัตราภาพหลอนยังต่ำกว่ามาก และตรงกันข้ามเกิดขึ้นกับชุดข้อมูลเชิงปรปักษ์ มาตรฐานความแม่นยำของคำบรรยายในงานแพร่ภาพก็เผชิญความแตกแยกในลักษณะคล้ายกันระหว่างจังหวะเวลา ความครบถ้วน และความถูกต้อง (ดูสถิติมาตรฐานความแม่นยำของคำบรรยายของเรา)
| ตัวชี้วัด | ค่า | แหล่งที่มา |
|---|---|---|
| ตัวชี้วัดที่ Open ASR Leaderboard รายงาน | เฉพาะ WER และ RTFx | Srivastav และคณะ, บทความ Open ASR Leaderboard, v4 มีนาคม 2026 |
| RTFx เฉลี่ย, ระบบที่ใช้ Conformer เทียบกับระบบที่ใช้ Whisper | 758 เทียบกับ 201 (เร็วกว่า 3.77 เท่า) | Srivastav และคณะ, บทความ Open ASR Leaderboard, v4 มีนาคม 2026 |
| WER และ RTFx ของ Whisper Large v3 ในสายเสียงยาวภาษาอังกฤษ | WER 11.2; RTFx 68.6 | Srivastav และคณะ, บทความ Open ASR Leaderboard, v4 มีนาคม 2026 |
| อันดับของโมเดล TDT ที่ดีที่สุดและโมเดล CTC ที่ดีที่สุดในด้านความแม่นยำภาษาอังกฤษเสียงสั้น | อันดับที่ 10 และ 34 | Srivastav และคณะ, บทความ Open ASR Leaderboard, v4 มีนาคม 2026 |
| WER ของ Whisper large-v3 เทียบกับอัตราความผิดพลาดจากภาพหลอนบน ATCOsim (เสียงพูดจำลองของการควบคุมจราจรทางอากาศ) | 65.3% เทียบกับ 17.6% | Atwany และคณะ, Lost in Transcription, arXiv 2025 |
| WER ของ Whisper large-v3 เทียบกับอัตราความผิดพลาดจากภาพหลอนบนชุดทดสอบเชิงปรปักษ์ | 33.3% เทียบกับ 49.8% | Atwany และคณะ, Lost in Transcription, arXiv 2025 |
| Whisper-Large-v3 เทียบกับ Canary, WER เฉลี่ย; คะแนนการแต่งข้อความระดับคำศัพท์เฉลี่ย | 14.20 เทียบกับ 14.26; 6.74 เทียบกับ 5.43 | Koudounas และคณะ, SHALLOW, arXiv 2025 |
บริบท: TDT และ CTC เป็นวิธีถอดรหัสที่ส่งออกข้อความสอดคล้องกับเฟรมเสียง แทนที่จะสร้างข้อความอิสระทีละโทเค็นแบบตัวถอดรหัสของ Whisper ตารางจัดอันดับระบุว่าวิธีเหล่านี้ให้ RTFx ดีกว่ามากโดยแลกกับความแม่นยำที่ต่ำลง WER เฉลี่ยที่เกือบเท่ากันของ Whisper-Large-v3 และ Canary ใน SHALLOW ซ่อนข้อเท็จจริงที่ว่า Canary แต่งข้อความระดับคำศัพท์น้อยกว่า
7. ผลการลดปัญหา: VAD การเปลี่ยนแปลงการถอดรหัส และการแก้ไขโมเดล
วิธีแก้ที่เชื่อถือได้ที่สุดยังคงเป็นการไม่ส่งความเงียบให้โมเดล Silero VAD ลด WER บนเสียงพูดที่เติมเสียงที่ไม่ใช่เสียงพูดจาก 104.8% เหลือ 8.0% ในการทดลองเติมเสียงที่อธิบายไว้ในหัวข้อ 3 และการเพิ่มการกำจัดการวนซ้ำร่วมกับตัวกรองถุงภาพหลอนทำให้เหลือ 6.5% VAD (การตรวจจับกิจกรรมเสียงพูด) เป็นโมเดลแยกต่างหากที่ตัดสินว่าช่วงเสียงหนึ่งมีเสียงพูดหรือไม่ ในบทความของ Whisper เอง VAD เป็นหนึ่งในวิธีฮิวริสติกการถอดรหัสบนเส้นทางจาก WER เสียงยาวเฉลี่ย 11.0 ด้วยการถอดรหัสแบบโลภ ไปสู่ 10.0 เมื่อใช้ฮิวริสติกทั้งหมด (Radford และคณะ, 2022)
การแก้ไขฝั่งโมเดลได้ผล แต่แต่ละวิธีย้ายข้อผิดพลาดไปที่อื่น Calm-Whisper ปรับแต่งละเอียดเพียง 3 หัวความสนใจ (หมายเลข 1, 6 และ 11) และทำให้ WER แทบไม่เปลี่ยน การแทรกแซงแบบการชี้นำและแบบจุดสิ้นสุดข้อความก็กดการแต่งข้อความได้เกือบทั้งหมดเช่นกัน แต่เริ่มลบเสียงพูดจริงหรือทำลายการรู้จำภาษาจีน ผู้เขียนงานโทเค็นว่างกล่าวไว้ตรง ๆ ว่า วิธีงดตอบควรถูกประเมินทั้งจากต้นทุนของการกดและต้นทุนของการลบ ไม่ใช่จากการลดภาพหลอนเพียงอย่างเดียว
| ตัวชี้วัด | ค่า | แหล่งที่มา |
|---|---|---|
| WER บนเสียงพูดที่เติมเสียงที่ไม่ใช่เสียงพูด: ไม่ประมวลผลเทียบกับ Silero VAD เทียบกับ Silero VAD บวกการกำจัดการวนซ้ำและตัวกรองถุงภาพหลอน | 104.8% เทียบกับ 8.0% เทียบกับ 6.5% | Barański และคณะ, ICASSP 2025 |
| ภาพหลอนที่ตรวจพบเมื่อใช้ขนาดบีม 1 เทียบกับขนาดบีม 5 | 19.5% เทียบกับ 28.2% | Barański และคณะ, ICASSP 2025 |
| Calm-Whisper: อัตราภาพหลอนของ UrbanSound8K ก่อนเทียบกับหลัง; WER ของ LibriSpeech test-clean ก่อนเทียบกับหลัง | 99.97% เทียบกับ 15.51%; 2.12% เทียบกับ 2.19% | Wang และคณะ, Calm-Whisper, Interspeech 2025 |
| การชี้นำด้วยตัวเข้ารหัสอัตโนมัติแบบเบาบาง, Whisper small, ชุดทดสอบรวมที่ไม่ใช่เสียงพูด | 72.63% เทียบกับ 14.11% | Aparin และคณะ, Whisper Hallucination Detection and Mitigation, arXiv 2026 |
| การชี้นำแบบเดียวกันบน Whisper large-v3: อัตราความผิดพลาดของตัวอักษรจีนใน AISHELL-1 ก่อนเทียบกับหลัง | 10.54 เทียบกับ 66.24 | Aparin และคณะ, Whisper Hallucination Detection and Mitigation, arXiv 2026 |
| การแทรกแซงจุดสิ้นสุดข้อความ (โทเค็นว่าง), Whisper small: อัตราผลลัพธ์ที่เป็นคำ; จำนวนคำอ้างอิงที่ถูกลบต่อนาที | 91.7% เทียบกับ 3.3%; 33.05 เทียบกับ 1.58 | Borodin และคณะ, The Null Token Knows, arXiv 2026 |
| ค่าฐานของ WhisperX VAD: อัตราภาพหลอนจากเสียงที่ไม่ใช่เสียงพูดเฉลี่ย; การปฏิเสธเสียงพูดจริงผิดพลาด | 5.24%; 0% | Abbasihafshejani และ Jadliwala, arXiv 2026 |
| Whisper เทียบกับ WhisperX บน TED-LIUM: อัตราความผิดพลาดจากการแทรกคำ; ลำดับ 5 คำที่ซ้ำ | 7.7 เทียบกับ 6.7; 221 เทียบกับ 189 | Bain และคณะ, บทความ WhisperX 2023 |
บริบท: ผลของขนาดบีมสวนทางกับสัญชาตญาณ เพราะผู้เขียน Whisper ใช้การค้นหาแบบบีม 5 บีมเพื่อลดการวนซ้ำกับเสียงพูด แต่กับการเติมเสียงที่ไม่ใช่เสียงพูด บีมที่กว้างกว่าทำให้ตรวจพบภาพหลอนมากกว่า Calm-Whisper ยังลดภาพหลอนหลายโทเค็น (มากกว่าห้าโทเค็น) จาก 742 เหลือ 91 ข้อมูล WhisperX มาจากปี 2023 จึงเป็นข้อมูลล่าสุดที่มีสำหรับเกณฑ์วัดนั้น
สรุป: ภาพหลอนของการรู้จำเสียงพูดในรูปแบบตัวเลข
| ตัวชี้วัด | ค่า | แหล่งที่มา |
|---|---|---|
| คลิปที่ไม่ใช่เสียงพูดของ Whisper large-v3 ที่ให้ข้อความ | 40.3% จาก 301,317 | Barański และคณะ, ICASSP 2025 |
| อัตราภาพหลอนของ Whisper large-v3 กับเสียงรบกวน UrbanSound8K | 99.97% | Wang และคณะ, Calm-Whisper, Interspeech 2025 |
| Whisper large-v3 เทียบกับ Whisper small, ชุดทดสอบรวมที่ไม่ใช่เสียงพูด | 86.8% เทียบกับ 72.6% | Aparin และคณะ, arXiv 2026 |
| ผลลัพธ์ที่เป็นคำของ Whisper turbo กับคลิปที่ไม่ใช่เสียงพูด | 74.3% | Borodin และคณะ, The Null Token Knows, arXiv 2026 |
| ช่วงเสียงของ AphasiaBank ที่มีภาพหลอนของ Whisper ซึ่งทำซ้ำได้ | 187 จาก 13,140 (1.4%) | Koenecke และคณะ, Careless Whisper, ACM FAccT 2024 |
| บันทึกการประชุมสาธารณะที่มีภาพหลอน นักวิจัยของมิชิแกนหนึ่งคน | 8 จากทุก 10 | การสืบสวนของ Associated Press, ตุลาคม 2024 |
| อัตราภาพหลอน, Universal-1 เทียบกับ Whisper large-v3 | ลดลงสัมพัทธ์ 30% (ข้ออ้างของผู้ให้บริการเอง) | AssemblyAI, 2024 |
| คลิปที่มีการพูดติดอ่างเทียบกับคลิปที่พูดคล่องซึ่งเกิดภาพหลอน, Whisper v2 | 14% เทียบกับ 3.3% | Sridhar และ Wu, Interspeech 2025 |
| WER เทียบกับ HER ของ Whisper large-v3 บนชุดข้อมูลเชิงปรปักษ์ | 33.3% เทียบกับ 49.8% | Atwany และคณะ, arXiv 2025 |
| ความสัมพันธ์ของ SHALLOW กับ WER, ช่วง WER 10-30% | ρs > 0.80 | Koudounas และคณะ, SHALLOW, arXiv 2025 |
| RTFx เฉลี่ย, ระบบที่ใช้ Conformer เทียบกับระบบที่ใช้ Whisper | 758 เทียบกับ 201 | Srivastav และคณะ, v4 มีนาคม 2026 |
| WER ของ LibriSpeech test-clean ของ Calm-Whisper ก่อนเทียบกับหลังการแก้ไข | 2.12% เทียบกับ 2.19% | Wang และคณะ, Calm-Whisper, Interspeech 2025 |
| การแทรกแซงโทเค็นว่าง: คำที่ถูกลบต่อนาที | 33.05 เทียบกับ 1.58 | Borodin และคณะ, arXiv 2026 |
| การชี้นำด้วยตัวเข้ารหัสอัตโนมัติแบบเบาบาง, อัตราภาพหลอนของ Whisper small | 72.63% เทียบกับ 14.11% | Aparin และคณะ, arXiv 2026 |
| ค่าฐานของ WhisperX VAD: อัตราภาพหลอนและการปฏิเสธผิดพลาด | 5.24%; 0% | Abbasihafshejani และ Jadliwala, arXiv 2026 |
| อัตราความผิดพลาดจากการแทรกคำของ Whisper เทียบกับ WhisperX บน TED-LIUM | 7.7 เทียบกับ 6.7 | Bain และคณะ, บทความ WhisperX 2023 |
ระเบียบวิธีและแหล่งที่มา
เราอ่านบทความหลัก การ์ดโมเดล หรือการสืบสวนข่าวที่อยู่เบื้องหลังทุกตัวเลขข้างต้น และอ้างอิงแต่ละตัวตามสัญกรณ์ของแหล่งที่มานั้นเอง (เปอร์เซ็นต์ เศษส่วน ρ หรือ α) เมื่อเนื้อความกับตารางของบทความไม่ตรงกัน เราใช้ค่าในตารางหรือประโยคที่ระบุชัดเจน และระบุความขัดแย้งไว้ด้านล่าง
- Koenecke และคณะ, Careless Whisper: Speech-to-Text Hallucination Harms, ACM FAccT 2024
- Burke และ Schellmann, การสืบสวนการถอดเสียงของ Whisper โดย Associated Press, ตุลาคม 2024 พร้อมบทสรุปของ Cornell Chronicle เกี่ยวกับงานวิจัย Careless Whisper, มิถุนายน 2024
- Barański และคณะ, Investigation of Whisper ASR Hallucinations Induced by Non-Speech Audio, ICASSP 2025
- Wang และคณะ, Calm-Whisper: Reduce Whisper Hallucination On Non-Speech By Calming Crazy Heads Down, Interspeech 2025
- Sridhar และ Wu, J-j-j-just Stutter: Benchmarking Whisper’s Performance Disparities on Different Stuttering Patterns, Interspeech 2025
- Atwany และคณะ, Lost in Transcription, Found in Distribution Shift: Demystifying Hallucination in Speech Foundation Models, arXiv 2025
- Koudounas และคณะ, Hallucination Benchmark for Speech Foundation Models (SHALLOW), arXiv 2025
- Srivastav และคณะ, บทความ Open ASR Leaderboard, v4 มีนาคม 2026
- Borodin และคณะ, The Null Token Knows: Reducing Message-Free Hallucination in ASR and NMT, arXiv 2026
- Aparin และคณะ, Whisper Hallucination Detection and Mitigation via Hidden Representation Steering and Sparse AutoEncoders, arXiv 2026
- Abbasihafshejani และ Jadliwala, Reducing Hallucinated Transcripts in Whisper via Hallucination Space Projection, arXiv 2026
- AssemblyAI (McCann Ramirez, Chkhetiani และคณะ), Anatomy of Industrial Scale Multilingual ASR, 2024
- Bain และคณะ, WhisperX: Time-Accurate Speech Transcription of Long-Form Audio, 2023
- Radford และคณะ, Robust Speech Recognition via Large-Scale Weak Supervision (บทความ Whisper), 2022
- OpenAI, การ์ดโมเดล Whisper large-v3 บน Hugging Face
- Frieske และ Shi, Hallucinations in Neural Automatic Speech Recognition: Identifying Errors and Hallucinatory Models, arXiv 2024
- ข้อสังเกตเกี่ยวกับข้อมูล: บทคัดย่อของ Careless Whisper ระบุว่าบันทึกถอดเสียงราว 1% เกิดภาพหลอน แต่เนื้อหาหลักรายงาน 1.4% (187 จาก 13,140 ช่วงเสียง) และบันทึกถอดเสียงที่เกิดภาพหลอน 312 รายการจากการรันสองครั้ง ส่วน AP บรรยายงานเดียวกันนี้ว่าเป็นภาพหลอน 187 รายการในคลิปกว่า 13,000 คลิป บทความ Hallucination Space Projection รายงานค่าฐานเฉลี่ย 31.31% ซึ่งไม่ตรงกับตัวเลขรายชุดข้อมูลของบทความเอง (เราอ้างอิงเฉพาะค่ารายชุดข้อมูลและค่าฐาน WhisperX ของบทความนั้น) บทความเรื่องการชี้นำให้ค่า 95.2% สำหรับ Whisper large-v3 บน UrbanSound8K ในตารางหนึ่ง และ 95.98% ในอีกตารางหนึ่ง เกณฑ์วัดการพูดติดอ่างใช้ 2,079 และ 2,086 เป็นจำนวนคลิปที่มีการพูดติดอ่างทั้งหมดในแต่ละส่วนที่ต่างกัน Atwany และคณะ, SHALLOW, บทความ Null Token (ส่งเข้า AAAI-27), บทความเรื่องการชี้นำ และบทความเรื่องการฉายภาพ เป็นพรีพรินต์ของ arXiv ที่ยังไม่ยืนยันแหล่งตีพิมพ์ที่ผ่านการพิจารณาโดยผู้ทรงคุณวุฒิ ณ เวลาที่อ่าน ตัวเลขของ AssemblyAI เป็นข้ออ้างของผู้ให้บริการเอง และตัวเลขของ AP เป็นรายงานภาคสนามรายบุคคล ไม่ใช่การวัดที่ควบคุมตัวแปร บทความ Whisper (2022), WhisperX (2023) และ Frieske กับ Shi (2024) เป็นข้อมูลล่าสุดที่มีสำหรับเกณฑ์วัดเฉพาะของแต่ละงาน
อัปเดตล่าสุด: 24 ตุลาคม 2026 เราจะทบทวนและอัปเดตสรุปนี้ทุกไตรมาส และคาดว่าการรีเฟรชครั้งถัดไปจะเกิดขึ้นเมื่อมีการเผยแพร่รายงานการประชุม ICASSP 2027 และการแก้ไขครั้งถัดไปของบทความ Open ASR Leaderboard