เมื่อใช้ตามสภาพเดิม Whisper ให้อัตราความผิดพลาดของคำ 84.6% กับเด็กอนุบาลที่อ่านข้อความตามบท เทียบกับ 17.5% กับเด็กเกรดสี่ในแบบทดสอบเดียวกัน (Singh, Sahidullah และ Kinnunen, Causal Analysis of ASR Errors for Children 2025) อัตราความผิดพลาดของคำ (WER) คือสัดส่วนของคำที่ระบบแทนที่ ตกหล่น หรือแทรกเพิ่ม เมื่อเทียบกับบทถอดความของมนุษย์ จึงอาจสูงเกิน 100% ได้ด้วยซ้ำ โมเดลตระกูลเดียวกันนี้ได้ WER 25.00% กับเด็กอเมริกันที่พูดคุยกับระบบติวเตอร์วิทยาศาสตร์ และ 5.40% กับเสียงอ่านของผู้ใหญ่ (Jain และคณะ, Interspeech 2023) และช่องว่างนี้สอดคล้องกับข้อมูลฝึก คลังข้อมูลเด็กภาษาอังกฤษสาธารณะที่ใหญ่ที่สุดมีราว 470 ชั่วโมง (Linguistic Data Consortium, LDC2021S05) ขณะที่ Whisper-largeV3 ถูกฝึกด้วยข้อมูล 1 ล้านชั่วโมง (Fan และคณะ, Interspeech 2024) อายุเป็นเพียงมิติเดียวของปัญหา ช่องว่างด้านสำเนียงและภาษาถิ่น และอัตราการหลอน ก็เป็นไปตามตรรกะการครอบคลุมของข้อมูลในลักษณะเดียวกัน เรารวบรวมข้อมูลจากงานวิจัยของ Interspeech, ICASSP และ WOCCI, Journal of the Acoustical Society of America, Linguistic Data Consortium, Frontiers in Education และคณะกรรมาธิการการค้าสหพันธรัฐสหรัฐฯ
สรุปโดยย่อ
- WER ของ Whisper แบบซีโรช็อตในแบบทดสอบตามบทของ CSLU Kids: 84.6% ในระดับอนุบาล เทียบกับ 17.5% ในเกรด 4 (Singh และคณะ, 2025)
- Whisper Large-V2 ที่ใช้ตามสภาพเดิม: WER 25.00% บนเสียงพูดเด็ก MyST เทียบกับ 5.40% บนเสียงผู้ใหญ่ LibriTTS (Jain และคณะ, Interspeech 2023)
- Whisper large แบบซีโรช็อต: WER 43.9% สำหรับอายุ 4 ถึง 7 ปี เทียบกับ 13.4% สำหรับอายุ 8 ถึง 10 ปี (Ying และคณะ, WOCCI 2025)
- อัตราความไม่ลื่นไหลของเด็กอยู่ที่ 10.1% เทียบกับ 6.2% ในบทสนทนาผู้ใหญ่ของ Switchboard (Tran และคณะ, Interspeech 2020)
- Whisper-largeV3 ถูกฝึกด้วย 1 ล้านชั่วโมง เทียบกับข้อมูลฝึกเด็ก MyST ที่กรองแล้ว 133 ชั่วโมง (Fan และคณะ, Interspeech 2024)
- มีเพียงราว 45% จากประโยคพูด MyST ทั้ง 227,567 ประโยคที่ถอดความแล้ว (Linguistic Data Consortium, LDC2021S05)
- การไฟน์จูนด้วยเสียงพูดเด็ก 10 ชั่วโมงลด WER ของ Whisper Large-V2 บน PF-STAR จาก 73.68% เหลือ 2.88% (Jain และคณะ, Interspeech 2023)
- การแก้ไขข้อผิดพลาดแบบเจเนอเรทีฟลด WER เด็กจาก 30.5% เหลือ 21.8% หรือลดลงเชิงสัมพัทธ์ 28.5% (Balaji Shankar และคณะ, CHSER, Interspeech 2025)
- ระบบคัดกรองการอ่านสอดคล้องกับผู้ประเมินที่เป็นมนุษย์ที่ค่าคัปปา 0.16 สำหรับการผสมหน่วยเสียง เทียบกับ 0.72 สำหรับคำศัพท์ (Petscher และคณะ, Frontiers in Education 2026)
- กฎ COPPA ฉบับแก้ไขระบุลายเสียงเป็นข้อมูลส่วนบุคคลและกำหนดให้ลบเสียงทันทีหลังใช้งาน (FTC, COPPA Final Rule 2025)
1. ช่องว่างระหว่างเด็กกับผู้ใหญ่เมื่อใช้ตามสภาพเดิม
ตัวเลขหลักของผลิตภัณฑ์เสียงพูดเด็กทุกชนิดคือคะแนนแบบซีโรช็อต ซึ่งหมายถึงผลของโมเดลที่ใช้ตามที่ส่งมอบ โดยไม่ได้ฝึกเพิ่มด้วยเสียงบันทึกของเด็ก Whisper Large-V2 ได้ WER 25.00% บนเสียงพูดเด็ก MyST และ 73.68% กับเด็กอังกฤษในคลังข้อมูล PF-STAR เทียบกับ 5.40% บนเสียงอ่านของผู้ใหญ่ หรือประมาณ 4.6 เท่าและ 13.6 เท่าของอัตราผู้ใหญ่ (25.00 / 5.40 และ 73.68 / 5.40) ในการประเมินเดียวกัน (Jain และคณะ, Adaptation of Whisper models to child speech recognition, Interspeech 2023) ข้อมูลล่าสุดที่มีสำหรับการเปรียบเทียบนี้: ปี 2023
โมเดลรุ่นใหม่ลดช่องว่างลงแต่ยังไม่ปิดสนิท ในการเปรียบเทียบมาตรฐานปี 2024 โมเดล Canary และ Parakeet ของ NVIDIA ชนะ Whisper ทุกขนาดบนเสียงพูดเด็กทั้งที่ชุดข้อมูลฝึกเล็กกว่ามาก ทำให้ผู้เขียนสรุปว่าคุณภาพของข้อมูลบางครั้งสำคัญกว่าขนาดของข้อมูล (Fan, Balaji Shankar และ Alwan, Interspeech 2024) อัตราส่วนนี้ดื้อแพ่งมาสองทศวรรษแล้ว งานศึกษาของ IEEE ในปี 2003 รายงานไว้แล้วว่าอัตราความผิดพลาดของเด็กสูงกว่าผู้ใหญ่สองถึงห้าเท่า
| ตัวชี้วัด | ค่า | แหล่งที่มา |
|---|---|---|
| WER ของ Whisper Large-V2 ที่ไม่ได้ฝึกด้วยเสียงเด็ก: เด็ก MyST เทียบกับเสียงอ่านผู้ใหญ่ LibriTTS | 25.00% เทียบกับ 5.40% | Jain และคณะ, Interspeech 2023 |
| WER ของ Whisper Large-V2 ที่ไม่ได้ฝึกด้วยเสียงเด็ก: เด็กอังกฤษ PF-STAR; เสียงอ่าน CMU Kids | 73.68%; 12.69% | Jain และคณะ, Interspeech 2023 |
| WER แบบซีโรช็อตของ Whisper-largeV3: ชุดทดสอบ MyST เทียบกับชุดทดสอบ OGI Kids | 12.6% เทียบกับ 19.9% | Fan และคณะ, Interspeech 2024 |
| WER แบบซีโรช็อตของ Canary (1B) เทียบกับ Parakeet-RNNT (1.1B) บนชุดทดสอบ MyST; บนชุดทดสอบ OGI | 9.5% เทียบกับ 11.1%; 18.2% เทียบกับ 16.7% | Fan และคณะ, Interspeech 2024 |
| WER แบบซีโรช็อตของ Whisper Medium.en: เสียงพูดเป็นธรรมชาติ CSLU Kids เทียบกับ test-clean ผู้ใหญ่ LibriSpeech | 31.85% เทียบกับ 3.02% | Attia และคณะ, Kid-Whisper, AAAI/ACM AIES 2024 |
| อัตราความผิดพลาดของระบบรู้จำเสียงที่ฝึกด้วยผู้ใหญ่: กับเด็กเทียบกับผู้ใหญ่ | แย่กว่าสองถึงห้าเท่า | Potamianos และ Narayanan, IEEE Transactions on Speech and Audio Processing 2003 |
หมายเหตุด้านบริบท: ตัวเลข Whisper บน MyST สองค่า (25.00% และ 12.6%) ไม่ได้ขัดแย้งกันในเชิงคุณภาพของโมเดล การเปรียบเทียบมาตรฐานปี 2024 ตัดประโยคพูดที่มี WER สูงกว่า 50% หรือสั้นกว่า 3 คำออกก่อนให้คะแนน ซึ่งเพียงอย่างเดียวก็ทำให้ผลเปลี่ยนไปหลายจุด (ดูหัวข้อ 5)
2. อัตราความผิดพลาดแยกตามช่วงอายุ
“เด็ก” ไม่ใช่ประชากรกลุ่มเดียว ในแบบทดสอบตามบทของ CSLU Kids Whisper แบบซีโรช็อตลดจาก WER 84.6% ในระดับอนุบาล เหลือ 37.5% ในเกรด 1 และ 17.5% ในเกรด 4 ต่างกัน 4.8 เท่า (84.6 / 17.5) ภายในชุดทดสอบเดียว (Singh, Sahidullah และ Kinnunen, Causal Analysis of ASR Errors for Children, 2025) การปรับปรุงส่วนใหญ่เกิดขึ้นก่อนเกรด 4 หลังจากนั้นเส้นโค้งหยุดลดลง และ WER ของ Whisper ในเกรด 6 ถึง 10 อยู่สูงกว่าจุดต่ำสุดในเกรด 4
การเปรียบเทียบมาตรฐานของ ESPnet ปี 2025 พบหน้าผาเดียวกันกับโมเดลอื่น Whisper large แบบซีโรช็อตได้ 43.9% สำหรับอายุ 4 ถึง 7 ปี แล้วเพิ่มขึ้นอีกจาก 13.4% ที่อายุ 8 ถึง 10 ปี เป็น 18.6% ที่อายุ 11 ถึง 15 ปี ขณะที่โมเดลเปิดที่ไฟน์จูนด้วยเสียงพูดเด็กยังต่ำกว่า 10% ในทุกช่วงอายุ (Ying และคณะ, Benchmarking Training Paradigms for Child ASR in ESPnet, WOCCI 2025) บทลงโทษตามอายุแบบเดียวกันปรากฏในการยืนยันตัวผู้พูด (การตรวจว่าเสียงบันทึกสองชิ้นมาจากคนเดียวกันหรือไม่) ซึ่งสำคัญต่อการเข้าสู่ระบบด้วยเสียงของบัญชีเด็กทุกรูปแบบ
| ตัวชี้วัด | ค่า | แหล่งที่มา |
|---|---|---|
| WER ของ Whisper แบบซีโรช็อตในแบบทดสอบตามบท CSLU Kids: อนุบาลเทียบกับเกรด 4 | 84.6% เทียบกับ 17.5% | Singh และคณะ, 2025 |
| แบบทดสอบเดียวกัน: เกรด 1; เกรด 2; เกรด 3 | 37.5%; 28.0%; 23.1% | Singh และคณะ, 2025 |
| แบบทดสอบเดียวกัน: เกรด 10 | 22.4% | Singh และคณะ, 2025 |
| WER ของ Whisper large แบบซีโรช็อตแยกตามอายุ: 4 ถึง 7; 8 ถึง 10; 11 ถึง 15 | 43.9%; 13.4%; 18.6% | Ying และคณะ, WOCCI 2025 |
| WER ของ OWSM v3.1 ที่ไฟน์จูนด้วยเสียงพูดเด็ก แยกตามอายุ: 4 ถึง 7; 8 ถึง 10; 11 ถึง 15 | 9.0%; 7.3%; 1.8% | Ying และคณะ, WOCCI 2025 |
| อัตราความผิดพลาดที่จุดสมดุลของการยืนยันตัวผู้พูด (สัดส่วนการตัดสินรับ/ปฏิเสธที่ผิดที่จุดสมดุล) อายุ 4 ถึง 7 ปีเทียบกับ 11 ถึง 15 ปี | 13.2% เทียบกับ 3.73% | Ying และคณะ, WOCCI 2025 |
| ประโยคพูดของเด็กอายุเฉลี่ย 4.9 ปีที่ถอดความถูกต้องทั้งหมด: Whisper large-v3 เทียบกับ Google cloud ASR (2024) | 36.8% เทียบกับ 9.6% | Janssens และคณะ, Ghent University, Technological Advances in Human-Robot Interaction 2024 |
หมายเหตุเรื่องค่าผิดปกติ: โมเดล MMS ได้ WER 193.3% ในเกรด 6 ของแบบทดสอบ Singh และคณะ เพราะแทรกคำเพิ่มมากกว่าที่พูดจริงอย่างมาก WER ที่เกิน 100% เป็นสัญญาณของการแทรกคำที่ควบคุมไม่ได้ ไม่ใช่การพิมพ์ผิด
3. เหตุใดเสียงเด็กจึงทำให้โมเดลที่ฝึกด้วยผู้ใหญ่พัง: คุณสมบัติทางเสียงและความไม่ลื่นไหล
มีสองกลไกที่เด่นชัด ประการแรก เสียงเองเป็นเป้าหมายที่เคลื่อนที่ การศึกษาเด็ก 436 คนอายุ 5 ถึง 17 ปี และผู้ใหญ่ 56 คน พบว่าระยะเวลาของหน่วยเสียงเข้าสู่ระดับผู้ใหญ่เมื่ออายุราว 12 ปีเท่านั้น โดยความแปรผันของระดับเสียงและฟอร์มันต์ (เสียงก้องที่ใช้แยกสระ) ต้องใช้เวลาอีกราว 2 ถึง 3 ปี (Lee, Potamianos และ Narayanan, JASA 1999) โมเดลที่ปรับให้เข้ากับเสียงก้องของผู้ใหญ่ เท่ากับกำลังฟังเครื่องดนตรีอีกชนิดหนึ่ง ข้อมูลล่าสุดที่มี: Lee, Potamianos และ Narayanan, 1999
ประการที่สอง เด็กพูดต่างออกไป คำอธิบายแบบเป็นธรรมชาติของเด็กมีอัตราความไม่ลื่นไหลและคำเติมช่องสูงกว่าบทสนทนาของผู้ใหญ่ รวมถึง ‘um’ ที่มากกว่าอย่างชัดเจนและคำที่พูดค้างกลางคันมากกว่า (Tran และคณะ, Analysis of Disfluency in Children’s Speech, Interspeech 2020) แบบจำลองเชิงสาเหตุในปี 2025 จัดให้อายุและจำนวนคำในประโยคพูดอยู่อันดับต้นของปัจจัยที่ทำให้เกิดข้อผิดพลาด นำหน้าเสียงรบกวนพื้นหลังและความสามารถในการออกเสียง เสียงพูดที่เบี่ยงเบนจากบรรทัดฐานผู้ใหญ่ด้วยเหตุผลทางคลินิกก็เจอกับกับดักเดียวกัน ดังที่สรุปข้อมูลเสียงพูดผิดปกติและเสียงพูดแบบดิสอาร์เธรียของเราแสดงไว้
| ตัวชี้วัด | ค่า | แหล่งที่มา |
|---|---|---|
| ผู้พูดในการศึกษาด้านเสียงศาสตร์พัฒนาการ | เด็ก 436 คนอายุ 5 ถึง 17 ปี; ผู้ใหญ่ 56 คน | Lee, Potamianos และ Narayanan, JASA 1999 |
| อายุที่ระยะเวลาของหน่วยเสียงถึงระดับผู้ใหญ่ | ราว 12 | Lee, Potamianos และ Narayanan, JASA 1999 |
| เวลาเพิ่มเติมที่ความแปรผันของระดับเสียงและฟอร์มันต์ภายในผู้พูดคนเดียวจะถึงช่วงของผู้ใหญ่ | ราว 2 ถึง 3 ปี | Lee, Potamianos และ Narayanan, JASA 1999 |
| อายุที่รูปแบบระดับเสียงและฟอร์มันต์ของเด็กชายและเด็กหญิงเริ่มแยกกัน; แยกชัดเจนเต็มที่ | ราว 11; ราว 15 | Lee, Potamianos และ Narayanan, JASA 1999 |
| อัตราความไม่ลื่นไหล: เด็กเทียบกับบทสนทนาผู้ใหญ่ Switchboard เทียบกับบทสนทนาผู้ใหญ่ CallHome | 10.1% เทียบกับ 6.2% เทียบกับ 6.3% | Tran และคณะ, Interspeech 2020 |
| อัตราของคำเติมช่อง ‘um’: เด็กเทียบกับผู้ใหญ่ Switchboard | 2.3% เทียบกับ 0.5% | Tran และคณะ, Interspeech 2020 |
| อัตราของเศษคำ (คำที่พูดค้างกลางคัน): เด็กเทียบกับผู้ใหญ่ Switchboard | 1.8% เทียบกับ 0.5% | Tran และคณะ, Interspeech 2020 |
หมายเหตุด้านบริบท: คลังข้อมูลความไม่ลื่นไหลนี้มีขนาดเล็ก (เด็ก 26 คน เสียงพูดเด็กราว 1.26 ชั่วโมง) และบทความระบุอายุของเด็กเป็น 4.8 ถึง 7 ปีในจุดหนึ่ง และ 5 ถึง 8 ปีในอีกจุดหนึ่ง ข้อมูลล่าสุดที่มี: ปี 2020
4. ความขาดแคลนข้อมูล: ชั่วโมงเสียงพูดเด็กเทียบกับชุดข้อมูลฝึกของโมเดลพื้นฐาน
ขนาดต่างกันหลายระดับของจำนวนหลัก Whisper-largeV3 ถูกฝึกด้วยเสียง 1 ล้านชั่วโมง ขณะที่การเปรียบเทียบมาตรฐานปี 2024 มีเสียงพูดเด็ก MyST ที่กรองแล้วเพียง 133 ชั่วโมงสำหรับไฟน์จูน ชุดข้อมูลเด็กจึงเท่ากับราว 0.0133% ของแหล่งข้อมูลฝึกล่วงหน้านั้น (133 / 1,000,000) (Fan และคณะ, Interspeech 2024) แม้แต่โมเดล Parakeet ที่เล็กกว่ายังเห็นข้อมูล 64,000 ชั่วโมง หรือราว 480 เท่าของส่วนฝึกของ MyST (64,000 / 133)
MyST เองก็ใหญ่เฉพาะเมื่อเทียบกับมาตรฐานของเสียงพูดเด็กเท่านั้น แค็ตตาล็อกของ Linguistic Data Consortium ระบุราว 470 ชั่วโมงจากนักเรียน 1,371 คนในเกรด 3 ถึง 5 เก็บรวบรวมระหว่างปี 2008 ถึง 2017 โดยมีประโยคพูด 102,433 จาก 227,567 ประโยคที่ถอดความแล้ว (LDC2021S05, MyST Children’s Conversational Speech) ผู้สร้างอธิบายว่าคลังข้อมูลนี้มีราว 400 ชั่วโมง และระบุว่าการหาเสียงพูดเด็กในปริมาณมากนั้นยากเพียงใด (Pradhan, Cole และ Ward, LREC-COLING 2024) เด็กเล็กและภาษาอื่นมีน้อยกว่านั้นมาก คลังข้อมูลภาษาจีนกลางปี 2025 สำหรับอายุ 3 ถึง 5 ปีมี 41.25 ชั่วโมง (Zhou และคณะ, ChildMandarin 2025)
| ตัวชี้วัด | ค่า | แหล่งที่มา |
|---|---|---|
| ข้อมูลฝึกล่วงหน้า: Whisper-largeV3; Canary; Parakeet-TDT | 1,000,000; 85,000; 64,000 ชั่วโมง | Fan และคณะ, Interspeech 2024 |
| คลังข้อมูล MyST ตามที่ลงแค็ตตาล็อก | ราว 470 ชั่วโมง; นักเรียน 1,371 คนในเกรด 3 ถึง 5; การสอนพิเศษ 10,496 ครั้ง | Linguistic Data Consortium, LDC2021S05 (2021) |
| ประโยคพูด MyST ที่มีบทถอดความ | 102,433 จาก 227,567 (ราว 45%) | Linguistic Data Consortium, LDC2021S05 (2021) |
| คลังข้อมูล ChildMandarin เด็กอายุ 3 ถึง 5 ปี | 41.25 ชั่วโมง; ผู้พูด 397 คน | Zhou และคณะ, ChildMandarin 2025 |
| คลังข้อมูลเด็กภาษาอังกฤษแบบอังกฤษ PF-STAR ตามที่ระบุในการสำรวจคลังข้อมูลปี 2025 | 14.5 ชั่วโมง; ผู้พูด 158 คนอายุ 4 ถึง 14 ปี | Zhou และคณะ, ChildMandarin 2025 |
| CMU Kids; เสียงพูดตามบท OGI Kids | 9 ชั่วโมง ผู้พูด 76 คน; 70 ชั่วโมง ผู้พูด 1,118 คน | Ying และคณะ, WOCCI 2025 |
| ข้อมูลฝึกเด็กเทียบกับผู้ใหญ่ในการศึกษาการถ่ายโอนการเรียนรู้ปี 2018 | 91.61 ชั่วโมง (อายุ 6 ถึง 14 ปี) เทียบกับ 205.82 ชั่วโมง (ผู้ใหญ่ TED-LIUM) | Shivakumar และ Georgiou, arXiv 2018 |
หมายเหตุด้านบริบท: จำนวนชั่วโมงของ MyST ต่างกันไปตามแหล่งที่มา (ราว 470 ในแค็ตตาล็อก LDC, 393 หรือราว 400 ในบทความคลังข้อมูล, ราว 240 ชั่วโมงที่ถอดความแล้วในการเปรียบเทียบมาตรฐานปี 2024) เรารายงานแต่ละตัวเลขพร้อมแหล่งที่มาของตัวเอง
5. ผลที่ได้จากการไฟน์จูนและการปรับให้เข้ากับข้อมูล
การไฟน์จูนหมายถึงการฝึกโมเดลต่อด้วยเสียงบันทึกของเด็ก เป็นวิธีแก้ที่เชื่อถือได้มากที่สุด และผลที่ได้มากที่สุดอยู่ที่จุดที่โมเดลแบบซีโรช็อตแย่ที่สุด Whisper Large-V2 ลดจาก WER 73.68% เหลือ 2.88% กับเด็กอังกฤษใน PF-STAR หลังไฟน์จูนด้วยเสียงพูด PF-STAR เพียง 10 ชั่วโมง (Jain และคณะ, Interspeech 2023) บนเสียงสนทนาของ MyST Whisper-small ลดจาก 13.4% เป็น 9.3% หรือลดลงเชิงสัมพัทธ์ 30.6% ((13.4 - 9.3) / 13.4) และโมดูลอะแดปเตอร์ขนาดเล็กที่อัปเดตพารามิเตอร์ 1.29 ล้านตัวให้ผลเทียบเท่าการไฟน์จูนทั้งชุด 242 ล้านตัว
เทคนิคที่ใหม่กว่าไล่ตามอีกไม่กี่จุดสุดท้าย การรวมเฉพาะน้ำหนักส่วนความสนใจของโมเดลที่เกี่ยวข้องกันสร้างสถิติ MyST ที่ WER 8.69% สำหรับ Whisper-small (Balaji Shankar และคณะ, Selective Attention Merging, ICASSP 2025) และโมเดลแก้ไขข้อความที่ฝึกด้วยคู่ผลลัพธ์ ASR กับบทถอดความของมนุษย์ 200K คู่ ลดข้อผิดพลาดได้ในคลังข้อมูลเด็กสี่ชุด วิธีทำความสะอาดชุดทดสอบสำคัญพอ ๆ กับวิธีการ การตัดไฟล์ที่มี WER สูงกว่า 50% หรือสั้นกว่า 3 คำออก เปลี่ยน WER ชุดทดสอบ MyST ของ Whisper-Large-v1 จาก 26.2% เป็น 14.2% โดยไม่ได้เปลี่ยนโมเดลเลย (Attia และคณะ, Kid-Whisper, AIES 2024)
| ตัวชี้วัด | ค่า | แหล่งที่มา |
|---|---|---|
| WER ของ Whisper Large-V2 บน PF-STAR: ก่อนเทียบกับหลังไฟน์จูนด้วยเสียงพูดเด็ก 10 ชั่วโมง | 73.68% เทียบกับ 2.88% | Jain และคณะ, Interspeech 2023 |
| WER ของ Whisper-small แบบซีโรช็อตเทียบกับที่ไฟน์จูนแล้ว: ชุดทดสอบ MyST; ชุดทดสอบ OGI Kids | 13.4% เทียบกับ 9.3%; 25.4% เทียบกับ 1.8% | Fan และคณะ, Interspeech 2024 |
| พารามิเตอร์ที่ฝึก การปรับจูนแบบอะแดปเตอร์เทียบกับการไฟน์จูนทั้งชุด (WER 9.3% บน MyST ทั้งคู่) | 1.29 ล้านเทียบกับ 242 ล้าน | Fan และคณะ, Interspeech 2024 |
| WER ของ Whisper Medium.en บนเสียงพูดเป็นธรรมชาติ CSLU Kids: แบบซีโรช็อตเทียบกับที่ไฟน์จูนด้วย MyST บวก CSLU | 31.85% เทียบกับ 16.53% | Attia และคณะ, Kid-Whisper, AIES 2024 |
| Whisper-small ที่ใช้การรวม Selective Attention บวกการเสริมข้อมูล WER บน MyST | 8.69% (ลดลงเชิงสัมพัทธ์สูงสุด 14%) | Balaji Shankar และคณะ, ICASSP 2025 |
| การแก้ไขข้อผิดพลาดแบบเจเนอเรทีฟ WER ในคลังข้อมูลเด็กสี่ชุด: ก่อนเทียบกับหลัง | 30.5% เทียบกับ 21.8% (ลดลงเชิงสัมพัทธ์ 28.5%) | Balaji Shankar และคณะ, CHSER, Interspeech 2025 |
| การไฟน์จูนผสมเด็กและผู้ใหญ่เทียบกับโมเดลที่ฝึกไว้ล่วงหน้า | WER ต่ำลงสูงสุด 5% เชิงสัมบูรณ์ (21% เชิงสัมพัทธ์) | Graave และคณะ, Interspeech 2024 |
| อัตราความผิดพลาดระดับตัวอักษรของ Whisper-small บนเสียงภาษาจีนกลางของเด็กอายุ 3 ถึง 5 ปี: แบบซีโรช็อตเทียบกับที่ไฟน์จูนแล้ว | 37.99% เทียบกับ 17.45% | Zhou และคณะ, ChildMandarin 2025 |
หมายเหตุเรื่องค่าผิดปกติ: ผลที่ได้ไม่ถ่ายโอนข้ามสำเนียง อายุ และลักษณะการพูดได้อย่างราบรื่น ในการศึกษาปี 2023 ฉบับเดียวกัน Whisper Medium ได้ 19.76% กับเด็ก PF-STAR หลังไฟน์จูนด้วยเสียงพูด MyST แบบอเมริกัน เทียบกับ 3.15% หลังไฟน์จูนด้วย PF-STAR เอง
6. การประเมินการอ่านในห้องเรียน: จุดที่อัตราความผิดพลาดพบกับการตัดสินใจ
ในด้านการศึกษา WER ไม่ใช่ตัวชี้วัดสุดท้าย ติวเตอร์ด้านการอ่านต้องตัดสินว่าเด็กอ่านแต่ละคำถูกต้องหรือไม่ บทถอดความจึงอาจได้ WER ที่ดูน่าพอใจ แต่ยังพลาดข้อผิดพลาดที่ครูต้องเห็น ในแบบทดสอบการอ่านออกเสียงภาษาดัตช์กับเด็ก 71 คนอายุ 7 ถึง 11 ปี Whisper large-v2 ที่ไม่ได้ไฟน์จูนได้สัมประสิทธิ์สหสัมพันธ์แมตทิวส์ (MCC คะแนนความสอดคล้องที่ 0 หมายถึงบังเอิญและ 1 หมายถึงสมบูรณ์แบบ) .01 ในการตรวจจับข้อผิดพลาดในการอ่าน เทียบกับ .63 ของระบบ Kaldi ที่ปรับแต่งเฉพาะ (Molenaar และคณะ, Automatic Assessment of Oral Reading Accuracy for Reading Diagnostics, Interspeech 2023) ข้อมูลล่าสุดที่มี: ปี 2023
การศึกษาในสหรัฐฯ ปี 2026 เกี่ยวกับระบบยืนยันเสียงพูดเชิงพาณิชย์พบรูปแบบเดียวกันตามประเภทงาน (Petscher และคณะ, Frontiers in Education 2026) ความสอดคล้องกับผู้ประเมินที่เป็นมนุษย์ วัดด้วยค่าคัปปาของโคเฮน (ความสอดคล้องที่เกินกว่าความบังเอิญ ตั้งแต่ 0 ถึง 1) สูงที่สุดสำหรับคำศัพท์เชิงแสดงออก และต่ำที่สุดสำหรับการผสมหน่วยเสียง ซึ่งเป็นงานที่ซับซ้อนที่สุดทางสัทวิทยาในสามงาน ความเหมาะสมยังต่างกันตามกลุ่มนักเรียนในการอ่านคำ ข้อค้นพบที่สำคัญต่อเขตการศึกษาใดก็ตามที่ใช้การคัดกรองอัตโนมัติเพื่อตัดสินว่าเด็กคนใดต้องการการสนับสนุนด้านโฟนิกส์
| ตัวชี้วัด | ค่า | แหล่งที่มา |
|---|---|---|
| เด็กในการศึกษาการอ่านออกเสียงภาษาดัตช์; ช่วงอายุ | 71; 7 ถึง 11 | Molenaar และคณะ, Interspeech 2023 |
| ความสอดคล้องกับการตัดสินข้อผิดพลาดในการอ่านของมนุษย์ (MCC): ระบบ Kaldi-PM เทียบกับ Whisper large-v2 | .63 เทียบกับ .01 | Molenaar และคณะ, Interspeech 2023 |
| WER บนการอ่านของเด็กเทียบกับบทถอดความที่ทำด้วยมือ: ระบบ Kaldi-PM เทียบกับ Whisper large-v2 | 5.2% เทียบกับ 13.4% | Molenaar และคณะ, Interspeech 2023 |
| เด็กอนุบาลในการศึกษาการยืนยันเสียงพูดของสหรัฐฯ | 429 คนจาก 20 โรงเรียนในสามรัฐ | Petscher และคณะ, Frontiers in Education 2026 |
| ค่าคัปปาระหว่างระบบกับผู้ประเมินที่เป็นมนุษย์ที่เกณฑ์ 50: การผสมหน่วยเสียง; คำศัพท์เชิงแสดงออก; การอ่านคำ | 0.16; 0.72; 0.51 | Petscher และคณะ, Frontiers in Education 2026 |
| สัดส่วนคำตอบที่จัดประเภทเหมือนผู้ประเมินที่เป็นมนุษย์ที่เกณฑ์ 50 สำหรับสามงานเดียวกัน | 0.52; 0.87; 0.80 | Petscher และคณะ, Frontiers in Education 2026 |
| ค่าคัปปาของการอ่านคำที่เกณฑ์ 80: นักเรียนผิวดำเทียบกับผิวขาว | 0.25 เทียบกับ 0.47 | Petscher และคณะ, Frontiers in Education 2026 |
หมายเหตุด้านบริบท: Kaldi-PM ไม่ใช่ทางลัดที่นำไปใช้งานจริงได้ เพราะรายการคำศัพท์ของระบบนี้รวมข้อความที่ให้อ่านเข้ากับคำจากบทถอดความที่ทำด้วยมือของข้อมูลทดสอบ ควรมองว่าเป็นตัววัดสิ่งที่ระบบซึ่งถูกจำกัดอย่างเข้มงวดทำได้ และอ่านค่า 5.2% ภายใต้การตั้งค่านั้น
7. กฎความเป็นส่วนตัวที่จำกัดการเก็บเสียงพูดเด็ก
ช่องว่างด้านข้อมูลในหัวข้อ 4 ส่วนหนึ่งเป็นผลจากนโยบาย กฎ COPPA ฉบับแก้ไข ซึ่งเผยแพร่เมื่อวันที่ 22 เมษายน 2025 เพิ่มตัวระบุทางชีวมิติเข้าไปในนิยามข้อมูลส่วนบุคคลของเด็ก และระบุลายเสียงไว้อย่างชัดเจน (FTC, COPPA Final Rule Amendments 2025) ข้อยกเว้นเรื่องความยินยอมของผู้ปกครองสำหรับเสียงครอบคลุมไฟล์ที่มีเสียงของเด็กและไม่มีข้อมูลส่วนบุคคลอื่น ใช้เพื่อตอบสนองคำขอของเด็กเท่านั้น และลบทันทีหลังจากนั้น จึงไม่เหลือที่ว่างภายใต้ข้อยกเว้นนั้นสำหรับการเก็บไฟล์ไว้เป็นข้อมูลฝึก
การบังคับใช้หนุนข้อความของกฎ ในปี 2023 FTC และกระทรวงยุติธรรมกล่าวหา Amazon ว่าเก็บบันทึกเสียง Alexa ของเด็กไว้ไม่มีกำหนด คำสั่งที่เสนอมีค่าปรับทางแพ่ง 25 ล้านดอลลาร์ และห้ามใช้ข้อมูลเสียงที่เกี่ยวข้องเพื่อสร้างหรือปรับปรุงผลิตภัณฑ์ข้อมูล (ข่าวประชาสัมพันธ์ของ FTC, 31 พฤษภาคม 2023) นักวิจัยตอบสนองด้วยการย้ายการรู้จำเสียงไปทำงานบนอุปกรณ์ โมเดล Whisper tiny.en ที่ไฟน์จูนแล้วทำงานบน Raspberry Pi ที่ WER 15.9% บน MyST โดยอ้างกฎความเป็นส่วนตัวเป็นแรงจูงใจ (Dutta, Chandupatla และ Hansen, WOCCI 2025)
| ตัวชี้วัด | ค่า | แหล่งที่มา |
|---|---|---|
| อายุที่ COPPA คุ้มครอง | เด็กอายุต่ำกว่า 13 ปี | ข่าวประชาสัมพันธ์ของ FTC, 2023 |
| กฎ COPPA ฉบับแก้ไข: มติของคณะกรรมการ; ความเห็นสาธารณะที่พิจารณา | 5-0; เกือบ 300 | ข่าวประชาสัมพันธ์ของ FTC, 16 มกราคม 2025 |
| กฎฉบับแก้ไข: การเผยแพร่ใน Federal Register; ระยะเวลาปฏิบัติตามกฎอย่างเต็มรูปแบบ | 22 เมษายน 2025; หนึ่งปีนับจากวันเผยแพร่ | FTC, COPPA Final Rule Amendments 2025 |
| ตัวระบุทางชีวมิติที่ระบุเป็นข้อมูลส่วนบุคคล | ลายเสียง ร่วมกับลายนิ้วมือ แม่แบบใบหน้า และรูปแบบการเดิน | FTC, COPPA Final Rule 2025 |
| คดี Amazon Alexa: ค่าปรับทางแพ่ง; เด็กที่ใช้ Alexa ผ่านโปรไฟล์ของตนเอง | 25 ล้านดอลลาร์; มากกว่า 800,000 | FTC, ข่าวประชาสัมพันธ์ Amazon Alexa และบล็อกสำหรับธุรกิจ, 31 พฤษภาคม 2023 |
| Whisper tiny.en บนอุปกรณ์ Raspberry Pi: WER บน MyST; เมื่อกรองข้อมูล; ปัจจัยเวลาจริง (เวลาประมวลผลหารด้วยความยาวเสียง) | 15.9%; 11.8%; 0.23 ถึง 0.41 | Dutta และคณะ, WOCCI 2025 |
หมายเหตุด้านบริบท: นโยบายการบังคับใช้ของ FTC ปี 2017 เกี่ยวกับการบันทึกเสียงวางตรรกะการเก็บรักษาระยะสั้นแบบเดียวกัน โดยอนุญาตให้เก็บเสียงเฉพาะที่ใช้แทนคำที่เขียน และลบโดยเร็ว (แถลงการณ์นโยบายของ FTC, 2017) ข้อมูลล่าสุดที่มีเกี่ยวกับคดี Amazon: ปี 2023
สรุป: อัตราความผิดพลาดของคำในการรู้จำเสียงพูดเด็กในรูปแบบตัวเลข
| ตัวชี้วัด | ค่า | แหล่งที่มา |
|---|---|---|
| WER ของ Whisper แบบซีโรช็อตในแบบทดสอบตามบท CSLU Kids: อนุบาลเทียบกับเกรด 4 | 84.6% เทียบกับ 17.5% | Singh และคณะ, 2025 |
| WER ของ Whisper Large-V2 ที่ไม่ได้ฝึกด้วยเสียงเด็ก: เด็ก MyST เทียบกับเสียงอ่านผู้ใหญ่ | 25.00% เทียบกับ 5.40% | Jain และคณะ, Interspeech 2023 |
| WER ของ Whisper large แบบซีโรช็อต: อายุ 4 ถึง 7 ปีเทียบกับ 8 ถึง 10 ปี | 43.9% เทียบกับ 13.4% | Ying และคณะ, WOCCI 2025 |
| อัตราความผิดพลาดของการยืนยันตัวผู้พูด: อายุ 4 ถึง 7 ปีเทียบกับ 11 ถึง 15 ปี | 13.2% เทียบกับ 3.73% | Ying และคณะ, WOCCI 2025 |
| เด็กอายุเฉลี่ย 4.9 ปี: ถอดความถูกต้องทั้งหมด Whisper large-v3 เทียบกับ Google | 36.8% เทียบกับ 9.6% | Janssens และคณะ, Technological Advances in Human-Robot Interaction 2024 |
| ระบบรู้จำเสียงที่ฝึกด้วยผู้ใหญ่: กับเด็กเทียบกับผู้ใหญ่ | แย่กว่าสองถึงห้าเท่า | Potamianos และ Narayanan, IEEE TSAP 2003 |
| อายุที่ระยะเวลาของหน่วยเสียงของเด็กถึงระดับผู้ใหญ่ | ราว 12 | Lee, Potamianos และ Narayanan, JASA 1999 |
| อัตราความไม่ลื่นไหล: เด็กเทียบกับผู้ใหญ่ Switchboard | 10.1% เทียบกับ 6.2% | Tran และคณะ, Interspeech 2020 |
| ข้อมูลฝึกล่วงหน้า Whisper-largeV3 เทียบกับชุดข้อมูลฝึกเด็ก MyST ที่กรองแล้ว | 1,000,000 เทียบกับ 133 ชั่วโมง | Fan และคณะ, Interspeech 2024 |
| ขนาดคลังข้อมูล MyST | ราว 470 ชั่วโมง; นักเรียน 1,371 คน | Linguistic Data Consortium, LDC2021S05 |
| คลังข้อมูลเด็กภาษาจีนกลาง อายุ 3 ถึง 5 ปี | 41.25 ชั่วโมง; ผู้พูด 397 คน | Zhou และคณะ, ChildMandarin 2025 |
| Whisper Large-V2 บน PF-STAR: ก่อนเทียบกับหลังไฟน์จูน 10 ชั่วโมง | 73.68% เทียบกับ 2.88% | Jain และคณะ, Interspeech 2023 |
| WER ของ Whisper-small ที่ดีที่สุดที่รายงานบน MyST (การรวมความสนใจบวกการเสริมข้อมูล) | 8.69% | Balaji Shankar และคณะ, ICASSP 2025 |
| การแก้ไขข้อผิดพลาดแบบเจเนอเรทีฟในคลังข้อมูลเด็กสี่ชุด | WER จาก 30.5% เป็น 21.8% | Balaji Shankar และคณะ, CHSER, Interspeech 2025 |
| ความสอดคล้องในการตรวจจับข้อผิดพลาดในการอ่าน (MCC): ระบบ Kaldi-PM เทียบกับ Whisper large-v2 | .63 เทียบกับ .01 | Molenaar และคณะ, Interspeech 2023 |
| ค่าคัปปาในการคัดกรองเด็กอนุบาล: การผสมหน่วยเสียงเทียบกับคำศัพท์เชิงแสดงออก | 0.16 เทียบกับ 0.72 | Petscher และคณะ, Frontiers in Education 2026 |
| คดีข้อมูลเสียงเด็ก Amazon Alexa ค่าปรับทางแพ่ง | 25 ล้านดอลลาร์ | FTC, 2023 |
ระเบียบวิธีและแหล่งที่มา
เราค้นหาบนเว็บ 21 ครั้ง และอ่านบทความต้นทาง รายการแค็ตตาล็อก บทความวารสาร หรือข้อความด้านกฎระเบียบเบื้องหลังทุกตัวเลขข้างต้น ค่า WER รายงานตรงตามที่แต่ละบทความพิมพ์ไว้ ชุดทดสอบ การปรับข้อความให้เป็นมาตรฐาน และการกรองต่างกันไปในแต่ละการศึกษา จึงควรเปรียบเทียบตัวเลขภายในแถวเดียวกันหรือภายในการศึกษาเดียว ไม่ควรเปรียบเทียบข้ามการศึกษา ตัวเลขที่เก่ากว่าสามปีมีการระบุไว้ในแต่ละหัวข้อว่าเป็นข้อมูลล่าสุดที่มี
- Singh, Sahidullah และ Kinnunen, Causal Analysis of ASR Errors for Children, arXiv 2025 (ส่งไปยัง Computer Speech and Language)
- Jain, Barcovschi, Yiwere, Corcoran และ Cucu, Adaptation of Whisper models to child speech recognition, Interspeech 2023
- Fan, Balaji Shankar และ Alwan, Benchmarking Children’s ASR with Supervised and Self-supervised Speech Foundation Models, Interspeech 2024
- Ying และคณะ, Benchmarking Training Paradigms, Dataset Composition, and Model Scaling for Child ASR in ESPnet, WOCCI 2025
- Attia และคณะ, Kid-Whisper: Towards Bridging the Performance Gap in Automatic Speech Recognition for Children vs Adults, AAAI/ACM AIES 2024
- Janssens และคณะ, Child Speech Recognition in Human-Robot Interaction: Problem Solved?, 2024
- Potamianos และ Narayanan, Robust Recognition of Children’s Speech, IEEE Transactions on Speech and Audio Processing 2003
- Lee, Potamianos และ Narayanan, Acoustics of children’s speech: developmental changes of temporal and spectral parameters, JASA 1999
- Tran และคณะ, Analysis of Disfluency in Children’s Speech, Interspeech 2020
- Linguistic Data Consortium, MyST Children’s Conversational Speech, LDC2021S05
- Pradhan, Cole และ Ward, My Science Tutor (MyST): A Large Corpus of Children’s Conversational Speech, LREC-COLING 2024
- Zhou และคณะ, ChildMandarin: A Comprehensive Mandarin Speech Dataset for Young Children Aged 3-5, arXiv 2025
- Shivakumar และ Georgiou, Transfer Learning from Adult to Children for Speech Recognition, arXiv 2018
- Balaji Shankar และคณะ, Selective Attention Merging for low resource tasks: A case study of Child ASR, ICASSP 2025
- Balaji Shankar และคณะ, CHSER: A Dataset and Case Study on Generative Speech Error Correction for Child ASR, Interspeech 2025
- Graave และคณะ, Mixed Children/Adult/Childrenized Fine-Tuning for Children’s ASR, Interspeech 2024
- Molenaar และคณะ, Automatic Assessment of Oral Reading Accuracy for Reading Diagnostics, Interspeech 2023
- Petscher และคณะ, Evaluation of the Consistency of a Speech Verification System with Human Raters in Early Literacy Screening Assessments, Frontiers in Education 2026
- Dutta, Chandupatla และ Hansen, Adapting Whisper for Lightweight and Efficient ASR of Children for On-device Edge Applications, WOCCI 2025
- FTC, FTC Finalizes Changes to Children’s Privacy Rule, 16 มกราคม 2025 และ 16 CFR Part 312: COPPA Final Rule Amendments
- FTC และ DOJ, ข่าวประชาสัมพันธ์ Amazon Alexa, 31 พฤษภาคม 2023 และ บล็อกสำหรับธุรกิจของ FTC เกี่ยวกับคดี Alexa
- ข้อสังเกตเกี่ยวกับข้อมูล: (1) ผลของ Whisper แบบซีโรช็อตบน MyST อยู่ในช่วงราว 12.5% ถึง 25% ขึ้นอยู่กับว่ามีการกรองชุดทดสอบหรือไม่ การเปรียบเทียบมาตรฐานปี 2023 และ 2024 จึงเทียบกันโดยตรงไม่ได้ (2) ขนาดของ MyST รายงานไว้ที่ราว 470 ชั่วโมง (LDC), 393 หรือราว 400 ชั่วโมง (บทความคลังข้อมูล) และราว 240 ชั่วโมงที่ถอดความแล้ว (การเปรียบเทียบมาตรฐานปี 2024) (3) ผลระดับชั้นของ Singh และคณะ เป็นพรีปรินต์ และบทความอธิบาย MyST ว่าเป็นเกรด 3 ถึง 5 ในจุดหนึ่ง และเกรด 5 ถึง 8 ในอีกจุดหนึ่ง (4) การเปรียบเทียบมาตรฐานของ ESPnet ระบุ WER เฉลี่ยที่ดีที่สุดเป็นของ Whisper-small ในหัวข้อหนึ่ง และ Whisper medium ในอีกหัวข้อหนึ่ง (5) การลดลง 13.3% ในบทคัดย่อของ CHSER สำหรับระบบที่ไฟน์จูนแล้วใช้กับ Whisper Tiny เท่านั้น เนื้อหาระบุช่วง 9% ถึง 13.3% (6) บทความของ Molenaar และคณะ พิมพ์ MCC ของ Kaldi-PM เป็น .62 ในข้อความผลลัพธ์ และ .63 ในที่อื่น (เราใช้ .63) และตารางแสดง Kaldi-MO ซึ่งคำศัพท์มาจากบทถอดความของข้อมูลทดสอบเท่านั้น ที่ .65 (7) การศึกษาของ Frontiers ประเมินระบบเชิงพาณิชย์เพียงระบบเดียว ตัวเลขความสอดคล้องจึงไม่ควรนำไปสรุปกับเครื่องมืออ่านทุกชนิด (8) ตัวเลขพื้นฐานหลายค่า (1999, 2003, 2020, 2023) ถูกระบุว่าเป็นข้อมูลล่าสุดที่มี คาดว่างานวิจัยของ ICASSP 2027 จะอัปเดตตัวเลขการเปรียบเทียบมาตรฐาน
อัปเดตล่าสุด: 31 ตุลาคม 2026 เราจะอัปเดตสรุปนี้ทุกไตรมาส และคาดว่าการรีเฟรชครั้งถัดไปจะเกิดขึ้นเมื่อมีการเผยแพร่รายงานการประชุม ICASSP 2027