ในเกณฑ์มาตรฐานเกาหลี-อังกฤษ HiKE Whisper-Large ทำผิดพลาดใน 26.1% ของเสียงพูดที่สลับภาษา เทียบกับ 4.4% ในภาษาอังกฤษล้วน และ 3.2% ในภาษาเกาหลีล้วน (Paik และคณะ, เกณฑ์มาตรฐาน HiKE 2026) นั่นคือราวหกเท่าของอัตราความผิดพลาดในภาษาอังกฤษ (26.1 / 4.4 = 5.9) สำหรับโมเดลเดียวกัน รูปแบบนี้เกิดซ้ำในหลายคู่ภาษา ผู้เขียน CS-FLEURS วัดอัตราความผิดพลาดระดับอักขระได้สูงกว่า 2 เท่าในเสียงบันทึกที่สลับภาษา เมื่อเทียบกับ FLEURS ภาษาเดียว (Yan และคณะ, Interspeech 2025) และในการแข่งขันจีนกลาง-อังกฤษ ASRU 2019 ระบบที่ชนะก็ยังผิดพลาดใน 12.33% ของคำภาษาอังกฤษที่แทรกอยู่ เทียบกับ 4.04% ของอักขระจีนกลาง (Shi และคณะ, รายงานการแข่งขัน ASRU 2019) การสลับภาษา (การเปลี่ยนไปมาระหว่างสองภาษาภายในบทสนทนา ประโยค หรือแม้แต่ภายในคำเดียว) เป็นพฤติกรรมปกติของผู้คนจำนวนมากที่กล่าวถึงในสรุปเรื่องการใช้สองภาษาและครัวเรือนหลายภาษาของเรา แต่ระบบรู้จำเสียงยังคงถูกปรับจูนและจัดอันดับทีละภาษา คล้ายกับช่องว่างด้านสำเนียงที่วัดในเกณฑ์มาตรฐานภาษาเดียว เรารวบรวมข้อมูลจากคลังข้อมูล SEAME ที่ Linguistic Data Consortium การแข่งขัน MUCS 2021 และ ASRU 2019 CS-FLEURS HiKE CS-Dialogue ASCEND บทความเรื่องมาตรวัด PIER การแข่งขัน DISPLACE 2023 Pew Research Center และงานสำรวจของ ACL เกี่ยวกับการวิจัยการสลับภาษา
หมายเหตุเกี่ยวกับคำศัพท์ที่ใช้ตลอดบทความ: “ภาษาฐาน” คือภาษาหลักของประโยค “ภาษาแทรก” คือภาษาที่สลับเข้ามา และ “จุดสลับ” คือคำที่ภาษาเปลี่ยนพอดี
สรุปโดยย่อ
- Whisper-Large: อัตราความผิดพลาดแบบผสม 26.1% ในเสียงพูดเกาหลี-อังกฤษที่สลับภาษา เทียบกับ WER 4.4% ในภาษาอังกฤษล้วน (Paik และคณะ, HiKE 2026)
- CER สูงกว่า 2 เท่าในชุด CS-FLEURS ที่สลับภาษา เมื่อเทียบกับ FLEURS ภาษาเดียว (Yan และคณะ, Interspeech 2025)
- ระบบที่ดีที่สุดของ ASRU 2019: CER ภาษาจีนกลาง 4.04% แต่ WER ภาษาอังกฤษ 12.33% ภายในประโยคผสมเดียวกัน (Shi และคณะ, การแข่งขัน ASRU 2019)
- ข้อผิดพลาดของโทเคนที่อยู่หลังการสลับไปเป็นภาษาโยรูบาทันที: 0.95 ถึง 1.00 ในแต่ละระบบ ASR และโมเดลภาษาเสียง (Okocha และ Grant, arXiv 2026)
- การปรับจูนละเอียดทำให้ WER ของ Whisper-large บนสเปน-อังกฤษดีขึ้น 5.06% ขณะที่ข้อผิดพลาดที่จุดสลับ (PIER) แย่ลง 39.47% (Ugan และคณะ, ICASSP 2025)
- ช่วงภาษาโดยเฉลี่ยในบทสนทนาสองภาษาของอินเดีย: ราว 500 ms และหลายช่วงยาวเพียงราว 200 ms (Baghel และคณะ, DISPLACE 2023)
- Whisper-small ที่ยังไม่ปรับจูนบนชุดพัฒนา SEAME DevSge: MER 157.5% เมื่อสั่งให้คาดว่าเป็นภาษาจีนกลาง เทียบกับ 83.6% เมื่อสั่งเป็นภาษาอังกฤษ (Yang และคณะ, 2023)
- TALCS คลังข้อมูลจีนกลาง-อังกฤษที่ใหญ่ที่สุดที่ระบุไว้ มี 587 ชั่วโมง ราว 0.09% ของเสียงฝึก 680,000 ชั่วโมงของ Whisper (Zhou และคณะ, CS-Dialogue 2025; Radford และคณะ, OpenAI 2022)
- 72 จาก 114 คลังข้อมูลการสลับภาษาที่เสนอไว้ในงานวิจัย NLP เป็นข้อมูลส่วนตัว (Winata และคณะ, ACL Findings 2023)
- 63% ของผู้ใหญ่ชาวละตินในสหรัฐฯ ใช้ Spanglish อย่างน้อยเป็นบางครั้ง และ 77% ของชาวละตินที่พูดได้สองภาษาทำเช่นนั้น (Pew Research Center 2023)
- ราว 3.5% ของทวีต 50 ล้านรายการใน 7 ภาษามีการสลับภาษา (Rijhwani และคณะ, ACL 2017)
1. ราคาของการสลับภาษา: อัตราความผิดพลาดแบบผสมเทียบกับภาษาเดียว
ข้อค้นพบหลักสอดคล้องกันในทุกเกณฑ์มาตรฐานที่รันโมเดลเดียวกันกับเสียงพูดทั้งสองแบบ อัตราความผิดพลาดพุ่งขึ้นหลายเท่าทันทีที่สองภาษาอยู่ในประโยคเดียวกัน ใน HiKE อัตราความผิดพลาดแบบสลับภาษาของ Whisper-Large สูงกว่า WER ภาษาอังกฤษ 5.9 เท่า (26.1 / 4.4) และสูงกว่า CER ภาษาเกาหลี 8.2 เท่า (26.1 / 3.2) HiKE เป็นการเปรียบเทียบที่สะอาดที่สุด เพราะรายงานคะแนน FLEURS ภาษาเดียวของโมเดลเดียวกันควบคู่กับผลการสลับภาษา GPT-4o-transcribe ซึ่งเป็นระบบที่แข็งแกร่งที่สุดในตารางนั้น ก็ยังเพิ่มจาก WER 3.3% ในภาษาอังกฤษเป็น MER 21.8% ในเสียงพูดผสม
ช่องว่างนี้ไม่สมมาตร ในประโยคผสม ภาษาแทรกได้รับผลกระทบมากที่สุด ระบบที่ชนะ ASRU 2019 ทำผิดพลาดในคำภาษาอังกฤษมากกว่าอักขระจีนกลางราวสามเท่า (12.33 / 4.04 = 3.05) ทั้งที่ภาษาอังกฤษเป็นเพียงส่วนน้อยของแต่ละประโยค โดยเฉลี่ย 1.6 คำภาษาอังกฤษต่อ 8.6 อักขระจีน ในการประเมินอังกฤษ-โยรูบา ความไม่สมดุลรุนแรงมาก โดยล้มเหลวเกือบสิ้นเชิงกับภาษาที่มีทรัพยากรน้อยกว่า
| ตัวชี้วัด | ค่า | แหล่งที่มา |
|---|---|---|
| Whisper-Large, เกาหลี-อังกฤษที่สลับภาษา (อัตราความผิดพลาดแบบผสม), WER ภาษาอังกฤษล้วน และ CER ภาษาเกาหลีล้วน | 26.1% เทียบกับ 4.4% เทียบกับ 3.2% | Paik และคณะ, เกณฑ์มาตรฐาน HiKE 2026 |
| GPT-4o-transcribe, เกาหลี-อังกฤษที่สลับภาษา (อัตราความผิดพลาดแบบผสม) และ WER ภาษาอังกฤษล้วน | 21.8% เทียบกับ 3.3% | Paik และคณะ, เกณฑ์มาตรฐาน HiKE 2026 |
| อัตราความผิดพลาดระดับอักขระบน CS-FLEURS ที่สลับภาษา และ FLEURS ภาษาเดียวต้นฉบับ | สูงกว่า 2 เท่า | Yan และคณะ, CS-FLEURS, Interspeech 2025 |
| ระบบที่ดีที่สุดของ ASRU 2019 (แทร็ก 1): CER ภาษาจีนกลาง และ WER ภาษาอังกฤษในประโยคสลับภาษาเดียวกัน | 4.04% เทียบกับ 12.33% | Shi และคณะ, รายงานการแข่งขัน ASRU 2019 (2020) |
| WER ของ Whisper-large-v3: การบรรยาย TED ภาษาอังกฤษล้วน, Fisher สเปน-อังกฤษ และ ArzEn อาหรับอียิปต์-อังกฤษ | 6.07% เทียบกับ 29.43% เทียบกับ 52.80% | Ugan และคณะ, บทความ PIER, ICASSP 2025 |
| ชุดทดสอบอังกฤษ-โยรูบา: อัตราความผิดพลาดของโทเคนภาษาอังกฤษ และโทเคนภาษาโยรูบา (แปดระบบที่ถอดเสียงตามจริง โดยไม่แปลเสียงพูดที่สลับภาษาเป็นภาษาเดียว) | 33% ถึง 46% เทียบกับอย่างน้อย 96.6% | Okocha และ Grant, arXiv 2026 |
หมายเหตุด้านบริบท: แถวของ Ugan และคณะเปรียบเทียบชุดข้อมูลที่ต่างกัน (ภาษาอังกฤษในการบรรยายกับเสียงพูดสนทนาทางโทรศัพท์) ช่องว่างส่วนหนึ่งจึงสะท้อนสภาพการบันทึก ไม่ใช่เพียงการสลับภาษา แถว HiKE และ CS-FLEURS ตรึงโมเดลไว้คงที่ ตัวเลขฉบับเต็ม: บทความ HiKE และบทความ CS-FLEURS
2. เกณฑ์มาตรฐานอัตราความผิดพลาดแบบผสม (MER): วงการอยู่ตรงไหน
อัตราความผิดพลาดแบบผสมมีขึ้นเพราะไม่มี “คำ” ที่ใช้ร่วมกันได้ระหว่างภาษาจีนกลางกับภาษาอังกฤษ MER นับข้อผิดพลาดเป็นรายอักขระสำหรับภาษาที่ใช้อักขระ (จีนกลาง เกาหลี) และเป็นรายคำสำหรับภาษาอังกฤษ แล้วรวมเป็นอัตราเดียว ทำให้ MER เป็นสกุลกลางของงานวิจัยการสลับภาษา แต่ก็ซ่อนด้วยว่าภาษาใดล้มเหลว จึงเป็นเหตุผลที่งานวิจัยที่ดีกว่าพิมพ์ CER และ WER แยกกัน
เมื่อดูข้ามเกณฑ์มาตรฐาน ตัวเลขกระจายกว้างมาก ระบบที่ชนะได้ MER 4.94% ในการทดสอบจีนกลาง-อังกฤษ ASRU 2019 ขณะที่ค่าฐานที่ดีที่สุดบนบทสนทนาสดของ ASCEND อยู่ที่ 27.05% คู่ภาษาเดียวกันอาจดูเหมือนแก้ปัญหาได้เกือบหมดหรือพังหนัก ขึ้นอยู่กับรูปแบบการบันทึกและปริมาณข้อมูลฝึก ASRU 2019 มีเสียงฝึกแบบสลับภาษา 200 ชั่วโมง ส่วน ASCEND มีบทสนทนาสดเพียง 10.62 ชั่วโมง ในบรรดาโมเดลสำเร็จรูป SenseVoice-Small ได้ MER 6.71% บน CS-Dialogue เทียบกับ 15.29% ของ Whisper Large-V2
| ตัวชี้วัด | ค่า | แหล่งที่มา |
|---|---|---|
| อัตราความผิดพลาดแบบผสมที่ดีที่สุด, ASRU 2019 จีนกลาง-อังกฤษ, แทร็ก 1 (ASR แบบดั้งเดิม โมเดลภาษาคงที่) และแทร็ก 3 (ASR แบบต้นทางถึงปลายทาง) | 4.94% เทียบกับ 5.91% | Shi และคณะ, รายงานการแข่งขัน ASRU 2019 (2020) |
| ค่าฐานที่ดีที่สุดบนบทสนทนาสดฮ่องกงของ ASCEND: CER และ MER | 22.69% เทียบกับ 27.05% | Lovenia และคณะ, คลังข้อมูล ASCEND (2021) |
| ชุดทดสอบ CS-Dialogue โมเดลที่ฝึกไว้ล่วงหน้า (MER): SenseVoice-Small, Paraformer, Qwen2-Audio และ Whisper Large-V2 | 6.71% เทียบกับ 9.65% เทียบกับ 9.76% เทียบกับ 15.29% | Zhou และคณะ, CS-Dialogue 2025 |
| CS-Dialogue, Conformer ที่ฝึกจากศูนย์: CER ภาษาจีนกลาง, WER ภาษาอังกฤษ และ MER | 15.45% เทียบกับ 32.36% เทียบกับ 18.91% | Zhou และคณะ, CS-Dialogue 2025 |
| WER ค่าฐานแบบต้นทางถึงปลายทางของ MUCS 2021 บนชุดทดสอบ: ฮินดี-อังกฤษ และเบงกอล-อังกฤษ | 25.9% เทียบกับ 31.0% | Diwan และคณะ, การแข่งขัน MUCS 2021 (Interspeech 2021) |
หมายเหตุค่าผิดปกติ: แถว Conformer ของ CS-Dialogue แสดงปัญหาภาษาแทรกอีกครั้ง โดย WER ภาษาอังกฤษสูงกว่า CER ภาษาจีนกลางมากกว่าสองเท่าในชุดทดสอบเดียวกัน แถวของ ASRU 2019, ASCEND (2021) และ MUCS 2021 ใช้ข้อมูลล่าสุดที่มี ซึ่งผู้เขียนยังไม่ได้รันซ้ำกับโมเดลปัจจุบัน แหล่งที่มา: รายงานการแข่งขัน ASRU 2019, CS-Dialogue, MUCS 2021
3. ความล้มเหลวที่จุดสลับ: สิ่งที่อัตราความผิดพลาดโดยรวมซ่อนไว้
บทถอดเสียงอาจได้คะแนนรวมดีแต่ยังผิดทุกจุดสลับ เพราะคำที่สลับเป็นเพียงส่วนน้อยของทั้งหมด PIER (Point-of-Interest Error Rate) ถูกสร้างขึ้นเพื่อวัดความแม่นยำเฉพาะที่คำซึ่งภาษาเปลี่ยน และผลลัพธ์น่าอึดอัด หลังปรับจูนละเอียด Whisper-large ปรับปรุง WER โดยรวมบน Fisher สเปน-อังกฤษได้ 5.06% เชิงสัมพัทธ์ ขณะที่ข้อผิดพลาดที่จุดสลับเพิ่มขึ้น 39.47% กล่าวอีกอย่างคือ มาตรวัดบนกระดานจัดอันดับตามปกติให้รางวัลแก่โมเดลที่แย่ลงในเรื่องการสลับภาษาจริง ๆ
ทิศทางก็สำคัญ ในชุดอังกฤษ-โยรูบา ระบบจัดการการสลับกลับเป็นภาษาอังกฤษได้พอสมควร แต่ล้มเหลวเมื่อสลับไปเป็นภาษาโยรูบา การสลับที่ถี่ขึ้นทำให้อัตราความผิดพลาดของระบบที่แข็งแกร่งที่สุดสูงขึ้น และการสลับภายในคำเดียว (รากศัพท์ในภาษาหนึ่ง ส่วนต่อท้ายในอีกภาษาหนึ่ง) ยากที่สุด อัตราความผิดพลาดบางค่าเกิน 100% เพราะนับการแทรกคำเป็นข้อผิดพลาด โดยโมเดลเสียงเชิงสร้างสามตัวสร้างข้อความเกินในชุดโยรูบา ซึ่งเป็นรูปแบบความล้มเหลวที่กล่าวถึงในสรุปเรื่องภาพหลอนของการรู้จำเสียงพูดของเรา
| ตัวชี้วัด | ค่า | แหล่งที่มา |
|---|---|---|
| Whisper-large ที่ปรับจูนละเอียดบน Fisher สเปน-อังกฤษ: การเปลี่ยนแปลงของ WER โดยรวม และการเปลี่ยนแปลงของข้อผิดพลาดที่จุดสลับ (PIER) | ดีขึ้น 5.06% เทียบกับแย่ลง 39.47% (เชิงสัมพัทธ์) | Ugan และคณะ, บทความ PIER, ICASSP 2025 |
| Whisper-large ที่ปรับจูนละเอียดบน Fisher: WER และ PIER | 27.94% เทียบกับ 50.78% | Ugan และคณะ, บทความ PIER, ICASSP 2025 |
| Whisper-large บน ArzEn อาหรับ-อังกฤษ: ข้อผิดพลาดที่จุดสลับระหว่างคำ และภายในคำ | 49.50% เทียบกับ 105.71% | Ugan และคณะ, บทความ PIER, ICASSP 2025 |
| ข้อผิดพลาดของโทเคนแรกหลังการสลับ: อังกฤษเป็นโยรูบา และโยรูบาเป็นอังกฤษ | 0.95 ถึง 1.00 เทียบกับ 0.40 ถึง 0.53 | Okocha และ Grant, arXiv 2026 |
| WER เฉลี่ยของระบบที่แข็งแกร่งที่สุดเมื่อความหนาแน่นของการสลับต่ำและสูง (อังกฤษ-โยรูบา) | 66.9% เทียบกับ 71.2% | Okocha และ Grant, arXiv 2026 |
| อัตราความผิดพลาดของโทเคน ในประโยคที่เน้นภาษาอังกฤษ ประโยคสมดุล และประโยคที่เน้นภาษาโยรูบา | ประมาณ 0.42 เทียบกับ 0.65 เทียบกับ 0.83 | Okocha และ Grant, arXiv 2026 |
ข้อควรระวังด้านระเบียบวิธี: ชุดอังกฤษ-โยรูบามีการสลับเฉลี่ย 2.60 ครั้งต่อประโยค (สูงสุด 9) ในเสียง 9.54 ชั่วโมงจากผู้พูด 100 คน จึงเป็นการทดสอบความทนทาน ไม่ใช่บทสนทนาทั่วไป ตารางฉบับเต็ม: บทความ PIER และการประเมินอังกฤษ-โยรูบาที่คำนึงถึงจุดสลับ
4. การระบุภาษาที่จุดสลับ
โมเดลหลายภาษาส่วนใหญ่ตัดสินว่ากำลังได้ยินภาษาใดก่อนถอดเสียง ในเสียงพูดที่สลับภาษา การตัดสินใจครั้งเดียวนั้นผิดโดยการออกแบบสำหรับบางส่วนของทุกประโยค ในบทสนทนาสองภาษาของอินเดียจริง ช่วงของภาษาหนึ่งยาวโดยเฉลี่ยราว 500 มิลลิวินาที และหลายช่วงการพูดเป็นคำเดี่ยวยาวราว 200 มิลลิวินาที (Baghel และคณะ, สรุป DISPLACE 2023) การแบ่งช่วงภาษา (การระบุว่าใครพูดภาษาใดเมื่อใด เป็นคู่เทียบด้านภาษาของการแบ่งช่วงผู้พูด) จึงมีปัญหาตามไปด้วย และความสับสนระหว่างภาษาเป็นองค์ประกอบข้อผิดพลาดที่ใหญ่ที่สุด
จุดอ่อนเดียวกันปรากฏเป็นความไวต่อคำสั่ง การบอก Whisper ว่าให้คาดว่าเป็นภาษาใดสามารถทำให้ผลต่างกันได้หลายสิบจุด และการปล่อยให้ตรวจจับภาษาอัตโนมัติแย่กว่าการกำหนดภาษาตายตัวในชุดอังกฤษ-โยรูบา ระบบการเขียนก็มีผล ใน CS-FLEURS คู่ภาษาที่เขียนด้วยสองระบบการเขียนต่างกันมี CER เฉลี่ยสูงกว่าคู่ที่ใช้ระบบเดียวกัน 3 เท่า ซึ่งเป็นปัญหาที่เกี่ยวข้องกับประเด็นการแทนค่าข้ามภาษาที่กล่าวถึงในสถิติการฝังเสียงพูดหลายภาษาของเรา
| ตัวชี้วัด | ค่า | แหล่งที่มา |
|---|---|---|
| อัตราความผิดพลาดของการแบ่งช่วงภาษา DISPLACE 2023 การประเมินเฟส 2: ค่าฐาน (B2) และทีมที่ดีที่สุด | 41.67% เทียบกับ 37.60% | Baghel และคณะ, สรุปการแข่งขัน DISPLACE 2023 |
| องค์ประกอบข้อผิดพลาดจากความสับสนของค่าฐาน (B2) การประเมินเฟส 2 | 26.40% (องค์ประกอบที่ใหญ่ที่สุด) | Baghel และคณะ, สรุปการแข่งขัน DISPLACE 2023 |
| คลังข้อมูล DISPLACE 2023: จำนวนชั่วโมงรวมและภาษา | 32 ชั่วโมง; เจ็ดภาษา (หกภาษาอินเดียและอังกฤษแบบอินเดีย) | Baghel และคณะ, สรุปการแข่งขัน DISPLACE 2023 |
| MER ของ Whisper-small ที่ยังไม่ปรับจูนบนชุดพัฒนา SEAME DevSge: สั่งเป็นภาษาจีนกลาง และสั่งเป็นภาษาอังกฤษ | 157.5% เทียบกับ 83.6% | Yang และคณะ, Whisper บน SEAME และ ASRU 2019 (2023) |
| Whisper-large-v3 บนอังกฤษ-โยรูบา: WER เมื่อตรวจจับภาษาอัตโนมัติ และเมื่อกำหนดคำสั่งตายตัว | 74.8% เทียบกับ 71.2% | Okocha และ Grant, arXiv 2026 |
| ข้อผิดพลาดที่จุดสลับ (PIER) ของ Whisper-large-v3 บนส่วนทดสอบ SEAME.sge: การถอดรหัสที่ไม่ขึ้นกับภาษา และการถอดรหัสที่บังคับเป็นภาษาอังกฤษ | 64.51% เทียบกับ 36.10% | Ugan และคณะ, บทความ PIER, ICASSP 2025 |
| CER ของ Whisper-Large-v3 บนเสียงอ่าน CS-FLEURS: คู่ภาษาที่ใช้ระบบการเขียนเดียวกัน และคู่ภาษาที่ใช้ระบบการเขียนต่างกัน | 7.32% เทียบกับ 32.33% | Yan และคณะ, CS-FLEURS, Interspeech 2025 |
หมายเหตุด้านบริบท: สรุป DISPLACE ยังรายงานคะแนนแบบผ่อนปรน (DER**, 34.72% สำหรับค่าฐานในเฟส 2) ที่ใช้ค่าเผื่อ 250 ms ซึ่งตัดคำต่างประเทศสั้น ๆ ที่ยาว 500 ms หรือน้อยกว่าออกจากการประเมิน ผู้เขียนบทความสรุปว่าข้อผิดพลาดหลักมาจากช่วงภาษาผสมที่มีระยะเวลาสั้น แหล่งที่มา: สรุปการแข่งขัน DISPLACE 2023
5. การขาดแคลนข้อมูล: มีเสียงพูดที่สลับภาษากี่ชั่วโมง
การขาดแคลนคือต้นเหตุเบื้องหลังหัวข้อที่ 1 ถึง 4 คลังข้อมูลจีนกลาง-อังกฤษที่ใหญ่ที่สุดในตารางเปรียบเทียบของ CS-Dialogue คือ TALCS มี 587 ชั่วโมง ขณะที่ Whisper ถูกฝึกด้วยเสียง 680,000 ชั่วโมง TALCS จึงเท่ากับราว 0.09% ของจำนวนนั้น (587 / 680,000 = 0.086%) คลังข้อมูลการสลับภาษาส่วนใหญ่เล็กกว่ามาก ครอบคลุมเพียงคู่ภาษาเดียว และหลายแห่งดาวน์โหลดไม่ได้เลย
แม้แต่เกณฑ์มาตรฐานที่ทุกคนอ้างถึงก็ยังระบุขนาดได้ยาก SEAME ปรากฏเป็น 192 ชั่วโมงในแคตตาล็อกของ Linguistic Data Consortium แต่เป็น 30 ชั่วโมงในตารางเปรียบเทียบปี 2025 ฉบับหนึ่ง (ดูข้อสังเกตเกี่ยวกับข้อมูลในส่วนระเบียบวิธี) ความครอบคลุมของคำศัพท์เป็นช่องว่างที่สอง ใน MUCS 2021 อัตราคำนอกคลังคำศัพท์ (สัดส่วนคำทดสอบที่ไม่มีในคลังคำศัพท์ของข้อมูลฝึก) สูงถึง 27.3% ในชุดทดสอบแบบปกปิดเบงกอล-อังกฤษ
| ตัวชี้วัด | ค่า | แหล่งที่มา |
|---|---|---|
| คลังข้อมูลจีนกลาง-อังกฤษ SEAME (สิงคโปร์และมาเลเซีย): ชั่วโมงและผู้พูด | ราว 192 ชั่วโมง; ผู้พูด 156 คนอายุ 19 ถึง 33 ปี | Linguistic Data Consortium, SEAME LDC2015S04 (2015) |
| ข้อมูลฝึกแบบสลับภาษาของ MUCS 2021: ฮินดี-อังกฤษ และเบงกอล-อังกฤษ | 89.86 ชั่วโมง เทียบกับ 46.11 ชั่วโมง | Diwan และคณะ, การแข่งขัน MUCS 2021 |
| อัตราคำนอกคลังคำศัพท์ของ MUCS 2021 ชุดทดสอบแบบปกปิด: ฮินดี-อังกฤษ และเบงกอล-อังกฤษ | 19.6% เทียบกับ 27.3% | Diwan และคณะ, การแข่งขัน MUCS 2021 |
| ข้อมูลการแข่งขัน ASRU 2019: ข้อมูลฝึกภาษาจีนกลางล้วน ข้อมูลฝึกแบบสลับภาษา และชุดพัฒนาแบบสลับภาษา | 500 เทียบกับ 200 เทียบกับ 40 ชั่วโมง | Shi และคณะ, รายงานการแข่งขัน ASRU 2019 (2020) |
| คลังข้อมูลจีนกลาง-อังกฤษแบบสนทนาสด: ASCEND, CS-Dialogue และ TALCS | 10.62 ชั่วโมง (ผู้พูด 23 คน) เทียบกับ 104.02 ชั่วโมง (ผู้พูด 200 คน) เทียบกับ 587 ชั่วโมง | Zhou และคณะ, CS-Dialogue 2025 (ตารางเปรียบเทียบ) |
| CS-FLEURS: จำนวนภาษา คู่ภาษาที่สลับ ชั่วโมงรวม | 52 ภาษา 113 คู่ 294 ชั่วโมง | Yan และคณะ, CS-FLEURS, Interspeech 2025 |
| ขนาดเกณฑ์มาตรฐานเกาหลี-อังกฤษ HiKE | 1,121 ประโยค ราว 2.2 ชั่วโมง ผู้พูด 13 คน | Paik และคณะ, เกณฑ์มาตรฐาน HiKE 2026 |
| คลังข้อมูลการสลับภาษาที่เสนอไว้ในงานวิจัย NLP: ทั้งหมด และที่เป็นข้อมูลส่วนตัว | 114 เทียบกับ 72 (63%) | Winata และคณะ, ACL Findings 2023 |
ข้อสังเกตด้านความทันสมัย: ตัวเลขของ SEAME, MUCS และการสำรวจคลังข้อมูลเป็นข้อมูลล่าสุดที่มี (LDC 2015, MUCS 2021, Winata และคณะ 2023) โปรดทราบด้วยว่า 128 จาก 294 ชั่วโมงของ CS-FLEURS เป็นชุดฝึกที่เป็นเสียงสังเคราะห์ซึ่งสร้างด้วยระบบแปลงข้อความเป็นเสียงพูด และชุดทดสอบส่วนใหญ่ก็เป็นเสียงสังเคราะห์เช่นกัน มีเพียงชุดทดสอบ READ ยาว 17 ชั่วโมงเท่านั้นที่ใช้เสียงจริงของผู้พูดสองภาษา แหล่งที่มา: รายการแคตตาล็อก LDC ของ SEAME, งานสำรวจของ Winata และคณะ, บทความ Whisper
6. ผลของการปรับจูนละเอียดและการปรับตัว
ข้อมูลสลับภาษาในโดเมนเดียวกันเพียงเล็กน้อยก็ให้ผลมาก การปรับจูนละเอียด Whisper-Medium บนเสียงพูดเกาหลี-อังกฤษแบบธรรมชาติลดอัตราความผิดพลาดแบบผสมของ HiKE จาก 31.3 เหลือ 9.0 ลดลง 22.3 จุด และ Whisper-small บน SEAME ลดลงจาก 101.9 เหลือ 14.3 MER บนชุดพัฒนา DevMan ด้วยคำสั่งเดียวกัน ทีมของ Yang และคณะรายงานว่าผลที่ดีขึ้นบน SEAME อิ่มตัวหลังข้อมูลปรับตัวประมาณ 1 ถึง 10 ชั่วโมง
อย่างไรก็ตามมีข้อแลกเปลี่ยน การปรับจูนละเอียดบน HiKE ชุดเดียวกันทำให้ CER ภาษาเกาหลีล้วนเพิ่มจาก 3.4 เป็น 6.0 ดังนั้นโมเดลที่ปรับสำหรับเสียงพูดผสมอาจเสียความแม่นยำในเสียงพูดภาษาเดียว ขนาดของข้อมูลยังคงชนะการปรับจูน Conformer ภายในองค์กรที่ฝึกด้วยข้อมูลกว่า 40,000 ชั่วโมงทำได้ดีกว่า Whisper-small ที่ปรับจูนละเอียดราว 18% บน SEAME (Yang และคณะ, 2023)
| ตัวชี้วัด | ค่า | แหล่งที่มา |
|---|---|---|
| Whisper-Medium บน HiKE: MER ก่อนและหลังปรับจูนละเอียดบนเสียงพูดเกาหลี-อังกฤษแบบธรรมชาติ | 31.3 เทียบกับ 9.0 | Paik และคณะ, เกณฑ์มาตรฐาน HiKE 2026 |
| การปรับจูนละเอียดเดียวกัน: CER ภาษาเกาหลีล้วน ก่อนและหลัง | 3.4 เทียบกับ 6.0 | Paik และคณะ, เกณฑ์มาตรฐาน HiKE 2026 |
| Whisper-small บน SEAME คำสั่งภาษาอังกฤษ: MER เมื่อยังไม่ปรับจูนและเมื่อปรับจูนละเอียด ชุดพัฒนา DevMan และชุดพัฒนา DevSge | 101.9 เทียบกับ 14.3; 83.6 เทียบกับ 20.4 | Yang และคณะ, Whisper บน SEAME และ ASRU 2019 (2023) |
| ปริมาณข้อมูลปรับตัวที่ผลบน SEAME เริ่มอิ่มตัว | ประมาณ 1 ถึง 10 ชั่วโมง | Yang และคณะ, Whisper บน SEAME และ ASRU 2019 (2023) |
| Whisper-Medium บน CS-Dialogue: MER เมื่อยังไม่ปรับจูนและเมื่อปรับจูนละเอียด | 15.88% เทียบกับ 7.53% (ลดลงเชิงสัมพัทธ์ 52.6%) | Zhou และคณะ, CS-Dialogue 2025 |
| ชุดทดสอบเสียงอ่าน CS-FLEURS คู่ภาษาที่เคยเห็น: อัตราความผิดพลาดเมื่อไม่มีและเมื่อมีการเพิ่มข้อมูลสลับภาษาแบบสังเคราะห์ | 31.77 เทียบกับ 26.24 | Yan และคณะ, CS-FLEURS, Interspeech 2025 |
หมายเหตุการคำนวณ: การลดลงเชิงสัมพัทธ์ของ CS-Dialogue คือ (15.88 - 7.53) / 15.88 = 52.6% การปรับจูนละเอียดไม่ได้ช่วยเสมอไป ในบทความ PIER Whisper-small ที่ปรับจูนละเอียดบน SEAME เพิ่มจาก 68.24 เป็น 87.67 MER บนส่วนทดสอบ SEAME.sge แหล่งที่มา: Yang และคณะ 2023
7. การสลับภาษาพบได้บ่อยแค่ไหนในหมู่ผู้พูดสองภาษา
ระบบรู้จำเสียงปฏิบัติต่อการสลับภาษาเหมือนกรณีชายขอบ แต่ข้อมูลสำรวจบอกว่าเป็นการพูดในชีวิตประจำวัน 63% ของผู้ใหญ่ชาวละตินในสหรัฐฯ บอกว่าใช้ Spanglish อย่างน้อยเป็นบางครั้ง และ 40% บอกว่าใช้บ่อย (Pew Research Center 2023, การสำรวจผู้ใหญ่ชาวฮิสแปนิก 3,029 คน ดำเนินการระหว่างวันที่ 1 ถึง 14 สิงหาคม 2022) ในกลุ่มชาวละตินที่พูดได้สองภาษา สัดส่วนเพิ่มเป็น 77% และ 52% ของพวกเขาใช้ Spanglish บ่อยหรือบ่อยมาก สำหรับระบบรู้จำเสียงพูด นั่นหมายความว่าภาษาผสมเป็นข้อมูลนำเข้าปกติจากผู้ใช้กลุ่มใหญ่ ไม่ใช่ข้อยกเว้นที่พบได้ยาก
ข้อมูลข้อความแสดงภาพเดียวกันในระดับใหญ่ จากทวีตราว 50 ล้านรายการใน 7 ภาษา (ดัตช์ อังกฤษ ฝรั่งเศส เยอรมัน โปรตุเกส สเปน และตุรกี) ราว 3.5% มีการสลับภาษา โดยมีภาษาอังกฤษอยู่ใน 85.4% ของทวีตเหล่านั้น ความสนใจของงานวิจัยตามประชากรสองภาษากลุ่มใหญ่ที่สุด ฮินดี-อังกฤษและสเปน-อังกฤษครองงานวิจัย และบทความส่วนใหญ่ใน ISCA เวทีหลักของงานวิจัยด้านเสียงพูด ทำงานกับข้อมูลเสียงพูด
| ตัวชี้วัด | ค่า | แหล่งที่มา |
|---|---|---|
| ผู้ใหญ่ชาวละตินในสหรัฐฯ ที่ใช้ Spanglish อย่างน้อยเป็นบางครั้ง และที่ใช้บ่อย | 63% เทียบกับ 40% | Pew Research Center, Latinos’ Views of and Experiences With the Spanish Language (2023) |
| การใช้ Spanglish อย่างน้อยเป็นบางครั้ง: ชาวละตินที่พูดได้สองภาษา ที่เน้นภาษาอังกฤษ และที่เน้นภาษาสเปน | 77% เทียบกับ 54% เทียบกับ 56% | Pew Research Center (2023) |
| การใช้ Spanglish อย่างน้อยเป็นบางครั้ง: รุ่นที่สอง และรุ่นที่สามขึ้นไป | 72% เทียบกับ 45% | Pew Research Center (2023) |
| พ่อแม่ที่พูดได้สองภาษาซึ่งรายงานว่าผสมภาษากับลูก | 90% ของพ่อแม่ 181 คน | Concordia University, การศึกษาของ Byers-Heinlein (2013) |
| สัดส่วนที่สลับภาษาในทวีตราว 50 ล้านรายการใน 7 ภาษา | ประมาณ 3.5% | Rijhwani และคณะ, ACL 2017 |
| คู่ภาษาที่ผสมกันมากที่สุดเป็นสัดส่วนของทวีตที่สลับภาษา: อังกฤษ-สเปน, อังกฤษ-ฝรั่งเศส, อังกฤษ-โปรตุเกส | 21.5%, 20.8%, 18.4% | Rijhwani และคณะ, ACL 2017 |
| เมืองที่มีสัดส่วนทวีตสลับภาษาสูงที่สุดและต่ำที่สุด | อิสตันบูล 12% เทียบกับ ฮิวสตัน 1% | Rijhwani และคณะ, ACL 2017 |
| บทความวิจัยการสลับภาษาแยกตามคู่ภาษา: ฮินดี-อังกฤษ, สเปน-อังกฤษ และจีน-อังกฤษ | 128 เทียบกับ 86 เทียบกับ 47 | Winata และคณะ, ACL Findings 2023 |
ข้อสังเกตด้านความทันสมัย: การศึกษาพ่อแม่ (2013) และการวิเคราะห์ Twitter (2017) เป็นข้อมูลล่าสุดที่มีสำหรับตัวชี้วัดเหล่านั้น ส่วนตัวเลขของ Pew มาจากการสำรวจปี 2022 แหล่งที่มา: รายงานของ Pew Research Center, Rijhwani และคณะ 2017, ข่าวประชาสัมพันธ์การศึกษาของ Concordia
สรุป: การรู้จำเสียงพูดที่สลับภาษาในรูปแบบตัวเลข
| ตัวชี้วัด | ค่า | แหล่งที่มา |
|---|---|---|
| Whisper-Large: MER เกาหลี-อังกฤษที่สลับภาษา และ WER ภาษาอังกฤษล้วน | 26.1% เทียบกับ 4.4% | Paik และคณะ, เกณฑ์มาตรฐาน HiKE 2026 |
| CER บน CS-FLEURS ที่สลับภาษา และ FLEURS ภาษาเดียว | สูงกว่า 2 เท่า | Yan และคณะ, CS-FLEURS, Interspeech 2025 |
| ผู้ชนะ ASRU 2019: CER ภาษาจีนกลาง และ WER ภาษาอังกฤษที่แทรก | 4.04% เทียบกับ 12.33% | Shi และคณะ, รายงานการแข่งขัน ASRU 2019 (2020) |
| MER ค่าฐานที่ดีที่สุดบนบทสนทนาสดของ ASCEND | 27.05% | Lovenia และคณะ, คลังข้อมูล ASCEND (2021) |
| MER ของ CS-Dialogue: SenseVoice-Small และ Whisper Large-V2 | 6.71% เทียบกับ 15.29% | Zhou และคณะ, CS-Dialogue 2025 |
| WER ค่าฐานแบบต้นทางถึงปลายทางของ MUCS 2021: ฮินดี-อังกฤษ และเบงกอล-อังกฤษ | 25.9% เทียบกับ 31.0% | Diwan และคณะ, การแข่งขัน MUCS 2021 |
| Whisper-large ที่ปรับจูนละเอียดบน Fisher: การเปลี่ยนแปลงของ WER และการเปลี่ยนแปลงของข้อผิดพลาดที่จุดสลับ | ดีขึ้น 5.06% เทียบกับแย่ลง 39.47% | Ugan และคณะ, บทความ PIER, ICASSP 2025 |
| ข้อผิดพลาดหลังสลับไปเป็นโยรูบา และไปเป็นอังกฤษ | 0.95 ถึง 1.00 เทียบกับ 0.40 ถึง 0.53 | Okocha และ Grant, arXiv 2026 |
| ช่วงภาษาโดยเฉลี่ยในบทสนทนาสองภาษาของอินเดีย | ประมาณ 500 ms | Baghel และคณะ, สรุปการแข่งขัน DISPLACE 2023 |
| อัตราความผิดพลาดของการแบ่งช่วงภาษาที่ดีที่สุด, DISPLACE 2023 | 37.60% | Baghel และคณะ, สรุปการแข่งขัน DISPLACE 2023 |
| CER ของ CS-FLEURS เสียงอ่าน: คู่ภาษาที่ใช้ระบบการเขียนเดียวกัน และคู่ภาษาที่ใช้ระบบการเขียนต่างกัน | 7.32% เทียบกับ 32.33% | Yan และคณะ, CS-FLEURS, Interspeech 2025 |
| คลังข้อมูลจีนกลาง-อังกฤษที่ใหญ่ที่สุดที่ระบุไว้ (TALCS) และข้อมูลฝึกของ Whisper | 587 ชั่วโมง เทียบกับ 680,000 ชั่วโมง | Zhou และคณะ, CS-Dialogue 2025; Radford และคณะ, OpenAI 2022 |
| ขนาดคลังข้อมูล SEAME | ราว 192 ชั่วโมง ผู้พูด 156 คน | Linguistic Data Consortium, LDC2015S04 |
| สัดส่วนที่เป็นข้อมูลส่วนตัวของคลังข้อมูลการสลับภาษา | 72 จาก 114 (63%) | Winata และคณะ, ACL Findings 2023 |
| ผู้ใหญ่ชาวละตินในสหรัฐฯ ที่ใช้ Spanglish อย่างน้อยเป็นบางครั้ง | 63% | Pew Research Center (2023) |
| สัดส่วนที่สลับภาษาของทวีตใน 7 ภาษา | ประมาณ 3.5% | Rijhwani และคณะ, ACL 2017 |
ระเบียบวิธีและแหล่งที่มา
- Paik และคณะ, HiKE: Hierarchical Evaluation Framework for Korean-English Code-Switching Speech Recognition, arXiv v4, 13 มกราคม 2026: arxiv.org/html/2509.24613v4
- Yan และคณะ, CS-FLEURS: A Massively Multilingual and Code-Switched Speech Dataset, Interspeech 2025: arxiv.org/abs/2509.14161v1
- Okocha และ Grant, Beyond Word Error Rate: A Switch Aware Evaluation of ASR and Audio Language Models on English Yoruba Code-Switched Speech, arXiv, 10 กันยายน 2026: arxiv.org/abs/2609.11786
- Ugan, Pham, Barmann และ Waibel, PIER: A Novel Metric for Evaluating What Matters in Code-Switching, ICASSP 2025: arxiv.org/html/2501.09512
- Zhou และคณะ, CS-Dialogue: A 104-Hour Dataset of Spontaneous Mandarin-English Code-Switching Dialogues for Speech Recognition, arXiv v2, 12 มีนาคม 2025: arxiv.org/html/2502.18913v2
- Shi, Feng และ Xie, The ASRU 2019 Mandarin-English Code-Switching Speech Recognition Challenge: Open Datasets, Tracks, Methods and Results, 2020: arxiv.org/abs/2007.05916
- Diwan และคณะ, Multilingual and code-switching ASR challenges for low resource Indian languages (MUCS 2021), 2021: arxiv.org/abs/2104.00235
- Lovenia และคณะ, ASCEND: A Spontaneous Chinese-English Dataset for Code-switching in Multi-turn Conversation, 2021: arxiv.org/abs/2112.06223v4
- Yang, Peng, Zhong, Huang และ Chng, Adapting OpenAI’s Whisper for Speech Recognition on Code-Switch Mandarin-English SEAME and ASRU2019 Datasets, 29 พฤศจิกายน 2023: arxiv.org/html/2311.17382v1
- Baghel และคณะ, Summary of the DISPLACE Challenge 2023, แก้ไขเมื่อ 3 มกราคม 2024: arxiv.org/abs/2311.12564
- Linguistic Data Consortium, รายการแคตตาล็อก SEAME LDC2015S04, เผยแพร่เมื่อ 15 เมษายน 2015: catalog.ldc.upenn.edu/LDC2015S04
- Winata, Aji, Yong และ Solorio, The Decades Progress on Code-Switching Research in NLP, ACL Findings 2023: arxiv.org/abs/2212.09660
- Radford และคณะ (OpenAI), Robust Speech Recognition via Large-Scale Weak Supervision, 2022: arxiv.org/abs/2212.04356
- Pew Research Center, Latinos’ Views of and Experiences With the Spanish Language, 20 กันยายน 2023: pewresearch.org
- Rijhwani และคณะ, Estimating Code-Switching on Twitter with a Novel Generalized Word-Level Language Detection Technique, ACL 2017: aclanthology.org/P17-1180
- Concordia University, การศึกษาของ Byers-Heinlein กับพ่อแม่ที่พูดได้สองภาษา 181 คน, ข่าวประชาสัมพันธ์ 16 มกราคม 2013: sciencedaily.com
- ข้อสังเกตเกี่ยวกับข้อมูล: ขนาดของ SEAME แตกต่างกันตามแหล่งที่มา แคตตาล็อก LDC ระบุราว 192 ชั่วโมงและผู้พูด 156 คน ตารางเปรียบเทียบของ CS-Dialogue ระบุ 30 ชั่วโมงและผู้พูด 157 คน (ข้อความของบทความเองระบุผู้พูด 92 คน) และ Yang และคณะใช้ชุดฝึก 93.6 ชั่วโมง ตัวเลขเหล่านี้จึงน่าจะอธิบายชุดย่อยที่ต่างกัน บทคัดย่อของ MUCS 2021 อ้างถึง WER ค่าฐานของการสลับภาษา 32.45% ซึ่งตรงกับค่าเฉลี่ยแบบต้นทางถึงปลายทางที่ยังไม่จัดแนวใหม่ ไม่ใช่ผลที่จัดแนวใหม่แล้วซึ่งอ้างไว้ที่นี่ และยอดรวมราว 600 ชั่วโมงที่ระบุไม่ตรงกับผลรวมของตารางในบทความเอง บทคัดย่อของ ASRU 2019 ระบุข้อมูลสลับภาษา 240 ชั่วโมง ซึ่งคือชั่วโมงฝึก 200 ชั่วโมงรวมชั่วโมงพัฒนา 40 ชั่วโมง ตัวเลขของ HiKE เปลี่ยนไประหว่างเวอร์ชันของ arXiv (MER โดยรวมของ Whisper-Tiny คือ 103.8 ใน v2 และ 93.6 ใน v4) เราอ้างถึง v4 บทความอังกฤษ-โยรูบาโพสต์เมื่อ 10 กันยายน 2026 และตัวเลขอาจเปลี่ยนหลังการทบทวนโดยผู้ทรงคุณวุฒิ MER, CER, WER และ PIER อาจเกิน 100% เพราะนับการแทรกคำเป็นข้อผิดพลาด ตัวเลขความชุกวัดสิ่งที่ต่างกัน (คำพูดที่รายงานเอง คำพูดที่พ่อแม่รายงาน ทวีตที่เป็นลายลักษณ์อักษร) และไม่ควรนำมารวมกัน
- อัปเดตล่าสุด: 31 ตุลาคม 2026 เราจะทบทวนและอัปเดตสรุปนี้ทุกไตรมาส และคาดว่าการรีเฟรชครั้งถัดไปจะเกิดขึ้นเมื่อบทความเรื่องการสลับภาษาของ Interspeech 2026 และ ICASSP 2027 รวมถึงเวอร์ชันสุดท้ายที่ผ่านการทบทวนโดยผู้ทรงคุณวุฒิของเกณฑ์มาตรฐาน HiKE ได้รับการเผยแพร่