ระบบรู้จำเสียงพูดเชิงพาณิชย์ห้าระบบมีอัตราข้อผิดพลาดของคำ (WER) เฉลี่ย 0.35 สำหรับผู้พูดผิวดำ เทียบกับ 0.19 สำหรับผู้พูดผิวขาว (Stanford, Koenecke และคณะ, PNAS 2020) และการศึกษาที่ตีพิมพ์ในปี 2026 ก็ยังพบ WER เฉลี่ย 20% เทียบกับ 15% ในระบบเชิงพาณิชย์สี่ระบบ (University of Washington, Scott และคณะ, LREC 2026) ชุดทดสอบมาตรฐานซ่อนช่องว่างนี้ไว้ Whisper large ทำได้ 2.7% บน LibriSpeech test-clean และ 19.7% บนคลังข้อมูลสำเนียงภาษาอังกฤษนานาชาติ (University of Edinburgh, บทความ EdAcc 2023) สำหรับผู้พูดที่มีภาวะดิสอาร์เทรียจากโรคพาร์กินสัน ระบบรู้จำเสียงที่ผิดพลาด 3.4% กับเสียงพูดทั่วไปจะผิดพลาดถึง 36.3% (Speech Accessibility Project, JSLHR 2024) เรารวบรวมข้อมูลจาก PNAS บทความ Whisper ของ OpenAI ชุดข้อมูล Fair-Speech ของ Meta, Speech Accessibility Project, Mozilla Common Voice และแหล่งข้อมูลที่ผ่านการพิจารณาโดยผู้ทรงคุณวุฒิอีกกว่าสิบแห่ง โดยคงรูปแบบการเขียนของแต่ละแหล่งไว้ (บางแหล่งรายงาน WER เป็นเศษส่วน เช่น 0.35 ส่วนใหญ่รายงานเป็นเปอร์เซ็นต์ เช่น 19.7%) ตัวชี้วัดเดียวกันนี้เป็นรากฐานของกฎความแม่นยำของคำบรรยายสด จึงทำให้ WER ที่ต่างกันเพียงไม่กี่จุดมีความหมายไกลเกินห้องทดลอง
สรุปโดยย่อ
- ระบบ ASR เชิงพาณิชย์ห้าระบบมี WER เฉลี่ย 0.35 สำหรับผู้พูดผิวดำ เทียบกับ 0.19 สำหรับผู้พูดผิวขาว และ 23% เทียบกับ 1.6% ของตัวอย่างเสียงใช้งานไม่ได้เมื่อ WER สูงกว่า 0.5 (Stanford, Koenecke และคณะ, PNAS 2020)
- ระบบเชิงพาณิชย์สี่ระบบมี WER เฉลี่ย 20% สำหรับผู้พูดชาวแอฟริกันอเมริกัน เทียบกับ 15% สำหรับผู้พูดชาวอเมริกันผิวขาว เพิ่มขึ้นแบบสัมพัทธ์ 33% (University of Washington, Scott และคณะ, LREC 2026)
- Whisper large ทำได้ WER 2.7% บน LibriSpeech test-clean และ 19.7% บนชุดทดสอบภาษาอังกฤษสำเนียง EdAcc (University of Edinburgh, บทความ EdAcc 2023)
- Whisper-large-v2 ทำได้ 9.52 สำหรับผู้พูดผิวดำหรือแอฟริกันอเมริกัน เทียบกับ 3.96 สำหรับผู้พูดผิวขาวบนคำสั่งเสียง (Meta, Fair-Speech Dataset 2024)
- ระบบรู้จำเสียงภาษาดัตช์ทำได้ WER 55.9% บนเสียงพูดแบบอ่านของผู้ที่ไม่ใช่เจ้าของภาษา เทียบกับ 26.1% ของเจ้าของภาษา (TU Delft, Feng และคณะ, Quantifying Bias in ASR 2021)
- เสียงพูดที่มีภาวะดิสอาร์เทรียทำให้ WER พื้นฐาน 3.4% พุ่งเป็น 36.3% และการปรับจูนอย่างละเอียดช่วยลดเหลือ 23.7% (Speech Accessibility Project, JSLHR 2024)
- ระบบที่ดีที่สุดใน Interspeech 2025 Speech Accessibility Project Challenge ทำได้ WER 8.11% เทียบกับค่าฐาน whisper-large-v2 ที่ 17.82% (Zheng และคณะ, Interspeech 2025)
- ระบบ ASR หกระบบมี WER เฉลี่ย .281 บนเสียงพูดติดอ่าง เทียบกับ .105 เมื่อตัดความไม่คล่องในการพูดออก (Mujtaba และคณะ, NAACL 2024)
- Common Voice Scripted Speech v27.0 มี 29,295 ชั่วโมงที่ผ่านการตรวจสอบแล้วใน 295 ภาษา เทียบกับจำนวนภาษาทั่วโลกที่มากกว่า 7,000 ภาษา (Mozilla Common Voice 2026; Pratap และคณะ, บทความ MMS 2023)
- AWS General Transcribe มี WER มัธยฐาน 50% สำหรับผู้ป่วยผิวดำที่รับการดูแลสุขภาพที่บ้าน เทียบกับ 33% สำหรับผู้ป่วยผิวขาว P = 0.016 (Zolnoori และคณะ, JAMIA Open 2024)
- ผู้บันทึกการพิจารณาคดีของศาลที่ได้รับการรับรองความแม่นยำ 95% ทำได้ความแม่นยำระดับคำเฉลี่ย 82.9% กับภาษาอังกฤษแบบแอฟริกันอเมริกัน (Jones และคณะ, Language 2019)
- ผู้เข้าร่วมชาวแอฟริกันอเมริกัน 93% ในการศึกษาแบบบันทึกประจำวันสองสัปดาห์ปรับเปลี่ยนสำเนียงของตนเพื่อให้เทคโนโลยีเสียงเข้าใจ (Mengesha และคณะ, Frontiers in Artificial Intelligence 2021)
1. ช่องว่างด้านเชื้อชาติและสำเนียงท้องถิ่นใน ASR เชิงพาณิชย์และแบบเปิด
ตัวเลขอ้างอิงหลักมีอายุหกปีแล้วและยังไม่ถูกแทนที่ด้วยหลักฐานที่ดีกว่า ในการตรวจสอบของ PNAS กับ Amazon, Apple, Google, IBM และ Microsoft WER เฉลี่ยอยู่ที่ 0.35 สำหรับผู้พูดผิวดำ และ 0.19 สำหรับผู้พูดผิวขาว ต่างกัน 0.16 (0.35 ลบ 0.19) วัดจากเสียง 19.8 ชั่วโมงของผู้พูดผิวดำ 73 คนและผู้พูดผิวขาว 42 คนที่จับคู่ตามอายุและเพศ ผู้เขียนชี้ว่าปัญหาอยู่ที่แบบจำลองเสียง เพราะช่องว่างยังคงอยู่แม้กับวลีเดียวกัน Microsoft ซึ่งเป็นระบบที่ดีที่สุดทำได้ 0.13 เทียบกับ 0.07 บนประโยคที่จับคู่กัน ข้อมูลล่าสุดที่มีสำหรับการตรวจสอบผู้ให้บริการห้าราย: Koenecke และคณะ, PNAS 2020
หลักฐานใหม่กว่าซึ่งมาจากคลังข้อมูลที่ต่างกันแสดงอัตราข้อผิดพลาดโดยรวมที่ต่ำลงแต่ช่องว่างยังไม่ปิด ทีม University of Washington รายงานการเพิ่มขึ้นแบบสัมพัทธ์ 33% สำหรับผู้พูดชาวแอฟริกันอเมริกันในระบบเชิงพาณิชย์สี่ระบบ และชุดข้อมูลคำสั่งเสียงของ Meta เองแสดงให้เห็น Whisper-large-v2 ที่ 9.52 สำหรับผู้พูดผิวดำหรือแอฟริกันอเมริกัน เทียบกับ 3.96 สำหรับผู้พูดผิวขาว ทีม Washington เชื่อมโยงข้อผิดพลาดกับความแตกต่างของคุณภาพสระระหว่างสำเนียงท้องถิ่น ซึ่งสอดคล้องกับการวินิจฉัยเรื่องแบบจำลองเสียงเมื่อปี 2020
| ตัวชี้วัด | ค่า | แหล่งที่มา |
|---|---|---|
| WER เฉลี่ย ผู้พูดผิวดำเทียบกับผู้พูดผิวขาว ระบบเชิงพาณิชย์ห้าระบบ | 0.35 เทียบกับ 0.19 | Stanford (Koenecke และคณะ), PNAS 2020 |
| ผู้ให้บริการที่ดีที่สุดและแย่ที่สุด ผู้พูดผิวดำเทียบกับผู้พูดผิวขาว | Microsoft 0.27 เทียบกับ 0.15; Apple 0.45 เทียบกับ 0.23 | Stanford (Koenecke และคณะ), PNAS 2020 |
| ตัวอย่างเสียงที่ WER สูงกว่า 0.5 (ข้อความถอดความที่ใช้งานไม่ได้) | 23% ของตัวอย่างเสียงผู้พูดผิวดำ เทียบกับ 1.6% ของผู้พูดผิวขาว | Stanford (Koenecke และคณะ), PNAS 2020 |
| WER เฉลี่ย ผู้พูดชาวแอฟริกันอเมริกันเทียบกับชาวอเมริกันผิวขาว ระบบเชิงพาณิชย์สี่ระบบ | 20% เทียบกับ 15% (เพิ่มขึ้นแบบสัมพัทธ์ 33%) | University of Washington (Scott และคณะ), LREC 2026 |
| WER เฉลี่ย ผู้พูด ChicanX และ Yakama ระบบทั้งสี่ระบบเดิม | 23% และ 21% | University of Washington (Scott และคณะ), LREC 2026 |
| WER ผู้พูดผิวดำหรือแอฟริกันอเมริกันเทียบกับผู้พูดผิวขาว Whisper-large-v2 และ Whisper-small | 9.52 เทียบกับ 3.96; 16.99 เทียบกับ 4.51 | Meta (Veliche และคณะ), Fair-Speech Dataset 2024 |
| ช่องว่าง WER แบบสัมพัทธ์ระหว่างกลุ่มชาติพันธุ์ Whisper-large-v2 เทียบกับแบบจำลองวิดีโอแบบกึ่งมีผู้สอนของ Meta | 61.13% เทียบกับ 31.04% | Meta (Veliche และคณะ), Fair-Speech Dataset 2024 |
บริบท: การประเมินของ Washington ใช้ผู้พูด 16 คน (กลุ่มละสี่คน) และสะท้อนประสิทธิภาพของระบบในปี 2022 แม้บทความจะปรากฏในรายงานการประชุม LREC 2026 Fair-Speech ครอบคลุมผู้พูดชาวสหรัฐฯ 593 คนและประโยคราว 26.5 พันประโยค และผู้เขียนระบุว่าสำหรับแบบจำลอง Whisper ช่องว่างแบบสัมพัทธ์สูงกว่า 40% ในทุกมิติที่พวกเขาวัด
2. WER ของชุดทดสอบมาตรฐานเทียบกับเสียงพูดในโลกจริง
ชุดทดสอบมาตรฐานที่ถูกนำเสนอเป็นหัวข้อหลักคือเสียงพูดแบบอ่านที่สะอาด ไม่ใช่บทสนทนา บทความ Whisper แสดงประเด็นนี้ด้วยตารางของตัวเอง แบบจำลองเดียวกันที่ทำได้ 2.7 บน LibriSpeech Clean ทำได้ 25.5 บน CHiME6 และ 16.2 บน CORAAL ซึ่งเป็นคลังข้อมูลบทสัมภาษณ์ภาษาแอฟริกันอเมริกัน Whisper large เพิ่มจาก WER 2.7% บน LibriSpeech test-clean เป็น 19.7% บน EdAcc ซึ่งเป็นชุดบทสนทนาผ่านวิดีโอคอลระหว่างเพื่อนที่มีสำเนียงภาษาอังกฤษมากกว่า 40 สำเนียงตามที่ผู้พูดรายงานเอง
นั่นยังเป็นแบบจำลองที่ทนทานอยู่ ระบบ wav2vec 2.0 ที่ได้ 2.9 บน LibriSpeech ไปถึง 36.1% บนบทสนทนาสำเนียงชุดเดียวกัน แค่รูปแบบการพูดอย่างเดียวก็ทำให้ตัวเลขขยับได้ ระบบรู้จำเสียงภาษาดัตช์มี WER เฉลี่ย 36.2% บนเสียงพูดแบบอ่าน และ 47.5% บนเสียงพูดในการโต้ตอบระหว่างมนุษย์กับเครื่องจากกลุ่มผู้พูดเดียวกัน (TU Delft, Feng และคณะ, Quantifying Bias in ASR 2021)
| ตัวชี้วัด | ค่า | แหล่งที่มา |
|---|---|---|
| WER ของ Whisper Large V2 บน LibriSpeech Clean | 2.7 | OpenAI (Radford และคณะ), บทความ Whisper 2022 |
| WER ของ Whisper Large V2 บน CHiME6 และ CORAAL | 25.5 และ 16.2 | OpenAI (Radford และคณะ), บทความ Whisper 2022 |
| WER เฉลี่ยในชุดข้อมูลตารางที่ 2 ของบทความ wav2vec 2.0 Large เทียบกับ Whisper Large V2 | 29.3 เทียบกับ 12.8 (ลดข้อผิดพลาดแบบสัมพัทธ์เฉลี่ย 55.2%) | OpenAI (Radford และคณะ), บทความ Whisper 2022 |
| WER ของ Whisper large บนชุดทดสอบ EdAcc เทียบกับ LibriSpeech test-clean | 19.7% เทียบกับ 2.7% | University of Edinburgh (Sanabria และคณะ), บทความ EdAcc 2023 |
| WER ของ wav2vec 2.0 และระบบเชิงพาณิชย์ บนชุดทดสอบ EdAcc เทียบกับ LibriSpeech test-clean | 36.1 เทียบกับ 2.9; 18.7 เทียบกับ 3.8 | University of Edinburgh (Sanabria และคณะ), บทความ EdAcc 2023 |
| WER เฉลี่ยที่ดีที่สุด ประเภทภาษาอังกฤษรูปแบบสั้น; Whisper Large v3 ในประเภทเดียวกัน | 5.42; 7.44 | บทความ Open ASR Leaderboard (Srivastav และคณะ), v4 มีนาคม 2026 |
| ระบบที่นำมาทดสอบ | 86 ระบบจาก 26 องค์กรบน 12 ชุดข้อมูล; 74 ระบบเป็นโอเพนซอร์ส | บทความ Open ASR Leaderboard (Srivastav และคณะ), v4 มีนาคม 2026 |
บริบท: Open ASR Leaderboard รายงานค่าเฉลี่ยจากชุดทดสอบที่คัดเลือกแล้ว และตารางที่เราอ่านไม่มีการแยกตามลักษณะประชากรของผู้พูด ค่าเฉลี่ย 5.42 จึงไม่ได้บอกเลยว่าใครอยู่ที่ปลายหางของการกระจาย ตัวเลข CORAAL เป็นสิ่งที่ใกล้เคียงที่สุดกับตัวเลขเฉพาะสำเนียงท้องถิ่นในบทความ Whisper Whisper ลดข้อผิดพลาดของ wav2vec 2.0 บนคลังข้อมูลนั้นจาก 35.6 เหลือ 16.2 และตัวเลขนั้นก็ยังเป็นหกเท่าของคะแนน LibriSpeech Clean (16.2 หารด้วย 2.7)
3. สำเนียงของผู้ที่ไม่ใช่เจ้าของภาษาและสำเนียงตามภูมิภาค
ช่องว่างด้านสำเนียงส่วนใหญ่วัดจากภาษาอังกฤษ และส่วนใหญ่ใช้คลังข้อมูลขนาดเล็กหรือผู้เข้าร่วมเลือกเอง การตรวจสอบที่กว้างที่สุดที่เราพบ ซึ่งทำกับผู้พูดใน Speech Accent Archive จำนวน 2,713 คนที่เกิดใน 171 ประเทศ ไม่ได้ใช้ WER เลย แต่รายงานข้อมูลคำที่สูญหาย (WIL) และพบว่าต่ำกว่า 0.14 สำหรับผู้พูดที่ภาษาแรกคือภาษาอังกฤษ (P<0.001) กับภาษาอังกฤษสำเนียงแอฟริกาทั้งทวีป Whisper-large บันทึก WER 0.240 สำหรับเสียงพูดทั่วไป และ 0.375 สำหรับเสียงพูดทางคลินิก และระบบคลาวด์เชิงพาณิชย์ทั้งสามระบบที่ทดสอบก็แย่กว่า
สำเนียงตามภูมิภาคของภาษาแรกก็เป็นไปในรูปแบบเดียวกัน ในคำบรรยายอัตโนมัติของ YouTube ผู้พูด 80 คนจากห้าภูมิภาคสำเนียง (แคลิฟอร์เนีย จอร์เจีย นิวอิงแลนด์ นิวซีแลนด์ และสกอตแลนด์) แสดงการรู้จำที่แย่กว่าอย่างสม่ำเสมอสำหรับผู้พูดชาวสกอต (University of Washington, Tatman, ACL Ethics in NLP Workshop 2017) ในภาษาดัตช์ วัยรุ่นชาวเฟลมิชที่อ่านออกเสียงถูกแบบจำลองที่ฝึกด้วยภาษาดัตช์ของเนเธอร์แลนด์รู้จำด้วย WER 40.5% ข้อผิดพลาดเหล่านี้สะสมต่อไปในขั้นตอนถัดไป เพราะประโยคต้นทางที่รู้จำผิดคือข้อมูลนำเข้าของทุกสายการแปลเสียงพูดเป็นเสียงพูด
| ตัวชี้วัด | ค่า | แหล่งที่มา |
|---|---|---|
| ขนาดคลังข้อมูล EdAcc | เกือบ 40 ชั่วโมง มากกว่า 40 สำเนียงที่ผู้พูดรายงานเอง 51 ภาษาแรก | University of Edinburgh (Sanabria และคณะ), บทความ EdAcc 2023 |
| ช่องว่าง WIL ผู้พูดที่ภาษาแรกเป็นภาษาอังกฤษเทียบกับไม่ใช่ภาษาอังกฤษ ทุกบริการ | ต่ำกว่า 0.14 สำหรับผู้พูดที่ภาษาแรกเป็นภาษาอังกฤษ (P<0.001); ผู้พูด 2,713 คน 212 ภาษาแรก | DiChristofano และคณะ, Global Performance Disparities Between English-Language Accents (arXiv) 2023 |
| ช่องว่าง WIL แยกตามบริการ | Google 0.17; Amazon 0.14; Microsoft 0.11 | DiChristofano และคณะ, Global Performance Disparities Between English-Language Accents (arXiv) 2023 |
| WER ของ Whisper-large บนภาษาอังกฤษสำเนียงแอฟริกาทั้งทวีป โดเมนทั่วไปเทียบกับโดเมนคลินิก | 0.240 เทียบกับ 0.375 | Olatunji และคณะ, AfriSpeech-200, TACL 2023 |
| WER ของระบบคลาวด์เชิงพาณิชย์บนภาษาอังกฤษสำเนียงแอฟริกาทั้งทวีป ทั้งสองโดเมน | Azure 0.391; AWS 0.442; GCP 0.578 | Olatunji และคณะ, AfriSpeech-200, TACL 2023 |
| WER ของ Whisper-medium บนภาษาอังกฤษสำเนียงแอฟริกาทั้งทวีป ฝึกล่วงหน้าเทียบกับปรับจูนบน AfriSpeech | 0.332 เทียบกับ 0.216 | Olatunji และคณะ, AfriSpeech-200, TACL 2023 |
| WER ของ ASR ภาษาดัตช์บนเสียงพูดแบบอ่าน ผู้ที่ไม่ใช่เจ้าของภาษาเทียบกับเจ้าของภาษา | 55.9% เทียบกับ 26.1% | TU Delft (Feng และคณะ), Quantifying Bias in ASR 2021 |
| WER ของ ASR ภาษาดัตช์บนเสียงพูดแบบอ่าน วัยรุ่นชาวเฟลมิชเทียบกับวัยรุ่นในสี่ภูมิภาคของเนเธอร์แลนด์ | 40.5% เทียบกับ 19.3%, 22.9%, 16.8% และ 17.9% | TU Delft (Feng และคณะ), Quantifying Bias in ASR 2021 |
ค่านอกเกณฑ์: การไม่ใช่เจ้าของภาษาไม่ได้บ่งชี้ผลลัพธ์ที่แย่กว่าเสมอไป บนคำสั่งเสียงของ Fair-Speech Whisper-large-v2 ทำได้ 3.78 สำหรับผู้พูดภาษาที่สองและ 6.11 สำหรับผู้พูดภาษาแรก (Meta, Fair-Speech Dataset 2024) เป็นเครื่องเตือนใจว่าช่องว่างระหว่างกลุ่มเป็นคุณสมบัติของชุดข้อมูลและงานที่ทำ ไม่ใช่ค่าคงที่ ในข้อมูลภาษาดัตช์ ข้อผิดพลาดไม่ได้ลดลงเมื่อความสามารถของผู้เรียนวัยผู้ใหญ่สูงขึ้น: 57.2, 56.5 และ 57.0 ที่ระดับ CEF A1, A2 และ B1 ข้อมูลล่าสุดที่มี: การถอดความของคลังสำเนียงดำเนินการในปี 2021 และ AfriSpeech-200 (200.70 ชั่วโมง ผู้พูด 2,463 คน 120 สำเนียง 13 ประเทศ) เผยแพร่ในปี 2023
4. ช่องว่างด้านเพศ อายุ และรายได้
ไม่มีมิติด้านประชากรใดที่มีทิศทางตายตัว และนั่นคือข้อค้นพบ คำบรรยายของ YouTube แย่กว่าสำหรับผู้หญิงในปี 2017 ระบบเชิงพาณิชย์แย่กว่าสำหรับผู้ชายในปี 2020 Whisper-large-v2 ทำได้ 7.91 สำหรับผู้พูดชาย เทียบกับ 3.86 สำหรับผู้พูดหญิงบน Fair-Speech หรือประมาณสองเท่า (7.91 หารด้วย 3.86 ได้ 2.05) ระบบที่ตรวจสอบบนชุดข้อมูลหนึ่งอาจดูยุติธรรมเรื่องเพศ แล้วล้มเหลวบนอีกชุดหนึ่ง
อายุก็เป็นเช่นเดียวกัน กลุ่มใน Fair-Speech ที่มีข้อผิดพลาดสูงสุดไม่ใช่กลุ่มที่อายุมากที่สุด แต่เป็นช่วงอายุ 31 ถึง 45 ปี ขณะที่ในภาษาดัตช์ กลุ่มเจ้าของภาษาที่แย่ที่สุดคือเด็ก เสียงพูดของเด็กเป็นจุดอ่อนที่เกิดซ้ำ Whisper-Small เริ่มต้นที่ WER 13.93% บนชุดทดสอบ MyST ซึ่งเป็นเสียงพูดของเด็กก่อนมีการปรับใดๆ (Kid-Whisper, 2024)
| ตัวชี้วัด | ค่า | แหล่งที่มา |
|---|---|---|
| WER เฉลี่ยในระบบเชิงพาณิชย์ห้าระบบ ชายผิวดำเทียบกับหญิงผิวดำ; ชายผิวขาวเทียบกับหญิงผิวขาว | 0.41 เทียบกับ 0.30; 0.21 เทียบกับ 0.17 | Stanford (Koenecke และคณะ), PNAS 2020 |
| WER ของ Whisper-large-v2 ผู้พูดชายเทียบกับผู้พูดหญิง | 7.91 เทียบกับ 3.86 | Meta (Veliche และคณะ), Fair-Speech Dataset 2024 |
| WER ของ Whisper-large-v2 แยกตามช่วงอายุ 18-22, 23-30, 31-45, 46-65 | 4.46, 4.62, 7.48, 3.65 | Meta (Veliche และคณะ), Fair-Speech Dataset 2024 |
| WER ของ Whisper-large-v2 แยกตามรายได้ครัวเรือน ต่ำ ปานกลาง ร่ำรวย | 5.4, 6.38, 3.62 | Meta (Veliche และคณะ), Fair-Speech Dataset 2024 |
| WER ของคำบรรยาย YouTube ผู้หญิงเทียบกับผู้ชาย | สูงกว่าสำหรับผู้หญิง (t(78) = -3.5, p < 0.01) ผู้พูด 80 คน | University of Washington (Tatman), ACL Ethics in NLP Workshop 2017 |
| WER ของ ASR ภาษาดัตช์บนเสียงพูดแบบอ่าน เด็กที่เป็นเจ้าของภาษา วัยรุ่น ผู้ใหญ่สูงวัย | 35.3%, 18.4%, 24.2% | TU Delft (Feng และคณะ), Quantifying Bias in ASR 2021 |
| WER ของ Whisper บนเสียงพูดเด็ก MyST ก่อนเทียบกับหลังปรับจูนอย่างละเอียด | Small 13.93% เป็น 9.11%; Medium 13.23% เป็น 8.61% | Attia และคณะ, Kid-Whisper 2024 |
บริบท: ช่วงรายได้ของ Fair-Speech คือต่ำ (50k USD หรือน้อยกว่า) ปานกลาง (50k ถึง 100k USD) และร่ำรวย (100k USD ขึ้นไป) และกลุ่มร่ำรวยเป็นกลุ่มที่เล็กที่สุดในชุดข้อมูล (ผู้พูด 41 คนในตารางของบทความ) ข้อมูลล่าสุดที่มีเรื่องช่องว่างด้านเพศในคำบรรยาย: Tatman 2017 วัดจากงานรายการคำเดี่ยวที่ผู้เขียนอธิบายว่ายากเป็นพิเศษสำหรับ ASR
5. เสียงพูดที่ไม่เป็นแบบฉบับ มีภาวะดิสอาร์เทรีย และไม่คล่อง
ที่นี่ช่องว่างต่างกันเป็นลำดับขนาด ไม่ใช่แค่ไม่กี่จุด ในชุดข้อมูลชุดแรกของ Speech Accessibility Project ระบบรู้จำเสียงพื้นฐานที่มี WER 3.4% สำหรับผู้พูดทั่วไปถอดความผู้พูดที่มีภาวะดิสอาร์เทรียจากโรคพาร์กินสันได้ที่ 36.3% การปรับจูนอย่างละเอียดกับผู้พูดสำหรับฝึก 190 คนลดลงเหลือ 23.7% และผู้พูดทดสอบสองคนจากทั้งหมด 42 คนยังอยู่ที่ 67.10% และ 93.08%
ข้อมูล ไม่ใช่สถาปัตยกรรม คือสิ่งที่ทำให้ตัวเลขเหล่านี้ขยับ Interspeech 2025 Speech Accessibility Project Challenge มอบข้อมูลราว 415 ชั่วโมงจากผู้เข้าร่วม 524 คนให้ทีมต่างๆ และ 12 จาก 22 ทีมเอาชนะค่าฐาน whisper-large-v2 ได้ แบบจำลองห้าอันดับแรกมี WER เฉลี่ย 10.06% สำหรับโรคพาร์กินสัน และ 7.36% สำหรับ ALS เทียบกับค่าฐาน 17.09% และ 16.88% การปรับให้เหมาะกับบุคคลไปไกลกว่านั้นอีก Project Euphonia ของ Google รายงาน WER 4.6% สำหรับแบบจำลองที่ปรับให้เหมาะกับบุคคลบนวลีสั้น การหยุดพักสร้างรูปแบบความล้มเหลวอีกแบบหนึ่ง เพราะ Whisper สร้างข้อความที่ไม่มีอยู่จริงใน 1.7% ของช่วงเสียงจากผู้พูดที่มีภาวะอะเฟเซีย เทียบกับ 1.2% ในกลุ่มควบคุม (Koenecke และคณะ, Careless Whisper, FAccT 2024)
| ตัวชี้วัด | ค่า | แหล่งที่มา |
|---|---|---|
| WER พื้นฐาน ผู้พูดทั่วไปเทียบกับภาวะดิสอาร์เทรียจากโรคพาร์กินสัน; หลังปรับจูนอย่างละเอียด | 3.4% เทียบกับ 36.3%; 23.7% | Speech Accessibility Project (Hasegawa-Johnson และคณะ), JSLHR 2024 |
| ค่าฐาน Whisper-large-v2 เทียบกับทีมอันดับหนึ่ง ชุด Test2 ของการแข่งขัน | WER 17.82% เทียบกับ 8.11% (SemScore สูงสุด 88.44%) | Zheng และคณะ, Interspeech 2025 Speech Accessibility Project Challenge |
| ข้อมูลและการเข้าร่วมของการแข่งขัน | ราว 415 ชั่วโมง ผู้เข้าร่วม 524 คน ห้าสาเหตุของโรค; 12 จาก 22 ทีมเอาชนะค่าฐานด้าน WER | Zheng และคณะ, Interspeech 2025 Speech Accessibility Project Challenge |
| แบบจำลองที่ปรับให้เหมาะกับบุคคลเทียบกับแบบไม่ขึ้นกับผู้พูด ผู้พูด 432 คนที่มีความผิดปกติทางการพูด | WER 4.6% เทียบกับ 31% | Google Research (Green และคณะ), Interspeech 2021 |
| WER มัธยฐานบนวลีควบคุมบ้านอัจฉริยะ เสียงพูดที่บกพร่องรุนแรง ก่อนเทียบกับหลังปรับให้เหมาะกับบุคคล | ราว 89% เป็น 13% | Google Research, บล็อก Project Euphonia 2021 |
| คลังข้อมูล Project Euphonia (ณ เดือนสิงหาคม 2021) | มากกว่า 1 ล้านประโยค มากกว่า 1,400 ชั่วโมง ผู้พูด 1,330 คน | Google Research, บล็อก Project Euphonia 2021 |
| WER เฉลี่ยในระบบ ASR หกระบบ เสียงพูดติดอ่างเทียบกับเมื่อตัดความไม่คล่องออก | .281 เทียบกับ .105 | Mujtaba และคณะ, Lost in Transcription, NAACL 2024 |
| WER ของการรู้จำเสียงพูดสำหรับผู้ที่พูดติดอ่าง ก่อนเทียบกับหลังปรับระบบ (บันทึกเสียงผู้เข้าร่วม 91 คน) | 25.4% เป็น 9.9%; ประโยคถูกตัดกลางคันน้อยลง 79.1% | Lea และคณะ, CHI 2023 |
บริบท: โรคพาร์กินสันคิดเป็น 73.4% ของคลังข้อมูลฝึกของการแข่งขันตามระยะเวลา ดังนั้นตัวเลข 8.11% ที่เป็นหัวข้อหลักส่วนใหญ่จึงอธิบายสาเหตุของโรคเพียงอย่างเดียว กลุ่มอาการดาวน์ สมองพิการ และโรคหลอดเลือดสมองไม่ได้รายงานแยกเพราะจำนวนการทดสอบน้อย ในการศึกษาเรื่องการพูดติดอ่าง Whisper แม่นยำที่สุดในบรรดาระบบทั้งหก แต่ก็ยังเพิ่มจาก .063 เป็น .121 ข้อมูลล่าสุดที่มีเรื่องความแม่นยำของแบบจำลองที่ปรับให้เหมาะกับบุคคล: Green และคณะ, Interspeech 2021
6. ภาษาที่มีทรัพยากรน้อยและความครอบคลุมของชุดข้อมูล
ข้อผิดพลาดแปรผันตามชั่วโมงฝึกเกือบเป็นกลไก ผู้เขียน Whisper รายงานสหสัมพันธ์กำลังสอง 0.83 ระหว่างลอการิทึมของ WER กับลอการิทึมของชั่วโมงฝึกต่อภาษา และประเมินว่า WER ลดลงครึ่งหนึ่งทุกครั้งที่ข้อมูลฝึกเพิ่มขึ้น 16 เท่า จากชั่วโมงฝึกทั้งหมด 680,000 ชั่วโมงของ Whisper มี 117,000 ชั่วโมงที่ครอบคลุม 96 ภาษาที่ไม่ใช่ภาษาอังกฤษ และบทความระบุว่าภาษาส่วนใหญ่มีข้อมูลน้อยกว่า 1,000 ชั่วโมง
ความครอบคลุมขยายตัวเร็วกว่าหลักฐานด้านความแม่นยำ บทความ MMS ระบุว่าโลกมีมากกว่า 7,000 ภาษา โดยเทคโนโลยีเสียงพูดรองรับราว 100 ภาษา และตอนนี้ Omnilingual ASR อ้างว่ารองรับมากกว่า 1,600 ภาษา ชุดทดสอบมาตรฐานหลายภาษา FLEURS ครอบคลุม 102 ภาษา โดยมีข้อมูลกำกับประมาณ 12 ชั่วโมงต่อภาษา (Conneau และคณะ, FLEURS 2022) ภาษาที่เพิ่มเข้ามาใหม่ส่วนใหญ่จึงไม่มีเกณฑ์วัดสาธารณะร่วมกัน เราติดตามความครอบคลุมด้านแบบจำลองอย่างละเอียดขึ้นในสถิติแบบจำลองพื้นฐานเสียงพูดหลายภาษาของเรา
| ตัวชี้วัด | ค่า | แหล่งที่มา |
|---|---|---|
| ข้อมูลฝึกของ Whisper | รวม 680,000 ชั่วโมง; 117,000 ชั่วโมงครอบคลุม 96 ภาษาที่ไม่ใช่ภาษาอังกฤษ | OpenAI (Radford และคณะ), บทความ Whisper 2022 |
| ความสัมพันธ์ระหว่างชั่วโมงฝึกต่อภาษากับ WER | สหสัมพันธ์กำลังสอง 0.83; WER ลดลงครึ่งหนึ่งทุกครั้งที่ข้อมูลเพิ่มขึ้น 16 เท่า | OpenAI (Radford และคณะ), บทความ Whisper 2022 |
| ภาษาในโลกเทียบกับภาษาที่เทคโนโลยีเสียงพูดรองรับ | มากกว่า 7,000 เทียบกับราว 100 | Pratap และคณะ, บทความ MMS (Scaling Speech Technology to 1,000+ Languages) 2023 |
| ความครอบคลุมและความแม่นยำของ MMS | ASR สำหรับ 1,107 ภาษา; WER ลดลงมากกว่าครึ่งเมื่อเทียบกับ Whisper บน 54 ภาษาของ FLEURS | Pratap และคณะ, บทความ MMS (Scaling Speech Technology to 1,000+ Languages) 2023 |
| ความครอบคลุมของ Omnilingual ASR | มากกว่า 1,600 ภาษา มากกว่า 500 ภาษาที่ไม่เคยมี ASR รองรับมาก่อน | ทีม Omnilingual ASR, arXiv 2511.09690, 2025 |
| ข้อมูลฝึกล่วงหน้าของ Google USM | เสียงที่ไม่มีป้ายกำกับ 12 ล้านชั่วโมงครอบคลุมมากกว่า 300 ภาษา; ชุดที่มีป้ายกำกับมีขนาด 1/7 ของ Whisper | บทความ Google USM (Zhang และคณะ) 2023 |
| Common Voice Scripted Speech v27.0 | 295 ภาษา; รวม 42,593 ชั่วโมง; 29,295 ชั่วโมงที่ผ่านการตรวจสอบแล้ว | Mozilla Common Voice, cv-dataset v27.0 2026 |
| สัดส่วนเพศใน Common Voice v27.0 ภาษาอังกฤษและภาษาเยอรมัน | ภาษาอังกฤษ ชาย 0.4318 หญิง 0.1776 ไม่ระบุ 0.3894; ภาษาเยอรมัน ชาย 0.5786 หญิง 0.0818 | Mozilla Common Voice, cv-dataset v27.0 2026 |
ค่านอกเกณฑ์: ในสถิติ Common Voice v27.0 ภาษาคาตาลันมีเสียงบันทึกมากกว่าภาษาอังกฤษ (รวม 3,940.31 ชั่วโมง เทียบกับ 3,795.9) ขณะที่ชุดภาษาท้องถิ่นที่เล็กที่สุดที่เราอ่านมี 25 คลิปจากผู้ใช้ 2 คน ความพยายามของอาสาสมัคร ไม่ใช่จำนวนผู้พูด เป็นตัวกำหนดว่าภาษาใดจะมีข้อมูล ชุดข้อมูลเสียงพูดตามธรรมชาติ ซึ่งใกล้เคียงการใช้งานจริงมากกว่า มีขนาดเล็กกว่ามาก: รวม 541 ชั่วโมงใน 80 ภาษาที่ v5.0
7. ผลกระทบในศาล คลินิก การจ้างงาน และผู้ช่วยเสียง
ความเสี่ยงสูงขึ้นเมื่อข้อความถอดความกลายเป็นบันทึกทางการ มนุษย์เองก็เป็นเกณฑ์เปรียบเทียบที่ไม่ดีนัก: ผู้บันทึกการพิจารณาคดีของศาลที่ได้รับการรับรองความแม่นยำ 95% ทำได้ความแม่นยำระดับคำเฉลี่ย 82.9% และความแม่นยำระดับประโยค 59.5% กับภาษาอังกฤษแบบแอฟริกันอเมริกัน และการถอดความของพวกเขาเปลี่ยนแปลงว่าใคร อะไร เมื่อไร หรือที่ไหน ใน 31% ของกรณี (Jones และคณะ, Language 2019) สถิติความแม่นยำของการรู้จำเสียงพูดในห้องพิจารณาคดีของเราครอบคลุมโครงการนำร่องแบบอัตโนมัติที่รับปัญหานี้ต่อมา
หลักฐานทางคลินิกเป็นของใหม่และมีกลุ่มตัวอย่างเล็ก ในการเยี่ยมดูแลสุขภาพที่บ้านที่บันทึกเสียงไว้ ระบบของ Amazon สองระบบแต่ละระบบแสดงช่องว่าง WER มัธยฐาน 17 จุดระหว่างผู้ป่วยผิวดำกับผู้ป่วยผิวขาว (50 ลบ 33 และ 54 ลบ 37) ขณะที่ Whisper แย่พอๆ กันกับทั้งสองกลุ่ม การจ้างงานเป็นบริบทเดียวที่มีผลลัพธ์น่าอุ่นใจ อคติในการถอดความปรากฏในเกือบทุกการเปรียบเทียบ และผู้เขียนพบว่ามันไม่ส่งต่อไปยังคะแนนสัมภาษณ์ ต้นทุนที่ผู้ใช้รายงานเป็นเรื่องพฤติกรรม เพราะผู้เข้าร่วมเกือบทุกคนในการศึกษาแบบบันทึกประจำวันสองสัปดาห์เปลี่ยนวิธีพูดของตน
| ตัวชี้วัด | ค่า | แหล่งที่มา |
|---|---|---|
| ความแม่นยำของผู้บันทึกการพิจารณาคดีของศาลกับภาษาอังกฤษแบบแอฟริกันอเมริกัน ระดับคำเทียบกับระดับประโยค (มาตรฐานการรับรอง 95%) | 82.9% เทียบกับ 59.5% | Jones และคณะ, Testifying While Black, Language 2019 |
| ข้อความถอดความที่เปลี่ยนแปลงว่าใคร อะไร เมื่อไร หรือที่ไหน | 31%; ผู้บันทึกการพิจารณาคดีของศาล 27 คน ผู้พูด 9 คน 83 ประโยค | Jones และคณะ, Testifying While Black, Language 2019 |
| WER มัธยฐาน ผู้ป่วยผิวดำเทียบกับผู้ป่วยผิวขาวที่รับการดูแลสุขภาพที่บ้าน AWS General และ AWS Medical | 50% เทียบกับ 33% (P = 0.016); 54% เทียบกับ 37% (P = 0.0012) | Zolnoori และคณะ, JAMIA Open 2024 |
| WER มัธยฐาน ผู้ป่วยผิวดำเทียบกับผู้ป่วยผิวขาว Whisper large-v3 | 75% เทียบกับ 72% (P = 0.66); ผู้ป่วย 35 ราย | Zolnoori และคณะ, JAMIA Open 2024 |
| อัตราข้อผิดพลาดในบันทึกทางคลินิกที่บอกให้พิมพ์: ร่างจากระบบรู้จำเสียง หลังพนักงานถอดความตรวจแก้ บันทึกที่ลงนามแล้ว | 7.4%, 0.4%, 0.3%; บันทึก 217 ฉบับ | Zhou และคณะ, JAMA Network Open 2018 |
| ข้อความถอดความของ Whisper ที่มีข้อความซึ่งระบบสร้างขึ้นเอง; สัดส่วนของข้อความดังกล่าวที่มีเนื้อหาอันตรายอย่างชัดเจน | 1.4% จาก 13,140 ช่วงเสียง; 38% | Koenecke และคณะ, Careless Whisper, FAccT 2024 |
| การสัมภาษณ์ทางวิดีโอจำลองที่ถอดความด้วยวิธี ASR สี่วิธีและมนุษย์หนึ่งราย | N = 1,014 และ N = 414; พบอคติ ASR อย่างมีนัยสำคัญในเกือบทุกการเปรียบเทียบ ไม่พบอคติในการวัดผลที่มีความหมายในคะแนน | Hickman และคณะ, Journal of Applied Psychology 2025 |
| ผู้ใช้เทคโนโลยีเสียงชาวแอฟริกันอเมริกันที่ปรับเปลี่ยนสำเนียงเพื่อให้ถูกเข้าใจ | 93% (n = 28 จาก 30); 77% รายงานความหงุดหงิดกับข้อผิดพลาด | Mengesha และคณะ, Frontiers in Artificial Intelligence 2021 |
บริบท: การศึกษาผู้บันทึกการพิจารณาคดีของศาลวัดผู้ถอดความที่เป็นมนุษย์ ไม่ใช่ซอฟต์แวร์ และการศึกษาการบอกให้พิมพ์ทางคลินิกเป็นข้อมูลล่าสุดที่มีเรื่องอัตราข้อผิดพลาดของบันทึกที่ลงนามแล้ว (Zhou และคณะ, JAMA Network Open 2018) การทดลองเรื่องข้อความที่ระบบสร้างขึ้นเองดำเนินการในปี 2023 ผู้เขียนพบว่า 19% ของข้อความถอดความที่ระบบสร้างขึ้นเอง 312 รายการเกี่ยวข้องกับความรุนแรง 13% เป็นการเชื่อมโยงที่ไม่ถูกต้อง และ 8% เป็นการอ้างอำนาจเท็จ และไม่พบปัญหาลักษณะเดียวกันเมื่อนำช่วงเสียงที่ได้รับผลกระทบไปประมวลผลซ้ำผ่านระบบของผู้ให้บริการรายอื่น (Careless Whisper) ผลเรื่องการจ้างงาน (Hickman และคณะ) มาจากการสัมภาษณ์จำลอง ไม่ใช่การตัดสินใจคัดเลือกจริง
สรุป: อคติทางสำเนียงและอัตราข้อผิดพลาดของคำในระบบรู้จำเสียงพูดด้วยตัวเลข
| ตัวชี้วัด | ค่า | แหล่งที่มา |
|---|---|---|
| WER เฉลี่ย ผู้พูดผิวดำเทียบกับผู้พูดผิวขาว ระบบเชิงพาณิชย์ห้าระบบ | 0.35 เทียบกับ 0.19 | Stanford (Koenecke และคณะ), PNAS 2020 |
| WER เฉลี่ย ผู้พูดชาวแอฟริกันอเมริกันเทียบกับชาวอเมริกันผิวขาว ระบบเชิงพาณิชย์สี่ระบบ | 20% เทียบกับ 15% | University of Washington (Scott และคณะ), LREC 2026 |
| WER ของ Whisper-large-v2 ผู้พูดผิวดำหรือแอฟริกันอเมริกันเทียบกับผู้พูดผิวขาว | 9.52 เทียบกับ 3.96 | Meta (Veliche และคณะ), Fair-Speech Dataset 2024 |
| WER ของ Whisper-large-v2 ผู้พูดชายเทียบกับผู้พูดหญิง | 7.91 เทียบกับ 3.86 | Meta (Veliche และคณะ), Fair-Speech Dataset 2024 |
| WER ของ Whisper large ภาษาอังกฤษสำเนียง EdAcc เทียบกับ LibriSpeech test-clean | 19.7% เทียบกับ 2.7% | University of Edinburgh (Sanabria และคณะ), บทความ EdAcc 2023 |
| WER ของ Whisper Large V2 บน CORAAL เทียบกับ LibriSpeech Clean | 16.2 เทียบกับ 2.7 | OpenAI (Radford และคณะ), บทความ Whisper 2022 |
| WER เฉลี่ยที่ดีที่สุด ประเภทภาษาอังกฤษรูปแบบสั้นของ Open ASR Leaderboard | 5.42 จาก 86 ระบบที่นำมาทดสอบ | บทความ Open ASR Leaderboard (Srivastav และคณะ), v4 มีนาคม 2026 |
| WER ของ Whisper-large บนภาษาอังกฤษสำเนียงแอฟริกาทั้งทวีป ทั่วไปเทียบกับคลินิก | 0.240 เทียบกับ 0.375 | Olatunji และคณะ, AfriSpeech-200, TACL 2023 |
| ช่องว่าง WIL ผู้พูดที่ภาษาแรกเป็นภาษาอังกฤษเทียบกับไม่ใช่ภาษาอังกฤษ | 0.14 (P<0.001) | DiChristofano และคณะ, arXiv 2023 |
| WER ของ ASR ภาษาดัตช์บนเสียงพูดแบบอ่าน ผู้ที่ไม่ใช่เจ้าของภาษาเทียบกับเจ้าของภาษา | 55.9% เทียบกับ 26.1% | TU Delft (Feng และคณะ), Quantifying Bias in ASR 2021 |
| WER พื้นฐาน เสียงพูดทั่วไปเทียบกับเสียงพูดที่มีภาวะดิสอาร์เทรียจากโรคพาร์กินสัน | 3.4% เทียบกับ 36.3% | Speech Accessibility Project (Hasegawa-Johnson และคณะ), JSLHR 2024 |
| ค่าฐาน Whisper-large-v2 เทียบกับระบบอันดับหนึ่งของการแข่งขันบนเสียงพูดที่มีภาวะดิสอาร์เทรีย | 17.82% เทียบกับ 8.11% | Zheng และคณะ, Interspeech 2025 Speech Accessibility Project Challenge |
| WER แบบปรับให้เหมาะกับบุคคลเทียบกับแบบไม่ขึ้นกับผู้พูด เสียงพูดที่มีความผิดปกติ | 4.6% เทียบกับ 31% | Google Research (Green และคณะ), Interspeech 2021 |
| WER เฉลี่ยในระบบหกระบบ เสียงพูดติดอ่างเทียบกับฉบับที่พูดคล่อง | .281 เทียบกับ .105 | Mujtaba และคณะ, Lost in Transcription, NAACL 2024 |
| ชั่วโมงฝึกของ Whisper รวมเทียบกับที่ไม่ใช่ภาษาอังกฤษ | 680,000 เทียบกับ 117,000 (96 ภาษา) | OpenAI (Radford และคณะ), บทความ Whisper 2022 |
| Common Voice Scripted Speech v27.0 | 295 ภาษา 29,295 ชั่วโมงที่ผ่านการตรวจสอบแล้ว | Mozilla Common Voice, cv-dataset v27.0 2026 |
| WER มัธยฐาน ผู้ป่วยผิวดำเทียบกับผู้ป่วยผิวขาวที่รับการดูแลสุขภาพที่บ้าน AWS General | 50% เทียบกับ 33% (P = 0.016) | Zolnoori และคณะ, JAMIA Open 2024 |
| ความแม่นยำระดับคำของผู้บันทึกการพิจารณาคดีของศาลกับภาษาอังกฤษแบบแอฟริกันอเมริกัน เทียบกับมาตรฐานการรับรอง | 82.9% เทียบกับ 95% | Jones และคณะ, Testifying While Black, Language 2019 |
| ผู้ใช้เทคโนโลยีเสียงที่ปรับเปลี่ยนสำเนียงของตน | 93% (n = 28 จาก 30) | Mengesha และคณะ, Frontiers in Artificial Intelligence 2021 |
ระเบียบวิธีและแหล่งที่มา
เราค้นหา 23 ครั้งและอ่านบทความหลัก หน้าชุดข้อมูล หรือบันทึกของวารสารสำหรับทุกตัวเลขข้างต้น WER รายงานตามรูปแบบของแต่ละแหล่ง: เป็นเศษส่วนสำหรับ Koenecke และคณะ, AfriSpeech-200 และ Mujtaba และคณะ และเป็นเปอร์เซ็นต์ในแหล่งอื่น ตัวเลขที่เก่ากว่าสามปีถูกระบุในแต่ละส่วนว่าเป็นข้อมูลล่าสุดที่มี
- Koenecke และคณะ, Racial disparities in automated speech recognition, PNAS 2020
- Scott, Liang, Wassink และ Levow, A Sociophonetic Analysis of Racial Bias in Commercial ASR Systems Using the Pacific Northwest English Corpus, LREC 2026
- Veliche และคณะ (Meta), Towards measuring fairness in speech recognition: Fair-Speech dataset, 2024
- Radford และคณะ (OpenAI), Robust Speech Recognition via Large-Scale Weak Supervision, 2022
- Sanabria และคณะ (University of Edinburgh), The Edinburgh International Accents of English Corpus, ICASSP 2023
- Srivastav และคณะ, บทความ Open ASR Leaderboard, v4 มีนาคม 2026
- DiChristofano, Shuster, Chandra และ Patwari, Global Performance Disparities Between English-Language Accents in Automatic Speech Recognition, 2023
- Olatunji และคณะ, AfriSpeech-200: Pan-African Accented Speech Dataset for Clinical and General Domain ASR, TACL 2023
- Feng, Kudina, Halpern และ Scharenborg (TU Delft), Quantifying Bias in Automatic Speech Recognition, 2021
- Tatman (University of Washington), Gender and Dialect Bias in YouTube’s Automatic Captions, ACL Ethics in NLP Workshop 2017
- Attia และคณะ, Kid-Whisper, 2024
- Hasegawa-Johnson และคณะ, Community-Supported Shared Infrastructure in Support of Speech Accessibility, JSLHR 2024
- Zheng และคณะ, The Interspeech 2025 Speech Accessibility Project Challenge
- Green และคณะ (Google Research), Automatic Speech Recognition of Disordered Speech, Interspeech 2021 และบล็อกชุดข้อมูล Project Euphonia, 2021
- Mujtaba และคณะ, Lost in Transcription, NAACL 2024
- Lea และคณะ, From User Perceptions to Technical Improvement: Enabling People Who Stutter to Better Use Speech Recognition, CHI 2023
- Koenecke และคณะ, Careless Whisper: Speech-to-Text Hallucination Harms, FAccT 2024
- Pratap และคณะ, Scaling Speech Technology to 1,000+ Languages (MMS), 2023; Omnilingual ASR, 2025; Google USM, 2023; FLEURS, 2022
- Mozilla Common Voice, คลังโค้ด cv-dataset และสถิติ v27.0, 2026
- Jones, Kalbfeld, Hancock และ Clark, Testifying While Black, Language 95(2), 2019
- Zolnoori และคณะ, Decoding disparities, JAMIA Open 2024
- Zhou และคณะ, Analysis of Errors in Dictated Clinical Documents Assisted by Speech Recognition Software and Professional Transcriptionists, JAMA Network Open 2018
- Hickman, Langer, Saef และ Tay, Automated speech recognition bias in personnel selection, Journal of Applied Psychology 2025
- Mengesha และคณะ, Impact of Automated Speech Recognition Errors on African Americans, Frontiers in Artificial Intelligence 2021
- ข้อสังเกตเกี่ยวกับข้อมูล: หลายแหล่งขัดแย้งกับตัวเองหรือวัดสิ่งที่ต่างกัน ข้อความในบทความ Whisper ให้ WER ของ LibriSpeech clean ที่ 2.5 ขณะที่ตารางที่ 2 ระบุ 2.7 (เราใช้ค่าจากตาราง) บทคัดย่อของ Careless Whisper ระบุว่าประมาณ 1% ของข้อความถอดความเป็นข้อความที่ระบบสร้างขึ้นเอง แต่ส่วนผลลัพธ์ระบุ 1.4% (เราใช้ 1.4%) และผู้เขียนระบุว่าการทดลองเหล่านี้ทำในปี 2023 ตัวเลข 36.3% และ 23.7% ในบทคัดย่อของ Speech Accessibility Project ตรงกับแถวพรอมต์ที่ไม่ใช้ร่วมกันในบทความ ส่วนบนพรอมต์ทดสอบทั้งหมด ตัวเลขหลังปรับจูนอย่างละเอียดคือ 18.72% ข้อความของ Fair-Speech กล่าวถึงผู้พูด 50 คนในกลุ่มรายได้สูงสุด ขณะที่ตารางของบทความระบุ 41 คน DiChristofano และคณะ รายงานข้อมูลคำที่สูญหาย ไม่ใช่ WER ช่องว่างของพวกเขาจึงเปรียบเทียบกับแถวอื่นไม่ได้ การประเมินของ Scott และคณะ ดำเนินการในปี 2022 กับผู้พูด 16 คนและตีพิมพ์ในปี 2026 Open ASR Leaderboard เปลี่ยนแปลงอยู่ตลอดเวลา: บทความฉบับเดือนตุลาคม 2025 ระบุ 64 แบบจำลองที่มี WER เฉลี่ยดีที่สุด 5.63 ฉบับเดือนมีนาคม 2026 ระบุ 86 ระบบและ 5.42 ยอดรวมชั่วโมงของ Common Voice มาจากข้อมูลแผนภูมิรุ่นของคลังโค้ด และสัดส่วนเพศมาจากไฟล์สถิติ v27.0 สำหรับ Testifying While Black หน้าวารสารอยู่หลังการตรวจสอบสิทธิ์การเข้าถึง ตัวเลขจึงอ่านจากบทสรุปของบทความที่ผู้เขียนหลักเผยแพร่ ซึ่งบทสรุปนั้นให้ตัวเลขความเข้าใจการถอดความประโยคใหม่ที่ต่างกันสองค่า เราจึงไม่นำมาใช้ เราไม่สามารถยืนยันข้อกล่าวอ้างที่ถูกพูดซ้ำกันแพร่หลายเกี่ยวกับ WER ของผู้ให้บริการด้านการจ้างงานสำหรับผู้พูดที่ไม่ใช่เจ้าของภาษา จึงตัดออก
อัปเดตล่าสุด: 11 ตุลาคม 2026 เราอัปเดตสรุปนี้ทุกไตรมาส และคาดว่าการรีเฟรชครั้งถัดไปจะเกิดขึ้นเมื่อ Mozilla เผยแพร่ Common Voice Scripted Speech v28.0