Lima sistem pengenalan suara komersial rata-rata mencatat word error rate (WER) 0,35 untuk penutur kulit hitam dibandingkan 0,19 untuk penutur kulit putih (Stanford, Koenecke dkk., PNAS 2020), dan studi yang terbit pada 2026 masih menemukan rata-rata WER 20% berbanding 15% pada empat sistem komersial (University of Washington, Scott dkk., LREC 2026). Tolok ukur menyembunyikan kesenjangan ini: Whisper large mencetak 2,7% pada LibriSpeech test-clean dan 19,7% pada korpus aksen bahasa Inggris internasional (University of Edinburgh, makalah EdAcc 2023). Bagi penutur dengan disartria akibat Parkinson, pengenal suara yang salah 3,4% pada ucapan tipikal menjadi salah 36,3% (Speech Accessibility Project, JSLHR 2024). Kami mengumpulkan data dari PNAS, makalah OpenAI tentang Whisper, dataset Fair-Speech milik Meta, Speech Accessibility Project, Mozilla Common Voice, dan lebih dari selusin sumber lain yang telah ditelaah sejawat, dengan mempertahankan notasi masing-masing sumber (sebagian melaporkan WER sebagai pecahan seperti 0,35, sebagian besar sebagai persentase seperti 19,7%). Metrik yang sama menjadi dasar aturan akurasi teks langsung, sehingga selisih beberapa poin WER berarti jauh di luar laboratorium.
TL;DR
- Lima sistem ASR komersial rata-rata mencatat WER 0,35 untuk penutur kulit hitam dibandingkan 0,19 untuk penutur kulit putih, dan 23% dibandingkan 1,6% cuplikan tidak dapat dipakai pada WER di atas 0,5 (Stanford, Koenecke dkk., PNAS 2020).
- Empat sistem komersial rata-rata mencatat WER 20% untuk penutur Afrika-Amerika dibandingkan 15% untuk penutur Amerika Kaukasia, kenaikan relatif 33% (University of Washington, Scott dkk., LREC 2026).
- Whisper large mencetak WER 2,7% pada LibriSpeech test-clean dan 19,7% pada set uji bahasa Inggris beraksen EdAcc (University of Edinburgh, makalah EdAcc 2023).
- Whisper-large-v2 mencetak 9,52 untuk penutur kulit hitam atau Afrika-Amerika dibandingkan 3,96 untuk penutur kulit putih pada perintah suara (Meta, Fair-Speech Dataset 2024).
- Sebuah pengenal suara bahasa Belanda mencapai WER 55,9% pada ucapan bacaan non-native dibandingkan 26,1% untuk penutur native (TU Delft, Feng dkk., Quantifying Bias in ASR 2021).
- Ucapan disartria menaikkan WER dasar 3,4% menjadi 36,3%, dan fine-tuning menurunkannya menjadi 23,7% (Speech Accessibility Project, JSLHR 2024).
- Sistem terbaik pada Interspeech 2025 Speech Accessibility Project Challenge mencapai WER 8,11% dibandingkan baseline whisper-large-v2 sebesar 17,82% (Zheng dkk., Interspeech 2025).
- Enam sistem ASR rata-rata mencatat WER 0,281 pada ucapan gagap dibandingkan 0,105 setelah disfluensi dihapus (Mujtaba dkk., NAACL 2024).
- Common Voice Scripted Speech v27.0 memuat 29.295 jam tervalidasi dalam 295 bahasa, dibandingkan total dunia yang lebih dari 7.000 bahasa (Mozilla Common Voice 2026; Pratap dkk., makalah MMS 2023).
- AWS General Transcribe memiliki median WER 50% untuk pasien layanan kesehatan di rumah berkulit hitam dibandingkan 33% untuk pasien kulit putih, P = 0,016 (Zolnoori dkk., JAMIA Open 2024).
- Juru ketik pengadilan yang bersertifikat dengan akurasi 95% rata-rata mencapai akurasi kata 82,9% pada bahasa Inggris Afrika-Amerika (Jones dkk., Language 2019).
- 93% partisipan Afrika-Amerika dalam studi buku harian dua minggu mengubah dialek mereka agar dipahami oleh teknologi suara (Mengesha dkk., Frontiers in Artificial Intelligence 2021).
1. Kesenjangan Ras dan Dialek pada ASR Komersial dan Terbuka
Angka kanonik ini sudah berusia enam tahun dan belum digantikan oleh bukti yang lebih baik. Dalam audit PNAS terhadap Amazon, Apple, Google, IBM, dan Microsoft, rata-rata WER adalah 0,35 untuk penutur kulit hitam dan 0,19 untuk penutur kulit putih, selisih 0,16 (0,35 dikurangi 0,19) yang diukur pada 19,8 jam audio dari 73 penutur kulit hitam dan 42 penutur kulit putih yang dicocokkan berdasarkan usia dan gender. Para penulis menempatkan masalahnya pada model akustik, karena selisihnya bertahan pada frasa yang identik: Microsoft, sistem terbaik, mencetak 0,13 berbanding 0,07 pada ucapan yang dicocokkan. Data terbaru yang tersedia untuk audit lima vendor: Koenecke dkk., PNAS 2020.
Bukti yang lebih baru, yang berasal dari korpus berbeda, menunjukkan tingkat kesalahan yang lebih rendah secara keseluruhan dan selisih yang belum menutup. Tim University of Washington melaporkan kenaikan relatif 33% untuk penutur Afrika-Amerika pada empat sistem komersial, dan dataset perintah suara milik Meta menunjukkan Whisper-large-v2 pada 9,52 untuk penutur kulit hitam atau Afrika-Amerika dibandingkan 3,96 untuk penutur kulit putih. Tim Washington mengaitkan kesalahannya dengan variasi kualitas vokal antardialek, yang selaras dengan diagnosis model akustik dari tahun 2020.
| Metrik | Nilai | Sumber |
|---|---|---|
| Rata-rata WER, penutur kulit hitam vs kulit putih, lima sistem komersial | 0,35 vs 0,19 | Stanford (Koenecke dkk.), PNAS 2020 |
| Vendor terbaik dan terburuk, penutur kulit hitam vs kulit putih | Microsoft 0,27 vs 0,15; Apple 0,45 vs 0,23 | Stanford (Koenecke dkk.), PNAS 2020 |
| Cuplikan dengan WER di atas 0,5 (transkrip tidak dapat dipakai) | 23% cuplikan penutur kulit hitam vs 1,6% cuplikan penutur kulit putih | Stanford (Koenecke dkk.), PNAS 2020 |
| Rata-rata WER, penutur Afrika-Amerika vs Amerika Kaukasia, empat sistem komersial | 20% vs 15% (kenaikan relatif 33%) | University of Washington (Scott dkk.), LREC 2026 |
| Rata-rata WER, penutur ChicanX dan Yakama, empat sistem yang sama | 23% dan 21% | University of Washington (Scott dkk.), LREC 2026 |
| WER, penutur kulit hitam atau Afrika-Amerika vs kulit putih, Whisper-large-v2 dan Whisper-small | 9,52 vs 3,96; 16,99 vs 4,51 | Meta (Veliche dkk.), Fair-Speech Dataset 2024 |
| Selisih WER relatif antarkelompok etnis, Whisper-large-v2 vs model video semi-terawasi Meta | 61,13% vs 31,04% | Meta (Veliche dkk.), Fair-Speech Dataset 2024 |
Konteks: evaluasi Washington menggunakan 16 penutur (empat per kelompok) dan mencerminkan kinerja sistem pada 2022, meskipun makalahnya muncul di prosiding LREC 2026. Fair-Speech mencakup 593 penutur AS dan sekitar 26,5 ribu ujaran, dan para penulisnya menyatakan bahwa untuk model Whisper, selisih relatifnya lebih dari 40% pada semua dimensi yang mereka ukur.
2. WER Tolok Ukur vs Ucapan di Dunia Nyata
Tolok ukur utama adalah ucapan bacaan yang bersih, bukan percakapan. Makalah Whisper menunjukkan hal ini lewat tabelnya sendiri: model yang sama yang mencetak 2,7 pada LibriSpeech Clean mencetak 25,5 pada CHiME6 dan 16,2 pada CORAAL, korpus wawancara dalam African American Language. Whisper large naik dari WER 2,7% pada LibriSpeech test-clean menjadi 19,7% pada EdAcc, kumpulan percakapan panggilan video antarteman dengan lebih dari 40 aksen bahasa Inggris yang dilaporkan sendiri oleh penuturnya.
Itu pun masih model yang tangguh. Sistem wav2vec 2.0 dengan skor LibriSpeech 2,9% mencapai 36,1% pada percakapan beraksen yang sama. Gaya bicara saja sudah menggeser angkanya: sebuah pengenal suara bahasa Belanda rata-rata mencatat WER 36,2% pada ucapan bacaan dan 47,5% pada ucapan interaksi manusia-mesin dari kelompok penutur yang sama (TU Delft, Feng dkk., Quantifying Bias in ASR 2021).
| Metrik | Nilai | Sumber |
|---|---|---|
| WER Whisper Large V2, LibriSpeech Clean | 2,7 | OpenAI (Radford dkk.), makalah Whisper 2022 |
| WER Whisper Large V2, CHiME6 dan CORAAL | 25,5 dan 16,2 | OpenAI (Radford dkk.), makalah Whisper 2022 |
| Rata-rata WER pada dataset Tabel 2 makalah, wav2vec 2.0 Large vs Whisper Large V2 | 29,3 vs 12,8 (pengurangan kesalahan relatif rata-rata 55,2%) | OpenAI (Radford dkk.), makalah Whisper 2022 |
| WER Whisper large, EdAcc test vs LibriSpeech test-clean | 19,7% vs 2,7% | University of Edinburgh (Sanabria dkk.), makalah EdAcc 2023 |
| WER wav2vec 2.0 dan sistem komersial, EdAcc test vs LibriSpeech test-clean | 36,1 vs 2,9; 18,7 vs 3,8 | University of Edinburgh (Sanabria dkk.), makalah EdAcc 2023 |
| Rata-rata WER terbaik, jalur bahasa Inggris format pendek; Whisper Large v3 pada jalur yang sama | 5,42; 7,44 | Makalah Open ASR Leaderboard (Srivastav dkk.), v4 Maret 2026 |
| Sistem yang diuji | 86 sistem dari 26 organisasi pada 12 dataset; 74 open-source | Makalah Open ASR Leaderboard (Srivastav dkk.), v4 Maret 2026 |
Konteks: Open ASR Leaderboard melaporkan rata-rata dari set uji pilihan, dan tabel yang kami baca tidak memuat rincian demografi penutur, sehingga rata-rata 5,42 tidak menjelaskan siapa yang berada di ujung distribusi. Angka CORAAL adalah yang paling mendekati angka khusus dialek dalam makalah Whisper: Whisper menurunkan kesalahan wav2vec 2.0 pada korpus itu dari 35,6 menjadi 16,2, dan angka itu masih enam kali skor LibriSpeech Clean (16,2 dibagi 2,7).
3. Aksen Non-Native dan Regional
Kesenjangan aksen terutama diukur pada bahasa Inggris, dan sebagian besar dengan korpus kecil atau yang dipilih sendiri. Audit terluas yang kami temukan, terhadap 2.713 penutur Speech Accent Archive yang lahir di 171 negara, sama sekali tidak memakai WER: audit itu melaporkan word information lost (WIL), dan menemukan angkanya 0,14 lebih rendah untuk penutur yang bahasa pertamanya bahasa Inggris (P<0,001). Pada bahasa Inggris beraksen Pan-Afrika, Whisper-large mencatat WER 0,240 untuk ucapan umum dan 0,375 untuk ucapan klinis, dan ketiga sistem cloud komersial yang diuji berkinerja lebih buruk.
Aksen regional dari bahasa pertama mengikuti pola yang sama. Pada teks otomatis YouTube, 80 penutur dari lima wilayah dialek (California, Georgia, New England, Selandia Baru, dan Skotlandia) menunjukkan pengenalan yang konsisten lebih buruk untuk penutur Skotlandia (University of Washington, Tatman, ACL Ethics in NLP Workshop 2017). Dalam bahasa Belanda, remaja Flemish yang membaca dengan suara keras dikenali dengan WER 40,5% oleh model yang dilatih pada bahasa Belanda Belanda. Kesalahan ini menumpuk di tahap berikutnya, karena kalimat sumber yang salah dikenali menjadi masukan bagi setiap alur penerjemahan ucapan ke ucapan.
| Metrik | Nilai | Sumber |
|---|---|---|
| Ukuran korpus EdAcc | Hampir 40 jam, lebih dari 40 aksen yang dilaporkan sendiri, 51 bahasa pertama | University of Edinburgh (Sanabria dkk.), makalah EdAcc 2023 |
| Selisih WIL, penutur berbahasa pertama Inggris vs bukan Inggris, semua layanan | 0,14 lebih rendah untuk penutur berbahasa pertama Inggris (P<0,001); 2.713 penutur, 212 bahasa pertama | DiChristofano dkk., Global Performance Disparities Between English-Language Accents (arXiv) 2023 |
| Selisih WIL per layanan | Google 0,17; Amazon 0,14; Microsoft 0,11 | DiChristofano dkk., Global Performance Disparities Between English-Language Accents (arXiv) 2023 |
| WER Whisper-large pada bahasa Inggris Pan-Afrika, domain umum vs klinis | 0,240 vs 0,375 | Olatunji dkk., AfriSpeech-200, TACL 2023 |
| WER cloud komersial pada bahasa Inggris Pan-Afrika, kedua domain | Azure 0,391; AWS 0,442; GCP 0,578 | Olatunji dkk., AfriSpeech-200, TACL 2023 |
| WER Whisper-medium pada bahasa Inggris Pan-Afrika, pra-latih vs fine-tuning pada AfriSpeech | 0,332 vs 0,216 | Olatunji dkk., AfriSpeech-200, TACL 2023 |
| WER ASR bahasa Belanda pada ucapan bacaan, penutur non-native vs native | 55,9% vs 26,1% | TU Delft (Feng dkk.), Quantifying Bias in ASR 2021 |
| WER ASR bahasa Belanda pada ucapan bacaan, remaja Flemish vs remaja di empat wilayah Belanda | 40,5% vs 19,3%, 22,9%, 16,8%, dan 17,9% | TU Delft (Feng dkk.), Quantifying Bias in ASR 2021 |
Pencilan: status non-native tidak selalu memprediksi hasil yang lebih buruk. Pada perintah suara Fair-Speech, Whisper-large-v2 mencetak 3,78 untuk penutur bahasa kedua dan 6,11 untuk penutur bahasa pertama (Meta, Fair-Speech Dataset 2024), pengingat bahwa selisih antarkelompok adalah sifat dari sebuah dataset dan tugas, bukan konstanta. Dalam data bahasa Belanda, kesalahan tidak turun seiring meningkatnya kemahiran pembelajar dewasa: 57,2, 56,5, dan 57,0 pada tingkat CEF A1, A2, dan B1. Data terbaru yang tersedia: transkripsi arsip aksen dijalankan pada 2021, dan AfriSpeech-200 (200,70 jam, 2.463 penutur, 120 aksen, 13 negara) dirilis pada 2023.
4. Kesenjangan Gender, Usia, dan Pendapatan
Tidak ada sumbu demografis yang arahnya tetap, dan itulah temuannya. Teks otomatis YouTube lebih buruk untuk perempuan pada 2017. Sistem komersial lebih buruk untuk laki-laki pada 2020. Whisper-large-v2 mencetak 7,91 untuk penutur laki-laki dibandingkan 3,86 untuk penutur perempuan pada Fair-Speech, kira-kira dua kali lipat (7,91 dibagi 3,86 adalah 2,05). Sistem yang diaudit pada satu dataset bisa tampak adil soal gender dan gagal pada dataset lain.
Usia berperilaku sama. Kelompok Fair-Speech dengan kesalahan tertinggi bukan yang tertua, melainkan rentang 31 sampai 45 tahun, sedangkan dalam bahasa Belanda kelompok native terburuk adalah anak-anak. Ucapan anak merupakan titik lemah yang berulang: Whisper-Small memulai dengan WER 13,93% pada set uji MyST berisi ucapan anak sebelum adaptasi apa pun (Kid-Whisper, 2024).
| Metrik | Nilai | Sumber |
|---|---|---|
| Rata-rata WER pada lima sistem komersial, laki-laki kulit hitam vs perempuan kulit hitam; laki-laki kulit putih vs perempuan kulit putih | 0,41 vs 0,30; 0,21 vs 0,17 | Stanford (Koenecke dkk.), PNAS 2020 |
| WER Whisper-large-v2, penutur laki-laki vs perempuan | 7,91 vs 3,86 | Meta (Veliche dkk.), Fair-Speech Dataset 2024 |
| WER Whisper-large-v2 menurut rentang usia, 18-22, 23-30, 31-45, 46-65 | 4,46, 4,62, 7,48, 3,65 | Meta (Veliche dkk.), Fair-Speech Dataset 2024 |
| WER Whisper-large-v2 menurut pendapatan rumah tangga, rendah, menengah, makmur | 5,4, 6,38, 3,62 | Meta (Veliche dkk.), Fair-Speech Dataset 2024 |
| WER teks otomatis YouTube, perempuan vs laki-laki | Lebih tinggi untuk perempuan (t(78) = -3,5, p < 0,01), 80 penutur | University of Washington (Tatman), ACL Ethics in NLP Workshop 2017 |
| WER ASR bahasa Belanda pada ucapan bacaan, anak native, remaja, dewasa lanjut usia | 35,3%, 18,4%, 24,2% | TU Delft (Feng dkk.), Quantifying Bias in ASR 2021 |
| WER Whisper pada ucapan anak MyST, sebelum vs sesudah fine-tuning | Small 13,93% menjadi 9,11%; Medium 13,23% menjadi 8,61% | Attia dkk., Kid-Whisper 2024 |
Konteks: kelompok pendapatan Fair-Speech adalah rendah (AS $50 ribu atau kurang), menengah ($50 ribu sampai $100 ribu), dan makmur ($100 ribu ke atas), dan kelompok makmur adalah kelompok terkecil dalam dataset (41 penutur pada tabel makalah). Data terbaru yang tersedia tentang selisih gender pada teks otomatis: Tatman 2017, diukur pada tugas daftar kata terpisah yang oleh penulisnya dinilai sangat sulit bagi ASR.
5. Ucapan Atipikal, Disartria, dan Disfluen
Di sini selisihnya mencapai satu orde besaran, bukan beberapa poin. Dalam paket data pertama Speech Accessibility Project, pengenal suara dasar dengan WER 3,4% untuk penutur tipikal mentranskripsi penutur dengan disartria akibat Parkinson pada 36,3%. Fine-tuning pada 190 penutur pelatihan menurunkannya menjadi 23,7%, dan dua dari 42 penutur uji tetap berada di 67,10% dan 93,08%.
Datalah, bukan arsitektur, yang menggeser angka-angka ini. Interspeech 2025 Speech Accessibility Project Challenge memberi tim sekitar 415 jam dari 524 partisipan, dan 12 dari 22 tim mengalahkan baseline whisper-large-v2; lima model teratas rata-rata mencatat WER 10,06% untuk penyakit Parkinson dan 7,36% untuk ALS, dibandingkan baseline 17,09% dan 16,88%. Personalisasi melangkah lebih jauh: Project Euphonia milik Google melaporkan WER 4,6% untuk model yang dipersonalisasi pada frasa pendek. Jeda menciptakan mode kegagalan tersendiri, karena Whisper berhalusinasi teks pada 1,7% segmen dari penutur dengan afasia dibandingkan 1,2% untuk kelompok kontrol (Koenecke dkk., Careless Whisper, FAccT 2024).
| Metrik | Nilai | Sumber |
|---|---|---|
| WER dasar, penutur tipikal vs disartria akibat Parkinson; setelah fine-tuning | 3,4% vs 36,3%; 23,7% | Speech Accessibility Project (Hasegawa-Johnson dkk.), JSLHR 2024 |
| Baseline Whisper-large-v2 vs tim teratas, set Test2 tantangan | WER 17,82% vs 8,11% (SemScore teratas 88,44%) | Zheng dkk., Interspeech 2025 Speech Accessibility Project Challenge |
| Data dan partisipasi tantangan | Sekitar 415 jam, 524 partisipan, lima etiologi; 12 dari 22 tim mengalahkan baseline pada WER | Zheng dkk., Interspeech 2025 Speech Accessibility Project Challenge |
| Model yang dipersonalisasi vs independen penutur, 432 penutur dengan gangguan bicara | WER 4,6% vs 31% | Google Research (Green dkk.), Interspeech 2021 |
| Median WER pada frasa otomasi rumah, ucapan yang sangat terganggu, sebelum vs sesudah personalisasi | Sekitar 89% menjadi 13% | Google Research, blog Project Euphonia 2021 |
| Korpus Project Euphonia (per Agustus 2021) | Lebih dari 1 juta ujaran, lebih dari 1.400 jam, 1.330 penutur | Google Research, blog Project Euphonia 2021 |
| Rata-rata WER pada enam sistem ASR, ucapan gagap vs disfluensi dihapus | 0,281 vs 0,105 | Mujtaba dkk., Lost in Transcription, NAACL 2024 |
| WER pengenalan suara untuk penderita gagap, sebelum vs sesudah perubahan sistem (91 partisipan direkam) | 25,4% menjadi 9,9%; ujaran terpotong 79,1% lebih jarang | Lea dkk., CHI 2023 |
Konteks: penyakit Parkinson menyumbang 73,4% korpus pelatihan tantangan berdasarkan durasi, sehingga angka utama 8,11% sebagian besar menggambarkan satu etiologi; sindrom Down, cerebral palsy, dan stroke tidak dilaporkan terpisah karena jumlah ujinya kecil. Dalam studi gagap, Whisper adalah yang paling akurat dari keenam sistem dan tetap naik dari 0,063 menjadi 0,121. Data terbaru yang tersedia untuk akurasi model yang dipersonalisasi: Green dkk., Interspeech 2021.
6. Bahasa Sumber Daya Rendah dan Cakupan Dataset
Kesalahan mengikuti jam pelatihan hampir secara mekanis. Para penulis Whisper melaporkan korelasi kuadrat 0,83 antara logaritma WER dan logaritma jam pelatihan per bahasa, dan memperkirakan bahwa WER turun separuh untuk setiap kenaikan 16 kali lipat data pelatihan. Dari 680.000 jam pelatihan Whisper, 117.000 mencakup 96 bahasa selain bahasa Inggris, dan makalah itu mencatat bahwa sebagian besar bahasa memiliki kurang dari 1.000 jam.
Cakupan berkembang lebih cepat daripada bukti akurasi. Makalah MMS menyebut dunia memiliki lebih dari 7.000 bahasa dengan teknologi suara mendukung sekitar 100, dan Omnilingual ASR kini mengklaim lebih dari 1.600. Tolok ukur multibahasa standar, FLEURS, mencakup 102 bahasa dengan sekitar 12 jam supervisi masing-masing (Conneau dkk., FLEURS 2022), sehingga sebagian besar bahasa yang baru ditambahkan tidak memiliki tolok ukur publik bersama. Kami melacak cakupan dari sisi model lebih mendalam dalam statistik model fondasi ucapan multibahasa kami.
| Metrik | Nilai | Sumber |
|---|---|---|
| Data pelatihan Whisper | Total 680.000 jam; 117.000 jam mencakup 96 bahasa non-Inggris | OpenAI (Radford dkk.), makalah Whisper 2022 |
| Hubungan antara jam pelatihan per bahasa dan WER | Korelasi kuadrat 0,83; WER turun separuh untuk setiap kenaikan data 16 kali lipat | OpenAI (Radford dkk.), makalah Whisper 2022 |
| Bahasa di dunia vs bahasa yang didukung teknologi suara | Lebih dari 7.000 vs sekitar 100 | Pratap dkk., makalah MMS (Scaling Speech Technology to 1,000+ Languages) 2023 |
| Cakupan dan akurasi MMS | ASR untuk 1.107 bahasa; WER turun lebih dari separuh dibandingkan Whisper pada 54 bahasa FLEURS | Pratap dkk., makalah MMS (Scaling Speech Technology to 1,000+ Languages) 2023 |
| Cakupan Omnilingual ASR | Lebih dari 1.600 bahasa, lebih dari 500 di antaranya belum pernah dilayani ASR sebelumnya | Tim Omnilingual ASR, arXiv 2511.09690, 2025 |
| Data pra-pelatihan Google USM | 12 juta jam audio tanpa label yang mencakup lebih dari 300 bahasa; set berlabel berukuran 1/7 milik Whisper | Makalah Google USM (Zhang dkk.) 2023 |
| Common Voice Scripted Speech v27.0 | 295 bahasa; total 42.593 jam; 29.295 jam tervalidasi | Mozilla Common Voice, cv-dataset v27.0 2026 |
| Pembagian gender Common Voice v27.0, Inggris dan Jerman | Inggris 0,4318 laki-laki, 0,1776 perempuan, 0,3894 tidak dinyatakan; Jerman 0,5786 laki-laki, 0,0818 perempuan | Mozilla Common Voice, cv-dataset v27.0 2026 |
Pencilan: dalam statistik Common Voice v27.0, bahasa Katalan memiliki audio rekaman lebih banyak daripada bahasa Inggris (3.940,31 jam total dibandingkan 3.795,9), sedangkan locale terkecil yang kami baca hanya memuat 25 klip dari 2 pengguna. Upaya sukarelawan, bukan jumlah penutur, yang menentukan bahasa mana yang mendapat data. Dataset Spontaneous Speech, yang lebih dekat dengan penggunaan nyata, jauh lebih kecil: total 541 jam di 80 bahasa pada v5.0.
7. Konsekuensi di Pengadilan, Klinik, Perekrutan, dan Asisten Suara
Taruhannya meningkat ketika transkrip menjadi catatan resmi. Manusia memberi patokan yang buruk: juru ketik pengadilan yang bersertifikat dengan akurasi 95% rata-rata mencapai akurasi kata 82,9% dan akurasi tingkat kalimat 59,5% pada bahasa Inggris Afrika-Amerika, dan transkripsi mereka mengubah siapa, apa, kapan, atau di mana dalam 31% kasus (Jones dkk., Language 2019). Statistik akurasi pengenalan suara di ruang sidang kami membahas uji coba otomatis yang mewarisi masalah ini.
Bukti klinis masih baru dan bersampel kecil. Dalam kunjungan layanan kesehatan di rumah yang direkam, dua sistem Amazon masing-masing menunjukkan selisih median WER 17 poin antara pasien kulit hitam dan kulit putih (50 dikurangi 33, dan 54 dikurangi 37), sementara Whisper sama buruknya untuk keduanya. Perekrutan adalah satu-satunya konteks dengan hasil yang menenangkan: bias transkripsi muncul di hampir semua perbandingan, dan para penulis menemukan bahwa bias itu tidak terbawa ke skor wawancara. Biaya yang dilaporkan pengguna bersifat perilaku, karena hampir semua partisipan dalam studi buku harian dua minggu mengubah cara mereka berbicara.
| Metrik | Nilai | Sumber |
|---|---|---|
| Akurasi juru ketik pengadilan pada bahasa Inggris Afrika-Amerika, tingkat kata vs tingkat kalimat (standar sertifikasi 95%) | 82,9% vs 59,5% | Jones dkk., Testifying While Black, Language 2019 |
| Transkripsi yang mengubah siapa, apa, kapan, atau di mana | 31%; 27 juru ketik pengadilan, 9 penutur, 83 kalimat | Jones dkk., Testifying While Black, Language 2019 |
| Median WER, pasien layanan kesehatan di rumah kulit hitam vs kulit putih, AWS General dan AWS Medical | 50% vs 33% (P = 0,016); 54% vs 37% (P = 0,0012) | Zolnoori dkk., JAMIA Open 2024 |
| Median WER, pasien kulit hitam vs kulit putih, Whisper large-v3 | 75% vs 72% (P = 0,66); 35 pasien | Zolnoori dkk., JAMIA Open 2024 |
| Tingkat kesalahan pada catatan klinis yang didiktekan: draf pengenalan suara, setelah transkriptor, catatan yang ditandatangani | 7,4%, 0,4%, 0,3%; 217 catatan | Zhou dkk., JAMA Network Open 2018 |
| Transkripsi Whisper dengan teks halusinasi; porsi halusinasi dengan bahaya eksplisit | 1,4% dari 13.140 segmen; 38% | Koenecke dkk., Careless Whisper, FAccT 2024 |
| Wawancara video simulasi yang ditranskripsi oleh empat metode ASR dan satu manusia | N = 1.014 dan N = 414; bias ASR signifikan di hampir semua perbandingan, tanpa bias pengukuran yang berarti pada skor | Hickman dkk., Journal of Applied Psychology 2025 |
| Pengguna teknologi suara Afrika-Amerika yang mengubah dialek agar dipahami | 93% (n = 28 dari 30); 77% melaporkan frustrasi karena kesalahan | Mengesha dkk., Frontiers in Artificial Intelligence 2021 |
Konteks: studi juru ketik pengadilan mengukur transkriber manusia, bukan perangkat lunak, dan studi dikte klinis adalah data terbaru yang tersedia tentang tingkat kesalahan catatan yang ditandatangani (Zhou dkk., JAMA Network Open 2018). Eksperimen halusinasi dijalankan pada 2023; para penulis menemukan bahwa 19% dari 312 transkripsi halusinasi melibatkan kekerasan, 13% asosiasi yang tidak akurat, dan 8% otoritas palsu, serta tidak ada halusinasi sebanding ketika segmen yang terdampak dijalankan ulang melalui sistem vendor lain (Careless Whisper). Hasil perekrutan (Hickman dkk.) berasal dari wawancara simulasi, bukan keputusan seleksi sungguhan.
Ringkasan: Bias Aksen dan Word Error Rate pada Pengenalan Suara dalam Angka
| Metrik | Nilai | Sumber |
|---|---|---|
| Rata-rata WER, penutur kulit hitam vs kulit putih, lima sistem komersial | 0,35 vs 0,19 | Stanford (Koenecke dkk.), PNAS 2020 |
| Rata-rata WER, penutur Afrika-Amerika vs Amerika Kaukasia, empat sistem komersial | 20% vs 15% | University of Washington (Scott dkk.), LREC 2026 |
| WER Whisper-large-v2, penutur kulit hitam atau Afrika-Amerika vs kulit putih | 9,52 vs 3,96 | Meta (Veliche dkk.), Fair-Speech Dataset 2024 |
| WER Whisper-large-v2, penutur laki-laki vs perempuan | 7,91 vs 3,86 | Meta (Veliche dkk.), Fair-Speech Dataset 2024 |
| WER Whisper large, bahasa Inggris beraksen EdAcc vs LibriSpeech test-clean | 19,7% vs 2,7% | University of Edinburgh (Sanabria dkk.), makalah EdAcc 2023 |
| WER Whisper Large V2, CORAAL vs LibriSpeech Clean | 16,2 vs 2,7 | OpenAI (Radford dkk.), makalah Whisper 2022 |
| Rata-rata WER terbaik, jalur bahasa Inggris format pendek Open ASR Leaderboard | 5,42 dari 86 sistem yang diuji | Makalah Open ASR Leaderboard (Srivastav dkk.), v4 Maret 2026 |
| WER Whisper-large pada bahasa Inggris Pan-Afrika, umum vs klinis | 0,240 vs 0,375 | Olatunji dkk., AfriSpeech-200, TACL 2023 |
| Selisih WIL, penutur berbahasa pertama Inggris vs bukan Inggris | 0,14 (P<0,001) | DiChristofano dkk., arXiv 2023 |
| WER ASR bahasa Belanda pada ucapan bacaan, penutur non-native vs native | 55,9% vs 26,1% | TU Delft (Feng dkk.), Quantifying Bias in ASR 2021 |
| WER dasar, ucapan tipikal vs disartria akibat Parkinson | 3,4% vs 36,3% | Speech Accessibility Project (Hasegawa-Johnson dkk.), JSLHR 2024 |
| Baseline Whisper-large-v2 vs sistem teratas tantangan pada ucapan disartria | 17,82% vs 8,11% | Zheng dkk., Interspeech 2025 Speech Accessibility Project Challenge |
| WER yang dipersonalisasi vs independen penutur, gangguan bicara | 4,6% vs 31% | Google Research (Green dkk.), Interspeech 2021 |
| Rata-rata WER pada enam sistem, versi gagap vs lancar | 0,281 vs 0,105 | Mujtaba dkk., Lost in Transcription, NAACL 2024 |
| Jam pelatihan Whisper, total vs non-Inggris | 680.000 vs 117.000 (96 bahasa) | OpenAI (Radford dkk.), makalah Whisper 2022 |
| Common Voice Scripted Speech v27.0 | 295 bahasa, 29.295 jam tervalidasi | Mozilla Common Voice, cv-dataset v27.0 2026 |
| Median WER, pasien layanan kesehatan di rumah kulit hitam vs kulit putih, AWS General | 50% vs 33% (P = 0,016) | Zolnoori dkk., JAMIA Open 2024 |
| Akurasi kata juru ketik pengadilan pada bahasa Inggris Afrika-Amerika vs standar sertifikasi | 82,9% vs 95% | Jones dkk., Testifying While Black, Language 2019 |
| Pengguna teknologi suara yang mengubah dialek mereka | 93% (n = 28 dari 30) | Mengesha dkk., Frontiers in Artificial Intelligence 2021 |
Metodologi dan Sumber
Kami menjalankan 23 pencarian dan membaca makalah utama, halaman dataset, atau catatan jurnal untuk setiap angka di atas. WER dilaporkan dalam notasi masing-masing sumber: pecahan untuk Koenecke dkk., AfriSpeech-200, dan Mujtaba dkk., persentase di tempat lain. Angka yang berusia lebih dari tiga tahun ditandai di setiap bagian sebagai data terbaru yang tersedia.
- Koenecke dkk., Racial disparities in automated speech recognition, PNAS 2020
- Scott, Liang, Wassink, dan Levow, A Sociophonetic Analysis of Racial Bias in Commercial ASR Systems Using the Pacific Northwest English Corpus, LREC 2026
- Veliche dkk. (Meta), Towards measuring fairness in speech recognition: Fair-Speech dataset, 2024
- Radford dkk. (OpenAI), Robust Speech Recognition via Large-Scale Weak Supervision, 2022
- Sanabria dkk. (University of Edinburgh), The Edinburgh International Accents of English Corpus, ICASSP 2023
- Srivastav dkk., makalah Open ASR Leaderboard, v4 Maret 2026
- DiChristofano, Shuster, Chandra, dan Patwari, Global Performance Disparities Between English-Language Accents in Automatic Speech Recognition, 2023
- Olatunji dkk., AfriSpeech-200: Pan-African Accented Speech Dataset for Clinical and General Domain ASR, TACL 2023
- Feng, Kudina, Halpern, dan Scharenborg (TU Delft), Quantifying Bias in Automatic Speech Recognition, 2021
- Tatman (University of Washington), Gender and Dialect Bias in YouTube’s Automatic Captions, ACL Ethics in NLP Workshop 2017
- Attia dkk., Kid-Whisper, 2024
- Hasegawa-Johnson dkk., Community-Supported Shared Infrastructure in Support of Speech Accessibility, JSLHR 2024
- Zheng dkk., The Interspeech 2025 Speech Accessibility Project Challenge
- Green dkk. (Google Research), Automatic Speech Recognition of Disordered Speech, Interspeech 2021 dan blog dataset Project Euphonia, 2021
- Mujtaba dkk., Lost in Transcription, NAACL 2024
- Lea dkk., From User Perceptions to Technical Improvement: Enabling People Who Stutter to Better Use Speech Recognition, CHI 2023
- Koenecke dkk., Careless Whisper: Speech-to-Text Hallucination Harms, FAccT 2024
- Pratap dkk., Scaling Speech Technology to 1,000+ Languages (MMS), 2023; Omnilingual ASR, 2025; Google USM, 2023; FLEURS, 2022
- Mozilla Common Voice, repositori cv-dataset dan statistik v27.0, 2026
- Jones, Kalbfeld, Hancock, dan Clark, Testifying While Black, Language 95(2), 2019
- Zolnoori dkk., Decoding disparities, JAMIA Open 2024
- Zhou dkk., Analysis of Errors in Dictated Clinical Documents Assisted by Speech Recognition Software and Professional Transcriptionists, JAMA Network Open 2018
- Hickman, Langer, Saef, dan Tay, Automated speech recognition bias in personnel selection, Journal of Applied Psychology 2025
- Mengesha dkk., Impact of Automated Speech Recognition Errors on African Americans, Frontiers in Artificial Intelligence 2021
- Catatan data: beberapa sumber tidak konsisten dengan dirinya sendiri atau mengukur hal yang berbeda. Teks makalah Whisper memberikan WER LibriSpeech clean sebesar 2,5 sementara Tabel 2-nya mencantumkan 2,7 (kami memakai tabel). Abstrak Careless Whisper menyebut sekitar 1% transkripsi berhalusinasi dan bagian hasilnya menyebut 1,4% (kami memakai 1,4%), dan para penulisnya mencatat bahwa eksperimen itu berasal dari 2023. Angka 36,3% dan 23,7% pada abstrak Speech Accessibility Project sesuai dengan baris prompt tak-berbagi di makalahnya; pada semua prompt uji, angka setelah fine-tuning adalah 18,72%. Teks Fair-Speech menyebut 50 penutur pada kelompok pendapatan teratas sementara tabelnya mencantumkan 41. DiChristofano dkk. melaporkan word information lost, bukan WER, sehingga selisih mereka tidak sebanding dengan baris lainnya. Evaluasi Scott dkk. dijalankan pada 2022 dengan 16 penutur dan diterbitkan pada 2026. Open ASR Leaderboard berubah terus-menerus: versi makalah Oktober 2025 mencantumkan 64 model dengan rata-rata WER terbaik 5,63, versi Maret 2026 mencantumkan 86 sistem dan 5,42. Total jam Common Voice berasal dari data grafik rilis repositori, dan proporsi gender dari berkas statistik v27.0-nya. Untuk Testifying While Black, halaman jurnal berada di balik pemeriksaan akses, sehingga angkanya dibaca dari ringkasan makalah yang diterbitkan penulis utamanya; ringkasan itu memberikan dua angka pemahaman parafrasa yang berbeda, sehingga kami tidak memakainya. Kami tidak dapat memverifikasi klaim yang banyak diulang tentang WER vendor perekrutan untuk penutur non-native dan membuangnya.
Terakhir diperbarui: 11 Oktober 2026. Kami memperbarui rangkuman ini setiap kuartal, dan pembaruan berikutnya diperkirakan terjadi ketika Mozilla menerbitkan Common Voice Scripted Speech v28.0.