Beş ticari konuşma tanıma sistemi, Siyah konuşmacılar için ortalama 0,35, beyaz konuşmacılar için 0,19 kelime hata oranı (WER) verdi (Stanford, Koenecke ve ark., PNAS 2020) ve 2026’da yayımlanan bir çalışma, dört ticari sistem genelinde hâlâ %20’ye karşı %15’lik bir ortalama WER buldu (University of Washington, Scott ve ark., LREC 2026). Kıyaslamalar farkı gizliyor: Whisper large, LibriSpeech test-clean üzerinde %2,7, uluslararası İngilizce aksanlarından oluşan bir derlemde ise %19,7 puan alıyor (University of Edinburgh, EdAcc makalesi 2023). Parkinson’a bağlı disartrisi olan konuşmacılarda, tipik konuşmada %3,4 hata yapan bir tanıyıcı %36,3 hata yapıyor (Speech Accessibility Project, JSLHR 2024). PNAS, OpenAI Whisper makalesi, Meta’nın Fair-Speech veri kümesi, Speech Accessibility Project, Mozilla Common Voice ve bir düzineden fazla hakemli kaynaktan veri derledik ve her kaynağın kendi gösterimini koruduk (bazıları WER’i 0,35 gibi kesir olarak, çoğu ise %19,7 gibi yüzde olarak veriyor). Aynı ölçüt, canlı altyazı doğruluk kurallarının de temelinde yatıyor; bu yüzden WER’deki birkaç puan laboratuvarın çok ötesinde önem taşıyor.
TL;DR
- Beş ticari ASR sistemi, Siyah konuşmacılar için ortalama 0,35, beyaz konuşmacılar için 0,19 WER verdi; ses parçalarının %23’ü ile %1,6’sı 0,5’in üzerindeki WER nedeniyle kullanılamaz durumdaydı (Stanford, Koenecke ve ark., PNAS 2020).
- Dört ticari sistem, Afro-Amerikalı konuşmacılar için ortalama %20, Kafkas Amerikalı konuşmacılar için %15 WER verdi; bu, %33’lük göreli bir artış (University of Washington, Scott ve ark., LREC 2026).
- Whisper large, LibriSpeech test-clean üzerinde %2,7, EdAcc aksanlı İngilizce test kümesinde %19,7 WER aldı (University of Edinburgh, EdAcc makalesi 2023).
- Whisper-large-v2, sesli komutlarda Siyah veya Afro-Amerikalı konuşmacılar için 9,52, beyaz konuşmacılar için 3,96 puan aldı (Meta, Fair-Speech Dataset 2024).
- Bir Hollandaca tanıyıcı, anadili olmayanların okuma konuşmasında %55,9, anadili olanlarda %26,1 WER’e ulaştı (TU Delft, Feng ve ark., Quantifying Bias in ASR 2021).
- Disartrik konuşma, %3,4’lük temel WER’i %36,3’e çıkardı; ince ayar bunu %23,7’ye indirdi (Speech Accessibility Project, JSLHR 2024).
- Interspeech 2025 Speech Accessibility Project Challenge’daki en iyi sistem, %17,82’lik whisper-large-v2 temel sistemine karşı %8,11 WER’e ulaştı (Zheng ve ark., Interspeech 2025).
- Altı ASR sistemi, kekeme konuşmada ortalama 0,281 WER verdi; akıcısızlıklar çıkarıldığında bu değer 0,105 oldu (Mujtaba ve ark., NAACL 2024).
- Common Voice Scripted Speech v27.0, 295 dilde 29.295 doğrulanmış saat içeriyor; dünyadaki toplam dil sayısı ise 7.000’in üzerinde (Mozilla Common Voice 2026; Pratap ve ark., MMS makalesi 2023).
- AWS General Transcribe, evde sağlık hizmeti alan Siyah hastalar için %50, beyaz hastalar için %33 medyan WER verdi, P = 0,016 (Zolnoori ve ark., JAMIA Open 2024).
- %95 doğrulukla sertifikalandırılmış mahkeme stenografları, Afro-Amerikan İngilizcesinde ortalama %82,9 kelime doğruluğuna ulaştı (Jones ve ark., Language 2019).
- İki haftalık bir günlük çalışmasındaki Afro-Amerikalı katılımcıların %93’ü, ses teknolojisi tarafından anlaşılmak için lehçesini değiştirdi (Mengesha ve ark., Frontiers in Artificial Intelligence 2021).
1. Ticari ve Açık ASR’de Irk ve Lehçe Farkları
Kanonik rakam altı yıllık ve daha iyi bir kanıtla emekliye ayrılmadı. Amazon, Apple, Google, IBM ve Microsoft’un PNAS denetiminde, ortalama WER Siyah konuşmacılar için 0,35, beyaz konuşmacılar için 0,19’du; bu, yaş ve cinsiyet bakımından eşleştirilmiş 73 Siyah ve 42 beyaz konuşmacıdan alınan 19,8 saatlik ses üzerinde ölçülen 0,16’lık (0,35 eksi 0,19) bir fark. Yazarlar sorunu akustik modellere yerleştirdi, çünkü fark aynı ifadelerde de sürdü: en iyi sistem olan Microsoft, eşleştirilmiş söylemlerde 0,13’e karşılık 0,07 puan aldı. Beş sağlayıcılı bir denetim için mevcut en güncel veri: Koenecke ve ark., PNAS 2020.
Farklı derlemlerden alınan daha yeni kanıtlar, genel olarak daha düşük hata oranları ve kapanmamış bir fark gösteriyor. University of Washington ekibi, dört ticari sistem genelinde Afro-Amerikalı konuşmacılar için %33’lük göreli bir artış bildiriyor; Meta’nın kendi sesli komut veri kümesi ise Whisper-large-v2’yi Siyah veya Afro-Amerikalı konuşmacılar için 9,52, beyaz konuşmacılar için 3,96 olarak gösteriyor. Washington ekibi hatalarını lehçeler arasındaki ünlü kalitesi farklılıklarına bağlıyor; bu, 2020’deki akustik model teşhisiyle örtüşüyor.
| Metrik | Değer | Kaynak |
|---|---|---|
| Ortalama WER, Siyah ve beyaz konuşmacılar, beş ticari sistem | 0,35’e karşı 0,19 | Stanford (Koenecke ve ark.), PNAS 2020 |
| En iyi ve en kötü sağlayıcı, Siyah ve beyaz konuşmacılar | Microsoft 0,27’ye karşı 0,15; Apple 0,45’e karşı 0,23 | Stanford (Koenecke ve ark.), PNAS 2020 |
| WER’i 0,5’in üzerinde olan ses parçaları (kullanılamaz transkriptler) | Siyah konuşmacıların parçalarının %23’ü, beyaz konuşmacılarınkilerin %1,6’sı | Stanford (Koenecke ve ark.), PNAS 2020 |
| Ortalama WER, Afro-Amerikalı ve Kafkas Amerikalı konuşmacılar, dört ticari sistem | %20’ye karşı %15 (%33 göreli artış) | University of Washington (Scott ve ark.), LREC 2026 |
| Ortalama WER, ChicanX ve Yakama konuşmacılar, aynı dört sistem | %23 ve %21 | University of Washington (Scott ve ark.), LREC 2026 |
| WER, Siyah veya Afro-Amerikalı ve beyaz konuşmacılar, Whisper-large-v2 ve Whisper-small | 9,52’ye karşı 3,96; 16,99’a karşı 4,51 | Meta (Veliche ve ark.), Fair-Speech Dataset 2024 |
| Etnik gruplar arasındaki göreli WER farkı, Whisper-large-v2 ve Meta yarı denetimli video modeli | %61,13’e karşı %31,04 | Meta (Veliche ve ark.), Fair-Speech Dataset 2024 |
Bağlam: Washington değerlendirmesi 16 konuşmacı (grup başına dört) kullandı ve makale LREC 2026 bildirilerinde yayımlanmış olsa da 2022’deki sistem performansını yansıtıyor. Fair-Speech, 593 ABD’li konuşmacıyı ve yaklaşık 26,5 bin söylemi kapsıyor; yazarları, Whisper modelleri için ölçtükleri tüm boyutlarda göreli farkın %40’tan büyük olduğunu belirtiyor.
2. Kıyaslama WER’i ve Gerçek Dünya Konuşması
Manşet kıyaslama, sohbet değil, temiz okuma konuşmasıdır. Whisper makalesi bunu kendi tablosuyla gösteriyor: LibriSpeech Clean üzerinde 2,7 alan aynı model, CHiME6’da 25,5, Afro-Amerikan Dili görüşmelerinden oluşan CORAAL derleminde ise 16,2 alıyor. Whisper large, LibriSpeech test-clean üzerindeki %2,7 WER’den, kendi bildirdiği 40’tan fazla İngilizce aksanıyla arkadaşlar arasındaki görüntülü görüşme sohbetlerinden oluşan EdAcc’te %19,7’ye çıkıyor.
Bu hâlâ sağlam olan model. LibriSpeech’te 2,9 alan bir wav2vec 2.0 sistemi, aynı aksanlı sohbetlerde %36,1’e ulaştı. Tek başına konuşma tarzı bile ibreyi oynatıyor: bir Hollandaca tanıyıcı, aynı konuşmacı havuzundan okuma konuşmasında ortalama %36,2, insan-makine etkileşimi konuşmasında ise %47,5 WER verdi (TU Delft, Feng ve ark., Quantifying Bias in ASR 2021).
| Metrik | Değer | Kaynak |
|---|---|---|
| Whisper Large V2 WER, LibriSpeech Clean | 2,7 | OpenAI (Radford ve ark.), Whisper makalesi 2022 |
| Whisper Large V2 WER, CHiME6 ve CORAAL | 25,5 ve 16,2 | OpenAI (Radford ve ark.), Whisper makalesi 2022 |
| Makalenin Tablo 2 veri kümelerinde ortalama WER, wav2vec 2.0 Large ve Whisper Large V2 | 29,3’e karşı 12,8 (ortalama %55,2 göreli hata azalması) | OpenAI (Radford ve ark.), Whisper makalesi 2022 |
| Whisper large WER, EdAcc test ve LibriSpeech test-clean | %19,7’ye karşı %2,7 | University of Edinburgh (Sanabria ve ark.), EdAcc makalesi 2023 |
| wav2vec 2.0 ve ticari sistem WER, EdAcc test ve LibriSpeech test-clean | 36,1’e karşı 2,9; 18,7’ye karşı 3,8 | University of Edinburgh (Sanabria ve ark.), EdAcc makalesi 2023 |
| En iyi ortalama WER, İngilizce kısa biçim kategorisi; aynı kategoride Whisper Large v3 | 5,42; 7,44 | Open ASR Leaderboard makalesi (Srivastav ve ark.), v4 Mart 2026 |
| Kıyaslanan sistemler | 12 veri kümesinde 26 kuruluştan 86 sistem; 74’ü açık kaynak | Open ASR Leaderboard makalesi (Srivastav ve ark.), v4 Mart 2026 |
Bağlam: Open ASR Leaderboard, seçilmiş test kümeleri üzerindeki ortalamaları bildiriyor ve incelediğimiz tablolarda konuşmacı demografisi dökümü yok; dolayısıyla 5,42’lik bir ortalama, kuyruktaki kişilerin kim olduğu hakkında hiçbir şey söylemiyor. CORAAL rakamı, Whisper makalesinin lehçeye özgü bir sayıya en çok yaklaştığı yer: Whisper, bu derlemde wav2vec 2.0 hatasını 35,6’dan 16,2’ye indirdi ve bu hâlâ LibriSpeech Clean puanının altı katıydı (16,2 bölü 2,7).
3. Anadili Olmayan ve Bölgesel Aksanlar
Aksan farkları çoğunlukla İngilizce üzerinde ve çoğunlukla küçük ya da kendiliğinden seçilmiş derlemlerle ölçülüyor. Bulduğumuz en geniş denetim, 171 ülkede doğmuş 2.713 Speech Accent Archive konuşmacısı üzerinde yapıldı ve hiç WER kullanmıyor: kaybolan kelime bilgisini (WIL) bildiriyor ve bunun ana dili İngilizce olan konuşmacılar için 0,14 daha düşük olduğunu buluyor (P<0,001). Pan-Afrika aksanlı İngilizcede Whisper-large, genel konuşmada 0,240, klinik konuşmada 0,375 WER kaydetti; test edilen üç ticari bulut sisteminin hepsi daha kötüydü.
Ana dilin bölgesel aksanları da aynı örüntüyü izliyor. YouTube’un otomatik altyazılarında, beş lehçe bölgesinden (California, Georgia, New England, Yeni Zelanda ve İskoçya) 80 konuşmacı, İskoç konuşmacılar için güvenilir biçimde daha kötü tanıma gösterdi (University of Washington, Tatman, ACL Ethics in NLP Workshop 2017). Hollandaca’da, sesli okuyan Flaman gençler, Hollanda Hollandacası ile eğitilmiş bir model tarafından %40,5 WER ile tanındı. Bu hatalar sonraki aşamalarda birikiyor, çünkü yanlış tanınan bir kaynak cümle, her konuşmadan konuşmaya çeviri hattının girdisidir.
| Metrik | Değer | Kaynak |
|---|---|---|
| EdAcc derlem boyutu | Neredeyse 40 saat, kendiliğinden bildirilen 40’tan fazla aksan, 51 ana dil | University of Edinburgh (Sanabria ve ark.), EdAcc makalesi 2023 |
| WIL farkı, ana dili İngilizce olan ve olmayan konuşmacılar, tüm hizmetler | Ana dili İngilizce olanlar için 0,14 daha düşük (P<0,001); 2.713 konuşmacı, 212 ana dil | DiChristofano ve ark., Global Performance Disparities Between English-Language Accents (arXiv) 2023 |
| Hizmete göre WIL farkı | Google 0,17; Amazon 0,14; Microsoft 0,11 | DiChristofano ve ark., Global Performance Disparities Between English-Language Accents (arXiv) 2023 |
| Pan-Afrika İngilizcesinde Whisper-large WER, genel ve klinik alan | 0,240’a karşı 0,375 | Olatunji ve ark., AfriSpeech-200, TACL 2023 |
| Pan-Afrika İngilizcesinde ticari bulut WER, her iki alan | Azure 0,391; AWS 0,442; GCP 0,578 | Olatunji ve ark., AfriSpeech-200, TACL 2023 |
| Pan-Afrika İngilizcesinde Whisper-medium WER, önceden eğitilmiş ve AfriSpeech üzerinde ince ayarlı | 0,332’ye karşı 0,216 | Olatunji ve ark., AfriSpeech-200, TACL 2023 |
| Okuma konuşmasında Hollandaca ASR WER, anadili olmayan ve anadili olan konuşmacılar | %55,9’a karşı %26,1 | TU Delft (Feng ve ark.), Quantifying Bias in ASR 2021 |
| Okuma konuşmasında Hollandaca ASR WER, Flaman gençler ve dört Hollanda bölgesindeki gençler | %40,5’e karşı %19,3, %22,9, %16,8 ve %17,9 | TU Delft (Feng ve ark.), Quantifying Bias in ASR 2021 |
Aykırı durum: anadili olmama durumu her zaman daha kötü sonuçları öngörmez. Fair-Speech sesli komutlarında Whisper-large-v2, ikinci dil konuşmacıları için 3,78, ana dil konuşmacıları için 6,11 puan aldı (Meta, Fair-Speech Dataset 2024); bu, grup farklarının bir veri kümesinin ve bir görevin özellikleri olduğunu, sabitler olmadığını hatırlatıyor. Hollandaca verilerde, yetişkin öğrenenlerin yeterliliği arttıkça hata düşmedi: CEF A1, A2 ve B1 düzeylerinde 57,2, 56,5 ve 57,0. Mevcut en güncel veri: aksan arşivi transkripsiyonları 2021’de çalıştırıldı, AfriSpeech-200 (200,70 saat, 2.463 konuşmacı, 120 aksan, 13 ülke) ise 2023’te yayımlandı.
4. Cinsiyet, Yaş ve Gelir Farkları
Hiçbir demografik eksenin sabit bir yönü yok ve bulgu da bu. YouTube altyazıları 2017’de kadınlar için daha kötüydü. Ticari sistemler 2020’de erkekler için daha kötüydü. Whisper-large-v2, Fair-Speech üzerinde erkek konuşmacılar için 7,91, kadın konuşmacılar için 3,86 puan aldı; yani kabaca iki katı (7,91 bölü 3,86 eşittir 2,05). Bir veri kümesinde denetlenen bir sistem, cinsiyet açısından adil görünüp başka bir veri kümesinde başarısız olabilir.
Yaş da aynı biçimde davranıyor. Fair-Speech’te en yüksek hataya sahip grup en yaşlısı değil, 31 ile 45 yaş aralığıydı; Hollandaca’da ise en kötü ana dil grubu çocuklardı. Çocuk konuşması tekrar eden bir zayıf nokta: Whisper-Small, herhangi bir uyarlamadan önce çocuk konuşmasından oluşan MyST test kümesinde %13,93 WER ile başladı (Kid-Whisper, 2024).
| Metrik | Değer | Kaynak |
|---|---|---|
| Beş ticari sistem genelinde ortalama WER, Siyah erkekler ve Siyah kadınlar; beyaz erkekler ve beyaz kadınlar | 0,41’e karşı 0,30; 0,21’e karşı 0,17 | Stanford (Koenecke ve ark.), PNAS 2020 |
| Whisper-large-v2 WER, erkek ve kadın konuşmacılar | 7,91’e karşı 3,86 | Meta (Veliche ve ark.), Fair-Speech Dataset 2024 |
| Yaş aralığına göre Whisper-large-v2 WER, 18-22, 23-30, 31-45, 46-65 | 4,46, 4,62, 7,48, 3,65 | Meta (Veliche ve ark.), Fair-Speech Dataset 2024 |
| Hane geliri düzeyine göre Whisper-large-v2 WER, düşük, orta, varlıklı | 5,4, 6,38, 3,62 | Meta (Veliche ve ark.), Fair-Speech Dataset 2024 |
| YouTube altyazı WER, kadınlar ve erkekler | Kadınlarda daha yüksek (t(78) = -3,5, p < 0,01), 80 konuşmacı | University of Washington (Tatman), ACL Ethics in NLP Workshop 2017 |
| Okuma konuşmasında Hollandaca ASR WER, ana dili konuşan çocuklar, gençler, yaşlı yetişkinler | %35,3, %18,4, %24,2 | TU Delft (Feng ve ark.), Quantifying Bias in ASR 2021 |
| MyST çocuk konuşmasında Whisper WER, ince ayardan önce ve sonra | Small %13,93’ten %9,11’e; Medium %13,23’ten %8,61’e | Attia ve ark., Kid-Whisper 2024 |
Bağlam: Fair-Speech gelir bantları düşük (ABD doları cinsinden 50 bin veya altı), orta (50 bin ile 100 bin arası) ve varlıklı (100 bin ve üzeri) olarak ayrılıyor; varlıklı bant, veri kümesindeki en küçük grup (makalenin tablosunda 41 konuşmacı). Altyazılardaki cinsiyet farklarına ilişkin mevcut en güncel veri: Tatman 2017; yazarın ASR için özellikle zor olarak nitelendirdiği, izole bir kelime listesi görevi üzerinde ölçüldü.
5. Atipik, Disartrik ve Akıcısız Konuşma
Burada farklar birkaç puan değil, bir büyüklük mertebesi kadar. Speech Accessibility Project’in ilk veri paketinde, tipik konuşmacılar için %3,4 WER veren bir temel tanıyıcı, Parkinson’a bağlı disartrisi olan konuşmacıları %36,3 ile transkribe etti. 190 eğitim konuşmacısı üzerinde yapılan ince ayar bunu %23,7’ye indirdi ve 42 test konuşmacısından ikisi %67,10 ve %93,08’de kaldı.
Bu sayıları kıpırdatan şey mimari değil, veridir. Interspeech 2025 Speech Accessibility Project Challenge, takımlara 524 katılımcıdan yaklaşık 415 saat verdi ve 22 takımdan 12’si whisper-large-v2 temel sistemini geçti; en iyi beş model Parkinson hastalığı için ortalama %10,06, ALS için %7,36 WER elde ederken temel sistem %17,09 ve %16,88 aldı. Kişiselleştirme daha da ileri gidiyor: Google’ın Project Euphonia çalışması, kısa ifadelerde kişiselleştirilmiş modeller için %4,6 WER bildirdi. Duraklamalar ayrı bir hata biçimi yaratıyor: Whisper, afazisi olan konuşmacıların segmentlerinin %1,7’sinde, kontrol grubunda ise %1,2’sinde metin halüsinasyonu üretti (Koenecke ve ark., Careless Whisper, FAccT 2024).
| Metrik | Değer | Kaynak |
|---|---|---|
| Temel WER, tipik konuşmacılar ve Parkinson’a bağlı disartri; ince ayardan sonra | %3,4’e karşı %36,3; %23,7 | Speech Accessibility Project (Hasegawa-Johnson ve ark.), JSLHR 2024 |
| Whisper-large-v2 temel sistemi ve en iyi takım, yarışma Test2 kümesi | %17,82’ye karşı %8,11 WER (en iyi SemScore %88,44) | Zheng ve ark., Interspeech 2025 Speech Accessibility Project Challenge |
| Yarışma verisi ve katılım | Yaklaşık 415 saat, 524 katılımcı, beş etiyoloji; 22 takımdan 12’si WER’de temel sistemi geçti | Zheng ve ark., Interspeech 2025 Speech Accessibility Project Challenge |
| Kişiselleştirilmiş ve konuşmacıdan bağımsız modeller, bozuk konuşması olan 432 konuşmacı | %4,6’ya karşı %31 WER | Google Research (Green ve ark.), Interspeech 2021 |
| Ev otomasyonu ifadelerinde medyan WER, ağır bozuk konuşma, kişiselleştirmeden önce ve sonra | Yaklaşık %89’dan %13’e | Google Research, Project Euphonia blogu 2021 |
| Project Euphonia derlemi (Ağustos 2021 itibarıyla) | 1 milyondan fazla söylem, 1.400 saatten fazla, 1.330 konuşmacı | Google Research, Project Euphonia blogu 2021 |
| Altı ASR sistemi genelinde ortalama WER, kekeme konuşma ve akıcısızlıklar çıkarılmış hâli | 0,281’e karşı 0,105 | Mujtaba ve ark., Lost in Transcription, NAACL 2024 |
| Kekemelik yaşayanlar için konuşma tanıma WER’i, sistem değişikliklerinden önce ve sonra (91 katılımcı kaydedildi) | %25,4’ten %9,9’a; söylemler %79,1 daha az kesildi | Lea ve ark., CHI 2023 |
Bağlam: Parkinson hastalığı, yarışma eğitim derleminin süre bakımından %73,4’ünü oluşturuyor; bu nedenle manşetteki %8,11 çoğunlukla tek bir etiyolojiyi tanımlıyor. Down sendromu, serebral palsi ve inme, test sayılarının azlığı nedeniyle ayrı ayrı bildirilmedi. Kekemelik çalışmasında Whisper altı sistem arasında en doğru olanıydı ve yine de 0,063’ten 0,121’e çıktı. Kişiselleştirilmiş model doğruluğu için mevcut en güncel veri: Green ve ark., Interspeech 2021.
6. Düşük Kaynaklı Diller ve Veri Kümesi Kapsamı
Hata, eğitim saatlerini neredeyse mekanik biçimde izliyor. Whisper yazarları, WER’in logaritması ile dil başına eğitim saatlerinin logaritması arasında 0,83’lük bir kare korelasyon bildiriyor ve eğitim verisi her 16 kat arttığında WER’in yarıya indiğini tahmin ediyor. Whisper’ın 680.000 eğitim saatinden 117.000’i İngilizce dışındaki 96 dili kapsıyor ve makale, çoğu dilin 1.000 saatten az verisi olduğunu not ediyor.
Kapsam, doğruluk kanıtından daha hızlı genişledi. MMS makalesi dünyada 7.000’den fazla dil olduğunu ve konuşma teknolojisinin yaklaşık 100’ünü desteklediğini belirtti; Omnilingual ASR ise artık 1.600’den fazla dil iddia ediyor. Standart çok dilli kıyaslama olan FLEURS, her biri yaklaşık 12 saatlik denetimle 102 dili kapsıyor (Conneau ve ark., FLEURS 2022); dolayısıyla yeni eklenen dillerin çoğunda ortak bir kamusal ölçüt yok. Model tarafındaki kapsamı çok dilli konuşma temel modeli istatistiklerimizde daha ayrıntılı izliyoruz.
| Metrik | Değer | Kaynak |
|---|---|---|
| Whisper eğitim verisi | Toplam 680.000 saat; İngilizce dışındaki 96 dili kapsayan 117.000 saat | OpenAI (Radford ve ark.), Whisper makalesi 2022 |
| Dil başına eğitim saatleri ile WER arasındaki ilişki | Kare korelasyon 0,83; verideki her 16 katlık artışta WER yarıya iniyor | OpenAI (Radford ve ark.), Whisper makalesi 2022 |
| Dünya dilleri ve konuşma teknolojisinin desteklediği diller | 7.000’den fazla ve yaklaşık 100 | Pratap ve ark., MMS makalesi (Scaling Speech Technology to 1,000+ Languages) 2023 |
| MMS kapsamı ve doğruluğu | 1.107 dil için ASR; 54 FLEURS dilinde Whisper’a kıyasla WER’in yarıdan fazla azalması | Pratap ve ark., MMS makalesi (Scaling Speech Technology to 1,000+ Languages) 2023 |
| Omnilingual ASR kapsamı | 1.600’den fazla dil, 500’den fazlası daha önce hiç ASR ile hizmet almamış | Omnilingual ASR ekibi, arXiv 2511.09690, 2025 |
| Google USM ön eğitim verisi | 300’den fazla dili kapsayan 12 milyon saatlik etiketsiz ses; etiketli küme Whisper’ınkinin 1/7’si büyüklüğünde | Google USM makalesi (Zhang ve ark.) 2023 |
| Common Voice Scripted Speech v27.0 | 295 dil; toplam 42.593 saat; 29.295 doğrulanmış saat | Mozilla Common Voice, cv-dataset v27.0 2026 |
| Common Voice v27.0 cinsiyet dağılımı, İngilizce ve Almanca | İngilizce 0,4318 erkek, 0,1776 kadın, 0,3894 belirtilmemiş; Almanca 0,5786 erkek, 0,0818 kadın | Mozilla Common Voice, cv-dataset v27.0 2026 |
Aykırı durum: Common Voice v27.0 istatistiklerinde Katalanca, İngilizceden daha fazla kayıtlı sese sahip (3.795,9 saate karşılık toplam 3.940,31 saat); okuduğumuz en küçük yerel ayar ise 2 kullanıcıdan 25 klip içeriyor. Hangi dillerin veri alacağını konuşur nüfusu değil, gönüllü çabası belirliyor. Gerçek kullanıma daha yakın olan Spontaneous Speech veri kümesi çok daha küçük: v5.0’da 80 dilde toplam 541 saat.
7. Mahkemelerde, Kliniklerde, İşe Alımda ve Sesli Asistanlarda Sonuçlar
Bir transkript kayda dönüştüğünde riskler artıyor. İnsanlar zayıf bir referans oluşturuyor: %95 doğrulukla sertifikalandırılmış mahkeme stenografları, Afro-Amerikan İngilizcesinde ortalama %82,9 kelime doğruluğuna ve %59,5 cümle düzeyinde doğruluğa ulaştı ve transkripsiyonları vakaların %31’inde kim, ne, ne zaman veya nerede bilgisini değiştirdi (Jones ve ark., Language 2019). Mahkeme salonu konuşma tanıma doğruluğu istatistiklerimiz, bu sorunu devralan otomatik pilot uygulamaları ele alıyor.
Klinik kanıtlar yeni ve küçük örneklemli. Kaydedilmiş evde sağlık hizmeti ziyaretlerinde, iki Amazon sistemi de Siyah ve beyaz hastalar arasında 17 puanlık medyan WER farkı gösterdi (50 eksi 33 ve 54 eksi 37); Whisper ise her iki grup için de aynı derecede zayıftı. İşe alım, güven verici bir sonuç veren tek ortam: transkripsiyon yanlılığı karşılaştırmaların neredeyse tamamında ortaya çıktı ve yazarlar bunun mülakat puanlarına yansımadığını buldu. Kullanıcıların bildirdiği bedel davranışsal: iki haftalık bir günlük çalışmasındaki neredeyse her katılımcı konuşma biçimini değiştirdi.
| Metrik | Değer | Kaynak |
|---|---|---|
| Afro-Amerikan İngilizcesinde mahkeme stenografı doğruluğu, kelime düzeyi ve cümle düzeyi (sertifika standardı %95) | %82,9’a karşı %59,5 | Jones ve ark., Testifying While Black, Language 2019 |
| Kim, ne, ne zaman veya nerede bilgisini değiştiren transkripsiyonlar | %31; 27 mahkeme stenografı, 9 konuşmacı, 83 cümle | Jones ve ark., Testifying While Black, Language 2019 |
| Medyan WER, evde sağlık hizmeti alan Siyah ve beyaz hastalar, AWS General ve AWS Medical | %50’ye karşı %33 (P = 0,016); %54’e karşı %37 (P = 0,0012) | Zolnoori ve ark., JAMIA Open 2024 |
| Medyan WER, Siyah ve beyaz hastalar, Whisper large-v3 | %75’e karşı %72 (P = 0,66); 35 hasta | Zolnoori ve ark., JAMIA Open 2024 |
| Dikte edilen klinik notlardaki hata oranı: konuşma tanıma taslağı, transkripsiyoncudan sonra, imzalanmış not | %7,4, %0,4, %0,3; 217 not | Zhou ve ark., JAMA Network Open 2018 |
| Halüsinasyonla üretilmiş metin içeren Whisper transkripsiyonları; halüsinasyonlar içinde açık zarar barındıranların payı | 13.140 segmentin %1,4’ü; %38 | Koenecke ve ark., Careless Whisper, FAccT 2024 |
| Dört ASR yöntemi ve bir insan tarafından transkribe edilen sahte video mülakatlar | N = 1.014 ve N = 414; karşılaştırmaların neredeyse tamamında anlamlı ASR yanlılığı, puanlarda anlamlı ölçüm yanlılığı yok | Hickman ve ark., Journal of Applied Psychology 2025 |
| Anlaşılmak için lehçesini değiştiren Afro-Amerikalı ses teknolojisi kullanıcıları | %93 (30 kişiden n = 28); %77’si hatalar nedeniyle hayal kırıklığı bildirdi | Mengesha ve ark., Frontiers in Artificial Intelligence 2021 |
Bağlam: mahkeme stenografı çalışması yazılımı değil, insan transkripsiyoncuları ölçüyor; klinik dikte çalışması ise imzalanmış notlardaki hata oranlarına ilişkin mevcut en güncel veri (Zhou ve ark., JAMA Network Open 2018). Halüsinasyon deneyleri 2023’te yapıldı; yazarlar, halüsinasyonla üretilen 312 transkripsiyonun %19’unun şiddet, %13’ünün hatalı çağrışımlar ve %8’inin sahte otorite içerdiğini, etkilenen segmentler diğer sağlayıcıların sistemlerinden yeniden geçirildiğinde ise karşılaştırılabilir halüsinasyonlar bulunmadığını belirtti (Careless Whisper). İşe alım sonucu (Hickman ve ark.) canlı seçim kararlarından değil, sahte mülakatlardan geliyor.
Özet: Rakamlarla Konuşma Tanıma Aksan Yanlılığı ve Kelime Hata Oranı
| Metrik | Değer | Kaynak |
|---|---|---|
| Ortalama WER, Siyah ve beyaz konuşmacılar, beş ticari sistem | 0,35’e karşı 0,19 | Stanford (Koenecke ve ark.), PNAS 2020 |
| Ortalama WER, Afro-Amerikalı ve Kafkas Amerikalı konuşmacılar, dört ticari sistem | %20’ye karşı %15 | University of Washington (Scott ve ark.), LREC 2026 |
| Whisper-large-v2 WER, Siyah veya Afro-Amerikalı ve beyaz konuşmacılar | 9,52’ye karşı 3,96 | Meta (Veliche ve ark.), Fair-Speech Dataset 2024 |
| Whisper-large-v2 WER, erkek ve kadın konuşmacılar | 7,91’e karşı 3,86 | Meta (Veliche ve ark.), Fair-Speech Dataset 2024 |
| Whisper large WER, EdAcc aksanlı İngilizce ve LibriSpeech test-clean | %19,7’ye karşı %2,7 | University of Edinburgh (Sanabria ve ark.), EdAcc makalesi 2023 |
| Whisper Large V2 WER, CORAAL ve LibriSpeech Clean | 16,2’ye karşı 2,7 | OpenAI (Radford ve ark.), Whisper makalesi 2022 |
| En iyi ortalama WER, Open ASR Leaderboard İngilizce kısa biçim kategorisi | 86 kıyaslanan sistem arasında 5,42 | Open ASR Leaderboard makalesi (Srivastav ve ark.), v4 Mart 2026 |
| Pan-Afrika İngilizcesinde Whisper-large WER, genel ve klinik | 0,240’a karşı 0,375 | Olatunji ve ark., AfriSpeech-200, TACL 2023 |
| WIL farkı, ana dili İngilizce olan ve olmayan konuşmacılar | 0,14 (P<0,001) | DiChristofano ve ark., arXiv 2023 |
| Okuma konuşmasında Hollandaca ASR WER, anadili olmayan ve anadili olan konuşmacılar | %55,9’a karşı %26,1 | TU Delft (Feng ve ark.), Quantifying Bias in ASR 2021 |
| Temel WER, tipik konuşma ve Parkinson’a bağlı disartrik konuşma | %3,4’e karşı %36,3 | Speech Accessibility Project (Hasegawa-Johnson ve ark.), JSLHR 2024 |
| Disartrik konuşmada Whisper-large-v2 temel sistemi ve en iyi yarışma sistemi | %17,82’ye karşı %8,11 | Zheng ve ark., Interspeech 2025 Speech Accessibility Project Challenge |
| Kişiselleştirilmiş ve konuşmacıdan bağımsız WER, bozuk konuşma | %4,6’ya karşı %31 | Google Research (Green ve ark.), Interspeech 2021 |
| Altı sistem genelinde ortalama WER, kekeme ve akıcı sürümler | 0,281’e karşı 0,105 | Mujtaba ve ark., Lost in Transcription, NAACL 2024 |
| Whisper eğitim saatleri, toplam ve İngilizce dışı | 680.000’e karşı 117.000 (96 dil) | OpenAI (Radford ve ark.), Whisper makalesi 2022 |
| Common Voice Scripted Speech v27.0 | 295 dil, 29.295 doğrulanmış saat | Mozilla Common Voice, cv-dataset v27.0 2026 |
| Medyan WER, evde sağlık hizmeti alan Siyah ve beyaz hastalar, AWS General | %50’ye karşı %33 (P = 0,016) | Zolnoori ve ark., JAMIA Open 2024 |
| Afro-Amerikan İngilizcesinde mahkeme stenografı kelime doğruluğu ve sertifika standardı | %82,9’a karşı %95 | Jones ve ark., Testifying While Black, Language 2019 |
| Lehçesini değiştiren ses teknolojisi kullanıcıları | %93 (30 kişiden n = 28) | Mengesha ve ark., Frontiers in Artificial Intelligence 2021 |
Metodoloji ve Kaynaklar
23 arama yaptık ve yukarıdaki her rakam için birincil makaleyi, veri kümesi sayfasını veya dergi kaydını okuduk. WER, her kaynağın kendi gösterimiyle bildirilmiştir: Koenecke ve ark., AfriSpeech-200 ve Mujtaba ve ark. için kesirler, diğer yerlerde yüzdeler. Üç yıldan eski rakamlar, bölümlerde mevcut en güncel veri olarak işaretlenmiştir.
- Koenecke ve ark., Racial disparities in automated speech recognition, PNAS 2020
- Scott, Liang, Wassink ve Levow, A Sociophonetic Analysis of Racial Bias in Commercial ASR Systems Using the Pacific Northwest English Corpus, LREC 2026
- Veliche ve ark. (Meta), Towards measuring fairness in speech recognition: Fair-Speech dataset, 2024
- Radford ve ark. (OpenAI), Robust Speech Recognition via Large-Scale Weak Supervision, 2022
- Sanabria ve ark. (University of Edinburgh), The Edinburgh International Accents of English Corpus, ICASSP 2023
- Srivastav ve ark., Open ASR Leaderboard makalesi, v4 Mart 2026
- DiChristofano, Shuster, Chandra ve Patwari, Global Performance Disparities Between English-Language Accents in Automatic Speech Recognition, 2023
- Olatunji ve ark., AfriSpeech-200: Pan-African Accented Speech Dataset for Clinical and General Domain ASR, TACL 2023
- Feng, Kudina, Halpern ve Scharenborg (TU Delft), Quantifying Bias in Automatic Speech Recognition, 2021
- Tatman (University of Washington), Gender and Dialect Bias in YouTube’s Automatic Captions, ACL Ethics in NLP Workshop 2017
- Attia ve ark., Kid-Whisper, 2024
- Hasegawa-Johnson ve ark., Community-Supported Shared Infrastructure in Support of Speech Accessibility, JSLHR 2024
- Zheng ve ark., The Interspeech 2025 Speech Accessibility Project Challenge
- Green ve ark. (Google Research), Automatic Speech Recognition of Disordered Speech, Interspeech 2021 ve Project Euphonia veri kümesi blogu, 2021
- Mujtaba ve ark., Lost in Transcription, NAACL 2024
- Lea ve ark., From User Perceptions to Technical Improvement: Enabling People Who Stutter to Better Use Speech Recognition, CHI 2023
- Koenecke ve ark., Careless Whisper: Speech-to-Text Hallucination Harms, FAccT 2024
- Pratap ve ark., Scaling Speech Technology to 1,000+ Languages (MMS), 2023; Omnilingual ASR, 2025; Google USM, 2023; FLEURS, 2022
- Mozilla Common Voice, cv-dataset deposu ve v27.0 istatistikleri, 2026
- Jones, Kalbfeld, Hancock ve Clark, Testifying While Black, Language 95(2), 2019
- Zolnoori ve ark., Decoding disparities, JAMIA Open 2024
- Zhou ve ark., Analysis of Errors in Dictated Clinical Documents Assisted by Speech Recognition Software and Professional Transcriptionists, JAMA Network Open 2018
- Hickman, Langer, Saef ve Tay, Automated speech recognition bias in personnel selection, Journal of Applied Psychology 2025
- Mengesha ve ark., Impact of Automated Speech Recognition Errors on African Americans, Frontiers in Artificial Intelligence 2021
- Veri notu: birkaç kaynak kendi içinde çelişiyor veya farklı şeyleri ölçüyor. Whisper makalesinin metni LibriSpeech clean WER’ini 2,5 olarak verirken Tablo 2 bunu 2,7 olarak listeliyor (biz tabloyu kullanıyoruz). Careless Whisper’ın özeti transkripsiyonların kabaca %1’inin halüsinasyonla üretildiğini, sonuçlar bölümü ise %1,4 olduğunu söylüyor (biz %1,4’ü kullanıyoruz) ve yazarlar deneylerin 2023 tarihli olduğunu not ediyor. Speech Accessibility Project özetindeki %36,3 ve %23,7, makalenin paylaşılmayan istem satırlarıyla uyuşuyor; tüm test istemlerinde ince ayarlı rakam %18,72. Fair-Speech metni en yüksek gelir bandında 50 konuşmacıdan söz ederken tablosu 41 listeliyor. DiChristofano ve ark. WER değil, kaybolan kelime bilgisini bildiriyor; bu nedenle farkları diğer satırlarla karşılaştırılamaz. Scott ve ark. değerlendirmesi 2022’de 16 konuşmacı üzerinde yapıldı ve 2026’da yayımlandı. Open ASR Leaderboard sürekli değişiyor: makalenin Ekim 2025 sürümü 64 model ve en iyi ortalama WER 5,63 listeliyordu, Mart 2026 sürümü ise 86 sistem ve 5,42. Common Voice saat toplamları deponun yayın grafiği verilerinden, cinsiyet oranları ise v27.0 istatistik dosyasından geliyor. Testifying While Black için dergi sayfası bir erişim denetiminin arkasında olduğundan, rakamlar baş yazarın makaleye ilişkin yayımlanmış özetinden okundu; bu özet parafraz anlama konusunda iki farklı rakam veriyor, bu yüzden onları dışarıda bıraktık. Bir işe alım sağlayıcısının anadili olmayan konuşmacılar için WER’ine ilişkin yaygın biçimde tekrarlanan bir iddiayı doğrulayamadık ve çıkardık.
Son güncelleme: 11 Ekim 2026. Bu derlemeyi üç ayda bir güncelliyoruz ve bir sonraki yenilemenin, Mozilla’nın Common Voice Scripted Speech v28.0’ı yayımlamasıyla birlikte yapılması bekleniyor.