Konuşmacı doğrulama hatası, VoxCeleb1 testinde 2017’deki %8,8’den (Nagrani ve diğerleri, VoxCeleb makalesi 2017) 2025’te bir makalede %0,12’ye (Li, Cheng ve Li, w2v-BERT 2.0 makalesi 2025) düştü; bu 73 kat bir düşüş (8,8 / 0,12). Konuşmacı doğrulama, “bu aynı kişi mi?” kontrolüdür ve eşit hata oranı (EER) onun standart puanıdır. Bu rekor, YouTube’dan alınmış ünlü konuşmalarından oluşan sabit bir listeden geliyor. Aynı alan, kalabalık uğultusu ses kadar yüksek olduğunda %9,30 (Gu ve diğerleri, Noise-Conditioned Mixture-of-Experts makalesi 2025) ve aynı kişi geniş bir yaş farkıyla karşılaştırıldığında %10,419 (Qin ve diğerleri, Interspeech 2022) bildiriyor. Verileri VoxSRC yarışma organizatörlerinden, NIST Konuşmacı Tanıma Değerlendirmesi’nden, Interspeech ve Odyssey makalelerinden, VoxBlink2 ve CN-Celeb derlem ekiplerinden ve FAccT adalet araştırmalarından derledik. Bu teknolojinin ticari tarafı için ses biyometrisi istatistiklerimize, yanında yer alan “kim ne zaman konuştu” problemi için ise konuşmacı ayrıştırma hata oranı derlememize bakın.
TL;DR
- Birincil bir makalede bulduğumuz en düşük VoxCeleb1-O EER’i: yaklaşık 600 milyon parametreli bir modelden %0,12 (Li, Cheng ve Li, w2v-BERT 2.0 makalesi 2025).
- 111.284 konuşmacılık bir derlem, tek bir ResNet’i %0,17 EER ve 0,006 minDCF’ye taşımaya yardımcı oldu (Lin ve diğerleri, VoxBlink2, Interspeech 2024).
- ReDimNet2-B6, 12,3M parametreyle %0,29 EER’e ulaşıyor (Yakovlev ve Okhotnikov, ReDimNet2 makalesi 2026).
- Sabit 2019 VoxSRC test setinde Parkur 2 birincisinin EER’i 2019’da %1,26’dan 2023’te %0,47’ye düştü (Huh ve diğerleri, VoxSRC geriye dönük değerlendirme 2024).
- 2 saniyelik bir deneme, ERes2NetV2’yi %0,61 EER’den %1,48’e çıkarıyor (Chen ve diğerleri, ERes2NetV2 makalesi 2024).
- 0 dB’de kalabalık uğultusu, bir ResNet34 temel sistemini %1,98 EER’den %9,30’a çıkarıyor (Gu ve diğerleri 2025).
- Büyük yaş farklı çiftler, bir temel sistemi %1,939 EER’den %10,419’a çıkarıyor (Qin ve diğerleri, Interspeech 2022).
- 40 yıllık bir fark, bir Fin derleminde erkek EER’ini %51,61’e taşıdı; bu, %50’lik yazı tura çizgisinin ötesinde (Singh ve diğerleri, Interspeech 2023).
- VoxCeleb üzerinde eğitilmiş bir x-vector sistemi SITW’de %3,48, CN-Celeb.E’de ise %16,59 puan aldı (Li ve diğerleri, CN-Celeb makalesi 2020).
- SRE24 telefon yarışmasının sıralama tablosuna %2,37 EER önderlik etti (NIST SRE24-CTS Challenge sıralama tablosu, 24 Ekim 2024).
- Kadınlar, VoxCeleb 1 test setinde konuşmacıların %38’i ama ifadelerin %29,5’iydi (Hutiri ve Ding, FAccT 2022).
1. Ölçüt: EER Neyi Ölçer ve VoxCeleb Neleri İçerir
Bir doğrulama sistemi, “deneme” (trial) adı verilen iki kaydı alır ve bunların aynı konuşmacıdan gelip gelmediğine karar verir. Kabul eşiğini yükseltmek daha fazla gerçek konuşmacıyı reddeder, düşürmek ise daha fazla sahtekârı kabul eder. EER, bu iki hata oranının eşitlendiği noktadır. Eşlik eden ölçüt minDCF (asgari tespit maliyeti), aynı iki hatayı seçilen bir çalışma noktası için ağırlıklandırır ve onda da düşük olan daha iyidir. Hiçbir ölçüt sentetik ya da yeniden oynatılmış sesleri kapsamaz: buradaki “sahtekârlar” yalnızca başka gerçek kişilerdir.
Klasik test listesi küçüktür: 40 konuşmacıdan 37.720 deneme (Gu ve diğerleri, Noise-Conditioned Mixture-of-Experts makalesi 2025). Bu listenin adı olan VoxCeleb1-O, daha zor kardeşlerine kıyasla kolaydır: bir modelin hatası Vox1-O’dan Vox1-H’ye geçince dört katına çıkar (%0,17’den %0,68’e). Buna karşılık eğitim verisi muazzam biçimde büyüdü ve 3. bölüm bunun çoğu mimari değişikliğinden neden daha önemli olduğunu gösteriyor.
| Metrik | Değer | Kaynak |
|---|---|---|
| VoxCeleb1 boyutu: konuşmacı, ifade, video, saat, uyruk | 1.251 / 153.516 / 22.496 / 352 / 36 | Chung ve diğerleri, VoxCeleb2 makalesi 2018 |
| VoxCeleb2 eğitim bölümü: konuşmacı, ifade, saat, ifade başına ortalama saniye | 5.994 / 1.092.009 / 2.442 / 7,8 | Lin ve diğerleri, VoxBlink2, Interspeech 2024 |
| VoxBlink2 boyutu: konuşmacı, ifade, saat, ifade başına ortalama saniye | 111.284 / 9.904.382 / 16.672 / 6,0 | Lin ve diğerleri, VoxBlink2, Interspeech 2024 |
| CN-Celeb boyutu: konuşmacı, kayıt türü, CN-Celeb1 artı CN-Celeb2 saati | 3.000 / 11 / 274 artı 1.090 | Li ve diğerleri, CN-Celeb makalesi 2020 |
| VoxCeleb1-O test listesi: deneme, konuşmacı | 37.720 / 40 | Gu ve diğerleri, Noise-Conditioned Mixture-of-Experts makalesi 2025 |
| Bir modelin Vox1-O (kolay liste) karşı Vox1-E (genişletilmiş liste) karşı Vox1-H (zor liste) üzerindeki EER’i | %0,17 karşı %0,37 karşı %0,68 | Lin ve diğerleri, VoxBlink2, Interspeech 2024 |
Orijinal derlem rakamları için erişilebilir en güncel veri: VoxCeleb2 makalesi, 2018.
2. VoxSRC Yarışma Rekoru, 2019’dan 2023’e
VoxCeleb Konuşmacı Tanıma Yarışması 2019’dan 2023’e kadar her yıl düzenlendi ve en iyi tasarım tercihi, 2019 test setini sonraki her test setinin içinde tutmaktı. Bu, alana tek bir sabit cetvel kazandırdı. Bu cetvelde Parkur 1 birincisinin EER’i 2019’da %1,42’den 2021’de %0,57’ye düştü, sonra düşmeyi bıraktı. Organizatörler, kazananların 2020’den beri %1’in altında kaldığını söylüyor ve bunu “performans doygunluğu olarak değerlendiriyoruz” diye ifade ediyor; her yılın yeni test seti daha zor kaldı: Parkur 1 kazananları kendi setlerinde 2020’den 2023’e %3,73, %1,85, %1,49 ve %1,59 puan aldı; test seti 2019’da 208.008 çift ve 745 konuşmacıdan 2023’te 825.437 çift ve 2.532 konuşmacıya büyüdü (Huh ve diğerleri, VoxSRC geriye dönük değerlendirme 2024).
Doygunluğun ölçülebilir bir tabanı var. Bu 2019 setinde %95 bootstrap güven aralıkları, EER’in kendisinin %18,6 ile %31,2’si kadar genişti; yani kazananlar arasındaki küçük farklar gürültü olabilir. 2022 ve 2023 kazananlarının hepsinin yanlış yaptığı 232 çiftin 16’sı aynı konuşmacı çiftiydi ve bu 16’nın 12’si test listesindeki etiket hatalarıydı. Zor durumlar da gerçek: 2022 Parkur 1 kazananı standart çiftlerde %0,90, her çiftin zor olduğu durumda (aynı konuşmacı farklı yaşlarda ya da farklı konuşmacılar aynı kayıt ortamında) %2,07 puan aldı.
| Metrik | Değer | Kaynak |
|---|---|---|
| Parkur 1 (kapalı eğitim verisi) birincisinin sabit 2019 test setindeki EER’i, 2019 / 2020 / 2021 / 2022 / 2023 | %1,42 / %0,83 / %0,57 / %0,90 / %0,58 | Huh ve diğerleri, VoxSRC geriye dönük değerlendirme 2024 |
| Parkur 2 (açık eğitim verisi) birincisinin sabit 2019 test setindeki EER’i, 2019 / 2020 / 2021 / 2022 / 2023 | %1,26 / %0,80 / %0,57 / %0,69 / %0,47 | Huh ve diğerleri, VoxSRC geriye dönük değerlendirme 2024 |
| UNISOUND 2023 katılımı, ekibin raporuna göre Parkur 1’de birinci: 2023 test setinde EER, minDCF | %1,5880, 0,0855 | Zheng ve diğerleri, UNISOUND sistem raporu 2023 |
| ID R&D 2023 katılımı, herkese açık Parkur 2 sıralama tablosunda birinci: P_target 0,05’te EER, minDCF | %1,30, 0,0762 | Torgashov ve diğerleri, ID R&D sistem raporu 2023 |
| ChinaTelecom 2023 Parkur 1 füzyon katılımı, kendi bildirimi: EER, minDCF | %1,980, 0,1066 | Du ve diğerleri, ChinaTelecom sistem raporu 2023 |
Bağlam: son edisyon 2023’te yapıldı, bu yüzden bu yarışma için erişilebilir en güncel veri 2024 geriye dönük değerlendirmesidir. EER çoğu zaman sıralama ölçütü değildi; bu yüzden ikinci sıradaki bir ekip bazen kazanandan daha düşük EER gösterir.
3. VoxCeleb1-O Rekoru: %8,8’den %0,12’ye
Deneme sayısı iyileşmeyi somutlaştırıyor. Her iki hata oranı da çalışma noktasında EER’e eşittir, bu yüzden toplam hata yaklaşık EER çarpı deneme sayısıdır: 37.720’nin %8,8’i kabaca 3.319 yanlış karar, %0,12’si kabaca 45’tir. 2025 sistemi yaklaşık 45 hata yapıyor; 2017 temel sistemi yaklaşık 3.319 hata yapıyordu (Li, Cheng ve Li, w2v-BERT 2.0 makalesi 2025). Bu düzeyde, etiketi yanlış birkaç deneme bir rekoru belirleyebilir.
Veri artık puanı mimariden daha fazla oynatıyor. W2V-BERT 2.0, yalnızca VoxCeleb2 ile eğitildiğinde %0,38, VoxBlink2 eklendiğinde %0,14 olarak listeleniyor; iki satırda da aynı 587M parametreli model var (Yakovlev ve Okhotnikov, ReDimNet2 makalesi 2026). Tarifler de önemli: ResNet34, atıf yapılan orijinalinde %1,31’den WeSpeaker araç seti yeniden uygulamasında %0,723’e indi. Bu aynı gömmeler (embedding), ses dönüştürme araştırmalarında da yargıç görevi görüyor; bunu ses dönüştürmede konuşmacı benzerliği derlememiz inceliyor.
| Metrik | Değer | Kaynak |
|---|---|---|
| 2017: i-vector artı PLDA temel sistemi, VoxCeleb1 testinde EER ve asgari tespit maliyeti | %8,8, 0,73 | Nagrani ve diğerleri, VoxCeleb makalesi 2017 |
| 2018: VoxCeleb2 üzerinde eğitilmiş ResNet-50, EER ve asgari tespit maliyeti | %3,95, 0,429 | Chung ve diğerleri, VoxCeleb2 makalesi 2018 |
| 2020: 1.024 kanallı ECAPA-TDNN, EER ve minDCF | %0,87, 0,1066 | Desplanques ve diğerleri, Interspeech 2020 |
| 2022: WeSpeaker araç setinde ResNet293, EER ve minDCF | %0,447, 0,043 | Wang ve diğerleri, WeSpeaker makalesi 2022 |
| 2024: VoxBlink2 üzerinde ön eğitilmiş ve kalite kalibrasyonlu SimAM-ResNet293, EER ve minDCF | %0,17, 0,006 | Lin ve diğerleri, VoxBlink2, Interspeech 2024 |
| 2025: w2v-BERT 2.0, Vox1-O karşı Vox1-H üzerinde EER | %0,12 karşı %0,55 | Li, Cheng ve Li, w2v-BERT 2.0 makalesi 2025 |
| 2026: ReDimNet2-B6, 2 saniyelik girdi için EER, parametre, GMAC (milyar çarpma-biriktirme işlemi) | %0,29, 12,3M, 13,05 | Yakovlev ve Okhotnikov, ReDimNet2 makalesi 2026 |
| 2026: ReDimNet2-B0, ailenin en küçük modeli, EER ve parametre | %1,04, 1,1M | Yakovlev ve Okhotnikov, ReDimNet2 makalesi 2026 |
Aykırı değer notu: w2v-BERT 2.0 yazarları, budamanın model boyutunu %80 azalttığını ve EER’de yalnızca %0,04 bozulmaya yol açtığını bildiriyor; dolayısıyla en büyük modellerin büyük kalması gerekmeyebilir.
4. Kısa Klipler ve Gürültülü Ses
Bir test klibini 2 saniyeye kısaltmak, öncü bir modelin hatasını ikiden fazla katına çıkarır: %0,61’den %1,48’e (Chen ve diğerleri, ERes2NetV2 makalesi 2024). Bu, kısa bir konuşulan ifadeye dayanan her ürün için önemlidir, çünkü %1’in altındaki manşet rakam tam uzunluktaki kliplere aittir. Tersi de geçerli: 8 saniyeden uzun VoxSRC çiftlerinde 2023 Parkur 2 kazananının neredeyse hatası kalmadı.
Gürültü, düz bir çizgiyi değil dik bir eğriyi izler. “Babble” arka plandaki kalabalık konuşmalarını ifade eder ve SNR (sinyal-gürültü oranı) sesi gürültüye karşı ölçer; yani 0 dB, ikisinin eşit yükseklikte olduğu anlamına gelir. Bir ResNet34 temel sistemi 20 dB’de neredeyse hiç değişmez, sonra 0 dB’de hatası dört kattan fazla artar (Gu ve diğerleri, Noise-Conditioned Mixture-of-Experts makalesi 2025). Kalabalık uğultusu müzikten daha çok zarar verdi; muhtemelen modelin tanımak üzere eğitildiği sinyalle aynı türden olduğu için.
| Metrik | Değer | Kaynak |
|---|---|---|
| ERes2NetV2’nin VoxCeleb1-O üzerindeki EER’i: tam uzunluk karşı 3 saniyelik karşı 2 saniyelik denemeler | %0,61 karşı %0,98 karşı %1,48 | Chen ve diğerleri, ERes2NetV2 makalesi 2024 |
| ECAPA-TDNN’nin VoxCeleb1-O üzerindeki EER’i: 3 saniyelik karşı 2 saniyelik denemeler | %1,27 karşı %1,95 | Chen ve diğerleri, ERes2NetV2 makalesi 2024 |
| ResNet34’ün VoxCeleb1-O üzerindeki EER’i: 3 saniyelik karşı 2 saniyelik denemeler | %1,47 karşı %2,12 | Chen ve diğerleri, ERes2NetV2 makalesi 2024 |
| 2023 VoxSRC Parkur 2 kazananının 2019 test setindeki EER’i: tüm çiftler karşı 6 saniyeden uzun çiftler karşı 8 saniyeden uzun çiftler | %0,47 karşı %0,26 karşı %0,03 | Huh ve diğerleri, VoxSRC geriye dönük değerlendirme 2024 |
| Sistemlerin en çok zorlandığı SRE24 test segmentleri ve kazanımların küçüldüğü eşik | 4,5 ila 13 saniye; 22,6 saniyenin ötesinde daha küçük kazanımlar | Singer ve diğerleri, Odyssey 2026 |
| ResNet34 temel sisteminin VoxCeleb1 testindeki EER’i: temiz karşı 20 dB’de kalabalık uğultusu karşı 0 dB’de kalabalık uğultusu | %1,98 karşı %2,18 karşı %9,30 | Gu ve diğerleri, Noise-Conditioned Mixture-of-Experts makalesi 2025 |
| Aynı temel sistem, 0 dB’de: müzik karşı genel gürültü | %5,82 karşı %7,3 | Gu ve diğerleri, Noise-Conditioned Mixture-of-Experts makalesi 2025 |
| Aynı temel sistem 0 dB’de Nonspeech100 gürültüsüyle ve gürültü koşullu model 0 dB kalabalık uğultusunda | %10,17; %8,10 | Gu ve diğerleri, Noise-Conditioned Mixture-of-Experts makalesi 2025 |
Bağlam: gürültü sonuçları makaleler arasında aktarılamaz. Seul Üniversitesi’nden bir çalışma, ECAPA-TDNN’yi temiz ortamda %3,46, 0 dB kalabalık uğultusuyla %13,01 olarak ölçtü (Kim ve diğerleri, PAS makalesi 2023); farklı bir eğitim düzeneğinde, bu yüzden mutlak değerleri değil, her çalışmanın kendi içindeki artışı karşılaştırın.
5. Yaş, Derlem ve Alan Uyumsuzluğu
VoxCeleb1-O’daki bir rekor, yıllar arayla ya da başka bir ortamda kaydedilmiş bir ses hakkında çok az şey söyler. Büyük yaş farklı aynı konuşmacı çiftlerini seçmek, bir temel sistemi %1,939 EER’den %10,419’a çıkardı (Qin ve diğerleri, Interspeech 2022). Bir Fin boylamsal derlemi, bu eğrinin uzun ucunu gösteriyor: 40 yıllık farkta %51,61’lik erkek EER’i, tahmin etmekten daha kötü (Singh ve diğerleri, Interspeech 2023). Bu derlem küçük; ön işlemeden sonra 109 konuşmacı var ve VoxCeleb yaşları kaydedilmiş değil tahmin edilmiş, bu yüzden kesin değerlerden çok yönü daha güvenle okuyun.
Alan kayması daha büyük ticari risktir, çünkü sessizce gelir. CN-Celeb makalesindeki VoxCeleb ile eğitilmiş x-vector’ün hatası, Çince çok türlü seste yaklaşık beş katına çıktı (16,59 / 3,48 = 4,8). Yeni alanda yeniden eğitim yardımcı olur ama farkı kapatmaz: aynı ECAPA-TDNN tarifi CN-Celeb’de, VoxCeleb’de gösterdiği hatanın dokuz katından fazlasını gösterdi (8,877 / 0,936 = 9,5).
| Metrik | Değer | Kaynak |
|---|---|---|
| Vox-H testi karşı büyük yaş farklı çiftlerden oluşan Vox-CA20 testinde temel sistem EER’i | %1,939 karşı %10,419 | Qin ve diğerleri, Interspeech 2022 |
| ECAPA-TDNN’nin VoxCeleb1-Age-Enriched (ABD) üzerinde 3 / 6 / 9 yıllık yaş farkındaki EER’i, erkek konuşmacılar | %2,31 / %2,84 / %3,63 | Singh ve diğerleri, Interspeech 2023 |
| Aynı test, 3 / 6 / 9 yıllık yaş farkında, kadın konuşmacılar | %2,70 / %3,12 / %3,87 | Singh ve diğerleri, Interspeech 2023 |
| Fin boylamsal derlemi (LCFSH) EER’i, 0 / 20 / 40 yıllık yaş farkında, erkek konuşmacılar | %5,12 / %18,68 / %51,61 | Singh ve diğerleri, Interspeech 2023 |
| Aynı derlem, 0 / 20 / 40 yıllık yaş farkında, kadın konuşmacılar | %10,04 / %21,67 / %40,61 | Singh ve diğerleri, Interspeech 2023 |
| VoxCeleb ile eğitilmiş x-vector EER’i, SITW test setinde karşı CN-Celeb.E’de (CN-Celeb’den bir değerlendirme seti) | %3,48 karşı %16,59 | Li ve diğerleri, CN-Celeb makalesi 2020 |
| AM-Softmax kayıplı ECAPA-TDNN: VoxCeleb1 testi karşı CN-Celeb değerlendirmesi, her biri kendi alanında eğitilmiş | %0,936 karşı %8,877 | Wang ve diğerleri, DASA makalesi 2023 |
| CNCeleb üzerinde VoxSRC 2023 alan uyarlama parkuru: temel sistem karşı birinci, EER | %13,11 karşı %4,95 | Huh ve diğerleri, VoxSRC geriye dönük değerlendirme 2024 |
Uzun vadeli yaşlanma için erişilebilir en güncel veri: Singh ve diğerleri, Interspeech 2023.
6. NIST SRE: Manşet Rakamları Olmayan Daha Zor Kıyaslama
NIST bu değerlendirmeleri 1996’dan beri yürütüyor ve bunlar YouTube röportajlarına hiç benzemiyor. SRE24, Kuzey Amerika dışında toplanmış yeni bir derlem, telefon konuşması ve videodan alınan ses ile Tunus Arapçası, İngilizce ve Fransızca kullandı. SRE24 telefon yarışmasının lideri %2,37 EER’de durdu; bu, VoxCeleb1-O rekorunun yaklaşık 20 katı (2,37 / 0,12 = 19,8) (NIST SRE24 sitesi), ancak iki test, bu oranın zorluktan başka bir şeyi ölçebilmesi için fazla farklı.
Gönderilen 91 SRE24 sisteminin analizi, eşleşen telefon denemelerinin eşleşen videodan-ses denemelerini tutarlı biçimde geçtiğini, kaynak türünün dil uyumsuzluğundan daha önemli olduğunu buldu. Toplam konuşma eşit olsa bile üç kayıt segmenti genellikle tek segmentten iyiydi ve çoğu sistem aynı cinsiyetli denemelerde sınırlı cinsiyet farkı gösterdi (Singer ve diğerleri, Odyssey 2026). Kısıtsız eğitim verisi anlamlı kazanımlar sağladı ve tekil modeller füzyonlarla rekabet etti (Greenberg ve diğerleri, Interspeech 2025). Aşağıdaki tablodaki sayılar diğer dersi gösteriyor: kendi eşiğini belirleyemeyen bir sistem, asgari maliyeti ne kadar iyi olursa olsun hazır değildir.
| Metrik | Değer | Kaynak |
|---|---|---|
| SRE19 telefon yarışması: kuruluş, ekip, geçerli sistem çıktısı | 67 / 51 / 1.347 | Sadjadi ve diğerleri, NIST SRE19 CTS Challenge, Odyssey 2020 |
| SRE21 ses testi: hedef denemeler karşı hedef olmayan denemeler | 132.038 karşı 5.899.731 | Sadjadi ve diğerleri, NIST SRE21 2022 |
| SRE24: ekip, kuruluş, gönderilen sistem | 11 / 26 / 91 | Singer ve diğerleri, Odyssey 2026 |
| SRE24-CTS sıralama tablosunda 24 Ekim 2024’teki ilk satır: EER, asgari maliyet, gerçek maliyet | %2,37, 0,102, 0,106 | NIST SRE24-CTS Challenge sıralama tablosu 2024 |
| Aynı sıralama tablosundaki başka bir katılım: EER, asgari maliyet, gerçek maliyet (önemsiz bir sistem 1 puan alır) | %3,00, 0,080, 1,000 | NIST SRE24-CTS Challenge sıralama tablosu 2024 |
| HCCL’nin gönderdiği SRE21 sistemi, geliştirme karşı değerlendirme seti: EER | %2,27 karşı %3,05 | Li ve diğerleri, HCCL sistemi, Interspeech 2022 |
| Aynı sistem, geliştirme karşı değerlendirme seti: gerçek maliyet | 0,170 karşı 0,560 | Li ve diğerleri, HCCL sistemi, Interspeech 2022 |
Bağlam: SRE24 genel bakış ve analiz makaleleri sonuçları basılı EER değerleri olmadan grafikler halinde sunuyor, bu yüzden sıralama tablosu bu döngünün sayısal penceresi. Resmî sayısal sonuçlar için erişilebilir en güncel veri: NIST SRE24-CTS Challenge sıralama tablosu, 2024.
7. Adalet: Kıyaslama Kimi Ölçüyor
Tek bir kıyaslama puanı, bir grubun yanlış pozitif oranının genel oranın 13 katı olmasını gizleyebilir. Genel asgari maliyet eşiğinde, VoxCeleb Konuşmacı Tanıma Yarışması iş akışı üzerine bir çalışmada Hintli kadın konuşmacıların yanlış pozitif oranı genel oranın 13,0387 katıydı (Hutiri ve Ding, FAccT 2022). Verinin bileşimi bunu açıklamaya yardımcı oluyor: VoxCeleb 1 test seti %62,5 ABD’li konuşmacıdan oluşuyor ve kadınlar konuşmacıların %38’ini ama ifadelerin %29,5’ini oluşturuyor.
Cinsiyet farkının yönü sabit değil ve yararlı bulgu da bu. VoxSRC kazananları erkeklerde daha iyi, bir Amazon çalışması kadınlarda daha iyi sonuç verdi ve kontrollü bir deney eğitim karışımının kendi başına bir fark yaratabileceğini gösteriyor. Aynı örüntü kelime düzeyindeki konuşma araçlarında da görülüyor; bunu konuşma tanımada aksan yanlılığı derlememiz belgeliyor.
| Metrik | Değer | Kaynak |
|---|---|---|
| VoxCeleb 1 test seti: konuşmacılarda ABD payı; konuşmacılarda kadın payı; ifadelerde kadın payı | %62,5; %38; %29,5 | Hutiri ve Ding, FAccT 2022 |
| VoxCeleb 2 eğitim seti: erkek payı; ABD payı | %61; %29 | Hutiri ve Ding, FAccT 2022 |
| Hintli kadın konuşmacılar ile genel oranın karşılaştırması: yanlış pozitif oranı; yanlış negatif oranı | 13,0387 kat; 1,2497 kat | Hutiri ve Ding, FAccT 2022 |
| 2019 test setinde 2023 VoxSRC kazananları, erkek karşı kadın EER’i: Parkur 1; Parkur 2 | %0,57 karşı %0,69; %0,43 karşı %0,59 | Huh ve diğerleri, VoxSRC geriye dönük değerlendirme 2024 |
| Karşıt yeniden ağırlıklandırma sistemi, erkek karşı kadın EER’i | %1,25 karşı %0,67 | Jin ve diğerleri, Interspeech 2022 |
| Aynı çalışma, yeniden ağırlıklandırma öncesi karşı sonrası cinsiyet grupları arasındaki fark | %0,70 karşı %0,58 | Jin ve diğerleri, Interspeech 2022 |
| Aynı çalışma, ABD karşı Birleşik Krallık karşı diğer tüm uyruklar için EER | %1,04 karşı %0,76 karşı %1,22 | Jin ve diğerleri, Interspeech 2022 |
| Kadın-erkek 9:1 karışımla eğitilmiş ResNet-34 temel sistemi (çeyrek kanal), kadın karşı erkek EER’i | %3,52 karşı %7,22 | Shen ve diğerleri, ICASSP 2022 |
Alt grup hata oranları için erişilebilir en güncel veri: Hutiri ve Ding, FAccT 2022. Ayrıca Estevez ve Ferrer, eğitimde yeterince temsil edilmeyen gruplar için performansın “belirgin biçimde düştüğünü” ve basit veri dengelemenin çoğunluk gruplarına zarar vermeden yanlılığı azalttığını buldu (Study on the Fairness of Speaker Verification Systems).
Özet: Rakamlarla Konuşmacı Doğrulama VoxCeleb Eşit Hata Oranı
| Metrik | Değer | Kaynak |
|---|---|---|
| Birincil bir makalede bulunan en düşük VoxCeleb1-O EER’i | %0,12 | Li, Cheng ve Li, w2v-BERT 2.0 makalesi 2025 |
| Aynı sistem, zor Vox1-H listesinde | %0,55 | Li, Cheng ve Li, w2v-BERT 2.0 makalesi 2025 |
| VoxBlink2 ön eğitimi ve kalite kalibrasyonuyla VoxCeleb1-O üzerinde SimAM-ResNet293, EER ve minDCF | %0,17, 0,006 | Lin ve diğerleri, VoxBlink2, Interspeech 2024 |
| VoxBlink2 konuşmacıları karşı VoxCeleb2 konuşmacıları | 111.284 karşı 5.994 | Lin ve diğerleri, VoxBlink2, Interspeech 2024 |
| ReDimNet2-B6 EER ve parametre | %0,29, 12,3M | Yakovlev ve Okhotnikov, ReDimNet2 makalesi 2026 |
| 1.024 kanallı ECAPA-TDNN, EER | %0,87 | Desplanques ve diğerleri, Interspeech 2020 |
| VoxSRC Parkur 2 birincisinin sabit 2019 test setindeki EER’i, 2019 karşı 2023 | %1,26 karşı %0,47 | Huh ve diğerleri, VoxSRC geriye dönük değerlendirme 2024 |
| ERes2NetV2 EER’i, tam uzunluk karşı 2 saniyelik denemeler | %0,61 karşı %1,48 | Chen ve diğerleri, ERes2NetV2 makalesi 2024 |
| ResNet34 temel sistemi EER’i, temiz karşı 0 dB’de kalabalık uğultusu | %1,98 karşı %9,30 | Gu ve diğerleri, Noise-Conditioned Mixture-of-Experts makalesi 2025 |
| Vox-H karşı Vox-CA20 (büyük yaş farkları) üzerinde temel sistem EER’i | %1,939 karşı %10,419 | Qin ve diğerleri, Interspeech 2022 |
| Fin derleminde 0 yıllık karşı 40 yıllık yaş farkında erkek EER’i | %5,12 karşı %51,61 | Singh ve diğerleri, Interspeech 2023 |
| VoxCeleb ile eğitilmiş x-vector EER’i, SITW karşı CN-Celeb.E | %3,48 karşı %16,59 | Li ve diğerleri, CN-Celeb makalesi 2020 |
| ECAPA-TDNN EER’i, VoxCeleb1 karşı CN-Celeb değerlendirmesi, her biri kendi alanında eğitilmiş | %0,936 karşı %8,877 | Wang ve diğerleri, DASA makalesi 2023 |
| SRE24-CTS sıralama tablosu ilk satırı, EER | %2,37 | NIST SRE24-CTS Challenge sıralama tablosu 2024 |
| HCCL SRE21 gerçek maliyeti, geliştirme karşı değerlendirme seti | 0,170 karşı 0,560 | Li ve diğerleri, HCCL sistemi, Interspeech 2022 |
| VoxCeleb 1 test seti, kadınların konuşmacılardaki karşı ifadelerdeki payı | %38 karşı %29,5 | Hutiri ve Ding, FAccT 2022 |
| Hintli kadınların yanlış pozitif oranı karşı genel oran | 13,0387 kat | Hutiri ve Ding, FAccT 2022 |
| Karşıt yeniden ağırlıklandırma sistemi, erkek karşı kadın EER’i | %1,25 karşı %0,67 | Jin ve diğerleri, Interspeech 2022 |
Metodoloji ve Kaynaklar
Her rakam, bu araştırma sırasında birincil bir makalede, yarışma raporunda ya da NIST sayfasında okundu. EER ve maliyet sayıları her kaynağın bastığı şekilde aktarılıyor. Oranlar ve yanlış karar sayıları bizim kendi aritmetiğimiz; işlemler gösteriliyor. VoxBooster verisi kullanılmadı.
- Huh ve diğerleri, The VoxCeleb Speaker Recognition Challenge: A Retrospective, 2024
- Nagrani, Chung ve Zisserman, VoxCeleb: a large-scale speaker identification dataset, Interspeech 2017
- Chung, Nagrani ve Zisserman, VoxCeleb2: Deep Speaker Recognition, Interspeech 2018
- Desplanques, Thienpondt ve Demuynck, ECAPA-TDNN, Interspeech 2020
- Wang ve diğerleri, WeSpeaker araç seti makalesi, 2022
- Lin ve diğerleri, VoxBlink2, Interspeech 2024
- Li, Cheng ve Li, w2v-BERT 2.0 ve yapısal budama, 2025
- Yakovlev ve Okhotnikov, ReDimNet2, 2026
- Zheng ve diğerleri, VoxSRC 2023 için UNISOUND sistemi
- Torgashov ve diğerleri, VoxSRC 2023 için ID R&D sistemi
- Du, Fang ve Li, VoxSRC 2023 için ChinaTelecom sistemi
- Chen ve diğerleri, ERes2NetV2, 2024
- Gu ve diğerleri, Noise-Conditioned Mixture-of-Experts Framework, 2025
- Kim ve diğerleri, PAS veri artırma makalesi, 2023
- Qin ve diğerleri, Cross-Age Speaker Verification, Interspeech 2022
- Singh, Sahidullah ve Kinnunen, Speaker Verification Across Ages, Interspeech 2023
- Li ve diğerleri, CN-Celeb: multi-genre speaker recognition, 2020
- Wang ve diğerleri, DASA makalesi, 2023
- NIST Konuşmacı Tanıma Değerlendirmesi sitesi ve SRE24-CTS Challenge sıralama tablosu
- Greenberg ve diğerleri, The 2024 NIST Speaker Recognition Evaluation, Interspeech 2025
- Singer ve diğerleri, Analysis of the NIST 2024 Speaker Recognition Evaluation, Odyssey 2026
- Sadjadi ve diğerleri, The 2021 NIST Speaker Recognition Evaluation, 2022
- Sadjadi ve diğerleri, The 2019 NIST SRE CTS Challenge, Odyssey 2020
- Li ve diğerleri, The HCCL System for the NIST SRE21, Interspeech 2022
- Hutiri ve Ding, Bias in Automated Speaker Recognition, FAccT 2022
- Jin ve diğerleri, Adversarial Reweighting for Speaker Verification Fairness, Interspeech 2022
- Shen ve diğerleri, Group-adapted Fusion Network, ICASSP 2022
- Estevez ve Ferrer, Study on the Fairness of Speaker Verification Systems Across Accent and Gender Groups
- Qu ve diğerleri, Fair-Gate, 2026
- Veri notu: VoxCeleb1-O rekorları tam olarak karşılaştırılabilir değildir, çünkü bazı makaleler protokolün temizlenmiş bir sürümünü kullanır, bazıları ise skor normalizasyonu ya da kalite kalibrasyonu ekler. Yalnızca ECAPA-TDNN rakamı bile makaleden makaleye değişir: orijinalinde %0,87, WeSpeaker’da %0,728, ReDimNet2 tablosunda %0,94 ve 2026 Fair-Gate makalesinde %1,12. w2v-BERT 2.0 yazarları %0,12 bildiriyor; ReDimNet2 karşılaştırma tablosu ise VoxBlink2 artı VoxCeleb2 ile eğitilmiş bir w2v-BERT 2.0 modeli için %0,14 listeliyor ve bu iki girdiyi tam olarak eşleştiremedik. VoxBlink2 makalesinin belirttiği %43,4 EER azalması kendi tablosuyla uyuşmuyor (%0,606’dan %0,340’a düşüş %43,9’dur), bu yüzden alıntılamıyoruz. Özeti de minDCF’yi %0,006 diye basıyor, oysa tablo 0,006 basıyor. CN-Celeb makalesi, CN-Celeb.E için girişte %15,52, tablosunda ise %16,59 veriyor; biz tabloyu kullanıyoruz. Buradaki daha eski sonuçlar (2017’den 2023 ortasına kadar), daha yeni bir eşdeğeri olmayan yerlerde erişilebilir en güncel olarak işaretlenmiştir. Bir sonraki değerlendirme döngüsüne ait NIST sonuçları ilk olarak 6. bölümü değiştirir. Buradaki tüm EER değerleri sahtekâr olarak başka gerçek konuşmacıları ele alır, dolayısıyla sentetik seslere karşı dirençle ilgili hiçbir şey söylemez.
Son güncelleme: 31 Ekim 2026. Bu derlemeyi üç ayda bir güncelliyoruz ve bir sonraki yenilemenin, NIST bir sonraki Konuşmacı Tanıma Değerlendirmesi’nin sayısal sonuçlarını yayımladığında yapılması bekleniyor.