Lỗi xác minh người nói trên bài kiểm tra VoxCeleb1 đã giảm từ 8,8% năm 2017 (Nagrani và cộng sự, bài báo VoxCeleb 2017) xuống 0,12% trong một bài báo năm 2025 (Li, Cheng và Li, bài báo w2v-BERT 2.0 2025), tức giảm 73 lần (8,8 / 0,12). Xác minh người nói là phép kiểm tra “đây có phải cùng một người không?”, và tỷ lệ lỗi bằng nhau (EER) là điểm số tiêu chuẩn của nó. Kỷ lục đó đến từ một danh sách cố định các đoạn phát biểu của người nổi tiếng lấy từ YouTube. Cùng lĩnh vực này báo cáo 9,30% khi tiếng ồn đám đông to bằng giọng nói (Gu và cộng sự, bài báo Noise-Conditioned Mixture-of-Experts 2025) và 10,419% khi so sánh một người qua khoảng chênh lệch tuổi lớn (Qin và cộng sự, Interspeech 2022). Chúng tôi tổng hợp dữ liệu từ ban tổ chức thử thách VoxSRC, NIST Speaker Recognition Evaluation, các bài báo Interspeech và Odyssey, các nhóm xây dựng kho dữ liệu VoxBlink2 và CN-Celeb, cùng nghiên cứu về tính công bằng tại FAccT. Về khía cạnh thương mại của công nghệ này, xem thống kê sinh trắc học giọng nói của chúng tôi, còn với bài toán “ai nói lúc nào” nằm sát bên, xem tổng hợp tỷ lệ lỗi phân đoạn người nói của chúng tôi.
Tóm tắt nhanh
- EER VoxCeleb1-O thấp nhất chúng tôi tìm thấy trong một bài báo gốc: 0,12%, từ một mô hình có khoảng 600 triệu tham số (Li, Cheng và Li, bài báo w2v-BERT 2.0 2025).
- Một kho dữ liệu gồm 111.284 người nói đã giúp đẩy một mô hình ResNet đơn lẻ lên EER 0,17% và minDCF 0,006 (Lin và cộng sự, VoxBlink2, Interspeech 2024).
- ReDimNet2-B6 đạt EER 0,29% với 12,3M tham số (Yakovlev và Okhotnikov, bài báo ReDimNet2 2026).
- EER của đội nhất Hạng mục 2 trên bộ kiểm tra VoxSRC 2019 cố định giảm từ 1,26% năm 2019 xuống 0,47% năm 2023 (Huh và cộng sự, hồi cứu VoxSRC 2024).
- Một lượt thử 2 giây làm ERes2NetV2 tăng từ EER 0,61% lên 1,48% (Chen và cộng sự, bài báo ERes2NetV2 2024).
- Babble ở 0 dB làm hệ thống cơ sở ResNet34 tăng từ EER 1,98% lên 9,30% (Gu và cộng sự 2025).
- Các cặp có chênh lệch tuổi lớn làm một hệ thống cơ sở tăng từ EER 1,939% lên 10,419% (Qin và cộng sự, Interspeech 2022).
- Khoảng cách 40 năm đẩy EER của nam giới lên 51,61% trong một kho dữ liệu Phần Lan, vượt ngưỡng tung đồng xu 50% (Singh và cộng sự, Interspeech 2023).
- Một hệ thống x-vector huấn luyện trên VoxCeleb đạt 3,48% trên SITW và 16,59% trên CN-Celeb.E (Li và cộng sự, bài báo CN-Celeb 2020).
- Bảng xếp hạng thử thách điện thoại SRE24 được dẫn đầu ở mức EER 2,37% (bảng xếp hạng NIST SRE24-CTS Challenge, ngày 24 tháng 10 năm 2024).
- Nữ giới chiếm 38% số người nói nhưng chỉ 29,5% số phát ngôn trong bộ kiểm tra VoxCeleb 1 (Hutiri và Ding, FAccT 2022).
1. Thước đo: EER đo gì và VoxCeleb chứa gì
Một hệ thống xác minh nhận hai bản ghi, gọi là một “lượt thử” (trial), và quyết định xem chúng có đến từ cùng một người nói hay không. Nâng ngưỡng chấp nhận sẽ từ chối nhiều người nói thật hơn, còn hạ ngưỡng sẽ chấp nhận nhiều kẻ mạo danh hơn. EER là điểm mà hai tỷ lệ lỗi đó bằng nhau. Chỉ số đi kèm, minDCF (chi phí phát hiện tối thiểu), đặt trọng số cho cùng hai loại lỗi đó tại một điểm vận hành được chọn, và càng thấp cũng càng tốt. Không chỉ số nào bao quát giọng tổng hợp hay giọng bị phát lại: các “kẻ mạo danh” ở đây đơn giản là những người thật khác.
Danh sách kiểm tra kinh điển khá nhỏ: 37.720 lượt thử từ 40 người nói (Gu và cộng sự, bài báo Noise-Conditioned Mixture-of-Experts 2025). VoxCeleb1-O, tên gọi của danh sách đó, dễ so với các danh sách khó hơn cùng họ: lỗi của một mô hình tăng gấp bốn lần khi chuyển từ Vox1-O sang Vox1-H (0,17% lên 0,68%). Ngược lại, dữ liệu huấn luyện đã tăng lên rất nhiều, và phần 3 cho thấy vì sao điều đó quan trọng hơn hầu hết các thay đổi về kiến trúc.
| Chỉ số | Giá trị | Nguồn |
|---|---|---|
| Quy mô VoxCeleb1: người nói, phát ngôn, video, giờ, quốc tịch | 1.251 / 153.516 / 22.496 / 352 / 36 | Chung và cộng sự, bài báo VoxCeleb2 2018 |
| Phần huấn luyện VoxCeleb2: người nói, phát ngôn, giờ, số giây trung bình mỗi phát ngôn | 5.994 / 1.092.009 / 2.442 / 7,8 | Lin và cộng sự, VoxBlink2, Interspeech 2024 |
| Quy mô VoxBlink2: người nói, phát ngôn, giờ, số giây trung bình mỗi phát ngôn | 111.284 / 9.904.382 / 16.672 / 6,0 | Lin và cộng sự, VoxBlink2, Interspeech 2024 |
| Quy mô CN-Celeb: người nói, thể loại bản ghi, số giờ trong CN-Celeb1 cộng CN-Celeb2 | 3.000 / 11 / 274 cộng 1.090 | Li và cộng sự, bài báo CN-Celeb 2020 |
| Danh sách kiểm tra VoxCeleb1-O: lượt thử, người nói | 37.720 / 40 | Gu và cộng sự, bài báo Noise-Conditioned Mixture-of-Experts 2025 |
| EER của một mô hình trên Vox1-O (danh sách dễ) so với Vox1-E (danh sách mở rộng) so với Vox1-H (danh sách khó) | 0,17% so với 0,37% so với 0,68% | Lin và cộng sự, VoxBlink2, Interspeech 2024 |
Dữ liệu mới nhất hiện có cho các con số của kho dữ liệu gốc: bài báo VoxCeleb2, 2018.
2. Thành tích thử thách VoxSRC, 2019 đến 2023
VoxCeleb Speaker Recognition Challenge diễn ra hằng năm từ 2019 đến 2023, và lựa chọn thiết kế tốt nhất của nó là giữ bộ kiểm tra 2019 bên trong mọi bộ kiểm tra về sau. Điều đó cho lĩnh vực này một cây thước cố định. Trên cây thước đó, EER của đội nhất Hạng mục 1 giảm từ 1,42% năm 2019 xuống 0,57% năm 2021, rồi ngừng giảm. Ban tổ chức cho biết các đội thắng cuộc ở dưới 1% từ năm 2020, “điều mà chúng tôi coi là sự bão hòa hiệu năng”, và bộ kiểm tra mới mỗi năm vẫn khó hơn: các đội thắng Hạng mục 1 đạt 3,73%, 1,85%, 1,49% và 1,59% trên bộ của chính họ từ 2020 đến 2023, khi bài kiểm tra tăng từ 208.008 cặp và 745 người nói năm 2019 lên 825.437 cặp và 2.532 người nói năm 2023 (Huh và cộng sự, hồi cứu VoxSRC 2024).
Sự bão hòa có một mức sàn đo được. Trên bộ 2019 đó, khoảng tin cậy bootstrap 95% rộng từ 18,6% đến 31,2% so với chính EER, nên chênh lệch nhỏ giữa các đội thắng có thể chỉ là nhiễu. Trong 232 cặp mà mọi đội thắng năm 2022 và 2023 đều làm sai, 16 là cặp cùng người nói, và 12 trong 16 cặp đó là lỗi nhãn trong danh sách kiểm tra. Các ca khó cũng có thật: đội thắng Hạng mục 1 năm 2022 đạt 0,90% trên các cặp tiêu chuẩn và 2,07% khi mọi cặp đều là cặp khó (cùng một người nói ở các độ tuổi khác nhau, hoặc những người nói khác nhau trong cùng một môi trường thu âm).
| Chỉ số | Giá trị | Nguồn |
|---|---|---|
| EER của đội nhất Hạng mục 1 (dữ liệu huấn luyện đóng) trên bộ kiểm tra 2019 cố định, 2019 / 2020 / 2021 / 2022 / 2023 | 1,42% / 0,83% / 0,57% / 0,90% / 0,58% | Huh và cộng sự, hồi cứu VoxSRC 2024 |
| EER của đội nhất Hạng mục 2 (dữ liệu huấn luyện mở) trên bộ kiểm tra 2019 cố định, 2019 / 2020 / 2021 / 2022 / 2023 | 1,26% / 0,80% / 0,57% / 0,69% / 0,47% | Huh và cộng sự, hồi cứu VoxSRC 2024 |
| Bài dự thi UNISOUND 2023, đứng đầu Hạng mục 1 theo báo cáo của đội: EER, minDCF trên bộ kiểm tra 2023 | 1,5880%, 0,0855 | Zheng và cộng sự, báo cáo hệ thống UNISOUND 2023 |
| Bài dự thi ID R&D 2023, đứng đầu bảng xếp hạng công khai Hạng mục 2: EER, minDCF tại P_target 0,05 | 1,30%, 0,0762 | Torgashov và cộng sự, báo cáo hệ thống ID R&D 2023 |
| Bài dự thi hợp nhất ChinaTelecom 2023 Hạng mục 1, tự báo cáo: EER, minDCF | 1,980%, 0,1066 | Du và cộng sự, báo cáo hệ thống ChinaTelecom 2023 |
Bối cảnh: kỳ cuối cùng được tổ chức năm 2023, nên dữ liệu mới nhất hiện có cho thử thách này là bản hồi cứu năm 2024. EER thường không phải chỉ số xếp hạng, đó là lý do một đội xếp thứ hai đôi khi cho thấy EER thấp hơn đội thắng.
3. Kỷ lục VoxCeleb1-O, từ 8,8% xuống 0,12%
Số lượt thử làm cho sự cải thiện trở nên cụ thể. Cả hai tỷ lệ lỗi đều bằng EER tại điểm vận hành, nên tổng số sai sót xấp xỉ EER nhân số lượt thử: 8,8% của 37.720 là khoảng 3.319 quyết định sai, và 0,12% là khoảng 45. Một hệ thống năm 2025 mắc khoảng 45 lỗi, nơi mức cơ sở năm 2017 mắc khoảng 3.319 (Li, Cheng và Li, bài báo w2v-BERT 2.0 2025). Ở mức đó, một nhúm lượt thử bị gán nhãn sai có thể quyết định một kỷ lục.
Dữ liệu giờ đây làm điểm số dịch chuyển nhiều hơn kiến trúc. W2V-BERT 2.0 được ghi nhận ở mức 0,38% khi chỉ huấn luyện trên VoxCeleb2 và 0,14% khi thêm VoxBlink2, cùng một mô hình 587M tham số ở cả hai dòng (Yakovlev và Okhotnikov, bài báo ReDimNet2 2026). Công thức huấn luyện cũng quan trọng: ResNet34 giảm từ 1,31% trong bản gốc được trích dẫn xuống 0,723% trong bản cài đặt lại bằng bộ công cụ WeSpeaker. Chính các vector nhúng (embedding) này cũng đóng vai trò giám khảo trong nghiên cứu chuyển đổi giọng nói, điều mà tổng hợp độ giống người nói trong chuyển đổi giọng nói của chúng tôi xem xét.
| Chỉ số | Giá trị | Nguồn |
|---|---|---|
| 2017: mức cơ sở i-vector cộng PLDA trên bài kiểm tra VoxCeleb1, EER và chi phí phát hiện tối thiểu | 8,8%, 0,73 | Nagrani và cộng sự, bài báo VoxCeleb 2017 |
| 2018: ResNet-50 huấn luyện trên VoxCeleb2, EER và chi phí phát hiện tối thiểu | 3,95%, 0,429 | Chung và cộng sự, bài báo VoxCeleb2 2018 |
| 2020: ECAPA-TDNN với 1.024 kênh, EER và minDCF | 0,87%, 0,1066 | Desplanques và cộng sự, Interspeech 2020 |
| 2022: ResNet293 trong bộ công cụ WeSpeaker, EER và minDCF | 0,447%, 0,043 | Wang và cộng sự, bài báo WeSpeaker 2022 |
| 2024: SimAM-ResNet293 tiền huấn luyện trên VoxBlink2, có hiệu chuẩn chất lượng, EER và minDCF | 0,17%, 0,006 | Lin và cộng sự, VoxBlink2, Interspeech 2024 |
| 2025: w2v-BERT 2.0 trên Vox1-O so với Vox1-H, EER | 0,12% so với 0,55% | Li, Cheng và Li, bài báo w2v-BERT 2.0 2025 |
| 2026: ReDimNet2-B6, EER, tham số, GMAC (tỷ phép nhân-tích lũy) cho đầu vào 2 giây | 0,29%, 12,3M, 13,05 | Yakovlev và Okhotnikov, bài báo ReDimNet2 2026 |
| 2026: ReDimNet2-B0, mô hình nhỏ nhất trong họ, EER và tham số | 1,04%, 1,1M | Yakovlev và Okhotnikov, bài báo ReDimNet2 2026 |
Ghi chú về giá trị ngoại lệ: các tác giả w2v-BERT 2.0 báo cáo rằng việc cắt tỉa đã giảm 80% kích thước mô hình chỉ với mức suy giảm EER 0,04%, nên các mô hình lớn nhất có thể không cần giữ nguyên kích thước.
4. Đoạn ngắn và âm thanh có nhiễu
Cắt đoạn kiểm tra xuống 2 giây làm lỗi của một mô hình hàng đầu tăng hơn gấp đôi, từ 0,61% lên 1,48% (Chen và cộng sự, bài báo ERes2NetV2 2024). Điều đó quan trọng với mọi sản phẩm xây dựng trên một cụm từ nói ngắn, vì con số nổi bật dưới 1% thuộc về các đoạn đủ độ dài. Điều ngược lại cũng đúng: với các cặp VoxSRC dài hơn 8 giây, đội thắng Hạng mục 2 năm 2023 gần như hết lỗi để mắc.
Tiếng ồn tuân theo một đường cong dốc, không phải đường thẳng. “Babble” nghĩa là tiếng ồn hội thoại đám đông ở nền, và SNR (tỷ số tín hiệu trên nhiễu) đo giọng nói so với tiếng ồn, nên 0 dB nghĩa là cả hai to bằng nhau. Một hệ thống cơ sở ResNet34 hầu như không xê dịch ở 20 dB, rồi lỗi của nó tăng hơn bốn lần ở 0 dB (Gu và cộng sự, bài báo Noise-Conditioned Mixture-of-Experts 2025). Tiếng ồn đám đông gây hại nhiều hơn nhạc, có thể vì nó cùng loại tín hiệu mà mô hình được huấn luyện để nhận diện.
| Chỉ số | Giá trị | Nguồn |
|---|---|---|
| EER của ERes2NetV2 trên VoxCeleb1-O: lượt thử đủ độ dài so với 3 giây so với 2 giây | 0,61% so với 0,98% so với 1,48% | Chen và cộng sự, bài báo ERes2NetV2 2024 |
| EER của ECAPA-TDNN trên VoxCeleb1-O: lượt thử 3 giây so với 2 giây | 1,27% so với 1,95% | Chen và cộng sự, bài báo ERes2NetV2 2024 |
| EER của ResNet34 trên VoxCeleb1-O: lượt thử 3 giây so với 2 giây | 1,47% so với 2,12% | Chen và cộng sự, bài báo ERes2NetV2 2024 |
| EER của đội thắng Hạng mục 2 VoxSRC 2023 trên bộ kiểm tra 2019: mọi cặp so với cặp dài hơn 6 giây so với cặp dài hơn 8 giây | 0,47% so với 0,26% so với 0,03% | Huh và cộng sự, hồi cứu VoxSRC 2024 |
| Các đoạn kiểm tra SRE24 mà các hệ thống gặp khó khăn nhất, và ngưỡng trên đó mức cải thiện thu hẹp | 4,5 đến 13 giây; cải thiện nhỏ hơn sau 22,6 giây | Singer và cộng sự, Odyssey 2026 |
| EER của hệ thống cơ sở ResNet34 trên bài kiểm tra VoxCeleb1: sạch so với babble ở 20 dB so với babble ở 0 dB | 1,98% so với 2,18% so với 9,30% | Gu và cộng sự, bài báo Noise-Conditioned Mixture-of-Experts 2025 |
| Cùng hệ thống cơ sở ở 0 dB: nhạc so với tiếng ồn chung | 5,82% so với 7,3% | Gu và cộng sự, bài báo Noise-Conditioned Mixture-of-Experts 2025 |
| Cùng hệ thống cơ sở ở 0 dB với tiếng ồn Nonspeech100, và mô hình điều kiện theo nhiễu ở babble 0 dB | 10,17%; 8,10% | Gu và cộng sự, bài báo Noise-Conditioned Mixture-of-Experts 2025 |
Bối cảnh: kết quả về tiếng ồn không chuyển giao được giữa các bài báo. Một nghiên cứu của Đại học Seoul đo ECAPA-TDNN ở mức 3,46% khi sạch và 13,01% với babble ở 0 dB (Kim và cộng sự, bài báo PAS 2023), với thiết lập huấn luyện khác, nên hãy so sánh mức tăng trong từng nghiên cứu thay vì các giá trị tuyệt đối.
5. Tuổi, kho dữ liệu và lệch miền
Một kỷ lục trên VoxCeleb1-O nói rất ít về một giọng được thu cách nhau nhiều năm hoặc trong bối cảnh khác. Chọn các cặp cùng người nói có chênh lệch tuổi lớn đã làm một hệ thống cơ sở tăng từ EER 1,939% lên 10,419% (Qin và cộng sự, Interspeech 2022). Một kho dữ liệu dọc của Phần Lan cho thấy đầu dài của đường cong đó: ở khoảng cách 40 năm, EER của nam giới là 51,61%, tệ hơn đoán mò (Singh và cộng sự, Interspeech 2023). Kho dữ liệu đó nhỏ, với 109 người nói sau khi tiền xử lý, và tuổi trong VoxCeleb được ước tính chứ không được ghi lại, nên hãy tin vào chiều hướng nhiều hơn là các giá trị chính xác.
Lệch miền là rủi ro thương mại lớn hơn, vì nó đến một cách âm thầm. X-vector huấn luyện trên VoxCeleb trong bài báo CN-Celeb có lỗi tăng gần gấp năm lần trên âm thanh đa thể loại tiếng Trung (16,59 / 3,48 = 4,8). Huấn luyện lại trên miền mới có giúp ích nhưng không thu hẹp hết khoảng cách: cùng công thức ECAPA-TDNN vẫn cho lỗi trên CN-Celeb gấp hơn chín lần so với trên VoxCeleb (8,877 / 0,936 = 9,5).
| Chỉ số | Giá trị | Nguồn |
|---|---|---|
| EER của hệ thống cơ sở trên bài kiểm tra Vox-H so với Vox-CA20, bài kiểm tra gồm các cặp chênh lệch tuổi lớn | 1,939% so với 10,419% | Qin và cộng sự, Interspeech 2022 |
| EER của ECAPA-TDNN trên VoxCeleb1-Age-Enriched (Hoa Kỳ) ở khoảng cách tuổi 3 / 6 / 9 năm, người nói nam | 2,31% / 2,84% / 3,63% | Singh và cộng sự, Interspeech 2023 |
| Cùng bài kiểm tra ở khoảng cách tuổi 3 / 6 / 9 năm, người nói nữ | 2,70% / 3,12% / 3,87% | Singh và cộng sự, Interspeech 2023 |
| EER của kho dữ liệu dọc Phần Lan (LCFSH) ở khoảng cách tuổi 0 / 20 / 40 năm, người nói nam | 5,12% / 18,68% / 51,61% | Singh và cộng sự, Interspeech 2023 |
| Cùng kho dữ liệu ở khoảng cách tuổi 0 / 20 / 40 năm, người nói nữ | 10,04% / 21,67% / 40,61% | Singh và cộng sự, Interspeech 2023 |
| EER của x-vector huấn luyện trên VoxCeleb trên bộ kiểm tra SITW so với CN-Celeb.E (một bộ đánh giá từ CN-Celeb) | 3,48% so với 16,59% | Li và cộng sự, bài báo CN-Celeb 2020 |
| ECAPA-TDNN với hàm mất mát AM-Softmax: bài kiểm tra VoxCeleb1 so với đánh giá CN-Celeb, mỗi bên huấn luyện trên miền của chính nó | 0,936% so với 8,877% | Wang và cộng sự, bài báo DASA 2023 |
| Hạng mục thích ứng miền VoxSRC 2023 trên CNCeleb: mức cơ sở so với hạng nhất, EER | 13,11% so với 4,95% | Huh và cộng sự, hồi cứu VoxSRC 2024 |
Dữ liệu mới nhất hiện có về lão hóa dài hạn: Singh và cộng sự, Interspeech 2023.
6. NIST SRE: Chuẩn khó hơn nhưng không có con số nổi bật
NIST đã tổ chức các đợt đánh giá này từ năm 1996, và chúng chẳng giống các cuộc phỏng vấn trên YouTube chút nào. SRE24 dùng một kho dữ liệu mới thu thập ngoài Bắc Mỹ, giọng nói qua điện thoại và âm thanh từ video, bằng tiếng Ả Rập Tunisia, tiếng Anh và tiếng Pháp. Đội dẫn đầu thử thách điện thoại SRE24 ở mức EER 2,37%, gấp khoảng 20 lần kỷ lục VoxCeleb1-O (2,37 / 0,12 = 19,8) (trang NIST SRE24), dù hai bài kiểm tra khác nhau quá nhiều để tỷ số đó đo được điều gì ngoài độ khó.
Phân tích 91 hệ thống SRE24 được nộp cho thấy các lượt thử điện thoại khớp nguồn luôn vượt các lượt thử âm thanh-từ-video khớp nguồn, và loại nguồn quan trọng hơn sự lệch ngôn ngữ. Ba đoạn đăng ký nhìn chung tốt hơn một đoạn, ngay cả khi tổng lượng giọng nói bằng nhau, và hầu hết hệ thống cho thấy khác biệt giới tính hạn chế trên các lượt thử cùng giới (Singer và cộng sự, Odyssey 2026). Dữ liệu huấn luyện không hạn chế mang lại cải thiện đáng kể, và các mô hình đơn lẻ cạnh tranh được với các hệ thống hợp nhất (Greenberg và cộng sự, Interspeech 2025). Các con số trong bảng dưới đây cho thấy bài học còn lại: một hệ thống không tự đặt được ngưỡng của mình thì chưa sẵn sàng, dù chi phí tối thiểu tốt đến đâu.
| Chỉ số | Giá trị | Nguồn |
|---|---|---|
| Thử thách điện thoại SRE19: tổ chức, đội, đầu ra hệ thống hợp lệ | 67 / 51 / 1.347 | Sadjadi và cộng sự, NIST SRE19 CTS Challenge, Odyssey 2020 |
| Bài kiểm tra âm thanh SRE21: lượt thử mục tiêu so với lượt thử không mục tiêu | 132.038 so với 5.899.731 | Sadjadi và cộng sự, NIST SRE21 2022 |
| SRE24: đội, tổ chức, hệ thống được nộp | 11 / 26 / 91 | Singer và cộng sự, Odyssey 2026 |
| Dòng đầu tiên của bảng xếp hạng SRE24-CTS ngày 24 tháng 10 năm 2024: EER, chi phí tối thiểu, chi phí thực tế | 2,37%, 0,102, 0,106 | Bảng xếp hạng NIST SRE24-CTS Challenge 2024 |
| Một bài dự thi khác trên bảng xếp hạng đó: EER, chi phí tối thiểu, chi phí thực tế (một hệ thống tầm thường đạt 1) | 3,00%, 0,080, 1,000 | Bảng xếp hạng NIST SRE24-CTS Challenge 2024 |
| Hệ thống SRE21 do HCCL nộp, bộ phát triển so với bộ đánh giá: EER | 2,27% so với 3,05% | Li và cộng sự, hệ thống HCCL, Interspeech 2022 |
| Cùng hệ thống, bộ phát triển so với bộ đánh giá: chi phí thực tế | 0,170 so với 0,560 | Li và cộng sự, hệ thống HCCL, Interspeech 2022 |
Bối cảnh: các bài báo tổng quan và phân tích SRE24 trình bày kết quả bằng biểu đồ, không in giá trị EER, nên bảng xếp hạng là ô cửa số liệu vào chu kỳ này. Dữ liệu mới nhất hiện có cho kết quả số chính thức: bảng xếp hạng NIST SRE24-CTS Challenge, 2024.
7. Tính công bằng: Chuẩn đo đang đo ai
Một điểm chuẩn duy nhất có thể che giấu việc tỷ lệ dương tính giả của một nhóm lên tới 13 lần tỷ lệ chung. Tại ngưỡng chi phí tối thiểu chung, các người nói nữ gốc Ấn Độ có tỷ lệ dương tính giả gấp 13,0387 lần tỷ lệ chung trong một nghiên cứu về quy trình VoxCeleb Speaker Recognition Challenge (Hutiri và Ding, FAccT 2022). Thành phần dữ liệu giúp giải thích điều này: bộ kiểm tra VoxCeleb 1 có 62,5% người nói Hoa Kỳ, và nữ giới đóng góp 38% số người nói nhưng 29,5% số phát ngôn.
Chiều của chênh lệch giới tính không cố định, và đó là phát hiện hữu ích. Các đội thắng VoxSRC làm tốt hơn với nam, một nghiên cứu của Amazon làm tốt hơn với nữ, và một thí nghiệm có kiểm soát cho thấy tỷ lệ giới trong dữ liệu huấn luyện có thể tự tạo ra chênh lệch. Cùng một mô thức cũng xuất hiện ở các công cụ giọng nói cấp độ từ, như tổng hợp thiên lệch giọng vùng miền trong nhận dạng giọng nói của chúng tôi đã ghi lại.
| Chỉ số | Giá trị | Nguồn |
|---|---|---|
| Bộ kiểm tra VoxCeleb 1: tỷ lệ người nói Hoa Kỳ; tỷ lệ nữ trong số người nói; tỷ lệ nữ trong số phát ngôn | 62,5%; 38%; 29,5% | Hutiri và Ding, FAccT 2022 |
| Bộ huấn luyện VoxCeleb 2: tỷ lệ nam; tỷ lệ Hoa Kỳ | 61%; 29% | Hutiri và Ding, FAccT 2022 |
| Người nói nữ gốc Ấn Độ so với tỷ lệ chung: tỷ số dương tính giả; tỷ số âm tính giả | 13,0387 lần; 1,2497 lần | Hutiri và Ding, FAccT 2022 |
| Các đội thắng VoxSRC 2023 trên bộ kiểm tra 2019, EER nam so với nữ: Hạng mục 1; Hạng mục 2 | 0,57% so với 0,69%; 0,43% so với 0,59% | Huh và cộng sự, hồi cứu VoxSRC 2024 |
| Hệ thống đối kháng gán lại trọng số, EER nam so với nữ | 1,25% so với 0,67% | Jin và cộng sự, Interspeech 2022 |
| Cùng nghiên cứu, chênh lệch giữa các nhóm giới tính trước so với sau khi gán lại trọng số | 0,70% so với 0,58% | Jin và cộng sự, Interspeech 2022 |
| Cùng nghiên cứu, EER cho Hoa Kỳ so với Vương quốc Anh so với tất cả quốc tịch khác | 1,04% so với 0,76% so với 1,22% | Jin và cộng sự, Interspeech 2022 |
| Hệ thống cơ sở ResNet-34 (một phần tư kênh) huấn luyện trên hỗn hợp nữ so với nam 9:1, EER nữ so với nam | 3,52% so với 7,22% | Shen và cộng sự, ICASSP 2022 |
Dữ liệu mới nhất hiện có về tỷ số lỗi theo nhóm con: Hutiri và Ding, FAccT 2022. Ngoài ra, Estevez và Ferrer nhận thấy hiệu năng “suy giảm rõ rệt” với các nhóm ít được đại diện trong huấn luyện, và việc cân bằng dữ liệu đơn giản làm giảm thiên lệch mà không gây hại cho các nhóm đa số (Study on the Fairness of Speaker Verification Systems).
Tổng kết: Tỷ Lệ Lỗi Bằng Nhau VoxCeleb trong Xác Minh Người Nói qua Các Con Số
| Chỉ số | Giá trị | Nguồn |
|---|---|---|
| EER VoxCeleb1-O thấp nhất tìm thấy trong một bài báo gốc | 0,12% | Li, Cheng và Li, bài báo w2v-BERT 2.0 2025 |
| Cùng hệ thống trên danh sách khó Vox1-H | 0,55% | Li, Cheng và Li, bài báo w2v-BERT 2.0 2025 |
| SimAM-ResNet293 trên VoxCeleb1-O với tiền huấn luyện VoxBlink2 và hiệu chuẩn chất lượng, EER và minDCF | 0,17%, 0,006 | Lin và cộng sự, VoxBlink2, Interspeech 2024 |
| Người nói VoxBlink2 so với người nói VoxCeleb2 | 111.284 so với 5.994 | Lin và cộng sự, VoxBlink2, Interspeech 2024 |
| EER và tham số của ReDimNet2-B6 | 0,29%, 12,3M | Yakovlev và Okhotnikov, bài báo ReDimNet2 2026 |
| ECAPA-TDNN với 1.024 kênh, EER | 0,87% | Desplanques và cộng sự, Interspeech 2020 |
| EER của đội nhất Hạng mục 2 VoxSRC trên bộ kiểm tra 2019 cố định, 2019 so với 2023 | 1,26% so với 0,47% | Huh và cộng sự, hồi cứu VoxSRC 2024 |
| EER của ERes2NetV2 trên lượt thử đủ độ dài so với 2 giây | 0,61% so với 1,48% | Chen và cộng sự, bài báo ERes2NetV2 2024 |
| EER của hệ thống cơ sở ResNet34, sạch so với babble ở 0 dB | 1,98% so với 9,30% | Gu và cộng sự, bài báo Noise-Conditioned Mixture-of-Experts 2025 |
| EER của hệ thống cơ sở trên Vox-H so với Vox-CA20 (chênh lệch tuổi lớn) | 1,939% so với 10,419% | Qin và cộng sự, Interspeech 2022 |
| EER của nam giới ở khoảng cách tuổi 0 năm so với 40 năm, kho dữ liệu Phần Lan | 5,12% so với 51,61% | Singh và cộng sự, Interspeech 2023 |
| EER của x-vector huấn luyện trên VoxCeleb trên SITW so với CN-Celeb.E | 3,48% so với 16,59% | Li và cộng sự, bài báo CN-Celeb 2020 |
| EER của ECAPA-TDNN trên VoxCeleb1 so với đánh giá CN-Celeb, mỗi bên huấn luyện trên miền của chính nó | 0,936% so với 8,877% | Wang và cộng sự, bài báo DASA 2023 |
| Dòng đầu tiên của bảng xếp hạng SRE24-CTS, EER | 2,37% | Bảng xếp hạng NIST SRE24-CTS Challenge 2024 |
| Chi phí thực tế HCCL SRE21, bộ phát triển so với bộ đánh giá | 0,170 so với 0,560 | Li và cộng sự, hệ thống HCCL, Interspeech 2022 |
| Bộ kiểm tra VoxCeleb 1, tỷ lệ nữ trong số người nói so với số phát ngôn | 38% so với 29,5% | Hutiri và Ding, FAccT 2022 |
| Tỷ lệ dương tính giả của người nói nữ gốc Ấn Độ so với tỷ lệ chung | 13,0387 lần | Hutiri và Ding, FAccT 2022 |
| Hệ thống đối kháng gán lại trọng số, EER nam so với nữ | 1,25% so với 0,67% | Jin và cộng sự, Interspeech 2022 |
Phương pháp luận và Nguồn
Mọi con số đều được đọc trong một bài báo gốc, báo cáo thử thách hoặc trang của NIST trong quá trình nghiên cứu này. Các giá trị EER và chi phí được trích đúng như từng nguồn in ra. Các tỷ số và số lượng quyết định sai là phép tính của riêng chúng tôi, với phép toán được nêu rõ. Không sử dụng dữ liệu của VoxBooster.
- Huh và cộng sự, The VoxCeleb Speaker Recognition Challenge: A Retrospective, 2024
- Nagrani, Chung và Zisserman, VoxCeleb: a large-scale speaker identification dataset, Interspeech 2017
- Chung, Nagrani và Zisserman, VoxCeleb2: Deep Speaker Recognition, Interspeech 2018
- Desplanques, Thienpondt và Demuynck, ECAPA-TDNN, Interspeech 2020
- Wang và cộng sự, bài báo về bộ công cụ WeSpeaker, 2022
- Lin và cộng sự, VoxBlink2, Interspeech 2024
- Li, Cheng và Li, w2v-BERT 2.0 và cắt tỉa có cấu trúc, 2025
- Yakovlev và Okhotnikov, ReDimNet2, 2026
- Zheng và cộng sự, hệ thống UNISOUND cho VoxSRC 2023
- Torgashov và cộng sự, hệ thống ID R&D cho VoxSRC 2023
- Du, Fang và Li, hệ thống ChinaTelecom cho VoxSRC 2023
- Chen và cộng sự, ERes2NetV2, 2024
- Gu và cộng sự, Noise-Conditioned Mixture-of-Experts Framework, 2025
- Kim và cộng sự, bài báo về tăng cường dữ liệu PAS, 2023
- Qin và cộng sự, Cross-Age Speaker Verification, Interspeech 2022
- Singh, Sahidullah và Kinnunen, Speaker Verification Across Ages, Interspeech 2023
- Li và cộng sự, CN-Celeb: multi-genre speaker recognition, 2020
- Wang và cộng sự, bài báo DASA, 2023
- Trang NIST Speaker Recognition Evaluation và bảng xếp hạng SRE24-CTS Challenge
- Greenberg và cộng sự, The 2024 NIST Speaker Recognition Evaluation, Interspeech 2025
- Singer và cộng sự, Analysis of the NIST 2024 Speaker Recognition Evaluation, Odyssey 2026
- Sadjadi và cộng sự, The 2021 NIST Speaker Recognition Evaluation, 2022
- Sadjadi và cộng sự, The 2019 NIST SRE CTS Challenge, Odyssey 2020
- Li và cộng sự, The HCCL System for the NIST SRE21, Interspeech 2022
- Hutiri và Ding, Bias in Automated Speaker Recognition, FAccT 2022
- Jin và cộng sự, Adversarial Reweighting for Speaker Verification Fairness, Interspeech 2022
- Shen và cộng sự, Group-adapted Fusion Network, ICASSP 2022
- Estevez và Ferrer, Study on the Fairness of Speaker Verification Systems Across Accent and Gender Groups
- Qu và cộng sự, Fair-Gate, 2026
- Lưu ý về dữ liệu: các kỷ lục VoxCeleb1-O không hoàn toàn so sánh được với nhau, vì một số bài báo dùng phiên bản giao thức đã được làm sạch, và một số bổ sung chuẩn hóa điểm số hoặc hiệu chuẩn chất lượng. Chỉ riêng con số của ECAPA-TDNN đã khác nhau giữa các bài báo: 0,87% trong bản gốc, 0,728% trong WeSpeaker, 0,94% trong bảng của ReDimNet2 và 1,12% trong bài báo Fair-Gate năm 2026. Các tác giả w2v-BERT 2.0 báo cáo 0,12%, trong khi bảng so sánh của ReDimNet2 liệt kê 0,14% cho một mô hình w2v-BERT 2.0 huấn luyện trên VoxBlink2 cộng VoxCeleb2, và chúng tôi không thể khớp chính xác hai mục này. Mức giảm EER 43,4% mà bài báo VoxBlink2 nêu không khớp với bảng của chính nó (0,606% xuống 0,340% là 43,9%), nên chúng tôi không trích dẫn. Phần tóm tắt của bài cũng in minDCF là 0,006%, trong khi bảng in 0,006. Bài báo CN-Celeb đưa ra 15,52% trong phần mở đầu và 16,59% trong bảng cho CN-Celeb.E; chúng tôi dùng con số trong bảng. Các kết quả cũ hơn ở đây (từ 2017 đến giữa 2023) được đánh dấu là dữ liệu mới nhất hiện có khi không có kết quả tương đương mới hơn. Kết quả NIST của chu kỳ đánh giá tiếp theo sẽ làm thay đổi phần 6 trước tiên. Mọi giá trị EER ở đây xét những người nói thật khác làm kẻ mạo danh, nên chúng không nói gì về khả năng chống lại giọng tổng hợp.
Cập nhật lần cuối: ngày 31 tháng 10 năm 2026. Chúng tôi cập nhật bài tổng hợp này hằng quý, và lần cập nhật tiếp theo dự kiến diễn ra khi NIST công bố kết quả số của Speaker Recognition Evaluation kế tiếp.