Trong Voice Conversion Challenge 2020, tám hệ thống cùng ngôn ngữ không thể phân biệt về mặt thống kê với người nói đích thật trong các bài kiểm tra độ giống, với hơn 90% mẫu đã chuyển đổi của chúng được đánh giá là cùng một người (Zhao và cộng sự, tổng quan VCC 2020). Bốn năm trước đó, hệ thống tốt nhất của VCC 2016 chỉ đạt trung bình 3,0 trên thang độ tự nhiên 5 điểm, và các hệ thống hàng đầu thuyết phục được người nghe khoảng 70% số lần. Độ tự nhiên chưa thu hẹp khoảng cách một cách gọn gàng như vậy: không hệ thống VCC 2020 nào đạt độ tự nhiên ngang người thật, và trong Singing Voice Conversion Challenge 2025, các hệ thống hàng đầu đạt khoảng 3,7 so với khoảng 3,9 của các bản ghi thật. Bài tổng hợp này xem xét cách chuyển đổi giọng nói được đo lường chứ không phải cách nó được bán; về dữ liệu áp dụng và thị trường, xem thống kê nhân bản giọng nói của chúng tôi, và về điểm nghe của chuyển văn bản thành giọng nói, xem thống kê MOS độ tự nhiên của giọng nói tổng hợp của chúng tôi. Chúng tôi tổng hợp dữ liệu từ các Voice Conversion Challenge năm 2016, 2018 và 2020, các Singing Voice Conversion Challenge năm 2023 và 2025, các bài báo được bình duyệt từ Interspeech, ICLR, AAAI và IEEE JSTSP, cùng các nghiên cứu gần đây về chỉ số độ giống người nói và thiên lệch của bài kiểm tra nghe.
Tóm tắt nhanh
- 8 hệ thống cùng ngôn ngữ của VCC 2020 không khác biệt đáng kể so với người nói đích về độ giống (Zhao và cộng sự, tổng quan VCC 2020, 2020).
- Một hệ thống zero-shot năm 2025 đạt 3,96 MOS độ tự nhiên so với 4,33 của bản ghi chuẩn (Yao và cộng sự, StableVC, AAAI 2025).
- Độ giống người nói của một hệ thống trong không gian codec năm 2026 giảm từ 0,63 ở tiếng Anh xuống 0,49 khi chuyển đổi từ tiếng Trung sang tiếng Anh (Zheng và cộng sự, X-VC 2026).
- Độ giống của một hệ thống dùng đặc trưng tự giám sát giảm từ 59% xuống 28% khi chuyển từ chuyển đổi bất kỳ người nói sang một người nói đích sang chuyển đổi bất kỳ người nói sang bất kỳ người nói đích (Huang và cộng sự, IEEE JSTSP 2022).
- 20 trong 31 hệ thống VCC 2020 đã đánh lừa hệ thống xác thực người nói hơn 90% số lần (Das và cộng sự, đánh giá khách quan VCC 2020, 2020).
- Độ giống của vector nhúng người nói tương quan 0,768 với điểm của con người trên giọng nói thật, nhưng chỉ 0,512 trên giọng nói đã chuyển đổi của VCC 2018 (Ahn và cộng sự, VoxSim, Interspeech 2024).
- Khoảng một nửa số câu của VCC 2018 có độ lệch chuẩn trên 1 điểm giữa bốn điểm đánh giá của người nghe (Lo và cộng sự, MOSNet 2019).
- MOS của một hệ thống có thể giảm tới khoảng một điểm trọn vẹn khi chỉ được đánh giá cùng các hệ thống mạnh hơn (Cooper và Yamagishi, Interspeech 2023).
- Hệ thống giọng hát hàng đầu của SVCC 2023 ngang bằng độ tự nhiên của bản ghi chuẩn (khoảng 3,9) nhưng đạt độ giống 65% so với 80% (Violeta và cộng sự, phân tích SVCC 2025, 2025).
- Giọng hát thều thào là phong cách khó chuyển đổi nhất trong SVCC 2025, với độ chính xác phong cách 37,3% (Violeta và cộng sự, phân tích SVCC 2025, 2025).
1. Một Thập Kỷ Kết Quả Các Cuộc Thi: Từ 70% Đến Độ Giống Ngang Đích
Chuyển đổi giọng nói (VC) thay đổi việc bản ghi nghe giống ai trong khi vẫn giữ nguyên nội dung được nói. Thước đo chung của lĩnh vực là Voice Conversion Challenge (VCC), nơi mọi đội chuyển đổi cùng những câu giống nhau giữa cùng những người nói và một bài kiểm tra nghe lớn chấm điểm tất cả. Độ tự nhiên được đánh giá trên thang điểm ý kiến trung bình (MOS) 5 điểm; độ giống được xét bằng cách hỏi người nghe xem một đoạn đã chuyển đổi và một đoạn thật có đến từ cùng một người nói hay không.
Quỹ đạo rất dốc. Hệ thống tốt nhất của VCC 2016 đạt trung bình 3,0 về độ tự nhiên, trong khi đến VCC 2020, tám hệ thống đã ngang bằng về mặt thống kê với người nói đích thật về độ giống (Zhao và cộng sự, tổng quan VCC 2020). Thứ tự của tiến bộ mới là điều thú vị: người nghe đã ngừng phân biệt được đoạn đã chuyển đổi với đích, trong tiếng Anh sạch và cùng ngôn ngữ, trước khi bất kỳ hệ thống nào đạt độ tự nhiên ngang người thật.
| Chỉ số | Giá trị | Nguồn |
|---|---|---|
| Các nhóm nghiên cứu đã nộp hệ thống cho VCC 2016 | 17 | Toda và cộng sự, The Voice Conversion Challenge 2016, Interspeech 2016 |
| Người nghe trong bài kiểm tra VCC 2016, thực hiện trong môi trường kiểm soát | 200 | Toda và cộng sự, The Voice Conversion Challenge 2016, Interspeech 2016 |
| Các hệ thống hàng đầu VCC 2016, tỷ lệ mẫu được đánh giá là cùng người nói với đích | khoảng 70% | Wester và cộng sự, Analysis of the VCC 2016 Evaluation Results, Interspeech 2016 |
| Hệ thống tốt nhất VCC 2016, độ tự nhiên trung bình trên thang 5 điểm | 3,0 | Zhao và cộng sự, tổng quan VCC 2020, 2020 |
| Hệ thống tốt nhất VCC 2018 (N10): độ tự nhiên / tỷ lệ được đánh giá giống đích | khoảng 4,1 / khoảng 80% | Lorenzo-Trueba và cộng sự, bài báo VCC 2018 |
| Các hệ thống cùng ngôn ngữ của VCC 2020 không khác biệt đáng kể so với người nói đích về độ giống | 8 | Zhao và cộng sự, tổng quan VCC 2020, 2020 |
Ghi chú bối cảnh: người thắng cuộc VCC 2018 dựa vào bộ trích xuất nội dung được huấn luyện trên hàng trăm giờ giọng nói bên ngoài cộng với bộ vocoder WaveNet phụ thuộc người nói (Lorenzo-Trueba và cộng sự, VCC 2018). Chỉ 3 đội VCC 2018 dùng tùy chọn dữ liệu bên ngoài. Dữ liệu mới nhất hiện có cho các cuộc thi về giọng nói: VCC 2020, vì phiên bản thứ tư vào năm 2023 chuyển sang giọng hát và được đổi tên (xem phần 6).
2. Khoảng Cách Về Độ Tự Nhiên: Các Hệ Thống Tốt Nhất Còn Cách Giọng Nói Thật Bao Xa
Phán quyết “cùng người nói” không có nghĩa là đoạn âm thanh nghe giống người thật. Mỗi cuộc thi đều giữ các bản ghi tự nhiên trong bài kiểm tra làm mốc neo, và những mốc neo đó cho thấy một khoảng cách dai dẳng. Một so sánh năm 2022 liệt kê USTC-2020, hệ thống hàng đầu của tác vụ cùng ngôn ngữ VCC 2020, ở mức 4,41 MOS độ tự nhiên so với 4,57 của các bản ghi đích thật, chênh lệch 0,16 điểm (4,57 trừ 4,41) (Huang và cộng sự, IEEE JSTSP 2022). Hệ thống đó cũng đạt 82% trong bài kiểm tra độ giống.
Khoảng cách rộng hơn đối với các hệ thống zero-shot, vốn chuyển đổi sang một giọng chưa từng thấy khi huấn luyện từ một đoạn tham chiếu ngắn. Một bài báo AAAI năm 2025 đo được 3,96 MOS cho hệ thống của họ so với 4,33 của bản ghi chuẩn trên các người nói VCTK, chênh lệch 0,37 điểm, mặc dù một bộ dự đoán MOS tự động chỉ đặt hai bên cách nhau 0,12 (Yao và cộng sự, StableVC, AAAI 2025). Trong bài kiểm tra này, bộ dự đoán tự động là giám khảo dễ tính hơn, một lý do để đọc các điểm số như vậy cùng với bài kiểm tra nghe.
| Chỉ số | Giá trị | Nguồn |
|---|---|---|
| Bản ghi tự nhiên trong VCC 2016: độ tự nhiên / tỷ lệ được đánh giá cùng người nói | 4,5 / 90% | Violeta và cộng sự, phân tích SVCC 2025, 2025 |
| Các hệ thống VCC 2016 được đánh giá kém tự nhiên hơn đáng kể so với người nói nguồn và đích thật | tất cả các hệ thống | Wester và cộng sự, Analysis of the VCC 2016 Evaluation Results, Interspeech 2016 |
| Hệ thống tốt nhất VCC 2018 so với giọng nói đích thật (kiểm định hạng có dấu Wilcoxon, Bonferroni, α = 0,01) | khác biệt đáng kể cả về độ tự nhiên lẫn độ giống | Lorenzo-Trueba và cộng sự, bài báo VCC 2018 |
| Hệ thống hàng đầu VCC 2020 (USTC-2020) so với bản ghi đích, MOS độ tự nhiên cùng ngôn ngữ | 4,41 so với 4,57 | Huang và cộng sự, IEEE JSTSP 2022 |
| Hệ thống dùng đặc trưng tự giám sát tốt nhất so với hệ thống cơ sở mel-spectrogram đơn giản, MOS độ tự nhiên | 3,59 so với 2,61 | Huang và cộng sự, IEEE JSTSP 2022 |
| Hệ thống zero-shot so với bản ghi chuẩn, MOS độ tự nhiên của người nghe (người nói VCTK) | 3,96 ±0,04 so với 4,33 ±0,04 | Yao và cộng sự, StableVC, AAAI 2025 |
| Cùng phép so sánh dùng UTMOS, bộ dự đoán độ tự nhiên tự động | 4,12 so với 4,24 | Yao và cộng sự, StableVC, AAAI 2025 |
| Hệ thống tốt nhất trong sáu hệ thống cơ sở zero-shot đã công bố, MOS độ tự nhiên của người nghe | 3,67 ±0,07 | Yao và cộng sự, StableVC, AAAI 2025 |
Ghi chú giá trị ngoại lai: trong VCC 2020, người nghe tiếng Nhật đánh giá độ tự nhiên cùng ngôn ngữ của hệ thống dẫn đầu T10 là tương đương người nói đích, trong khi người nghe tiếng Anh thì không (Zhao và cộng sự, tổng quan VCC 2020). Do đó, phán quyết ngang bằng có thể phụ thuộc vào người nghe, nên nhóm người nghe phải được nêu trong mọi kết quả được báo cáo.
3. Độ Rõ Lời Và Chỉ Số Phổ: WER Và MCD Nói Được Gì Và Không Nói Được Gì
Các chỉ số khách quan rẻ và lặp lại được, nên các bài báo dựa vào chúng. Hai nhóm hay xuất hiện: độ rõ lời, đo bằng tỷ lệ lỗi từ (WER) hoặc tỷ lệ lỗi ký tự (CER) của bộ nhận dạng giọng nói tự động khi phiên âm âm thanh đã chuyển đổi, và khoảng cách phổ, thường là độ méo mel-cepstral (MCD), đo mức phổ đã chuyển đổi lệch khỏi phổ của đích bao xa. Cả hai đều càng thấp càng tốt.
Dữ liệu VCC cho thấy WER bám khá sát độ tự nhiên và bám kém độ giống. Trong VCC 2018, WER tương quan -0,7127 với độ tự nhiên ở tác vụ không song song nhưng chỉ -0,2272 với độ giống người nói (Lorenzo-Trueba và cộng sự, VCC 2018). MCD trông còn yếu hơn như một chỉ số đại diện cho độ tự nhiên: trong Singing Voice Conversion Challenge 2023, nó không tương quan đáng kể với điểm độ tự nhiên trong miền từ cả hai nhóm người nghe (Huang và cộng sự, SVCC 2023). Các bộ nhận dạng cũng có những kiểu lỗi riêng, được đề cập trong thống kê ảo giác của nhận dạng giọng nói của chúng tôi, vì vậy WER thấp cho biết các từ còn nguyên, chứ không phải giọng nghe đúng.
| Chỉ số | Giá trị | Nguồn |
|---|---|---|
| Tỷ lệ lỗi từ của ASR trên giọng nói nguồn tự nhiên, VCC 2018 | 6,40% | Lorenzo-Trueba và cộng sự, bài báo VCC 2018 |
| WER thấp nhất / cao nhất trong các hệ thống Hub đã chuyển đổi của VCC 2018 | 8,60% / 35,60% | Lorenzo-Trueba và cộng sự, bài báo VCC 2018 |
| Tương quan của WER với MOS độ tự nhiên / với độ giống, tác vụ Hub dữ liệu song song và tác vụ Spoke không song song của VCC 2018 | Hub -0,6587 / -0,3218; Spoke -0,7127 / -0,2272 | Lorenzo-Trueba và cộng sự, bài báo VCC 2018 |
| Các đội cùng ngôn ngữ của VCC 2020 có WER dưới 5% / trên 50% | 7 / 7 | Das và cộng sự, đánh giá khách quan VCC 2020, 2020 |
| MCD, hệ thống cơ sở mel-spectrogram đơn giản so với hệ thống hàng đầu VCC 2020 (dữ liệu VCC 2020) | 8,47 so với 6,98 | Huang và cộng sự, IEEE JSTSP 2022 |
| Tương quan Spearman của MCD với MOS độ tự nhiên trong miền, SVCC 2023 (người nghe Nhật / Anh) | -0,28 / -0,24 (không đáng kể) | Huang và cộng sự, bài báo SVCC 2023 |
| Tương quan Spearman của CER dựa trên Whisper với MOS độ tự nhiên trong miền, SVCC 2023 (người nghe Nhật) | -0,80 (p < 0,01) | Huang và cộng sự, bài báo SVCC 2023 |
Ghi chú bối cảnh: mức phân tán trong VCC 2020 rất rộng. Bài dự thi cùng ngôn ngữ tệ nhất đạt WER 96,17%, nghĩa là gần như không còn gì sống sót sau chuyển đổi đối với bộ nhận dạng, trong khi bảy đội giữ được dưới 5% (Das và cộng sự, đánh giá khách quan VCC 2020).
4. Độ Giống Của Vector Nhúng Người Nói: Hữu Ích, Phổ Biến Và Mong Manh
Một điểm độ giống tự động tiêu chuẩn là độ tương đồng cosine của vector nhúng người nói (thường gọi là SECS hoặc SIM): cả hai đoạn được đưa qua một mạng xác thực người nói và góc giữa các vector thu được được đem ra so sánh. Trên dữ liệu các cuộc thi, nó khớp tốt với người nghe ở cấp hệ thống. Trong VCC 2020, tỷ lệ lỗi xác thực người nói tương quan 0,89 và 0,90 với độ giống theo người nghe ở hai tác vụ (Das và cộng sự, đánh giá khách quan VCC 2020), và 20 trong 31 hệ thống cùng ngôn ngữ được bộ xác thực chấp nhận là đích hơn 90% số lần. Tỷ lệ “chấp nhận sai” ở đây là phần các đoạn đã chuyển đổi mà bộ xác thực chấp nhận nhầm là người nói đích thật, nên càng cao nghĩa là chuyển đổi càng thuyết phục.
Mức khớp theo từng câu lại là chuyện khác. Một vector nhúng ECAPA-TDNN đã huấn luyện trước đạt tương quan tuyến tính 0,768 với điểm của con người trên các cặp giọng thật nhưng giảm xuống 0,512 trên giọng nói đã chuyển đổi của VCC 2018 (Ahn và cộng sự, VoxSim, Interspeech 2024). Một nghiên cứu năm 2025 của Ubisoft La Forge và Đại học Stellenbosch phát hiện các mô hình xác thực tách đoạn ngắn và đoạn dài của cùng một người nói tốt hơn nhiều so với ngẫu nhiên, và rằng nhiễu cùng việc cân chỉnh âm làm lệch điểm, nên một con số SIM phần nào đo cả điều kiện thu âm (Carbonneau và cộng sự 2025). Bất kỳ ai so sánh phần mềm nhân bản giọng nói dựa trên các con số SIM đã công bố đều nên kiểm tra xem có dùng cùng mô hình vector nhúng, bộ kiểm tra và độ dài đoạn hay không.
| Chỉ số | Giá trị | Nguồn |
|---|---|---|
| Các hệ thống cùng ngôn ngữ của VCC 2020 được bộ xác thực người nói chấp nhận là đích hơn 90% số lần | 20 trong 31 | Das và cộng sự, đánh giá khách quan VCC 2020, 2020 |
| Các hệ thống liên ngôn ngữ của VCC 2020 vượt cùng mức chấp nhận sai 90% | 10 | Das và cộng sự, đánh giá khách quan VCC 2020, 2020 |
| Tương quan Pearson của tỷ lệ lỗi bộ xác thực với độ giống theo người nghe, VCC 2020 Tác vụ 1 / Tác vụ 2 | 0,89 / 0,90 | Das và cộng sự, đánh giá khách quan VCC 2020, 2020 |
| Tương quan Pearson của khoảng cách cosine vector nhúng với độ giống theo người nghe, VCC 2020 Tác vụ 1 / Tác vụ 2 | 0,85 / 0,82 | Das và cộng sự, đánh giá khách quan VCC 2020, 2020 |
| Bộ nhận dạng người nói ECAPA-TDNN đã huấn luyện trước so với độ giống theo con người, các cặp giọng thật (tương quan tuyến tính) | 0,768 | Ahn và cộng sự, VoxSim, Interspeech 2024 |
| Cùng mô hình đã huấn luyện trước trên giọng nói đã chuyển đổi của VCC 2018 (tương quan tuyến tính) | 0,512 | Ahn và cộng sự, VoxSim, Interspeech 2024 |
| Độ giống của vector nhúng so với điểm đánh giá độ giống giọng của con người trong một nghiên cứu tổng hợp zero-shot (cấp câu) | 0,55 | Li và cộng sự, DMOSpeech 2025 |
| Tỷ lệ lỗi cân bằng của bộ xác thực khi so sánh các đoạn ngắn của một người nói với các đoạn dài của chính họ (ECAPA-TDNN; 0,50 nghĩa là không thể phân biệt) | 0,34 ±0,04 | Carbonneau và cộng sự 2025 |
Ghi chú giá trị ngoại lai: thêm nhiễu ở tỷ số tín hiệu trên nhiễu 20 dB đẩy tỷ lệ lỗi cân bằng của cùng ECAPA-TDNN cho các đoạn sạch so với đoạn có nhiễu của một người nói lên 0,34, và ở 0 dB lên 0,05 (Carbonneau và cộng sự 2025). Nói đơn giản, bộ xác thực bắt đầu coi một bản sao có nhiễu của một giọng nói là một người khác.
5. Trong Miền So Với Liên Ngôn Ngữ Và Bất Kỳ-Sang-Bất Kỳ: Nơi Điểm Số Sụp Đổ
Các con số chuẩn thường được báo cáo cho bối cảnh thuận lợi nhất: cùng ngôn ngữ, âm thanh phòng thu và một người nói đích mà mô hình đã được huấn luyện (chuyển đổi bất kỳ người nói sang một người nói đích). Thay đổi bất kỳ điều nào trong số đó thì điểm số giảm. Hệ thống dẫn đầu VCC 2020 là T10 mất 0,75 điểm MOS về độ tự nhiên khi chuyển từ chuyển đổi cùng ngôn ngữ sang liên ngôn ngữ, và ở tác vụ đó dưới 80% mẫu được đánh giá là người nói đích (Zhao và cộng sự, tổng quan VCC 2020). Người nghe cũng cho điểm độ giống thấp hơn khi đoạn tham chiếu bằng ngôn ngữ thứ hai của người nói thay vì tiếng Anh.
Mức giảm dốc nhất đến từ các người nói đích chưa từng thấy (chuyển đổi bất kỳ người nói sang bất kỳ người nói đích). Trong so sánh của IEEE JSTSP, một hệ thống dùng đặc trưng tự giám sát gần như giữ nguyên độ tự nhiên nhưng độ giống giảm một nửa (Huang và cộng sự, IEEE JSTSP 2022). Các hệ thống zero-shot gần đây vẫn cho thấy khoảng cách này: trên giọng có âm sắc vùng miền và giọng giàu cảm xúc, các tác giả ICLR 2025 đo được độ giống người nói 0,762 cho bản ghi chuẩn so với 0,517 cho đầu ra đã chuyển đổi tốt nhất (Zhang và cộng sự, Vevo, ICLR 2025).
| Chỉ số | Giá trị | Nguồn |
|---|---|---|
| USTC-2020, tỷ lệ được đánh giá giống đích, cùng ngôn ngữ so với liên ngôn ngữ | 82% so với 43% | Huang và cộng sự, IEEE JSTSP 2022 |
| Hệ thống dùng đặc trưng tự giám sát, người nói đích đã biết (bất kỳ người nói sang một người nói đích) so với người nói đích chưa từng thấy (bất kỳ người nói sang bất kỳ người nói đích): độ giống / MOS độ tự nhiên | 59% so với 28% / 3,59 so với 3,58 | Huang và cộng sự, IEEE JSTSP 2022 |
| Các hệ thống Hub VCC 2018 ngoài người thắng cuộc, MOS độ tự nhiên cho cặp cùng giới so với khác giới | 3,08 so với 2,78 | Lorenzo-Trueba và cộng sự, bài báo VCC 2018 |
| Độ giống người nói của hệ thống zero-shot trong không gian codec, cùng ngôn ngữ (Anh / Trung) so với liên ngôn ngữ (Anh sang Trung / Trung sang Anh) | 0,63 / 0,73 so với 0,52 / 0,49 | Zheng và cộng sự, X-VC 2026 |
| Độ giống người nói trên giọng có âm sắc vùng miền và giàu cảm xúc, bản ghi thật so với đầu ra đã chuyển đổi tốt nhất | 0,762 so với 0,517 | Zhang và cộng sự, Vevo, ICLR 2025 |
Ghi chú bối cảnh: bài báo về codec năm 2026 đánh giá các cặp liên ngôn ngữ trên một tập con khác (1.000 câu đầu tiên của mỗi ngôn ngữ), nên các con số cùng ngôn ngữ và liên ngôn ngữ của nó chỉ mang tính chỉ báo chứ không phải một so sánh có kiểm soát (Zheng và cộng sự, X-VC 2026). Phiên bản phát trực tuyến của nó chạy với độ trễ mô hình 240 ms.
6. Chuyển Đổi Giọng Hát: Ngang Bằng Về Độ Tự Nhiên, Chênh Lệch Về Danh Tính
Giọng hát gây áp lực lên chuyển đổi giọng nói theo những cách mà giọng nói thông thường không có: dải cao độ rộng hơn, nốt kéo dài và các kỹ thuật như vibrato. Singing Voice Conversion Challenge (SVCC) tiếp quản định dạng cuộc thi vào năm 2023. Hệ thống hàng đầu của SVCC 2023 ngang bằng độ tự nhiên của bản ghi chuẩn ở khoảng 3,9, nhưng chỉ đạt độ giống 65% so với 80% của ca sĩ thật (Violeta và cộng sự, phân tích SVCC 2025). Đó là điều ngược lại với câu chuyện của giọng nói, nơi danh tính được đạt ngang bằng trước.
SVCC 2025 bổ sung chuyển đổi phong cách hát, và không hệ thống nào đạt độ tự nhiên ngang người thật. Phong cách mới là phần khó: giọng thều thào, glissando (trượt giữa các nốt) và vibrato là các kỹ thuật được tái tạo kém chính xác nhất. Các tác giả cũng đặt câu hỏi liệu bài kiểm tra độ giống tiêu chuẩn có phù hợp để đánh giá phong cách hay không. Danh tính ca sĩ cũng khó chấm điểm: ngay cả các mẫu bản ghi chuẩn cũng chỉ đạt khoảng 70% trong bài kiểm tra đó.
| Chỉ số | Giá trị | Nguồn |
|---|---|---|
| Các bài nộp SVCC 2023 cộng các hệ thống cơ sở | 24 + 2 | Huang và cộng sự, bài báo SVCC 2023 |
| Người nghe SVCC 2023, tiếng Anh / tiếng Nhật | 40 / 319 | Huang và cộng sự, bài báo SVCC 2023 |
| Các đội SVCC 2023 đạt độ tự nhiên trên 3,0, tác vụ trong miền so với chéo miền | 14 so với 8 | Huang và cộng sự, bài báo SVCC 2023 |
| Hệ thống hàng đầu SVCC 2023 so với bản ghi chuẩn: độ tự nhiên / độ giống | khoảng 3,9 / 65% so với khoảng 3,9 / 80% | Violeta và cộng sự, phân tích SVCC 2025, 2025 |
| Các hệ thống hàng đầu SVCC 2025 so với bản ghi chuẩn: độ tự nhiên / độ giống phong cách | khoảng 3,7 / 70% so với khoảng 3,9 / 90% | Violeta và cộng sự, phân tích SVCC 2025, 2025 |
| Độ chính xác phong cách SVCC 2025 cho giọng hát thều thào / glissando / vibrato | 37,3% / 42,6% / 43,9% | Violeta và cộng sự, phân tích SVCC 2025, 2025 |
| Tương quan Spearman tối đa giữa bất kỳ chỉ số khách quan nào và điểm chủ quan, SVCC 2025 | khoảng 0,8 | Violeta và cộng sự, phân tích SVCC 2025, 2025 |
Ghi chú bối cảnh: trong SVCC 2023, khoảng cách độ giống giữa đích và hệ thống hàng đầu khoảng 0,4 điểm trên thang 4 điểm ở cả hai tác vụ (Huang và cộng sự, SVCC 2023), và khoảng cách vector nhúng người nói là chỉ số khách quan tương quan nhiều nhất với độ giống (-0,83 Spearman cho người nghe Nhật, tác vụ trong miền).
7. Độ Tin Cậy Của Đánh Giá: Số Lượng Người Nghe, Phương Sai Và Thiên Lệch
Mọi con số ở trên đều dựa trên điểm đánh giá của con người, và những điểm đó có nhiễu. Với khoảng một nửa số câu của VCC 2018, độ lệch chuẩn giữa bốn điểm đánh giá của người nghe lớn hơn 1 điểm trên thang 5 điểm (Lo và cộng sự, MOSNet). Việc lấy trung bình sửa được phần lớn vấn đề đó ở cấp hệ thống, đó là lý do các bộ dự đoán tự động trông mạnh ở đó (tương quan 0,957) và yếu ở cấp từng câu (0,642).
Thiết kế bài kiểm tra cũng làm điểm số dịch chuyển. Cooper và Yamagishi cho thấy việc chỉ đánh giá cùng lúc các hệ thống mạnh nhất có thể hạ MOS của một hệ thống tới khoảng một điểm trọn vẹn, vì người nghe trải điểm của mình trên toàn thang bất kể khoảng chất lượng (Cooper và Yamagishi, Interspeech 2023). Một cuộc khảo sát 80 bài báo tổng hợp giọng nói của Interspeech 2022 cho thấy 51 bài không đưa hướng dẫn nào cho người nghe (Chiang và cộng sự 2023), và trong cùng nghiên cứu, những người làm crowdsourcing ở Anh chấm một hệ thống 2,64 trong khi những người ở Mỹ chấm 3,73.
| Chỉ số | Giá trị | Nguồn |
|---|---|---|
| Người nghe duy nhất của VCC 2018 / số câu được đánh giá | 267 / 113.168 | Lorenzo-Trueba và cộng sự, bài báo VCC 2018 |
| Các câu VCC 2018 có độ lệch chuẩn của bốn điểm đánh giá trên 1 | khoảng một nửa | Lo và cộng sự, MOSNet 2019 |
| Bộ dự đoán MOS tự động so với MOS của con người trên VCC 2018, cấp câu so với cấp hệ thống (tương quan tuyến tính) | 0,642 so với 0,957 | Lo và cộng sự, MOSNet 2019 |
| Chi phí của hai bài kiểm tra nghe VCC 2020 (người nghe tiếng Anh và tiếng Nhật) | 738.128 yên Nhật (khoảng 6.900 USD) | Zhao và cộng sự, tổng quan VCC 2020, 2020 |
| Mức tương đồng giữa điểm của người nghe Nhật và Anh, VCC 2020 | tương quan từ 0,965 đến 0,984 | Zhao và cộng sự, tổng quan VCC 2020, 2020 |
| Mức giảm MOS lớn nhất của một hệ thống khi chỉ được đánh giá cùng 6% hệ thống hàng đầu | 1,28 điểm | Cooper và Yamagishi, Interspeech 2023 |
| Các bài báo tổng hợp giọng nói của Interspeech 2022 (trong 80) không đưa hướng dẫn cho người nghe | 51 | Chiang và cộng sự, Interspeech 2023 |
| Phản hồi crowdsourcing bị vô hiệu hóa trong một bài kiểm tra nghe với 501 người làm | khoảng 30% | Li và cộng sự, DMOSpeech 2025 |
Ghi chú bối cảnh: các bài báo riêng lẻ chạy các bài kiểm tra nhỏ hơn nhiều so với các cuộc thi. Một bài báo Interspeech 2023 về chuyển đổi bằng láng giềng gần nhất thu được 2.144 điểm độ tự nhiên từ 61 người nghe và 1.636 điểm độ giống từ 208 người nghe (Baas và cộng sự, Interspeech 2023). Các khoảng được báo cáo của nó vào khoảng ±0,1 điểm, nên chênh lệch nhỏ hơn mức đó giữa hai hệ thống sát nhau không nói lên nhiều điều.
Tổng kết: Chuẩn Đánh Giá Độ Giống Người Nói Và Độ Tự Nhiên Trong Chuyển Đổi Giọng Nói Qua Các Con Số
| Chỉ số | Giá trị | Nguồn |
|---|---|---|
| Hệ thống tốt nhất VCC 2016, độ tự nhiên / độ giống cao nhất | 3,0 / khoảng 70% | Zhao và cộng sự, tổng quan VCC 2020, 2020; Wester và cộng sự, Interspeech 2016 |
| Hệ thống tốt nhất VCC 2018, độ tự nhiên / độ giống | khoảng 4,1 / khoảng 80% | Lorenzo-Trueba và cộng sự, bài báo VCC 2018 |
| Bản ghi tự nhiên trong VCC 2016: độ tự nhiên / độ giống | 4,5 / 90% | Violeta và cộng sự, phân tích SVCC 2025, 2025 |
| USTC-2020 so với bản ghi đích, MOS độ tự nhiên | 4,41 so với 4,57 | Huang và cộng sự, IEEE JSTSP 2022 |
| Hệ thống zero-shot so với bản ghi chuẩn, MOS độ tự nhiên của người nghe | 3,96 so với 4,33 | Yao và cộng sự, StableVC, AAAI 2025 |
| Tương quan của MCD với độ tự nhiên trong miền, SVCC 2023 | -0,28 / -0,24 (không đáng kể) | Huang và cộng sự, bài báo SVCC 2023 |
| Các hệ thống cùng ngôn ngữ của VCC 2020 đánh lừa bộ xác thực người nói hơn 90% số lần | 20 trong 31 | Das và cộng sự, đánh giá khách quan VCC 2020, 2020 |
| Độ giống của vector nhúng so với điểm của con người, giọng thật so với giọng đã chuyển đổi | 0,768 so với 0,512 | Ahn và cộng sự, VoxSim, Interspeech 2024 |
| Tỷ lệ lỗi của bộ xác thực, đoạn ngắn so với đoạn dài của cùng một người nói (0,50 = không thể phân biệt) | 0,34 | Carbonneau và cộng sự 2025 |
| Độ giống, chuyển đổi bất kỳ người nói sang một người nói đích so với sang bất kỳ người nói đích | 59% so với 28% | Huang và cộng sự, IEEE JSTSP 2022 |
| Độ giống, cùng ngôn ngữ so với chuyển đổi từ tiếng Trung sang tiếng Anh (hệ thống 2026) | 0,63 so với 0,49 | Zheng và cộng sự, X-VC 2026 |
| Độ giống người nói, bản ghi thật so với đầu ra đã chuyển đổi tốt nhất trên giọng có âm sắc vùng miền và giàu cảm xúc | 0,762 so với 0,517 | Zhang và cộng sự, Vevo, ICLR 2025 |
| Độ giống của hệ thống hàng đầu SVCC 2023 so với bản ghi chuẩn | 65% so với 80% | Violeta và cộng sự, phân tích SVCC 2025, 2025 |
| Các câu VCC 2018 có độ lệch chuẩn điểm đánh giá trên 1 | khoảng một nửa | Lo và cộng sự, MOSNet 2019 |
| Mức giảm MOS lớn nhất do thiên lệch cân bằng khoảng điểm | 1,28 điểm | Cooper và Yamagishi, Interspeech 2023 |
Phương pháp luận và Nguồn
- Toda và cộng sự: The Voice Conversion Challenge 2016, Interspeech 2016 (ISCA Archive)
- Wester, Wu và Yamagishi: Analysis of the Voice Conversion Challenge 2016 Evaluation Results, Interspeech 2016
- Lorenzo-Trueba và cộng sự: The Voice Conversion Challenge 2018: Promoting Development of Parallel and Nonparallel Methods (2018)
- Zhao và cộng sự: Voice Conversion Challenge 2020: Intra-lingual semi-parallel and cross-lingual voice conversion (2020)
- Das và cộng sự: Predictions of Subjective Ratings and Spoofing Assessments of Voice Conversion Challenge 2020 Submissions (2020)
- Huang, Yang, Hayashi và Toda: A Comparative Study of Self-supervised Speech Representation Based Voice Conversion, IEEE JSTSP 2022
- Huang và cộng sự: The Singing Voice Conversion Challenge 2023
- Violeta và cộng sự: An Extensive Analysis of the Singing Voice Conversion Challenge 2025 Evaluation Results (2025, sửa đổi năm 2026)
- Lo và cộng sự: MOSNet: Deep Learning-based Objective Assessment for Voice Conversion (2019)
- Ahn và cộng sự (KAIST và Samsung Research): VoxSim: A perceptual voice similarity dataset, Interspeech 2024
- Carbonneau và cộng sự (Ubisoft La Forge và Đại học Stellenbosch): Analyzing and Improving Speaker Similarity Assessment for Speech Synthesis (2025)
- Li, Kumar và Jin (Đại học Columbia và Adobe Research): DMOSpeech (2025)
- Cooper và Yamagishi (NII): Investigating Range-Equalizing Bias in Mean Opinion Score Ratings of Synthesized Speech, Interspeech 2023
- Chiang, Huang và Lee (Đại học Quốc lập Đài Loan): Why We Should Report the Details in Subjective Evaluation of TTS More Rigorously (2023)
- Yao và cộng sự (Đại học Bách khoa Tây Bắc và Ximalaya): StableVC, AAAI 2025
- Zhang và cộng sự (CUHK-Shenzhen và Meta AI): Vevo: Controllable Zero-Shot Voice Imitation, ICLR 2025
- Zheng và cộng sự: X-VC: Zero-shot Streaming Voice Conversion in Codec Space (tháng 4 năm 2026)
- Baas, van Niekerk và Kamper (Đại học Stellenbosch): Voice Conversion With Just Nearest Neighbors, Interspeech 2023
- Lưu ý về dữ liệu: phân tích SVCC 2025 thuật lại kết quả liên ngôn ngữ của VCC 2020 là độ tự nhiên khoảng 4,0 và độ giống khoảng 90%, trong khi bài báo của chính ban tổ chức VCC 2020 nói dưới 80% mẫu liên ngôn ngữ được đánh giá là giống đích; chúng tôi dùng con số của ban tổ chức. Một số bài báo tự mâu thuẫn nhẹ trong nội bộ (văn bản MOSNet ghi 0,624 so với bảng 0,642 cho tương quan cấp câu, và chúng tôi dùng bảng; văn bản VoxSim ghi 0,733 so với bảng 0,752 cho một mô hình đã huấn luyện trước; DMOSpeech ghi -0,15 so với -0,16 cho tương quan WER), và số lượng hệ thống trong bài báo SVCC 2025 khác nhau giữa các phiên bản (26 ở phiên bản trước, 33 ở phiên bản hiện tại). Bài báo JSTSP liệt kê USTC-2020 trong cùng bảng với các hệ thống của chính họ mà không nói rõ liệu các điểm đó đến từ bài kiểm tra nghe của họ hay không. Bài báo SVCC 2025 không định nghĩa các điểm “độ chính xác phong cách” theo từng phong cách cũng không nói rõ trung bình của những hệ thống nào, nên hãy đọc chúng như một bảng xếp hạng mức độ khó chứ không phải các giá trị tuyệt đối. Các điểm độ giống người nói từ những bài báo khác nhau dùng các mô hình vector nhúng, bộ kiểm tra và nhóm người nghe khác nhau, nên không thể so sánh giữa các hàng, và các con số liên ngôn ngữ năm 2026 dùng một tập con kiểm tra khác với các con số cùng ngôn ngữ. Dữ liệu mới nhất hiện có cho các cuộc thi chỉ về giọng nói là VCC 2020; bằng chứng VC giọng nói mới hơn đến từ các bài báo riêng lẻ chứ không phải từ một bài kiểm tra nghe chung.
Cập nhật lần cuối: ngày 31 tháng 10 năm 2026. Chúng tôi cập nhật bài tổng hợp này hàng quý, và lần làm mới tiếp theo dự kiến diễn ra khi kết quả bài kiểm tra nghe của Voice Conversion Challenge hoặc Singing Voice Conversion Challenge tiếp theo được công bố.