Ba giây giọng nói của một người xa lạ là điều kiện thử nghiệm tiêu chuẩn cho nghiên cứu nhân bản giọng nói zero-shot, cách thiết lập đứng sau cả VALL-E lẫn Voicebox. Trong thử nghiệm đó, Voicebox nâng độ tương đồng giọng người nói từ 0,580 của VALL-E lên 0,681 trên LibriSpeech, và NaturalSpeech 3 sau đó báo cáo 0,67 so với 0,68 của bản ghi âm thật trong lần chạy riêng của mình trên cùng bộ dữ liệu. Người nghe không phải là tấm khiên đáng tin cậy: trong một nghiên cứu năm 2025 trên Scientific Reports, mọi người cho rằng các bản sao AI là người nói thật khoảng 80% số lần. Về bức tranh thương mại và thị trường, hãy xem thống kê nhân bản giọng nói rộng hơn của chúng tôi; bài tổng hợp này chỉ tập trung vào một câu hỏi: việc nhân bản cần bao nhiêu âm thanh tham chiếu và mỗi giây thêm vào mang lại điều gì. Chúng tôi tổng hợp dữ liệu từ Microsoft Research, Meta, ByteDance, Barcelona Supercomputing Center, Ủy ban Thương mại Liên bang Hoa Kỳ, Consumer Reports, McAfee, Starling Bank, cùng các bài báo được bình duyệt và bài báo arXiv từ ICML, NeurIPS, ICLR và Scientific Reports.
Tóm tắt nhanh
- Voicebox được thử nghiệm với 3,0 giây âm thanh prompt và đạt độ tương đồng giọng người nói ngang VALL-E với khoảng hai phần ba lượng âm thanh đầu vào (Meta, bài báo Voicebox, NeurIPS 2023).
- Trên VCTK, độ tương đồng của VALL-E 2 tăng từ 0,447 ở 3 giây lên 0,558 ở 10 giây, trong khi tỷ lệ lỗi từ tăng từ 0,9% lên 3,3% (Microsoft Research, bài báo VALL-E 2, 2024).
- Cắt prompt trung bình từ 7,7 xuống 5,5 giây làm độ tương đồng của F5-TTS giảm từ 0,35 xuống 0,24 trên giọng nói trong điều kiện thực tế (Barcelona Supercomputing Center, bài dự thi WildSpoof 2026).
- XTTS-v2 đạt chất lượng nhân bản độ trung thực cao với 6 đến 10 giây âm thanh tham chiếu, và hiệu quả giảm dần sau 20 giây (Zhu, luận văn University of Groningen 2025).
- Một mô hình zero-shot với prompt 300 giây đạt độ tương đồng 0,932, so với 0,934 của mô hình cơ sở được tinh chỉnh trên 300 giây (Jiang và cs., Mega-TTS 2, ICLR 2024).
- Tinh chỉnh trên 20 giây giọng nói tiếng Bồ Đào Nha nâng điểm đánh giá độ tương đồng của con người từ 2,77 lên 4,43 (Casanova và cs., YourTTS, ICML 2022).
- Người nghe cho rằng giọng AI là cùng một người với người nói thật khoảng 80% số lần (Barrington, Cooper và Farid, Scientific Reports 2025).
- Các nhà nghiên cứu của McAfee báo cáo độ khớp giọng nói ước tính 85% từ ba đến bốn giây âm thanh, một phép đo của nhà cung cấp (McAfee, Beware the Artificial Impostor 2023).
- 28% người trưởng thành ở Anh cho biết họ từng là mục tiêu của một vụ lừa đảo nhân bản giọng nói bằng AI trong năm qua (khảo sát của Starling Bank và Mortar Research 2024).
- Bốn trong sáu sản phẩm nhân bản giọng nói không thực hiện các bước cơ bản để ngăn chặn việc nhân bản trái phép (Consumer Reports, đánh giá nhân bản giọng nói 2025).
1. Bài Kiểm Tra 3 Giây: Các Hệ Thống Zero-Shot Được Cấp Bao Nhiêu Âm Thanh
“Zero-shot” nghĩa là hệ thống chưa bao giờ được huấn luyện trên người nói mục tiêu: nó nghe một đoạn tham chiếu ngắn, gọi là “prompt”, tại thời điểm tạo giọng và bắt chước ngay lập tức. VALL-E và Voicebox đều được đánh giá với prompt chỉ 3 giây, và lựa chọn đó nói lên tham vọng nhiều hơn là giới hạn. Các bài báo này không hỏi liệu một giọng nói có thể được sao chép từ vài giây hay không. Họ cạnh tranh về việc sao chép tốt đến đâu.
Yêu cầu của các sản phẩm thì dài hơn. OpenAI mô tả Voice Engine hoạt động từ “một mẫu âm thanh duy nhất dài 15 giây” (bài viết của OpenAI về giọng nói tổng hợp 2024), và tài liệu của ElevenLabs khuyến nghị từ một đến hai phút. Đó là các thiết lập sản phẩm, không phải ngưỡng đã được đo đạc.
| Chỉ số | Giá trị | Nguồn |
|---|---|---|
| Độ dài prompt và dữ liệu huấn luyện của VALL-E trên các người nói LibriSpeech chưa từng thấy | 3 giây; 60K giờ giọng nói tiếng Anh, hơn 7.000 người nói | Microsoft Research, bài báo VALL-E 2023 |
| Âm thanh prompt dùng cho các thử nghiệm zero-shot tiếng Anh của Voicebox | 3,0 giây | Meta, bài báo Voicebox (NeurIPS 2023) |
| Độ dài đoạn tham chiếu dùng để đánh giá XTTS | Một đoạn dài từ 3 đến 8 giây | Casanova và cs., bài báo XTTS (INTERSPEECH 2024) |
| Khoảng độ dài câu tham chiếu trong bộ thử nghiệm của Seed-TTS | 3 đến 20 giây | ByteDance, bài báo Seed-TTS 2024 |
| Mẫu âm thanh mà OpenAI Voice Engine dùng để hoạt động | Một mẫu duy nhất dài 15 giây | OpenAI, bài viết về giọng nói tổng hợp 2024 |
| Lượng âm thanh tối thiểu và được khuyến nghị cho nhân bản tức thì của ElevenLabs | Tổng cộng ít nhất 10 giây, khuyến nghị 1 đến 2 phút (hướng dẫn của chính nhà cung cấp) | ElevenLabs, tài liệu Instant Voice Cloning 2026 |
Nếu bạn đang so sánh phần mềm nhân bản giọng nói trên máy tính, phần 2 và 3 cho thấy những giây đó làm thay đổi điều gì.
2. Độ Tương Đồng Giọng Người Nói Thay Đổi Thế Nào Từ 3 Đến 10 Giây
Độ tương đồng giọng người nói (SIM, hoặc SECS) là độ tương đồng cosine giữa hai “dấu vân tay” giọng nói do một mạng nhận dạng người nói tính toán, giá trị càng cao nghĩa là càng gần. Hai bản ghi thật của cùng một người đạt điểm thấp hơn 1,0 khá nhiều, vì vậy các số liệu giọng nói thật bên dưới là điểm tham chiếu để đối chiếu. Chuyển từ prompt 3 giây sang prompt 10 giây đã nâng độ tương đồng của VALL-E 2 trên bộ dữ liệu VCTK từ 0,447 lên 0,558, mức tăng 0,111 (0,558 trừ 0,447), đây là đường cong đã được công bố rõ ràng nhất cho câu hỏi này (bài báo VALL-E 2, 2024).
Đường cong uốn cong ở những điểm khác nhau trong các hệ thống khác nhau. Nhóm Voicebox của Meta báo cáo rằng độ tương đồng “tăng nhanh rồi phẳng dần với các prompt âm thanh dài hơn” (bài báo Voicebox), và một luận văn năm 2025 về XTTS-v2 đặt điểm bão hòa vào khoảng 10 đến 20 giây (Zhu, University of Groningen). Qua ba bài báo này, mười giây đầu tiên đóng góp phần lớn, dù VALL-E 2 vẫn còn cải thiện ở giây thứ mười.
| Chỉ số | Giá trị | Nguồn |
|---|---|---|
| Độ tương đồng của VALL-E trên VCTK (108 người nói) với prompt 3, 5 và 10 giây | 0,382; 0,423; 0,484 (bản ghi thật: 0,546; 0,591; 0,620) | Microsoft Research, bài báo VALL-E 2023 |
| Độ tương đồng của VALL-E 2 (kích thước nhóm 1) trên VCTK với prompt 3, 5 và 10 giây | Mẫu đơn: 0,447; 0,487; 0,558; tốt nhất trong năm mẫu: 0,508; 0,552; 0,620 (bản ghi thật: 0,623; 0,679; 0,709) | Microsoft Research, bài báo VALL-E 2 2024 |
| Tỷ lệ âm thanh đầu vào mà Voicebox cần để bằng độ tương đồng giọng người nói của VALL-E | Khoảng hai phần ba | Meta, bài báo Voicebox (NeurIPS 2023) |
| Độ tương đồng của F5-TTS với prompt dài (trung bình 7,7 giây) và ngắn (trung bình 5,5 giây) trên giọng nói trong điều kiện thực tế | 0,35 và 0,24 | Barcelona Supercomputing Center, bài dự thi WildSpoof TTS 2026 |
| Độ tương đồng của StyleTTS2 với prompt dài (trung bình 7,7 giây) và ngắn (trung bình 5,5 giây) | 0,19 và 0,14 | Barcelona Supercomputing Center, bài dự thi WildSpoof TTS 2026 |
| Độ dài tham chiếu mà XTTS-v2 đạt chất lượng nhân bản độ trung thực cao (đã thử 1, 3, 6, 10, 20 và 40 giây) | 6 đến 10 giây, hiệu quả giảm dần sau 20 giây | Zhu, luận văn thạc sĩ University of Groningen 2025 |
Lưu ý về giá trị ngoại lai: bài dự thi của Barcelona Supercomputing Center là kết quả năm 2026 duy nhất ở đây và dùng bộ dữ liệu TTS In the Wild. Một prompt ngắn hơn trung bình 2,2 giây (7,7 trừ 5,5) làm F5-TTS mất 0,11 độ tương đồng (0,35 trừ 0,24). Đó là mức mất mát tương đương với VALL-E 2 trên khoảng chênh 7 giây ở VCTK, một gợi ý rằng prompt ngắn có thể gây hại nhiều hơn với âm thanh đời thường, dù hai thử nghiệm không thể so sánh trực tiếp.
3. Độ Dễ Hiểu Không Phải Lúc Nào Cũng Cải Thiện Với Prompt Dài Hơn
Tỷ lệ lỗi từ (WER) đo độ dễ hiểu: một bộ nhận dạng giọng nói chép lại âm thanh đã nhân bản và tỷ lệ từ sai được đếm, vì vậy giá trị thấp hơn là tốt hơn. WER của VALL-E 2 trên VCTK tăng từ 0,9% với prompt 3 giây lên 3,3% với prompt 10 giây, ngược chiều với mức tăng độ tương đồng của nó. Những người đánh giá cũng đồng ý: trong cùng thử nghiệm, điểm tương đồng giảm khi prompt dài ra, trong khi điểm của các bản ghi thật lại tăng.
Không có gì đảm bảo rằng nhiều âm thanh prompt hơn sẽ có ích. Mega-TTS 2, được thiết kế cho prompt nhiều câu, tiếp tục cải thiện đến tận 300 giây, trong khi VALL-E được đo trong cùng bài báo bị hỏng ở 20 giây (bài báo Mega-TTS 2). Prompt rất ngắn cũng mang rủi ro riêng về độ dễ hiểu: StyleTTS2 là hệ thống trở nên tệ hơn khi prompt bị cắt ngắn.
| Chỉ số | Giá trị | Nguồn |
|---|---|---|
| VALL-E 2 (kích thước nhóm 1) trên VCTK với prompt 3, 5 và 10 giây: tỷ lệ lỗi từ và điểm đánh giá độ tương đồng của con người (SMOS, càng cao càng tốt) | WER 0,9%; 1,9%; 3,3%; SMOS 4,42±0,15; 4,28±0,16; 3,95±0,10 (bản ghi thật 4,47±0,13; 4,53±0,14; 4,74±0,17) | Microsoft Research, bài báo VALL-E 2 2024 |
| VALL-E trên LibriSpeech với prompt 3, 10 và 20 giây, theo đo đạc của các tác giả Mega-TTS 2 | WER 5,83%; 5,54%; 8,77%; độ tương đồng 0,885; 0,893; 0,805 | Jiang và cs., Mega-TTS 2 (ICLR 2024) |
| Tỷ lệ lỗi từ của Mega-TTS 2 với prompt 3, 10, 60 và 300 giây | 2,46%; 2,28%; 2,24%; 2,23% | Jiang và cs., Mega-TTS 2 (ICLR 2024) |
| Tỷ lệ lỗi từ của StyleTTS2 với prompt dài (7,7 giây) và ngắn (5,5 giây) | 0,21 và 0,49 (F5-TTS không đổi ở 0,07) | Barcelona Supercomputing Center, bài dự thi WildSpoof TTS 2026 |
| Xu hướng của Voicebox khi ngôn ngữ của prompt và đích khác nhau, khi prompt dài ra | Độ tương đồng cải thiện; WER tăng ở hầu hết các hướng ngôn ngữ | Meta, bài báo Voicebox (NeurIPS 2023) |
Bối cảnh: xu hướng của VALL-E 2 không hoàn toàn mượt. Thiết lập kích thước nhóm 2 của nó ghi nhận WER 1,5%, 0,9% và 2,3% ở cùng ba độ dài. Các tác giả của Voicebox cho rằng WER liên ngôn ngữ tăng là do tiếng Anh chiếm hơn 90% dữ liệu huấn luyện.
4. Các Bản Sao Dùng Prompt Ngắn Tiến Gần Đến Người Nói Thật Đến Mức Nào
Trên giọng nói của bộ đo chuẩn, các hệ thống tốt nhất đã được công bố giờ nằm ngay cạnh các bản ghi thật. NaturalSpeech 3 đạt độ tương đồng giọng người nói 0,67 so với 0,68 của các bản ghi đối chứng, và điểm đánh giá độ tương đồng của con người (4,01) cao hơn 3,85 của các bản ghi thật trong cùng bài kiểm tra LibriSpeech (Microsoft Research, bài báo NaturalSpeech 3, 2024). Đó là một khoảng cách rất xa so với 0,337 mà YourTTS đạt được ở hàng đầu tiên bên dưới.
Điểm số giọng nói thật cho thấy đây là điều kiện phòng thí nghiệm: chúng dao động từ 0,68 đến 0,8952 giữa các bài báo, vì vậy mỗi hệ thống phải được đọc đối chiếu với bản ghi thật của chính nó, như trong bảng. Bài báo F5-TTS chỉ cách giọng nói thật dưới 0,03 trong thử nghiệm riêng của mình (0,69 trừ 0,66).
| Chỉ số | Giá trị | Nguồn |
|---|---|---|
| LibriSpeech, prompt 3 giây: YourTTS, VALL-E và Voicebox | Độ tương đồng 0,337; 0,580; 0,681 (giọng nói thật 0,754); WER 7,7%; 5,9%; 1,9% (giọng nói thật 2,2%) | Meta, bài báo Voicebox (NeurIPS 2023) |
| NaturalSpeech 3 và bản ghi thật trên LibriSpeech: độ tương đồng và WER | 0,67 và 1,81%; bản ghi thật 0,68 và 1,94% | Microsoft Research, bài báo NaturalSpeech 3 2024 |
| Độ tương đồng tiếng Anh của Seed-TTS và bản ghi của con người, cùng điểm so sánh (CMOS) với con người | 0,762 và 0,730; CMOS -0,07 | ByteDance, bài báo Seed-TTS 2024 |
| F5-TTS và giọng nói thật trên 1.127 mẫu LibriSpeech-PC dài 4 đến 10 giây: độ tương đồng và WER | 0,66 và 2,42%; giọng nói thật 0,69 và 2,23% | Chen và cs., bài báo F5-TTS 2024 |
| Độ tương đồng tiếng Anh của MiniMax-Speech: chỉ dùng embedding người nói và prompt kèm văn bản ghép cặp | 0,692 và 0,738 (đối chứng 0,730) | Zhang và cs., bài báo MiniMax-Speech 2025 |
| Độ tương đồng tiếng Anh của XTTS và giọng nói thật | 0,6423 và 0,8952 | Casanova và cs., bài báo XTTS (INTERSPEECH 2024) |
Lưu ý về giá trị ngoại lai: Seed-TTS và thiết lập MiniMax-Speech dùng văn bản ghép cặp đạt điểm cao hơn cả bản ghi thật của chúng. Các tác giả Seed-TTS giải thích rằng bản ghi đối chứng và đoạn tham chiếu của cùng một người nói vẫn có thể khác nhau về phong cách nói và môi trường nền, nên một mô hình bám sát tham chiếu có thể đạt điểm cao hơn một bản ghi thật thứ hai. Đó không phải là bằng chứng của một bản sao tốt hơn con người.
5. Nhân Bản Zero-Shot và Nhân Bản Có Tinh Chỉnh: Khoảng Cách Đo Bằng Giây và Phút
Tinh chỉnh nghĩa là cập nhật trọng số của mô hình trên âm thanh của người nói mục tiêu, con đường cũ hơn và chậm hơn để có một giọng nói tùy chỉnh. Với 300 giây giọng nói mục tiêu, một prompt zero-shot đạt độ tương đồng 0,932 so với 0,934 của mô hình cơ sở được tinh chỉnh, với ít lỗi từ hơn (2,23% so với 3,11%) (Jiang và cs., Mega-TTS 2, ICLR 2024). Lưu ý này rất quan trọng: cả hai hệ thống đều là của chính các tác giả, và mô hình cơ sở là bản FastSpeech 2 được tinh chỉnh 2.000 bước, không phải hệ thống tinh chỉnh mạnh nhất hiện có.
Tinh chỉnh vẫn xứng đáng với chi phí khi một giọng nói nằm xa dữ liệu huấn luyện. YourTTS được huấn luyện trên một người nói tiếng Bồ Đào Nha duy nhất, và việc tinh chỉnh trên 20 đến 31 giây đã nâng điểm đánh giá độ tương đồng của người nghe cho các giọng tiếng Bồ Đào Nha mới, dù điểm chất lượng tổng thể giảm nhẹ (bài báo YourTTS). XTTS tăng thêm 0,1314 độ tương đồng (0,7166 trừ 0,5852) từ khoảng 10 phút cho mỗi người nói trong nhân bản liên ngôn ngữ.
| Chỉ số | Giá trị | Nguồn |
|---|---|---|
| Độ tương đồng của mô hình cơ sở được tinh chỉnh với 10, 60 và 300 giây âm thanh mục tiêu | 0,895; 0,923; 0,934 | Jiang và cs., Mega-TTS 2 (ICLR 2024) |
| Độ tương đồng của Mega-TTS 2 zero-shot với prompt 3, 10, 60 và 300 giây | 0,898; 0,905; 0,926; 0,932 | Jiang và cs., Mega-TTS 2 (ICLR 2024) |
| YourTTS, người nói nữ tiếng Bồ Đào Nha với 20 giây giọng nói, zero-shot và có tinh chỉnh | Độ tương đồng 0,743 và 0,930; Sim-MOS 2,77±0,15 và 4,43±0,06; MOS 3,59±0,13 và 3,48±0,13 | Casanova và cs., YourTTS (ICML 2022) |
| YourTTS, người nói nam tiếng Anh với 61 giây giọng nói, zero-shot và có tinh chỉnh | Độ tương đồng 0,851 và 0,880 (giọng nói thật 0,875) | Casanova và cs., YourTTS (ICML 2022) |
| Độ tương đồng liên ngôn ngữ của XTTS trước và sau khi tinh chỉnh với khoảng 10 phút cho mỗi người nói | 0,5852 và 0,7166 | Casanova và cs., bài báo XTTS (INTERSPEECH 2024) |
| Seed-TTS với prompt 20 giây và bản được tinh chỉnh với 1 đến 10 giờ cho mỗi người nói: độ tương đồng và WER | 0,779 và 3,15; bản tinh chỉnh 0,789 và 2,83 (CMOS +0,37 cho bản tinh chỉnh) | ByteDance, bài báo Seed-TTS 2024 |
| Lượng âm thanh được khuyến nghị cho ElevenLabs Professional Voice Cloning (gói có tinh chỉnh của họ) | 30 đến 180 phút (hướng dẫn của chính nhà cung cấp) | ElevenLabs, tài liệu nhân bản giọng nói 2026 |
Dữ liệu mới nhất hiện có cho thử nghiệm tinh chỉnh YourTTS: Casanova và cs., ICML 2022. Thử nghiệm chỉ bao gồm 4 người nói, vì vậy hãy coi đó là minh họa cho tác động của ngôn ngữ chứ không phải ước lượng cho toàn bộ quần thể.
6. Khía Cạnh Bảo Mật: Prompt Ngắn và Lừa Đảo
Các con số nghiên cứu có hệ quả trực tiếp với người tiêu dùng: video công khai chính là nguyên liệu để làm prompt. Người nghe cho rằng giọng AI là cùng một danh tính với bản thật khoảng 80% số lần, và chỉ nhận ra giọng AI khoảng 60% số lần, trên 604 người tham gia trong một nghiên cứu mà các đoạn ghi thật có độ dài trung bình 5,37 giây (Barrington, Cooper và Farid, Scientific Reports 2025). Các bản sao đến từ một dịch vụ nhân bản tức thì thương mại được cấp hai prompt đầu tiên đã ghi âm của mỗi người trong 220 người nói.
Cụm “ba giây” trong các cảnh báo lừa đảo dựa trên phát biểu của các công ty. Con số của McAfee là phép đo chuẩn của chính họ và, với nguồn đó, là dữ liệu mới nhất hiện có (McAfee, 2023). Starling Bank lặp lại tuyên bố này vào năm 2024 cùng với khảo sát của mình (Starling Bank, chiến dịch Safe Phrases 2024). Bài của chúng tôi về lừa đảo gia đình bằng nhân bản giọng nói đề cập đến chính các vụ lừa đảo.
| Chỉ số | Giá trị | Nguồn |
|---|---|---|
| Tỷ lệ số lần người nghe cho rằng giọng AI là cùng một người với người nói thật | Khoảng 80% | Barrington, Cooper và Farid, Scientific Reports 2025 |
| Tỷ lệ số lần người nghe nhận ra đúng một giọng nói là do AI tạo ra | Khoảng 60% | Barrington, Cooper và Farid, Scientific Reports 2025 |
| Lượng âm thanh các nhà nghiên cứu McAfee cần để có độ khớp giọng nói ước tính 85% với một công cụ miễn phí | Ba đến bốn giây (khoảng 95% nếu nỗ lực hơn; phép đo chuẩn của chính nhà cung cấp) | McAfee, Beware the Artificial Impostor 2023 |
| Người trưởng thành chia sẻ giọng nói của mình trực tuyến ít nhất mỗi tuần một lần | 53% (7.054 người trưởng thành, 7 quốc gia) | McAfee, Beware the Artificial Impostor 2023 |
| Người trưởng thành không tự tin rằng họ có thể phân biệt giọng nói thật với giọng nhân bản | 70% | McAfee, Beware the Artificial Impostor 2023 |
| Người trưởng thành ở Anh cho biết họ từng là mục tiêu của một vụ lừa đảo nhân bản giọng nói bằng AI trong năm qua | 28% (3.010 người trưởng thành) | Khảo sát của Starling Bank và Mortar Research 2024 |
| Người trưởng thành ở Anh sẽ chuyển số tiền được yêu cầu dù cuộc gọi có vẻ lạ | 8% | Khảo sát của Starling Bank và Mortar Research 2024 |
| Sản phẩm nhân bản giọng nói được đánh giá không thực hiện các bước cơ bản để ngăn chặn việc nhân bản trái phép | 4 trên 6 | Consumer Reports, đánh giá nhân bản giọng nói 2025 |
Bối cảnh: con số 28% của Starling đo điều mọi người nói đã xảy ra với họ, không phải các vụ việc đã được xác nhận. Các con số 85% và 95% của McAfee là ước tính của chính công ty, và chúng tôi không tìm thấy bản sao lặp lại độc lập nào. Bản đánh giá của Consumer Reports bao gồm Descript, ElevenLabs, Lovo, PlayHT, Resemble AI và Speechify.
7. Biện Pháp Bảo Vệ, Phát Hiện và Quyết Định Phát Hành
Các quyết định phát hành chia rẽ lĩnh vực này. Microsoft cho biết họ “không có kế hoạch đưa VALL-E 2 vào sản phẩm hay mở rộng quyền truy cập cho công chúng” (trang dự án VALL-E 2), và OpenAI chọn “xem trước nhưng không phát hành rộng rãi” Voice Engine trong khi kêu gọi các ngân hàng dần loại bỏ xác thực bằng giọng nói. Trong khi đó, các tác giả F5-TTS kêu gọi dùng hình mờ và mô hình phát hiện cho các rủi ro lạm dụng mà họ nêu ra. FTC coi vấn đề này còn đủ mở để tài trợ cho một cuộc thi (FTC, những người chiến thắng Voice Cloning Challenge 2024).
Kết quả phát hiện phụ thuộc rất nhiều vào thứ mà bản giả được so sánh. Bộ phân loại của Meta tách đầu ra của Voicebox khỏi âm thanh gốc một cách hoàn hảo, nhưng chỉ đạt 0,704 khi đối chiếu với giọng nói thật đã được cho qua vocoder (phần mềm dựng lại âm thanh từ phổ của nó) ở mức che thấp nhất. Để xem sâu hơn về hiệu suất của các bộ phát hiện, hãy đọc thống kê độ chính xác phát hiện deepfake âm thanh của chúng tôi.
| Chỉ số | Giá trị | Nguồn |
|---|---|---|
| Tiền thưởng ba người chiến thắng FTC Voice Cloning Challenge chia nhau | 35.000 USD (công bố ngày 8 tháng 4 năm 2024) | Ủy ban Thương mại Liên bang Hoa Kỳ (FTC), Voice Cloning Challenge 2024 |
| Kích thước đoạn âm thanh được bộ phát hiện bản sao thời gian thực Pindrop, được FTC công nhận, kiểm tra | Các đoạn hai giây | Ủy ban Thương mại Liên bang Hoa Kỳ (FTC), Voice Cloning Challenge 2024 |
| Độ chính xác của bộ phân loại phát hiện Voicebox với âm thanh gốc, và với âm thanh thật qua vocoder ở mức che 30%, 50% và 90% | 1,000 với âm thanh gốc; 0,704; 0,809; 0,907 với âm thanh qua vocoder | Meta, bài báo Voicebox (NeurIPS 2023) |
| Thời điểm OpenAI lần đầu phát triển Voice Engine và thời điểm công bố bản xem trước giới hạn | Cuối năm 2022 và ngày 29 tháng 3 năm 2024 | OpenAI, bài viết về giọng nói tổng hợp 2024 |
| Số đội trong thử thách ASVspoof 5 và cuộc tấn công khó nhất trong điều kiện mở của Track 1 | 53 đội; YourTTS zero-shot đã huấn luyện sẵn (minDCF 0,33) | Wang và cs., bài báo đánh giá ASVspoof 5 2026 |
Bối cảnh: minDCF là điểm chi phí phát hiện, trong đó giá trị càng cao nghĩa là các bộ phát hiện càng gặp khó. Việc một mô hình YourTTS huấn luyện sẵn đứng đầu danh sách độ khó của điều kiện mở trong ASVspoof 5 gợi ý rằng các cuộc tấn công zero-shot không cần một hệ thống tiên phong để gây rắc rối, dù bài báo không phân tách kết quả này theo độ dài prompt.
Tổng Kết: Độ Dài Âm Thanh Tham Chiếu Trong Nhân Bản Giọng Nói Zero-Shot Qua Các Con Số
| Chỉ số | Giá trị | Nguồn |
|---|---|---|
| Mẫu âm thanh mà OpenAI Voice Engine dùng để hoạt động | 15 giây | OpenAI, bài viết về giọng nói tổng hợp 2024 |
| VALL-E 2 trên VCTK, prompt 3 và 10 giây (kích thước nhóm 1): độ tương đồng và WER | 0,447 và 0,558; 0,9% và 3,3% | Microsoft Research, bài báo VALL-E 2 2024 |
| Tỷ lệ âm thanh đầu vào mà Voicebox cần để bằng độ tương đồng của VALL-E | Khoảng hai phần ba | Meta, bài báo Voicebox (NeurIPS 2023) |
| Độ tương đồng của F5-TTS, prompt dài (7,7 giây) và ngắn (5,5 giây) trên giọng nói trong điều kiện thực tế | 0,35 và 0,24 | Barcelona Supercomputing Center, bài dự thi WildSpoof TTS 2026 |
| Tỷ lệ lỗi từ của StyleTTS2, prompt dài (7,7 giây) và ngắn (5,5 giây) | 0,21 và 0,49 | Barcelona Supercomputing Center, bài dự thi WildSpoof TTS 2026 |
| Độ dài tham chiếu cho nhân bản XTTS-v2 độ trung thực cao | 6 đến 10 giây | Zhu, luận văn University of Groningen 2025 |
| Độ tương đồng của NaturalSpeech 3 và bản ghi thật | 0,67 và 0,68 | Microsoft Research, bài báo NaturalSpeech 3 2024 |
| Tỷ lệ lỗi từ của F5-TTS và giọng nói thật | 2,42% và 2,23% | Chen và cs., bài báo F5-TTS 2024 |
| Độ tương đồng của Mega-TTS 2 zero-shot và mô hình cơ sở được tinh chỉnh với 300 giây âm thanh | 0,932 và 0,934 | Jiang và cs., Mega-TTS 2 (ICLR 2024) |
| Điểm đánh giá độ tương đồng của người nghe với YourTTS, zero-shot và có tinh chỉnh trên 20 giây | 2,77 và 4,43 | Casanova và cs., YourTTS (ICML 2022) |
| Độ tương đồng liên ngôn ngữ của XTTS sau khoảng 10 phút tinh chỉnh | Từ 0,5852 lên 0,7166 | Casanova và cs., bài báo XTTS (INTERSPEECH 2024) |
| Người nghe cho rằng một bản sao AI là người nói thật | Khoảng 80% | Barrington, Cooper và Farid, Scientific Reports 2025 |
| Âm thanh cho độ khớp ước tính 85% (phép đo chuẩn của nhà cung cấp) | Ba đến bốn giây | McAfee, Beware the Artificial Impostor 2023 |
| Người trưởng thành ở Anh cho biết từng là mục tiêu của một vụ lừa đảo nhân bản giọng nói | 28% | Khảo sát của Starling Bank và Mortar Research 2024 |
| Sản phẩm nhân bản giọng nói không thực hiện các bước cơ bản chống nhân bản trái phép | 4 trên 6 | Consumer Reports, đánh giá nhân bản giọng nói 2025 |
| Tiền thưởng cho những người chiến thắng FTC Voice Cloning Challenge | 35.000 USD | Ủy ban Thương mại Liên bang Hoa Kỳ (FTC), Voice Cloning Challenge 2024 |
Phương pháp luận và Nguồn
- Neural Codec Language Models are Zero-Shot Text to Speech Synthesizers (VALL-E) (Microsoft Research, 2023): thiết lập prompt 3 giây và kết quả VCTK theo độ dài prompt.
- VALL-E 2: Neural Codec Language Models are Human Parity Zero-Shot Text to Speech Synthesizers (Microsoft Research, 2024): độ tương đồng, WER và SMOS trên VCTK ở 3, 5 và 10 giây.
- Trang dự án VALL-E 2 (Microsoft Research): tuyên bố về việc phát hành.
- NaturalSpeech 3: Zero-Shot Speech Synthesis with Factorized Codec and Diffusion Models (Microsoft Research và các đồng tác giả đại học, 2024): so sánh trên LibriSpeech.
- Voicebox: Text-Guided Multilingual Universal Speech Generation at Scale (Meta, NeurIPS 2023): phân tích độ dài prompt, bộ đo chuẩn tiếng Anh, bộ phân loại phát hiện.
- YourTTS: Towards Zero-Shot Multi-Speaker TTS and Zero-Shot Voice Conversion for everyone (Casanova và cs., ICML 2022): thích ứng người nói zero-shot và có tinh chỉnh.
- XTTS: a Massively Multilingual Zero-Shot Text-to-Speech Model (Casanova và cs., INTERSPEECH 2024): độ dài tham chiếu, độ tương đồng tiếng Anh, mức cải thiện nhờ tinh chỉnh.
- Mega-TTS 2: Boosting Prompting Mechanisms for Zero-Shot Speech Synthesis (Jiang và cs., ByteDance và Zhejiang University, ICLR 2024): prompt từ 3 đến 300 giây so với mô hình cơ sở được tinh chỉnh.
- Seed-TTS: A Family of High-Quality Versatile Speech Generation Models (ByteDance, 2024): zero-shot so với tinh chỉnh theo người nói.
- F5-TTS: A Fairytaler that Fakes Fluent and Faithful Speech with Flow Matching (Chen và cs., 2024): bộ đo chuẩn LibriSpeech-PC.
- MiniMax-Speech: Intrinsic Zero-Shot Text-to-Speech with a Learnable Speaker Encoder (Zhang và cs., 2025): nhân bản bằng embedding người nói so với văn bản ghép cặp.
- Zero-Shot TTS With Enhanced Audio Prompts: BSC submission for the 2026 WildSpoof challenge TTS track (Barcelona Supercomputing Center, ngày 5 tháng 2 năm 2026): prompt dài so với ngắn.
- Zero-Shot Voice Cloning with Minimal Data: Impact of Reference Duration on Long-Form Speech Synthesis (Zhu, University of Groningen, 2025): thử nghiệm tham chiếu từ 1 đến 40 giây.
- People are poorly equipped to detect AI-powered voice clones (Barrington, Cooper và Farid, Scientific Reports, 2025).
- ASVspoof 5: Evaluation of Spoofing, Deepfake, and Adversarial Attack Detection Using Crowdsourced Speech (Wang và cs., ngày 7 tháng 1 năm 2026).
- FTC Announces Winners of Voice Cloning Challenge (Ủy ban Thương mại Liên bang Hoa Kỳ, ngày 8 tháng 4 năm 2024).
- Do These 6 AI Voice Cloning Companies Do Enough to Prevent Misuse? (Consumer Reports, ngày 10 tháng 3 năm 2025).
- Beware the Artificial Impostor (McAfee, tháng 5 năm 2023; nghiên cứu của nhà cung cấp).
- Chiến dịch Safe Phrases của Starling Bank (Starling Bank và Mortar Research, ngày 18 tháng 9 năm 2024).
- Bài viết của OpenAI về thách thức và cơ hội của giọng nói tổng hợp (OpenAI, ngày 29 tháng 3 năm 2024).
- Tài liệu ElevenLabs Instant Voice Cloning (hướng dẫn của nhà cung cấp, đọc vào tháng 10 năm 2026).
- Lưu ý về dữ liệu: điểm độ tương đồng không thể so sánh giữa các bài báo, vì mỗi bài dùng mô hình nhận dạng người nói, bộ thử nghiệm và cách chấm điểm riêng (giọng nói thật trên LibriSpeech đạt 0,754, 0,68 hoặc 0,69 tùy bài báo), nên chỉ so sánh trong cùng một hàng. Bài báo Mega-TTS 2 báo cáo giá trị độ tương đồng cao hơn nhiều so với các bài khác, với VALL-E ở mức 0,885 tại đó so với 0,580 trong bài báo gốc, nên các con số của nó chỉ nên được đọc đối chiếu với nhau. Cả hai vế của phép so sánh tinh chỉnh trong Mega-TTS 2 đều do chính các tác giả của nó xây dựng. Phần văn bản của Voicebox nói độ tương đồng tăng rồi phẳng dần với prompt dài hơn, trong khi chú thích hình của nó nói độ tương đồng giữ nguyên đến 10 giây. MiniMax-Speech gọi việc dùng prompt kèm văn bản ghép cặp là ‘one-shot’ và xếp Seed-TTS vào loại đó, dù Seed-TTS tự gọi mình là zero-shot. Các mô hình WildSpoof được tinh chỉnh trên bộ dữ liệu TITW trước khi thử nghiệm, nên các kết quả đó không phải là mốc zero-shot thuần túy. Điểm của người nghe ở mức 10 giây của VALL-E 2 có khoảng tin cậy rộng (lên đến ±0,49). Bài báo trên Scientific Reports không nêu hai prompt đằng sau mỗi bản sao dài bao lâu, nên con số 80% không nên được hiểu là con số cho một độ dài prompt cụ thể nào. Tóm tắt luận văn của Zhu không đưa ra giá trị độ tương đồng, chỉ có các độ dài và hướng của tác động. VALL-E, Voicebox, YourTTS và McAfee đã hơn ba năm tuổi và được đánh dấu là dữ liệu mới nhất hiện có: chúng tôi không tìm thấy bài báo nào năm 2025 hoặc 2026 lặp lại đầy đủ đường cong 3, 5 và 10 giây trên một bộ đo chuẩn chung. Các khảo sát của Starling Bank và McAfee là do người trả lời tự báo cáo.
Cập nhật lần cuối: ngày 31 tháng 10 năm 2026. Chúng tôi cập nhật bài tổng hợp này hàng quý, và lần làm mới tiếp theo dự kiến diễn ra khi kỷ yếu ICASSP 2027 được công bố.