Trên bài kiểm tra đồng bộ SyncNet tiêu chuẩn, mô hình khuôn mặt nói VASA-1 đạt 8,841, cao hơn mức 7,640 của các video thật dùng để so sánh (Microsoft Research Asia, bài báo VASA-1 2024). Con số đó giải thích phần lớn lĩnh vực này vào năm 2026: các mô hình giờ đây đánh bại cả cảnh quay thật trên chính chỉ số được tạo ra để đánh giá chúng, nên nghiên cứu người dùng và các số liệu tốc độ chạy trở nên quan trọng hơn bao giờ hết. Một mô hình khuôn mặt hiện diện từ xa theo thời gian thực thắng 84,59% các phép so sánh A/B trước DiffPoseTalk chậm hơn (Meta và Seoul National University, SIGGRAPH Asia 2025), và dữ liệu huấn luyện 3D đã tăng từ thường dưới 1 giờ lên 18,5 giờ (bài báo UniTalker, arXiv 2024). Trong khi đó, người xem phát hiện deepfake ở mức 55,54%, gần như ngang với tung đồng xu (Diel và cộng sự, Computers in Human Behavior Reports 2024). Chúng tôi tổng hợp dữ liệu từ NVIDIA Research, ByteDance, European Broadcasting Union, Unity và hàng chục bài báo chuẩn đánh giá từ các phòng thí nghiệm đại học và doanh nghiệp. Nếu bạn đến từ phía nhận dạng của bài toán, thống kê đọc môi và nhận dạng giọng nói bằng hình ảnh của chúng tôi bàn về tác vụ ngược lại: đọc từ ngữ từ đôi môi thay vì tạo ra đôi môi từ từ ngữ.
Tóm tắt nhanh
- VASA-1 đạt độ tin cậy SyncNet 8,841 trên VoxCeleb2 so với 7,640 của video thật (Microsoft Research Asia, bài báo VASA-1 2024).
- LatentSync giảm FVD trên HDTF xuống 162,74 từ mức 304,35 của Wav2Lip (ByteDance, bài báo LatentSync 2025).
- Sai số đỉnh môi trên BIWI-Test-A giảm từ 6,5563 (VOCA) xuống 4,3646 (TalkingStyle) x 10^-4 mm (bài báo GLDiTalker, arXiv 2025).
- UniTalker nâng dữ liệu huấn luyện khuôn mặt 3D từ thường dưới 1 giờ lên 18,5 giờ (bài báo UniTalker, arXiv 2024).
- 92,47% lượt đánh giá A/B ưa chuộng CodeTalker hơn VOCA về đồng bộ môi trên BIWI (bài báo CodeTalker, arXiv 2023).
- Một mô hình khuôn mặt hiện diện từ xa theo thời gian thực chạy trong 10 ms thời gian GPU so với 1,3 giây của Audio2Photoreal (Meta và Seoul National University, SIGGRAPH Asia 2025).
- Audio2Face-3D v3.0 đạt 3.269 FPS trên một RTX 4090 với TensorRT (NVIDIA, bài báo Audio2Face-3D 2025).
- 36% chuyên gia trò chơi sử dụng công cụ AI tạo sinh, và 52% cho rằng nó gây hại cho ngành (GDC, 2026 State of the Game Industry).
- Chỉ khoảng 12,4% thời lượng lời thoại lồng tiếng trên màn hình giữ nguyên viseme của bản gốc (AWS AI Labs và MIT, Dubbing in Practice, TACL 2023).
- Đồng bộ môi trong phát sóng phải nằm trong giới hạn sớm 40 ms và trễ 60 ms từ đầu đến cuối (EBU Recommendation R37-2007).
- Độ chính xác phát hiện deepfake của con người trung bình là 55,54% (KTC 95% 48,87 đến 62,10) trên 86.155 người tham gia (Diel và cộng sự, Computers in Human Behavior Reports 2024).
- Các bộ phát hiện video deepfake mã nguồn mở mất 50% AUC trên nội dung thực tế năm 2024 (chuẩn đánh giá Deepfake-Eval-2024, 2025).
1. Chuẩn Đánh Giá Độ Chính Xác Đồng Bộ Môi cho Video Khuôn Mặt Nói
Hai nhóm con số chi phối các bài báo về đồng bộ môi 2D. Độ tin cậy SyncNet (được báo cáo dưới dạng LSE-C hoặc Sync_conf, càng cao càng tốt) và khoảng cách SyncNet (LSE-D, càng thấp càng tốt) đến từ một mạng được huấn luyện để đánh giá xem chuyển động miệng có khớp với âm thanh hay không. FID và FVD (Frechet Inception Distance và Frechet Video Distance, càng thấp càng tốt) đo mức độ các khung hình và đoạn clip được tạo ra lệch khỏi bản thật.
Điểm nổi bật là một nghịch lý. VASA-1 đạt độ tin cậy SyncNet 8,841 trên VoxCeleb2, trong khi video thật đạt 7,640 (Microsoft Research Asia, bài báo VASA-1 2024). Một mô hình ‘đồng bộ hơn cả thực tế’ trong bài kiểm tra này không có nghĩa là chân thực hơn: FVD25 của nó là 105,88 so với 29,25 của video thật. Xét theo chỉ số, đồng bộ gần như đã được giải quyết; độ chân thực hình ảnh thì chưa. LatentSync cho thấy đòn bẩy còn lại: bỏ giám sát SyncNet làm độ tin cậy đồng bộ của nó giảm từ 8,9 xuống 4,6, khớp với phát hiện của các tác giả rằng các mô hình khuếch tán tiềm ẩn học những lối tắt thị giác thay vì mối liên hệ âm thanh-môi, trừ khi một giám khảo đồng bộ được tích hợp vào huấn luyện (ByteDance, bài báo LatentSync 2025).
| Chỉ số | Giá trị | Nguồn |
|---|---|---|
| Độ tin cậy SyncNet trên tập kiểm tra VoxCeleb2: VASA-1 so với video thật (càng cao càng tốt) | 8,841 so với 7,640 | Microsoft Research Asia, bài báo VASA-1 2024 |
| FVD25 trên tập OneMin-32: VASA-1 so với video thật so với SadTalker (càng thấp càng tốt) | 105,88 so với 29,25 so với 214,51 | Microsoft Research Asia, bài báo VASA-1 2024 |
| Độ tin cậy SyncNet (Sync_conf) trên HDTF: LatentSync so với Wav2Lip so với MuseTalk | 8,9 so với 8,2 so với 6,8 | ByteDance, bài báo LatentSync 2025 |
| FVD trên HDTF: LatentSync so với Wav2Lip (càng thấp càng tốt) | 162,74 so với 304,35 | ByteDance, bài báo LatentSync 2025 |
| FID trên HDTF: LatentSync so với Wav2Lip (càng thấp càng tốt) | 7,22 so với 12,5 | ByteDance, bài báo LatentSync 2025 |
| Sync_conf trên HDTF: LatentSync không có giám sát SyncNet so với có SyncNet trong không gian điểm ảnh | 4,6 so với 8,9 | ByteDance, bài báo LatentSync 2025 |
| Độ chính xác của giám khảo SyncNet trên tập kiểm tra HDTF: StableSyncNet so với mức tốt nhất trước đó | 94% so với 91% | ByteDance, bài báo LatentSync 2025 |
Ghi chú bối cảnh: Wav2Lip, mô hình năm 2020 đã phổ biến việc huấn luyện dựa trên SyncNet (bài báo Wav2Lip, ACM Multimedia 2020), vẫn xuất hiện làm mô hình cơ sở trong hầu hết mọi bảng năm 2025. Điểm số của nó thay đổi giữa các bài báo: LatentSync báo cáo Sync_conf là 8,2 trên HDTF, trong khi một đánh giá riêng báo cáo LSE-C là 9,054 trên HDTF (xem phần 3). Số liệu chuẩn đánh giá chỉ có thể so sánh trong cùng một thiết lập đánh giá của một bài báo.
2. Khuôn Mặt 3D Điều Khiển Bằng Giọng Nói: Sai Số Đỉnh Môi và Dữ Liệu Huấn Luyện
Với khuôn mặt 3D (các lưới được dùng trong trò chơi, VR và phim), chỉ số tiêu chuẩn là sai số đỉnh môi (LVE): khoảng cách lớn nhất trên mỗi khung hình giữa các đỉnh môi được tạo ra và được ghi lại, lấy trung bình trên các khung hình. Càng thấp càng tốt. Trên chuẩn đánh giá BIWI-Test-A, LVE giảm từ 6,5563 của VOCA xuống 4,3646 của TalkingStyle (x 10^-4 mm), tức giảm 33% theo cách tính của chúng tôi (2,1917 chia cho 6,5563) qua nhiều thế hệ mô hình (bài báo GLDiTalker, arXiv sửa đổi 2025).
Câu chuyện lớn hơn là sự thiếu hụt dữ liệu. Hai tập dữ liệu chuẩn mà lĩnh vực này dùng để huấn luyện rất nhỏ: VOCASET gồm 480 chuỗi, mỗi chuỗi khoảng 4 giây, còn BIWI có 14 người nói đọc 40 câu (bài báo CodeTalker, arXiv 2023). UniTalker giải quyết nút thắt đó bằng cách gộp tám tập dữ liệu và nâng dữ liệu huấn luyện lên 18,5 giờ, giúp giảm LVE 9,2% trên BIWI và 13,7% trên VOCASET (bài báo UniTalker, arXiv 2024). Mức cải thiện lớn như vậy chỉ nhờ dữ liệu cho thấy những bước nhảy tiếp theo sẽ đến từ ngân sách ghi hình, chứ không phải kiến trúc.
| Chỉ số | Giá trị | Nguồn |
|---|---|---|
| Sai số đỉnh môi trên BIWI-Test-A: VOCA so với FaceFormer (x 10^-4 mm, càng thấp càng tốt) | 6,5563 so với 5,3077 | Bài báo GLDiTalker, arXiv 2025 (Bảng 1) |
| Sai số đỉnh môi trên BIWI-Test-A: CodeTalker so với FaceDiffuser (x 10^-4 mm) | 4,7914 so với 4,7823 | Bài báo GLDiTalker, arXiv 2025 (Bảng 1) |
| Sai số đỉnh môi trên BIWI-Test-A: TalkingStyle so với GLDiTalker (x 10^-4 mm) | 4,3646 so với 4,6440 | Bài báo GLDiTalker, arXiv 2025 (Bảng 1) |
| Dữ liệu huấn luyện khuôn mặt 3D: các tập dữ liệu thường dùng so với UniTalker | thường dưới 1 giờ so với 18,5 giờ | Bài báo UniTalker, arXiv 2024 |
| Mức giảm sai số đỉnh môi nhờ huấn luyện hợp nhất của UniTalker: BIWI so với VOCASET | 9,2% so với 13,7% | Bài báo UniTalker, arXiv 2024 |
| Mức giảm sai số trung bình trên chuẩn đánh giá A2F-Bench | 6,3% | Bài báo UniTalker, arXiv 2024 |
| Quy mô VOCASET: số chuỗi, người nói, tốc độ ghi hình, đỉnh lưới | 480 chuỗi, 12 người nói, 60 fps, 5.023 đỉnh | Bài báo CodeTalker, arXiv 2023 |
| Quy mô BIWI: người nói, câu, tốc độ ghi hình, đỉnh lưới | 14 người nói, 40 câu, 25 fps, 23.370 đỉnh | Bài báo CodeTalker, arXiv 2023 |
Ghi chú bối cảnh: GLDiTalker là mô hình duy nhất trong bảng đó được thiết kế để tạo ra các kết quả đa dạng rõ rệt (điểm đa dạng 8,2176, so với 0 ở hầu hết đối thủ), một lựa chọn thiết kế đi ngược lại việc khớp chính xác một quỹ đạo môi đã ghi hình. Dữ liệu mới nhất hiện có cho hai mô tả tập dữ liệu: một bài báo năm 2023.
3. Tỷ Lệ Ưa Chuộng Trong Nghiên Cứu Người Dùng
Vì LVE phạt mọi chuyển động miệng khác với chuyển động đã ghi, kể cả khi phương án thay thế trông vẫn đúng, các bài báo dựa vào người đánh giá. Quy luật xuyên suốt các nghiên cứu là nhất quán: mô hình mới nghiền nát các mô hình cơ sở cũ nhất nhưng thường chỉ hơn thế hệ trước một khoảng cách mỏng. CodeTalker thắng 92,47% lượt đánh giá đồng bộ môi trên BIWI trước VOCA nhưng chỉ 53,76% trước FaceFormer, gần như ngang với tung đồng xu (bài báo CodeTalker, arXiv 2023).
Các hệ thống thời gian thực giờ đây cũng thắng trong những bài kiểm tra này. Một mô hình hiện diện từ xa nhân quả, không dùng âm thanh tương lai, được ưa chuộng trong 84,59% phép so sánh A/B trước DiffPoseTalk và 69,17% trước Audio2Photoreal (Meta và Seoul National University, SIGGRAPH Asia 2025). Và khoảng cách giữa chỉ số và cảm nhận có thể đo được: trong một nghiên cứu của Karlsruhe Institute of Technology, Wav2Lip có LSE-C HDTF tốt nhất trong mọi phương pháp nhưng điểm đồng bộ do con người đánh giá chỉ là 2,91, so với 3,92 của mô hình do các tác giả xây dựng (Karlsruhe Institute of Technology, bài báo chuyên gia AV-HuBERT 2024).
| Chỉ số | Giá trị | Nguồn |
|---|---|---|
| Lượt đánh giá A/B ưa chuộng CodeTalker hơn VOCA về đồng bộ môi trên BIWI-Test-B | 92,47% | Bài báo CodeTalker, arXiv 2023 (31 người tham gia) |
| Lượt đánh giá A/B ưa chuộng CodeTalker hơn FaceFormer về đồng bộ môi trên BIWI-Test-B | 53,76% | Bài báo CodeTalker, arXiv 2023 |
| Mức ưa chuộng A/B dành cho mô hình khuôn mặt hiện diện từ xa thời gian thực so với DiffPoseTalk | 84,59% | Meta và Seoul National University, SIGGRAPH Asia 2025 |
| Mức ưa chuộng A/B dành cho mô hình khuôn mặt hiện diện từ xa thời gian thực so với Audio2Photoreal | 69,17% | Meta và Seoul National University, SIGGRAPH Asia 2025 |
| Điểm ý kiến trung bình về đồng bộ môi trên VOCASET (1 đến 5): GLDiTalker so với FaceFormer | 4,05 so với 3,08 | Bài báo GLDiTalker, arXiv 2025 (20 người tham gia) |
| Điểm đồng bộ do con người đánh giá trên HDTF: mô hình tốt nhất so với Wav2Lip, trong khi Wav2Lip có LSE-C cao nhất là 9,054 | 3,92 so với 2,91 | Karlsruhe Institute of Technology, bài báo chuyên gia AV-HuBERT 2024 (10 người tham gia) |
Ghi chú bối cảnh: cỡ mẫu nhỏ. Các nghiên cứu trên dùng 10, 20 và 31 người đánh giá, điều điển hình của lĩnh vực này và là lý do để thận trọng với chênh lệch ưa chuộng chỉ vài đơn vị phần trăm. Thiết kế nghiên cứu của CodeTalker tạo ra 372 lượt đánh giá cho mỗi tập dữ liệu từ 120 cặp mẫu.
4. Hiệu Năng Thời Gian Chạy và Độ Trễ
Tốc độ đã chuyển từ nút thắt thành vấn đề được giải quyết đối với khung xương 3D. Mạng khuếch tán Audio2Face-3D v3.0 mã nguồn mở chạy ở 3.269 khung hình mỗi giây trên một GeForce RTX 4090 với TensorRT (NVIDIA, bài báo Audio2Face-3D 2025). Bí quyết là chưng cất: mô hình được huấn luyện với 1.000 bước khuếch tán nhưng suy luận chỉ với 2 bước. Với các studio, con số thực tế là khả năng chạy đồng thời: mạng hồi quy v2.3 cũ hơn điều khiển 128 luồng hoạt hình đồng thời (mỗi nhân vật đang nói một luồng) trong 1,3 GB bộ nhớ GPU.
Video chân thực như ảnh vẫn nặng hơn nhiều. VASA-1 phát video 512x512 ở tốc độ tối đa 40 FPS sau độ trễ khởi đầu 170 ms trên một RTX 4090 (Microsoft Research Asia, bài báo VASA-1 2024), còn MuseTalk đạt 30 FPS chỉ ở 256x256 trên GPU trung tâm dữ liệu V100 (bài báo MuseTalk, arXiv 2024). Cuộc đua về độ trễ phản chiếu những gì đã xảy ra với tổng hợp giọng nói, mà chúng tôi đã đề cập trong thống kê hệ số thời gian thực TTS và chi phí suy luận.
| Chỉ số | Giá trị | Nguồn |
|---|---|---|
| Tốc độ mạng khuếch tán Audio2Face-3D v3.0, 1 luồng, TensorRT, RTX 4090 | 3.269 khung hình mỗi giây | NVIDIA, bài báo Audio2Face-3D 2025 |
| Tốc độ Audio2Face-3D v2.3 (Claire), TensorRT, RTX 4090: 1 luồng so với 8 luồng đồng thời | 453 so với 413 khung hình mỗi giây | NVIDIA, bài báo Audio2Face-3D 2025 |
| Bộ nhớ GPU của Audio2Face-3D v2.3 với TensorRT: 8 luồng so với 128 luồng | 0,6 GB so với 1,3 GB | NVIDIA, bài báo Audio2Face-3D 2025 |
| VASA-1 tạo trực tuyến ở 512x512 trên một RTX 4090: tốc độ khung hình và độ trễ khởi đầu | tối đa 40 FPS, 170 ms | Microsoft Research Asia, bài báo VASA-1 2024 |
| Thời gian GPU trên mỗi khung hình của mô hình khuôn mặt hiện diện từ xa thời gian thực trên A100 | 10 ms (100 FPS), không nhìn trước âm thanh | Meta và Seoul National University, SIGGRAPH Asia 2025 |
| Các mô hình cơ sở ngoại tuyến trong cùng phép so sánh: Audio2Photoreal so với DiffPoseTalk có phong cách | 1,3 giây so với 11,4 giây | Meta và Seoul National University, SIGGRAPH Asia 2025 |
| Đầu ra video đồng bộ môi của MuseTalk trên GPU V100 | 30 FPS ở 256x256 | Bài báo MuseTalk, arXiv 2024 |
Ghi chú bối cảnh: mô hình hiện diện từ xa nhanh hơn Audio2Photoreal 130 lần theo cách tính của chúng tôi (1.300 ms chia cho 10 ms), phù hợp với tuyên bố của chính bài báo rằng nó nhanh hơn các mô hình cơ sở ngoại tuyến từ 100 đến 1.000 lần. FPS của Audio2Face-3D tính các khung hình đầu ra của mạng, không phải một cảnh trò chơi đã được dựng hình.
5. Mức Độ Áp Dụng Trong Trò Chơi và Tâm Lý Nhà Phát Triển
Hoạt hình điều khiển bằng âm thanh đang được đưa ra thị trường, nhưng vào một ngành đã quay lưng mạnh mẽ với AI tạo sinh. 52% chuyên gia trò chơi hiện cho rằng AI tạo sinh đang gây hại cho ngành, tăng từ 30% một năm trước và 18% năm trước đó nữa (GDC, 2026 State of the Game Industry). Nhóm tiêu cực nhất là mỹ thuật hình ảnh và kỹ thuật ở mức 64%, chính là những người có công việc hoạt hình khuôn mặt được các công cụ này tự động hóa.
Số liệu sử dụng khác nhau tùy theo người trả lời. Khảo sát chuyên gia cá nhân ở trên cho thấy 36% sử dụng AI tạo sinh, trong khi một khảo sát cấp studio báo cáo 96% studio sử dụng công cụ AI trong một số quy trình làm việc (Unity, Gaming Report 2025). Về phía cung cấp, các mô hình Audio2Face, SDK và khung huấn luyện đã được mở mã nguồn vào ngày 24 tháng 9 năm 2025, với chín công ty được nêu tên là đang tích hợp chúng (NVIDIA Developer Blog 2025). Nửa giọng nói của quy trình này được theo dõi trong thống kê mức độ áp dụng giọng nói AI trong lời thoại NPC của trò chơi của chúng tôi.
| Chỉ số | Giá trị | Nguồn |
|---|---|---|
| Chuyên gia ngành trò chơi sử dụng công cụ AI tạo sinh trong công việc | 36% (trong hơn 2.300 người trả lời) | GDC, 2026 State of the Game Industry |
| Việc sử dụng AI tạo sinh: người trả lời tại các studio trò chơi so với tại nhà phát hành, hỗ trợ và các công ty tiếp thị/quan hệ công chúng | 30% so với 58% | GDC, 2026 State of the Game Industry |
| Người trả lời cho rằng AI tạo sinh có tác động tiêu cực đến ngành: 2026 so với năm trước so với hai năm trước | 52% so với 30% so với 18% | GDC, 2026 State of the Game Industry |
| Chuyên gia mỹ thuật hình ảnh và kỹ thuật có cái nhìn không thiện cảm với AI tạo sinh | 64% | GDC, 2026 State of the Game Industry |
| Người trả lời cho rằng AI tạo sinh có tác động tích cực: 2026 so với 2025 | 7% so với 13% | GDC, 2026 State of the Game Industry |
| Studio sử dụng công cụ AI trong một số quy trình làm việc | 96% | Unity, Gaming Report 2025 |
| Người trả lời cảm thấy tích cực về công cụ AI trong phát triển trò chơi | 79% | Unity, Gaming Report 2025 |
| Các công ty được nêu tên là đơn vị áp dụng Audio2Face tại buổi ra mắt mã nguồn mở (tuyên bố của chính nhà cung cấp) | 9 công ty, cộng thêm 2 tựa game đã phát hành được ghi nhận | NVIDIA Developer Blog, ngày 24 tháng 9 năm 2025 |
Ghi chú bối cảnh: chín đơn vị áp dụng được nêu tên là Convai, Codemasters, GSC Games World, Inworld AI, NetEase, Reallusion, Perfect World Games, Streamlabs và UneeQ; hai tựa game là Alien: Rogue Incursion Evolved Edition (Survios) và Chernobylite 2: Exclusion Zone (The Farm 51). Không lời trích dẫn nào của studio đi kèm con số về thời gian tiết kiệm được.
6. Thực Tế Lồng Tiếng và Dung Sai Đồng Bộ Phát Sóng
Lồng tiếng hình ảnh bằng AI hứa hẹn làm cho lời thoại đã dịch khớp với miệng diễn viên. Mức nền mà nó cạnh tranh lỏng lẻo hơn hầu hết mọi người nghĩ. Trong 319,57 giờ phim truyền hình và điện ảnh được lồng tiếng chuyên nghiệp từ tiếng Anh sang tiếng Đức và từ tiếng Anh sang tiếng Tây Ban Nha, chỉ khoảng 12,4% thời lượng lời thoại trên màn hình có cùng viseme ở bản lồng tiếng và bản gốc (AWS AI Labs và MIT, Dubbing in Practice, TACL 2023). Viseme là hình dạng miệng nhìn thấy được của một nhóm âm (ví dụ, p, b và m đều khép môi). Diễn viên lồng tiếng khớp hình dạng miệng thường xuyên hơn đôi chút khi người nói xuất hiện trên màn hình, nhưng các tác giả kết luận rằng độ tự nhiên của giọng nói và chất lượng bản dịch quan trọng hơn đối với giới chuyên nghiệp so với đồng bộ môi nghiêm ngặt.
Thời gian là ràng buộc chặt hơn. Tính đẳng thời (lời thoại lồng tiếng bắt đầu và kết thúc đúng lúc lời thoại gốc bắt đầu và kết thúc) có mức chồng lấp trung bình là 0,658. Về phần mình, các đài phát sóng đặt giới hạn cứng cho độ lệch âm thanh-hình ảnh: âm thanh có thể đi trước hình ảnh tối đa 40 ms và trễ tối đa 60 ms, các giá trị được đặt tại ngưỡng mà sự lệch pha trở nên dễ nhận thấy với 50% người quan sát (EBU Recommendation R37-2007). Mọi quy trình avatar trực tiếp đều thừa hưởng ngân sách đó, nên độ trễ khởi đầu của bộ tạo (170 ms với VASA-1, xem phần 4) phải được hấp thụ bằng cách làm trễ âm thanh cho khớp, nếu không kết quả sẽ không vượt qua kiểm tra phát sóng.
| Chỉ số | Giá trị | Nguồn |
|---|---|---|
| Kho dữ liệu lồng tiếng chuyên nghiệp được phân tích: số giờ, tựa phim, tập | 319,57 giờ, 54 tựa phim, 674 tập | AWS AI Labs và MIT, Dubbing in Practice, TACL 2023 |
| Tỷ lệ thời lượng lời thoại trên màn hình có cùng viseme ở bản gốc và bản lồng tiếng | khoảng 12,4% | AWS AI Labs và MIT, Dubbing in Practice, TACL 2023 |
| Mức chồng lấp thời lượng lời thoại trung bình (trung vị) giữa câu thoại gốc và câu thoại lồng tiếng | 0,658 (0,731) | AWS AI Labs và MIT, Dubbing in Practice, TACL 2023 |
| Mức chồng lấp thời lượng lời thoại của người nói trên màn hình so với ngoài màn hình | 0,684 so với 0,662 | AWS AI Labs và MIT, Dubbing in Practice, TACL 2023 |
| Câu thoại lồng tiếng dài hơn nguồn tiếng Anh ít nhất 10% về số ký tự: tiếng Đức so với tiếng Tây Ban Nha | 53% so với 30% | AWS AI Labs và MIT, Dubbing in Practice, TACL 2023 |
| Giới hạn phát sóng từ đầu đến cuối của âm thanh so với hình ảnh: âm thanh sớm so với âm thanh trễ | tối đa 40 ms so với tối đa 60 ms | EBU Recommendation R37-2007 |
| Độ chính xác đồng bộ yêu cầu ở mỗi công đoạn sản xuất: âm thanh sớm so với âm thanh trễ | 5 ms so với 15 ms | EBU Recommendation R37-2007 |
Ghi chú bối cảnh: dữ liệu mới nhất hiện có: nghiên cứu kho dữ liệu lồng tiếng, 2023, và EBU R37, 2007 (vẫn là khuyến nghị hiện hành của EBU). Nghiên cứu về lồng tiếng cũng phát hiện rằng 4,3% câu thoại lồng tiếng không có chút chồng lấp thời gian nào với bản gốc, và điểm chất lượng bản dịch không khác biệt đáng kể giữa câu thoại trên màn hình và ngoài màn hình (COMET-QE p = 0,349).
7. Cảm Nhận và Khía Cạnh Phát Hiện Deepfake
Chính những mô hình làm hoạt hình cho nhân vật trò chơi cũng có thể làm giả lời nói của một người thật. Việc phát hiện thì lệch lạc. Qua 56 bài báo và 86.155 người tham gia, con người phát hiện deepfake với độ chính xác 55,54% (KTC 95% 48,87 đến 62,10), không cao hơn ngẫu nhiên một cách có ý nghĩa thống kê, và chỉ 57,31% đối với video (Diel và cộng sự, Computers in Human Behavior Reports 2024). Huấn luyện có phản hồi, hỗ trợ của AI hoặc biếm họa hóa nâng độ chính xác lên 65,14%.
Máy móc chuyên biệt cho đồng bộ môi làm tốt hơn nhiều trong phòng thí nghiệm, nhưng khả năng khái quát là điểm yếu. Bộ phát hiện LipFD, vốn tìm kiếm sự lệch thời gian giữa âm thanh và chuyển động môi, báo cáo độ chính xác trung bình hơn 95,3% và lên đến 90,2% trong bối cảnh thực tế như cuộc gọi video WeChat (Lips Are Lying, bài báo LipFD, arXiv 2024). Trên các deepfake thực sự lưu hành năm 2024, các bộ phát hiện video mã nguồn mở mất 50% AUC so với các chuẩn đánh giá cũ hơn (AUC là diện tích dưới đường cong ROC, trong đó 1,0 là hoàn hảo và 0,5 là ngẫu nhiên) (chuẩn đánh giá Deepfake-Eval-2024, 2025).
| Chỉ số | Giá trị | Nguồn |
|---|---|---|
| Độ chính xác phát hiện deepfake của con người (gộp), mọi loại phương tiện | 55,54% (KTC 95% 48,87 đến 62,10, k = 67) | Diel và cộng sự, Computers in Human Behavior Reports 2024 |
| Độ chính xác phát hiện của con người riêng với video deepfake | 57,31% (KTC 95% 47,80 đến 66,57, k = 26) | Diel và cộng sự, Computers in Human Behavior Reports 2024 |
| Độ chính xác phát hiện của con người khi có huấn luyện phản hồi, hỗ trợ của AI hoặc biếm họa hóa | 65,14% (KTC 95% 55,21 đến 74,46, k = 15) | Diel và cộng sự, Computers in Human Behavior Reports 2024 |
| Bộ phát hiện deepfake đồng bộ môi LipFD: độ chính xác trung bình so với kịch bản thực tế | hơn 95,3% so với lên đến 90,2% | Bài báo Lips Are Lying (LipFD), arXiv 2024 |
| Mức sụt AUC của các bộ phát hiện mã nguồn mở trên deepfake thực tế năm 2024 so với các chuẩn đánh giá trước đó: video, âm thanh, hình ảnh | 50%, 48%, 45% | Chuẩn đánh giá Deepfake-Eval-2024, 2025 |
| Tập dữ liệu Deepfake-Eval-2024: số giờ video, trang web, ngôn ngữ | 45 giờ, 88 trang web, 52 ngôn ngữ | Chuẩn đánh giá Deepfake-Eval-2024, 2025 |
| Độ chính xác của bộ phát hiện do chính các tác giả VASA-1 xây dựng khi phân biệt video thật với đầu ra của VASA-1 | 97,8% | Microsoft Research Asia, bài báo VASA-1 2024 |
Ghi chú bối cảnh: con số 97,8% chỉ áp dụng cho đầu ra của một mô hình với bộ phát hiện được huấn luyện riêng cho nó. Kết quả Deepfake-Eval-2024 cho thấy điều gì xảy ra khi các bộ phát hiện gặp những bộ tạo mà chúng chưa được huấn luyện.
Tổng kết: Hoạt Hình Khuôn Mặt Điều Khiển Bằng Âm Thanh và Đồng Bộ Môi Qua Các Con Số
| Chỉ số | Giá trị | Nguồn |
|---|---|---|
| Độ tin cậy SyncNet trên VoxCeleb2: VASA-1 so với video thật | 8,841 so với 7,640 | Microsoft Research Asia, bài báo VASA-1 2024 |
| FVD trên HDTF: LatentSync so với Wav2Lip | 162,74 so với 304,35 | ByteDance, bài báo LatentSync 2025 |
| Độ chính xác của giám khảo SyncNet trên HDTF: StableSyncNet so với mức tốt nhất trước đó | 94% so với 91% | ByteDance, bài báo LatentSync 2025 |
| Sai số đỉnh môi trên BIWI-Test-A: VOCA so với TalkingStyle (x 10^-4 mm) | 6,5563 so với 4,3646 | Bài báo GLDiTalker, arXiv 2025 |
| Dữ liệu huấn luyện khuôn mặt 3D: các tập dữ liệu thông thường so với UniTalker | dưới 1 giờ so với 18,5 giờ | Bài báo UniTalker, arXiv 2024 |
| Lượt đánh giá A/B ưa chuộng CodeTalker hơn VOCA về đồng bộ môi trên BIWI | 92,47% | Bài báo CodeTalker, arXiv 2023 |
| Mức ưa chuộng A/B dành cho mô hình khuôn mặt hiện diện từ xa thời gian thực so với DiffPoseTalk | 84,59% | Meta và Seoul National University, SIGGRAPH Asia 2025 |
| Điểm đồng bộ do con người đánh giá trên HDTF: mô hình tốt nhất so với Wav2Lip dù Wav2Lip có LSE-C cao nhất | 3,92 so với 2,91 | Karlsruhe Institute of Technology, 2024 |
| Tốc độ Audio2Face-3D v3.0 trên một RTX 4090 với TensorRT | 3.269 khung hình mỗi giây | NVIDIA, bài báo Audio2Face-3D 2025 |
| Thời gian GPU trên mỗi khung hình của mô hình khuôn mặt hiện diện từ xa thời gian thực | 10 ms | Meta và Seoul National University, SIGGRAPH Asia 2025 |
| Chuyên gia trò chơi sử dụng công cụ AI tạo sinh | 36% | GDC, 2026 State of the Game Industry |
| Studio sử dụng công cụ AI trong một số quy trình làm việc | 96% | Unity, Gaming Report 2025 |
| Thời lượng lời thoại lồng tiếng trên màn hình có cùng viseme với bản gốc | khoảng 12,4% | AWS AI Labs và MIT, TACL 2023 |
| Mức chồng lấp thời lượng lời thoại trung bình giữa câu thoại gốc và câu thoại lồng tiếng | 0,658 | AWS AI Labs và MIT, TACL 2023 |
| Giới hạn đồng bộ môi phát sóng từ đầu đến cuối: âm thanh sớm so với âm thanh trễ | 40 ms so với 60 ms | EBU Recommendation R37-2007 |
| Độ chính xác phát hiện deepfake của con người (gộp) | 55,54% | Diel và cộng sự, Computers in Human Behavior Reports 2024 |
| Mức sụt AUC của các bộ phát hiện video deepfake mã nguồn mở trên nội dung thực tế năm 2024 | 50% | Chuẩn đánh giá Deepfake-Eval-2024, 2025 |
Phương pháp luận và Nguồn
- NVIDIA: Audio2Face-3D, Audio-driven Realistic Facial Animation for Digital Avatars (arXiv 2508.16401, 2025) cho các số liệu tốc độ suy luận, bộ nhớ và bước khuếch tán, cùng thông báo mã nguồn mở Audio2Face, ngày 24 tháng 9 năm 2025 cho các đơn vị áp dụng được nêu tên (tuyên bố của chính nhà cung cấp).
- Microsoft Research Asia, bài báo VASA-1 (arXiv 2404.10667, sửa đổi 2024): điểm đồng bộ, FVD, tốc độ khung hình, độ trễ, độ chính xác của bộ phát hiện.
- Meta Codec Avatars Lab và Seoul National University, Audio Driven Real-Time Facial Animation for Social Telepresence (SIGGRAPH Asia 2025): độ trễ và mức ưa chuộng A/B.
- ByteDance, Beijing Jiaotong University và Monash University, LatentSync (arXiv 2412.09262, sửa đổi 2025): đồng bộ HDTF và VoxCeleb2, FID và FVD.
- Bài báo GLDiTalker, Beihang University và các đơn vị khác (arXiv 2408.01826, sửa đổi 2025): bảng sai số đỉnh môi BIWI và điểm ý kiến trung bình.
- Bài báo CodeTalker (arXiv 2301.02379, 2023): tỷ lệ ưa chuộng A/B và mô tả tập dữ liệu.
- Bài báo UniTalker (arXiv 2408.00762, 2024): quy mô dữ liệu huấn luyện và mức giảm sai số.
- Karlsruhe Institute of Technology, Istanbul Technical University và Carnegie Mellon University, bài báo chuyên gia AV-HuBERT (arXiv 2405.04327, 2024): LSE-C/LSE-D so với nghiên cứu người dùng.
- Bài báo MuseTalk (arXiv 2410.10122, sửa đổi 2025): tốc độ khung hình thời gian thực.
- Bài báo Wav2Lip (ACM Multimedia 2020): bối cảnh về mô hình cơ sở, không trích dẫn trực tiếp con số nào từ đó.
- GDC, 2026 State of the Game Industry: việc sử dụng và tâm lý đối với AI tạo sinh.
- Unity, bài đăng ra mắt Gaming Report 2025 (ngày 17 tháng 3 năm 2025): việc sử dụng AI của studio và tâm lý.
- AWS AI Labs và MIT Media Lab, Dubbing in Practice (TACL tập 11, 2023): thống kê kho dữ liệu lồng tiếng chuyên nghiệp.
- EBU Recommendation R37-2007: giới hạn thời gian giữa âm thanh và hình ảnh.
- Diel và cộng sự, Human performance in detecting deepfakes, Computers in Human Behavior Reports tập 16 (2024): phân tích tổng hợp về khả năng phát hiện của con người.
- Bài báo Lips Are Lying (LipFD) (arXiv 2401.15668, 2024): độ chính xác phát hiện deepfake đồng bộ môi.
- Chuẩn đánh giá Deepfake-Eval-2024 (arXiv 2503.02857, 2025): hiệu năng bộ phát hiện trong môi trường thực tế.
- Lưu ý về dữ liệu: (1) Xung đột giữa chỉ số và cảm nhận là có thật: VASA-1 đánh bại video thật về độ tin cậy SyncNet, và điểm HDTF của Wav2Lip khác nhau giữa các bài báo (Sync_conf 8,2 trong đánh giá của LatentSync so với LSE-C 9,054 trong đánh giá của Karlsruhe), vì vậy chỉ nên so sánh điểm số trong cùng một bài báo. (2) Các con số sử dụng AI 36% và 96% ở phần 5 đo hai nhóm đối tượng khác nhau (chuyên gia cá nhân so với studio, và cỡ mẫu của khảo sát studio không được nêu trên trang ra mắt của nó), nên không nên xem là mâu thuẫn. (3) Chúng tôi không tìm thấy kết quả nghiên cứu người dùng nào trong phần văn bản bài báo Audio2Face-3D mà chúng tôi đã đọc, nên chất lượng cảm nhận của nó không được đề cập ở đây. (4) CodeTalker (2023), nghiên cứu kho dữ liệu lồng tiếng (2023) và EBU R37 (2007) là dữ liệu mới nhất hiện có cho các chỉ số của chúng; các bài báo SIGGRAPH và CVPR mới hơn có thể cập nhật các số liệu LVE và mức ưa chuộng. (5) Đơn vị LVE khác nhau giữa các chuẩn đánh giá và các bài báo, nên các giá trị chỉ có thể so sánh trong cùng một bảng. (6) Các nghiên cứu người dùng trong lĩnh vực này dựa trên 10 đến 31 người đánh giá, nên chênh lệch ưa chuộng nhỏ không vững chắc.
Cập nhật lần cuối: ngày 6 tháng 11 năm 2026. Chúng tôi cập nhật bài tổng hợp này hàng quý, và lần làm mới tiếp theo dự kiến sẽ diễn ra khi báo cáo GDC 2027 State of the Game Industry được công bố.