Trên bộ chuẩn Hàn-Anh HiKE, Whisper-Large mắc lỗi ở 26,1% giọng nói chuyển mã, so với 4,4% ở tiếng Anh đơn ngữ và 3,2% ở tiếng Hàn đơn ngữ (Paik và cộng sự, bộ chuẩn HiKE 2026). Con số đó gấp khoảng sáu lần tỷ lệ lỗi tiếng Anh (26,1 / 4,4 = 5,9) với cùng một mô hình. Quy luật này lặp lại ở nhiều cặp ngôn ngữ: các tác giả CS-FLEURS đo được tỷ lệ lỗi ký tự cao gấp hơn 2 lần trên các bản ghi chuyển mã so với FLEURS đơn ngữ (Yan và cộng sự, Interspeech 2025), và trong cuộc thi Quan Thoại-Anh ASRU 2019, hệ thống thắng cuộc vẫn sai ở 12,33% từ tiếng Anh được chèn vào, so với 4,04% ký tự tiếng Quan Thoại (Shi và cộng sự, báo cáo cuộc thi ASRU 2019). Chuyển mã (chuyển qua lại giữa hai ngôn ngữ trong một cuộc hội thoại, một câu, thậm chí một từ) là hành vi bình thường của nhiều người được mô tả trong bài tổng hợp về song ngữ và các hộ gia đình đa ngôn ngữ của chúng tôi, vậy mà các hệ thống nhận dạng vẫn được tinh chỉnh và xếp hạng theo từng ngôn ngữ một, giống như khoảng cách về giọng vùng miền được đo trong các bộ chuẩn đơn ngữ. Chúng tôi tổng hợp dữ liệu từ kho ngữ liệu SEAME tại Linguistic Data Consortium, các cuộc thi MUCS 2021 và ASRU 2019, CS-FLEURS, HiKE, CS-Dialogue, ASCEND, bài báo về chỉ số PIER, cuộc thi DISPLACE 2023, Pew Research Center và các công trình tổng quan của ACL về nghiên cứu chuyển mã.
Một lưu ý về các thuật ngữ dùng xuyên suốt: ngôn ngữ “nền” là ngôn ngữ chính của một câu, ngôn ngữ “được chèn” là ngôn ngữ được chuyển vào, và “điểm chuyển” là chính xác từ mà ngôn ngữ thay đổi.
Tóm tắt nhanh
- Whisper-Large: tỷ lệ lỗi hỗn hợp 26,1% trên giọng nói Hàn-Anh chuyển mã so với WER 4,4% trên tiếng Anh đơn ngữ (Paik và cộng sự, HiKE 2026).
- CER cao gấp hơn 2 lần trên các tập CS-FLEURS chuyển mã so với FLEURS đơn ngữ (Yan và cộng sự, Interspeech 2025).
- Hệ thống tốt nhất ASRU 2019: CER tiếng Quan Thoại 4,04% nhưng WER tiếng Anh 12,33% trong cùng các câu pha trộn (Shi và cộng sự, cuộc thi ASRU 2019).
- Lỗi ở các token ngay sau khi chuyển sang tiếng Yoruba: 0,95 đến 1,00 trên các hệ thống ASR và mô hình ngôn ngữ âm thanh (Okocha và Grant, arXiv 2026).
- Tinh chỉnh cải thiện WER của Whisper-large trên Tây Ban Nha-Anh 5,06% trong khi lỗi tại điểm chuyển (PIER) tệ đi 39,47% (Ugan và cộng sự, ICASSP 2025).
- Đoạn ngôn ngữ trung bình trong hội thoại song ngữ Ấn Độ: khoảng 500 ms, nhiều đoạn chỉ khoảng 200 ms (Baghel và cộng sự, DISPLACE 2023).
- Whisper-small chưa tinh chỉnh trên tập phát triển SEAME DevSge: MER 157,5% khi được yêu cầu đoán tiếng Quan Thoại so với 83,6% khi được yêu cầu tiếng Anh (Yang và cộng sự, 2023).
- TALCS, kho ngữ liệu Quan Thoại-Anh lớn nhất được liệt kê, có 587 giờ, khoảng 0,09% trong 680.000 giờ huấn luyện của Whisper (Zhou và cộng sự, CS-Dialogue 2025; Radford và cộng sự, OpenAI 2022).
- 72 trong số 114 kho ngữ liệu chuyển mã được giới thiệu trong tài liệu NLP là không công khai (Winata và cộng sự, ACL Findings 2023).
- 63% người trưởng thành gốc Latinh ở Mỹ dùng Spanglish ít nhất đôi khi; 77% người gốc Latinh song ngữ làm vậy (Pew Research Center 2023).
- Khoảng 3,5% trong 50 triệu tweet bằng bảy ngôn ngữ có chuyển mã (Rijhwani và cộng sự, ACL 2017).
1. Cái Giá của Chuyển Mã: Tỷ Lệ Lỗi Hỗn Hợp so với Đơn Ngữ
Phát hiện chính nhất quán trên mọi bộ chuẩn chạy cùng một mô hình trên cả hai loại giọng nói: tỷ lệ lỗi tăng gấp nhiều lần khi hai ngôn ngữ cùng nằm trong một câu. Trên HiKE, tỷ lệ lỗi chuyển mã của Whisper-Large gấp 5,9 lần WER tiếng Anh (26,1 / 4,4) và gấp 8,2 lần CER tiếng Hàn (26,1 / 3,2). HiKE là phép so sánh sạch nhất vì nó báo cáo điểm FLEURS đơn ngữ của cùng các mô hình bên cạnh kết quả chuyển mã. GPT-4o-transcribe, hệ thống mạnh nhất trong bảng đó, vẫn tăng từ WER 3,3% trên tiếng Anh lên MER 21,8% trên giọng nói pha trộn.
Khoảng cách này không đối xứng. Trong các câu pha trộn, ngôn ngữ được chèn vào chịu thiệt nhiều nhất: hệ thống thắng cuộc ASRU 2019 mắc lỗi ở từ tiếng Anh nhiều gấp khoảng ba lần so với ký tự tiếng Quan Thoại (12,33 / 4,04 = 3,05), dù tiếng Anh chỉ chiếm một phần nhỏ mỗi câu: trung bình 1,6 từ tiếng Anh so với 8,6 chữ Hán. Trong đánh giá Anh-Yoruba, sự mất cân bằng là cực đoan, với thất bại gần như hoàn toàn ở ngôn ngữ có ít tài nguyên hơn.
| Chỉ số | Giá trị | Nguồn |
|---|---|---|
| Whisper-Large, Hàn-Anh chuyển mã (tỷ lệ lỗi hỗn hợp), WER tiếng Anh đơn ngữ và CER tiếng Hàn đơn ngữ | 26,1% so với 4,4% so với 3,2% | Paik và cộng sự, bộ chuẩn HiKE 2026 |
| GPT-4o-transcribe, Hàn-Anh chuyển mã (tỷ lệ lỗi hỗn hợp) và WER tiếng Anh đơn ngữ | 21,8% so với 3,3% | Paik và cộng sự, bộ chuẩn HiKE 2026 |
| Tỷ lệ lỗi ký tự trên CS-FLEURS chuyển mã và FLEURS đơn ngữ gốc | Cao gấp hơn 2 lần | Yan và cộng sự, CS-FLEURS, Interspeech 2025 |
| Hệ thống tốt nhất ASRU 2019 (Track 1): CER tiếng Quan Thoại và WER tiếng Anh trong cùng các câu chuyển mã | 4,04% so với 12,33% | Shi và cộng sự, báo cáo cuộc thi ASRU 2019 (2020) |
| WER Whisper-large-v3: các bài nói TED tiếng Anh đơn ngữ, Fisher Tây Ban Nha-Anh và ArzEn Ả Rập Ai Cập-Anh | 6,07% so với 29,43% so với 52,80% | Ugan và cộng sự, bài báo PIER, ICASSP 2025 |
| Tập kiểm tra Anh-Yoruba: tỷ lệ lỗi trên token tiếng Anh và trên token tiếng Yoruba (tám hệ thống trung thực, chép lời giọng nói chuyển mã mà không dịch sang một ngôn ngữ duy nhất) | 33% đến 46% so với ít nhất 96,6% | Okocha và Grant, arXiv 2026 |
Ghi chú bối cảnh: hàng của Ugan và cộng sự so sánh các tập dữ liệu khác nhau (tiếng Anh bài giảng và giọng nói hội thoại qua điện thoại), nên một phần khoảng cách phản ánh điều kiện ghi âm chứ không chỉ do chuyển mã. Các hàng HiKE và CS-FLEURS giữ cố định mô hình. Số liệu đầy đủ: bài báo HiKE và bài báo CS-FLEURS.
2. Các Bộ Chuẩn Tỷ Lệ Lỗi Hỗn Hợp (MER): Lĩnh Vực Đang Ở Đâu
Tỷ lệ lỗi hỗn hợp tồn tại vì không có một “từ” chung giữa tiếng Quan Thoại và tiếng Anh: MER đếm lỗi theo ký tự đối với các ngôn ngữ dùng ký tự (tiếng Quan Thoại, tiếng Hàn) và theo từ đối với tiếng Anh, rồi gộp chúng thành một tỷ lệ. Điều đó khiến MER trở thành thước đo chung của các bài báo chuyển mã, nhưng cũng che giấu ngôn ngữ nào đang thất bại, đó là lý do các bài báo tốt hơn in CER và WER riêng biệt.
Xét trên nhiều bộ chuẩn, các con số trải rộng: hệ thống thắng cuộc đạt MER 4,94% trên bài kiểm tra Quan Thoại-Anh ASRU 2019, trong khi mô hình cơ sở tốt nhất trên các hội thoại tự phát ASCEND chỉ đạt 27,05%. Cùng một cặp ngôn ngữ có thể trông gần như đã giải quyết xong hoặc hỏng nặng tùy phong cách ghi âm và khối lượng huấn luyện: ASRU 2019 cung cấp 200 giờ âm thanh huấn luyện chuyển mã, ASCEND chỉ có 10,62 giờ hội thoại tự phát. Trong các mô hình dùng ngay, SenseVoice-Small đạt MER 6,71% trên CS-Dialogue so với 15,29% của Whisper Large-V2.
| Chỉ số | Giá trị | Nguồn |
|---|---|---|
| Tỷ lệ lỗi hỗn hợp tốt nhất, ASRU 2019 Quan Thoại-Anh, Track 1 (ASR truyền thống, mô hình ngôn ngữ cố định) và Track 3 (ASR đầu-cuối) | 4,94% so với 5,91% | Shi và cộng sự, báo cáo cuộc thi ASRU 2019 (2020) |
| Mô hình cơ sở tốt nhất trên hội thoại tự phát Hồng Kông ASCEND: CER và MER | 22,69% so với 27,05% | Lovenia và cộng sự, kho ngữ liệu ASCEND (2021) |
| Tập kiểm tra CS-Dialogue, mô hình huấn luyện sẵn (MER): SenseVoice-Small, Paraformer, Qwen2-Audio và Whisper Large-V2 | 6,71% so với 9,65% so với 9,76% so với 15,29% | Zhou và cộng sự, CS-Dialogue 2025 |
| CS-Dialogue, Conformer huấn luyện từ đầu: CER tiếng Quan Thoại, WER tiếng Anh và MER | 15,45% so với 32,36% so với 18,91% | Zhou và cộng sự, CS-Dialogue 2025 |
| WER mô hình cơ sở đầu-cuối MUCS 2021 trên tập kiểm tra: Hindi-Anh và Bengal-Anh | 25,9% so với 31,0% | Diwan và cộng sự, cuộc thi MUCS 2021 (Interspeech 2021) |
Ghi chú về giá trị ngoại lai: hàng Conformer của CS-Dialogue lại cho thấy vấn đề ngôn ngữ được chèn vào, với WER tiếng Anh gấp hơn hai lần CER tiếng Quan Thoại trên cùng tập kiểm tra. Các hàng ASRU 2019, ASCEND (2021) và MUCS 2021 dùng dữ liệu mới nhất hiện có, chưa được các tác giả chạy lại với các mô hình hiện nay. Nguồn: báo cáo cuộc thi ASRU 2019, CS-Dialogue, MUCS 2021.
3. Lỗi Tại Điểm Chuyển: Những Gì Tỷ Lệ Lỗi Tổng Thể Che Giấu
Một bản chép lời có thể đạt điểm tổng thể tốt mà vẫn sai mọi lần chuyển, vì các từ được chuyển chỉ chiếm một phần nhỏ trong tổng số. PIER (Point-of-Interest Error Rate) được xây dựng để đo độ chính xác chỉ tại những từ mà ngôn ngữ thay đổi, và kết quả thật khó chịu: sau khi tinh chỉnh, Whisper-large cải thiện WER tổng thể trên Fisher Tây Ban Nha-Anh 5,06% (tương đối) trong khi lỗi tại điểm chuyển tăng 39,47%. Nói cách khác, chỉ số bảng xếp hạng thông thường đã thưởng cho một mô hình thực tế lại kém đi ở chính việc chuyển mã.
Hướng chuyển cũng quan trọng. Trên tập Anh-Yoruba, các hệ thống xử lý khá tốt việc chuyển ngược về tiếng Anh và sụp đổ khi chuyển sang tiếng Yoruba. Mật độ chuyển dày hơn làm tăng tỷ lệ lỗi ở các hệ thống mạnh nhất, và việc chuyển ngay bên trong một từ (gốc từ thuộc một ngôn ngữ, phụ tố thuộc ngôn ngữ khác) là khó nhất. Một số tỷ lệ lỗi vượt quá 100% vì các phần chèn thêm được tính là lỗi; ba mô hình âm thanh sinh văn bản đã tạo dư văn bản trên tập Yoruba, một dạng lỗi được đề cập trong bài tổng hợp về ảo giác nhận dạng giọng nói của chúng tôi.
| Chỉ số | Giá trị | Nguồn |
|---|---|---|
| Whisper-large tinh chỉnh trên Fisher Tây Ban Nha-Anh: thay đổi WER tổng thể và thay đổi lỗi tại điểm chuyển (PIER) | Tốt hơn 5,06% so với tệ hơn 39,47% (tương đối) | Ugan và cộng sự, bài báo PIER, ICASSP 2025 |
| Whisper-large tinh chỉnh trên Fisher: WER và PIER | 27,94% so với 50,78% | Ugan và cộng sự, bài báo PIER, ICASSP 2025 |
| Whisper-large trên ArzEn Ả Rập-Anh: lỗi tại điểm chuyển giữa các từ và bên trong từ | 49,50% so với 105,71% | Ugan và cộng sự, bài báo PIER, ICASSP 2025 |
| Lỗi ở token đầu tiên sau khi chuyển: từ Anh sang Yoruba và từ Yoruba sang Anh | 0,95 đến 1,00 so với 0,40 đến 0,53 | Okocha và Grant, arXiv 2026 |
| WER trung bình của các hệ thống mạnh nhất ở mật độ chuyển thấp và cao (Anh-Yoruba) | 66,9% so với 71,2% | Okocha và Grant, arXiv 2026 |
| Tỷ lệ lỗi token, phát ngôn thiên về tiếng Anh, cân bằng và thiên về tiếng Yoruba | Khoảng 0,42 so với 0,65 so với 0,83 | Okocha và Grant, arXiv 2026 |
Lưu ý phương pháp: tập Anh-Yoruba có trung bình 2,60 lần chuyển mỗi phát ngôn (tối đa 9) trong 9,54 giờ âm thanh từ 100 người nói, nên đây là một bài kiểm tra áp lực, không phải một cuộc hội thoại điển hình. Bảng đầy đủ: bài báo PIER và đánh giá Anh-Yoruba có xét đến điểm chuyển.
4. Nhận Diện Ngôn Ngữ Tại Điểm Chuyển
Hầu hết các mô hình đa ngôn ngữ quyết định ngôn ngữ mình đang nghe trước khi chép lời. Với giọng nói chuyển mã, quyết định duy nhất đó sai ngay từ thiết kế đối với một phần của mỗi câu. Trong các cuộc hội thoại song ngữ Ấn Độ thực tế, một đoạn một ngôn ngữ kéo dài trung bình khoảng 500 mili giây, và nhiều lượt nói chỉ là một từ dài khoảng 200 mili giây (Baghel và cộng sự, tổng kết DISPLACE 2023). Phân đoạn ngôn ngữ (gán nhãn ai nói ngôn ngữ nào vào lúc nào, tương ứng về ngôn ngữ của phân đoạn người nói) cũng gặp khó khăn tương ứng, và sự nhầm lẫn giữa các ngôn ngữ là thành phần lỗi lớn nhất.
Điểm yếu tương tự thể hiện qua độ nhạy với gợi ý. Cho Whisper biết ngôn ngữ cần đoán có thể làm kết quả chênh lệch hàng chục điểm, và để nó tự phát hiện ngôn ngữ còn tệ hơn việc cố định ngôn ngữ trên tập Anh-Yoruba. Hệ chữ viết cũng quan trọng: trên CS-FLEURS, các cặp được viết bằng hai hệ chữ khác nhau có CER trung bình cao gấp 3 lần so với các cặp dùng chung một hệ chữ, một vấn đề liên quan đến các vấn đề biểu diễn xuyên ngôn ngữ được đề cập trong thống kê về embedding giọng nói đa ngôn ngữ của chúng tôi.
| Chỉ số | Giá trị | Nguồn |
|---|---|---|
| Tỷ lệ lỗi phân đoạn ngôn ngữ DISPLACE 2023, đánh giá Giai đoạn 2: mô hình cơ sở (B2) và đội tốt nhất | 41,67% so với 37,60% | Baghel và cộng sự, tổng kết cuộc thi DISPLACE 2023 |
| Thành phần lỗi nhầm lẫn của mô hình cơ sở (B2), đánh giá Giai đoạn 2 | 26,40% (thành phần lớn nhất) | Baghel và cộng sự, tổng kết cuộc thi DISPLACE 2023 |
| Kho ngữ liệu DISPLACE 2023: tổng số giờ và ngôn ngữ | 32 giờ; bảy ngôn ngữ (sáu ngôn ngữ Ấn Độ cộng tiếng Anh Ấn Độ) | Baghel và cộng sự, tổng kết cuộc thi DISPLACE 2023 |
| MER của Whisper-small chưa tinh chỉnh trên tập phát triển SEAME DevSge: được gợi ý tiếng Quan Thoại và được gợi ý tiếng Anh | 157,5% so với 83,6% | Yang và cộng sự, Whisper trên SEAME và ASRU 2019 (2023) |
| Whisper-large-v3 trên Anh-Yoruba: WER với tự động phát hiện ngôn ngữ và với gợi ý cố định | 74,8% so với 71,2% | Okocha và Grant, arXiv 2026 |
| Lỗi tại điểm chuyển (PIER) của Whisper-large-v3 trên phần kiểm tra SEAME.sge: giải mã không phụ thuộc ngôn ngữ và giải mã ép sang tiếng Anh | 64,51% so với 36,10% | Ugan và cộng sự, bài báo PIER, ICASSP 2025 |
| CER của Whisper-Large-v3 trên giọng đọc CS-FLEURS: cặp cùng hệ chữ và cặp khác hệ chữ | 7,32% so với 32,33% | Yan và cộng sự, CS-FLEURS, Interspeech 2025 |
Ghi chú bối cảnh: bản tổng kết DISPLACE cũng báo cáo một điểm số khoan dung (DER**, 34,72% cho mô hình cơ sở ở Giai đoạn 2) áp dụng dung sai 250 ms, loại các từ nước ngoài ngắn từ 500 ms trở xuống khỏi việc đánh giá. Các tác giả bài báo kết luận rằng lỗi chính đến từ thời lượng ngắn của các đoạn pha trộn mã. Nguồn: tổng kết cuộc thi DISPLACE 2023.
5. Sự Khan Hiếm Dữ Liệu: Có Bao Nhiêu Giờ Giọng Nói Chuyển Mã
Sự thiếu hụt là nguyên nhân gốc đằng sau các phần 1 đến 4. Kho ngữ liệu Quan Thoại-Anh lớn nhất trong bảng so sánh của CS-Dialogue, TALCS, có 587 giờ; Whisper được huấn luyện trên 680.000 giờ âm thanh, nên TALCS tương đương khoảng 0,09% con số đó (587 / 680.000 = 0,086%). Hầu hết các kho ngữ liệu chuyển mã nhỏ hơn nhiều, chỉ bao phủ một cặp ngôn ngữ, và nhiều kho không thể tải về được.
Ngay cả bộ chuẩn mà ai cũng trích dẫn cũng khó xác định: SEAME xuất hiện với 192 giờ trong danh mục của Linguistic Data Consortium nhưng chỉ 30 giờ trong một bảng so sánh năm 2025 (xem lưu ý về dữ liệu trong phần phương pháp luận). Độ phủ từ vựng là khoảng trống thứ hai: trong MUCS 2021, tỷ lệ từ ngoài từ vựng (phần trăm từ kiểm tra không có trong từ vựng huấn luyện) đạt 27,3% trên tập kiểm tra ẩn Bengal-Anh.
| Chỉ số | Giá trị | Nguồn |
|---|---|---|
| Kho ngữ liệu Quan Thoại-Anh SEAME (Singapore và Malaysia): số giờ và người nói | Khoảng 192 giờ; 156 người nói tuổi từ 19 đến 33 | Linguistic Data Consortium, SEAME LDC2015S04 (2015) |
| Dữ liệu huấn luyện chuyển mã MUCS 2021: Hindi-Anh và Bengal-Anh | 89,86 giờ so với 46,11 giờ | Diwan và cộng sự, cuộc thi MUCS 2021 |
| Tỷ lệ từ ngoài từ vựng MUCS 2021, kiểm tra ẩn: Hindi-Anh và Bengal-Anh | 19,6% so với 27,3% | Diwan và cộng sự, cuộc thi MUCS 2021 |
| Dữ liệu cuộc thi ASRU 2019: huấn luyện chỉ tiếng Quan Thoại, huấn luyện chuyển mã và phát triển chuyển mã | 500 so với 200 so với 40 giờ | Shi và cộng sự, báo cáo cuộc thi ASRU 2019 (2020) |
| Kho ngữ liệu Quan Thoại-Anh tự phát: ASCEND, CS-Dialogue và TALCS | 10,62 giờ (23 người nói) so với 104,02 giờ (200 người nói) so với 587 giờ | Zhou và cộng sự, CS-Dialogue 2025 (bảng so sánh) |
| CS-FLEURS: ngôn ngữ, cặp chuyển mã, tổng số giờ | 52 ngôn ngữ, 113 cặp, 294 giờ | Yan và cộng sự, CS-FLEURS, Interspeech 2025 |
| Quy mô bộ chuẩn Hàn-Anh HiKE | 1.121 phát ngôn, khoảng 2,2 giờ, 13 người nói | Paik và cộng sự, bộ chuẩn HiKE 2026 |
| Kho ngữ liệu chuyển mã được giới thiệu trong tài liệu NLP: tổng số và không công khai | 114 so với 72 (63%) | Winata và cộng sự, ACL Findings 2023 |
Cảnh báo về độ mới: các số liệu về SEAME, MUCS và khảo sát kho ngữ liệu là dữ liệu mới nhất hiện có (LDC 2015, MUCS 2021, Winata và cộng sự 2023). Cũng lưu ý rằng 128 trong số 294 giờ của CS-FLEURS là tập huấn luyện gồm giọng nói tổng hợp tạo ra bằng chuyển văn bản thành giọng nói, và phần lớn các tập kiểm tra cũng là tổng hợp; chỉ tập kiểm tra READ dài 17 giờ dùng giọng song ngữ thật. Nguồn: mục danh mục LDC SEAME, khảo sát của Winata và cộng sự, bài báo Whisper.
6. Kết Quả Tinh Chỉnh và Thích Nghi
Một lượng nhỏ dữ liệu chuyển mã đúng miền đã đi rất xa. Tinh chỉnh Whisper-Medium trên giọng nói Hàn-Anh tự nhiên đã giảm tỷ lệ lỗi hỗn hợp HiKE từ 31,3 xuống 9,0, giảm 22,3 điểm, và Whisper-small trên SEAME giảm từ 101,9 xuống 14,3 MER trên tập phát triển DevMan với cùng gợi ý. Nhóm Yang và cộng sự báo cáo rằng mức cải thiện trên SEAME bão hòa sau khoảng 1 đến 10 giờ dữ liệu thích nghi.
Tuy nhiên có một sự đánh đổi. Chính việc tinh chỉnh HiKE đó đã nâng CER tiếng Hàn đơn ngữ từ 3,4 lên 6,0, nên một mô hình được điều chỉnh cho giọng nói pha trộn có thể mất độ chính xác trên giọng nói một ngôn ngữ. Quy mô vẫn thắng việc tinh chỉnh: một Conformer nội bộ huấn luyện trên hơn 40.000 giờ vượt Whisper-small đã tinh chỉnh khoảng 18% trên SEAME (Yang và cộng sự, 2023).
| Chỉ số | Giá trị | Nguồn |
|---|---|---|
| Whisper-Medium trên HiKE: MER trước và sau khi tinh chỉnh trên giọng nói Hàn-Anh tự nhiên | 31,3 so với 9,0 | Paik và cộng sự, bộ chuẩn HiKE 2026 |
| Cùng lần tinh chỉnh: CER tiếng Hàn đơn ngữ, trước và sau | 3,4 so với 6,0 | Paik và cộng sự, bộ chuẩn HiKE 2026 |
| Whisper-small trên SEAME, gợi ý tiếng Anh: MER chưa tinh chỉnh và đã tinh chỉnh, tập phát triển DevMan và tập phát triển DevSge | 101,9 so với 14,3; 83,6 so với 20,4 | Yang và cộng sự, Whisper trên SEAME và ASRU 2019 (2023) |
| Lượng dữ liệu thích nghi tại đó mức cải thiện trên SEAME bão hòa | Khoảng 1 đến 10 giờ | Yang và cộng sự, Whisper trên SEAME và ASRU 2019 (2023) |
| Whisper-Medium trên CS-Dialogue: MER chưa tinh chỉnh và đã tinh chỉnh | 15,88% so với 7,53% (giảm tương đối 52,6%) | Zhou và cộng sự, CS-Dialogue 2025 |
| Bài kiểm tra đọc CS-FLEURS, các cặp ngôn ngữ đã thấy: tỷ lệ lỗi không có và có tăng cường chuyển mã tổng hợp | 31,77 so với 26,24 | Yan và cộng sự, CS-FLEURS, Interspeech 2025 |
Ghi chú tính toán: mức giảm tương đối trên CS-Dialogue là (15,88 - 7,53) / 15,88 = 52,6%. Tinh chỉnh không phải lúc nào cũng giúp ích: trong bài báo PIER, Whisper-small tinh chỉnh trên SEAME tăng từ 68,24 lên 87,67 MER trên phần kiểm tra SEAME.sge. Nguồn: Yang và cộng sự 2023.
7. Chuyển Mã Phổ Biến Đến Mức Nào Ở Người Nói Song Ngữ
Các hệ thống nhận dạng coi chuyển mã là trường hợp ngoại lệ; dữ liệu khảo sát cho thấy đó là lời nói hằng ngày. 63% người trưởng thành gốc Latinh ở Mỹ cho biết họ dùng Spanglish ít nhất đôi khi, và 40% cho biết họ dùng thường xuyên (Pew Research Center 2023, khảo sát 3.029 người trưởng thành gốc Tây Ban Nha thực hiện từ ngày 1 đến ngày 14 tháng 8 năm 2022). Ở nhóm người gốc Latinh song ngữ, tỷ lệ này tăng lên 77%, và 52% trong số họ dùng Spanglish rất thường xuyên hoặc cực kỳ thường xuyên. Đối với một bộ nhận dạng giọng nói, điều đó có nghĩa ngôn ngữ pha trộn là đầu vào bình thường của một nhóm người dùng lớn, không phải ngoại lệ hiếm gặp.
Dữ liệu văn bản cho thấy điều tương tự ở quy mô lớn. Trong khoảng 50 triệu tweet bằng bảy ngôn ngữ (Hà Lan, Anh, Pháp, Đức, Bồ Đào Nha, Tây Ban Nha và Thổ Nhĩ Kỳ), khoảng 3,5% có chuyển mã, với tiếng Anh xuất hiện trong 85,4% số đó. Sự chú ý nghiên cứu đi theo các cộng đồng song ngữ lớn nhất: Hindi-Anh và Tây Ban Nha-Anh chiếm ưu thế trong tài liệu, và hầu hết các bài báo tại ISCA, diễn đàn chính của nghiên cứu giọng nói, làm việc với dữ liệu giọng nói.
| Chỉ số | Giá trị | Nguồn |
|---|---|---|
| Người trưởng thành gốc Latinh ở Mỹ dùng Spanglish ít nhất đôi khi và thường xuyên | 63% so với 40% | Pew Research Center, Latinos’ Views of and Experiences With the Spanish Language (2023) |
| Dùng Spanglish ít nhất đôi khi: người gốc Latinh song ngữ, thiên về tiếng Anh và thiên về tiếng Tây Ban Nha | 77% so với 54% so với 56% | Pew Research Center (2023) |
| Dùng Spanglish ít nhất đôi khi: thế hệ thứ hai và thế hệ thứ ba trở lên | 72% so với 45% | Pew Research Center (2023) |
| Phụ huynh song ngữ cho biết có trộn lẫn các ngôn ngữ với con | 90% trong 181 phụ huynh | Đại học Concordia, nghiên cứu của Byers-Heinlein (2013) |
| Tỷ lệ chuyển mã trong khoảng 50 triệu tweet bằng bảy ngôn ngữ | Khoảng 3,5% | Rijhwani và cộng sự, ACL 2017 |
| Các cặp pha trộn nhiều nhất theo tỷ lệ tweet chuyển mã: Anh-Tây Ban Nha, Anh-Pháp, Anh-Bồ Đào Nha | 21,5%, 20,8%, 18,4% | Rijhwani và cộng sự, ACL 2017 |
| Thành phố có tỷ lệ tweet chuyển mã cao nhất và thấp nhất | Istanbul 12% so với Houston 1% | Rijhwani và cộng sự, ACL 2017 |
| Bài báo nghiên cứu chuyển mã theo cặp ngôn ngữ: Hindi-Anh, Tây Ban Nha-Anh và Trung-Anh | 128 so với 86 so với 47 | Winata và cộng sự, ACL Findings 2023 |
Cảnh báo về độ mới: nghiên cứu về phụ huynh (2013) và phân tích Twitter (2017) là dữ liệu mới nhất hiện có cho các phép đo đó; số liệu của Pew đến từ khảo sát năm 2022. Nguồn: báo cáo của Pew Research Center, Rijhwani và cộng sự 2017, thông cáo báo chí về nghiên cứu của Concordia.
Tổng kết: Nhận Dạng Giọng Nói Chuyển Mã qua các Con số
| Chỉ số | Giá trị | Nguồn |
|---|---|---|
| Whisper-Large: MER Hàn-Anh chuyển mã và WER tiếng Anh đơn ngữ | 26,1% so với 4,4% | Paik và cộng sự, bộ chuẩn HiKE 2026 |
| CER trên CS-FLEURS chuyển mã và FLEURS đơn ngữ | Cao gấp hơn 2 lần | Yan và cộng sự, CS-FLEURS, Interspeech 2025 |
| Hệ thống thắng cuộc ASRU 2019: CER tiếng Quan Thoại và WER tiếng Anh được chèn | 4,04% so với 12,33% | Shi và cộng sự, báo cáo cuộc thi ASRU 2019 (2020) |
| MER mô hình cơ sở tốt nhất trên hội thoại tự phát ASCEND | 27,05% | Lovenia và cộng sự, kho ngữ liệu ASCEND (2021) |
| MER CS-Dialogue: SenseVoice-Small và Whisper Large-V2 | 6,71% so với 15,29% | Zhou và cộng sự, CS-Dialogue 2025 |
| WER mô hình cơ sở đầu-cuối MUCS 2021: Hindi-Anh và Bengal-Anh | 25,9% so với 31,0% | Diwan và cộng sự, cuộc thi MUCS 2021 |
| Whisper-large tinh chỉnh trên Fisher: thay đổi WER và thay đổi lỗi tại điểm chuyển | Tốt hơn 5,06% so với tệ hơn 39,47% | Ugan và cộng sự, bài báo PIER, ICASSP 2025 |
| Lỗi sau khi chuyển sang tiếng Yoruba và sang tiếng Anh | 0,95 đến 1,00 so với 0,40 đến 0,53 | Okocha và Grant, arXiv 2026 |
| Đoạn ngôn ngữ trung bình trong hội thoại song ngữ Ấn Độ | Khoảng 500 ms | Baghel và cộng sự, tổng kết cuộc thi DISPLACE 2023 |
| Tỷ lệ lỗi phân đoạn ngôn ngữ tốt nhất, DISPLACE 2023 | 37,60% | Baghel và cộng sự, tổng kết cuộc thi DISPLACE 2023 |
| CER CS-FLEURS giọng đọc: cặp cùng hệ chữ và cặp khác hệ chữ | 7,32% so với 32,33% | Yan và cộng sự, CS-FLEURS, Interspeech 2025 |
| Kho ngữ liệu Quan Thoại-Anh lớn nhất được liệt kê (TALCS) và dữ liệu huấn luyện của Whisper | 587 giờ so với 680.000 giờ | Zhou và cộng sự, CS-Dialogue 2025; Radford và cộng sự, OpenAI 2022 |
| Quy mô kho ngữ liệu SEAME | Khoảng 192 giờ, 156 người nói | Linguistic Data Consortium, LDC2015S04 |
| Tỷ lệ không công khai của các kho ngữ liệu chuyển mã | 72 trong 114 (63%) | Winata và cộng sự, ACL Findings 2023 |
| Người trưởng thành gốc Latinh ở Mỹ dùng Spanglish ít nhất đôi khi | 63% | Pew Research Center (2023) |
| Tỷ lệ tweet chuyển mã bằng bảy ngôn ngữ | Khoảng 3,5% | Rijhwani và cộng sự, ACL 2017 |
Phương pháp luận và Nguồn
- Paik và cộng sự, HiKE: Hierarchical Evaluation Framework for Korean-English Code-Switching Speech Recognition, arXiv v4, ngày 13 tháng 1 năm 2026: arxiv.org/html/2509.24613v4
- Yan và cộng sự, CS-FLEURS: A Massively Multilingual and Code-Switched Speech Dataset, Interspeech 2025: arxiv.org/abs/2509.14161v1
- Okocha và Grant, Beyond Word Error Rate: A Switch Aware Evaluation of ASR and Audio Language Models on English Yoruba Code-Switched Speech, arXiv, ngày 10 tháng 9 năm 2026: arxiv.org/abs/2609.11786
- Ugan, Pham, Barmann và Waibel, PIER: A Novel Metric for Evaluating What Matters in Code-Switching, ICASSP 2025: arxiv.org/html/2501.09512
- Zhou và cộng sự, CS-Dialogue: A 104-Hour Dataset of Spontaneous Mandarin-English Code-Switching Dialogues for Speech Recognition, arXiv v2, ngày 12 tháng 3 năm 2025: arxiv.org/html/2502.18913v2
- Shi, Feng và Xie, The ASRU 2019 Mandarin-English Code-Switching Speech Recognition Challenge: Open Datasets, Tracks, Methods and Results, 2020: arxiv.org/abs/2007.05916
- Diwan và cộng sự, Multilingual and code-switching ASR challenges for low resource Indian languages (MUCS 2021), 2021: arxiv.org/abs/2104.00235
- Lovenia và cộng sự, ASCEND: A Spontaneous Chinese-English Dataset for Code-switching in Multi-turn Conversation, 2021: arxiv.org/abs/2112.06223v4
- Yang, Peng, Zhong, Huang và Chng, Adapting OpenAI’s Whisper for Speech Recognition on Code-Switch Mandarin-English SEAME and ASRU2019 Datasets, ngày 29 tháng 11 năm 2023: arxiv.org/html/2311.17382v1
- Baghel và cộng sự, Summary of the DISPLACE Challenge 2023, sửa đổi ngày 3 tháng 1 năm 2024: arxiv.org/abs/2311.12564
- Linguistic Data Consortium, mục danh mục SEAME LDC2015S04, phát hành ngày 15 tháng 4 năm 2015: catalog.ldc.upenn.edu/LDC2015S04
- Winata, Aji, Yong và Solorio, The Decades Progress on Code-Switching Research in NLP, ACL Findings 2023: arxiv.org/abs/2212.09660
- Radford và cộng sự (OpenAI), Robust Speech Recognition via Large-Scale Weak Supervision, 2022: arxiv.org/abs/2212.04356
- Pew Research Center, Latinos’ Views of and Experiences With the Spanish Language, ngày 20 tháng 9 năm 2023: pewresearch.org
- Rijhwani và cộng sự, Estimating Code-Switching on Twitter with a Novel Generalized Word-Level Language Detection Technique, ACL 2017: aclanthology.org/P17-1180
- Đại học Concordia, nghiên cứu của Byers-Heinlein trên 181 phụ huynh song ngữ, thông cáo báo chí ngày 16 tháng 1 năm 2013: sciencedaily.com
- Lưu ý về dữ liệu: quy mô của SEAME khác nhau tùy nguồn: danh mục LDC liệt kê khoảng 192 giờ và 156 người nói, bảng so sánh của CS-Dialogue liệt kê 30 giờ và 157 người nói (chính văn bản của nó ghi 92 người nói), và Yang và cộng sự dùng tập huấn luyện 93,6 giờ, nên các con số có thể mô tả những tập con khác nhau. Phần tóm tắt MUCS 2021 trích dẫn WER cơ sở chuyển mã 32,45%, khớp với mức trung bình đầu-cuối chưa căn chỉnh lại chứ không phải kết quả đã căn chỉnh lại được trích dẫn ở đây, và tổng số khoảng 600 giờ mà nó nêu không khớp với tổng các bảng của chính nó. Phần tóm tắt ASRU 2019 nói 240 giờ dữ liệu chuyển mã, tức là 200 giờ huấn luyện cộng 40 giờ phát triển. Các số liệu HiKE thay đổi giữa các phiên bản arXiv (MER tổng thể của Whisper-Tiny là 103,8 ở v2, 93,6 ở v4); chúng tôi trích dẫn v4. Bài báo Anh-Yoruba được đăng ngày 10 tháng 9 năm 2026 và các con số có thể thay đổi sau bình duyệt đồng cấp. MER, CER, WER và PIER có thể vượt 100% vì các phần chèn thêm được tính là lỗi. Các số liệu về mức độ phổ biến đo những thứ khác nhau (lời nói tự báo cáo, lời nói do phụ huynh báo cáo, tweet viết) và không nên gộp lại.
- Cập nhật lần cuối: ngày 31 tháng 10 năm 2026. Chúng tôi cập nhật bài tổng hợp này hàng quý, và lần làm mới tiếp theo dự kiến diễn ra khi các bài báo về chuyển mã của Interspeech 2026 và ICASSP 2027 cùng phiên bản cuối cùng đã qua bình duyệt đồng cấp của bộ chuẩn HiKE được công bố.