한국어-영어 HiKE 벤치마크에서 Whisper-Large는 코드 스위칭 음성의 26.1%에서 오류를 냈고, 단일 언어 영어에서는 4.4%, 단일 언어 한국어에서는 3.2%였다(Paik 외, HiKE 벤치마크 2026). 같은 모델의 영어 오류율과 비교하면 대략 여섯 배(26.1 / 4.4 = 5.9)다. 이 패턴은 언어 쌍을 가리지 않고 반복된다. CS-FLEURS 저자들은 코드 스위칭 녹음의 문자 오류율이 단일 언어 FLEURS보다 2배 넘게 높다고 측정했고(Yan 외, Interspeech 2025), ASRU 2019 중국어-영어 챌린지에서는 우승 시스템도 삽입된 영어 단어의 12.33%에서 틀렸으며 중국어 문자에서는 4.04%였다(Shi 외, ASRU 2019 챌린지 보고서). 코드 스위칭(한 대화, 한 문장, 심지어 한 단어 안에서 두 언어를 오가는 것)은 저희 이중 언어 사용과 다언어 가정에 관한 정리에서 다룬 많은 사람에게 일상적인 행동이지만, 인식 시스템은 여전히 한 번에 한 언어로 조정되고 순위가 매겨지며, 이는 단일 언어 벤치마크에서 측정되는 억양 격차와 비슷한 상황이다. 저희는 Linguistic Data Consortium의 SEAME 코퍼스, MUCS 2021과 ASRU 2019 챌린지, CS-FLEURS, HiKE, CS-Dialogue, ASCEND, PIER 지표 논문, DISPLACE 2023 챌린지, Pew Research Center, 그리고 코드 스위칭 연구에 관한 ACL 서베이 논문의 데이터를 종합했다.
본문 전체에서 쓰는 용어에 대한 설명: ‘매트릭스’ 언어는 문장의 주된 언어이고, ‘삽입’ 언어는 전환되어 들어오는 언어이며, ‘전환 지점’은 언어가 바뀌는 정확한 단어다.
요약
- Whisper-Large: 한국어-영어 코드 스위칭 음성에서 혼합 오류율 26.1%, 단일 언어 영어에서는 WER 4.4%(Paik 외, HiKE 2026).
- 코드 스위칭 CS-FLEURS 세트의 CER은 단일 언어 FLEURS보다 2배 넘게 높다(Yan 외, Interspeech 2025).
- ASRU 2019 최고 시스템: 같은 혼합 문장 안에서 중국어 CER은 4.04%이지만 영어 WER은 12.33%(Shi 외, ASRU 2019).
- 요루바어로 전환한 직후 토큰의 오류: ASR 시스템과 오디오 언어 모델 전반에서 0.95에서 1.00(Okocha와 Grant, arXiv 2026).
- 파인튜닝으로 스페인어-영어에서 Whisper-large의 WER은 5.06% 개선되었으나 전환 지점 오류(PIER)는 39.47% 나빠졌다(Ugan 외, ICASSP 2025).
- 인도 이중 언어 대화의 한 언어 구간 평균 길이: 약 500 ms, 다수는 약 200 ms에 불과(Baghel 외, DISPLACE 2023).
- SEAME 개발 세트 DevSge에서 Whisper-small 제로샷: 중국어를 기대하도록 지시하면 MER 157.5%, 영어로 지시하면 83.6%(Yang 외, 2023).
- 나열된 가장 큰 중국어-영어 코퍼스인 TALCS는 587시간으로, Whisper 학습 시간 680,000시간의 약 0.09%다(Zhou 외, CS-Dialogue 2025; Radford 외, OpenAI 2022).
- NLP 문헌에 소개된 코드 스위칭 코퍼스 114개 중 72개는 비공개다(Winata 외, ACL Findings 2023).
- 미국 라틴계 성인의 63%가 적어도 가끔 Spanglish를 쓰며, 이중 언어를 쓰는 라틴계에서는 77%다(Pew Research Center 2023).
- 7개 언어의 50백만 개 트윗 중 약 3.5%가 코드 스위칭이었다(Rijhwani 외, ACL 2017).
1. 코드 스위칭의 대가: 혼합 오류율과 단일 언어 오류율
핵심 결과는 같은 모델을 두 종류의 음성에서 모두 돌린 모든 벤치마크에서 일관된다. 두 언어가 한 문장을 공유하는 순간 오류율이 몇 배로 뛴다. HiKE에서 Whisper-Large의 코드 스위칭 오류율은 영어 WER의 5.9배(26.1 / 4.4), 한국어 CER의 8.2배(26.1 / 3.2)였다. HiKE는 같은 모델의 단일 언어 FLEURS 점수를 코드 스위칭 결과와 나란히 보고하기 때문에 가장 깔끔한 비교다. 해당 표에서 가장 강력한 시스템인 GPT-4o-transcribe도 영어 WER 3.3%에서 혼합 음성 MER 21.8%로 올라갔다.
격차는 대칭적이지 않다. 혼합 문장에서는 삽입 언어가 가장 크게 피해를 입는다. ASRU 2019 우승 시스템은 영어가 각 문장에서 일부만 차지했음에도(평균 중국어 문자 8.6자에 영어 단어 1.6개) 영어 단어에서 중국어 문자보다 약 세 배 많은 오류를 냈다(12.33 / 4.04 = 3.05). 영어-요루바어 평가에서는 불균형이 극단적이어서, 자원이 더 적은 언어에서 사실상 전면적인 실패가 나타난다.
| 지표 | 값 | 출처 |
|---|---|---|
| Whisper-Large, 한국어-영어 코드 스위칭(혼합 오류율) 대 단일 언어 영어 WER 대 단일 언어 한국어 CER | 26.1% 대 4.4% 대 3.2% | Paik 외, HiKE 벤치마크 2026 |
| GPT-4o-transcribe, 한국어-영어 코드 스위칭(혼합 오류율) 대 단일 언어 영어 WER | 21.8% 대 3.3% | Paik 외, HiKE 벤치마크 2026 |
| 코드 스위칭 CS-FLEURS 대 원래 단일 언어 FLEURS의 문자 오류율 | 2배 넘게 높음 | Yan 외, CS-FLEURS, Interspeech 2025 |
| ASRU 2019 최고 시스템(트랙 1): 같은 코드 스위칭 문장에서 중국어 CER 대 영어 WER | 4.04% 대 12.33% | Shi 외, ASRU 2019 챌린지 보고서(2020) |
| Whisper-large-v3 WER: 단일 언어 영어 TED 강연 대 스페인어-영어 Fisher 대 이집트 아랍어-영어 ArzEn | 6.07% 대 29.43% 대 52.80% | Ugan 외, PIER 논문, ICASSP 2025 |
| 영어-요루바어 테스트 세트: 영어 토큰 대 요루바어 토큰의 오류율(번역하지 않고 원문 그대로 전사한 8개 시스템) | 33%에서 46% 대 최소 96.6% | Okocha와 Grant, arXiv 2026 |
맥락 참고: Ugan 외의 행은 서로 다른 데이터셋(강연 영어 대 전화 대화 음성)을 비교하므로, 그 격차의 일부는 전환만이 아니라 녹음 조건을 반영한다. HiKE와 CS-FLEURS 행은 모델을 고정한다. 전체 수치: HiKE 논문과 CS-FLEURS 논문.
2. 혼합 오류율(MER) 벤치마크: 이 분야의 현주소
혼합 오류율이 존재하는 이유는 중국어와 영어에 걸쳐 공통된 단일 ‘단어’가 없기 때문이다. MER은 문자 기반 언어(중국어, 한국어)는 문자 단위로, 영어는 단어 단위로 오류를 세어 하나의 비율로 합친다. 그래서 MER은 코드 스위칭 논문의 공용 통화가 되지만 어느 언어가 실패하는지를 가리기도 하며, 더 나은 논문이 CER과 WER을 따로 싣는 이유가 여기에 있다.
벤치마크를 가로질러 보면 숫자가 크게 벌어진다. 우승 시스템은 ASRU 2019 중국어-영어 테스트에서 MER 4.94%를 기록했지만, 자연 발화 ASCEND 대화에서 최고 베이스라인은 27.05%였다. 같은 언어 쌍도 녹음 방식과 학습량에 따라 거의 해결된 것처럼 보이기도 하고 심하게 망가진 것처럼 보이기도 한다. ASRU 2019는 코드 스위칭 학습 오디오를 200시간 제공했지만, ASCEND는 자연 발화 대화를 10.62시간만 제공했다. 기성 모델 중에서는 SenseVoice-Small이 CS-Dialogue에서 MER 6.71%에 도달했고 Whisper Large-V2는 15.29%였다.
| 지표 | 값 | 출처 |
|---|---|---|
| 최고 혼합 오류율, ASRU 2019 중국어-영어, 트랙 1(기존 방식 ASR, 고정 언어 모델) 대 트랙 3(엔드투엔드 ASR) | 4.94% 대 5.91% | Shi 외, ASRU 2019 챌린지 보고서(2020) |
| 자연 발화 홍콩 대화 ASCEND의 최고 베이스라인: CER 대 MER | 22.69% 대 27.05% | Lovenia 외, ASCEND 코퍼스(2021) |
| CS-Dialogue 테스트 세트, 사전 학습 모델(MER): SenseVoice-Small 대 Paraformer 대 Qwen2-Audio 대 Whisper Large-V2 | 6.71% 대 9.65% 대 9.76% 대 15.29% | Zhou 외, CS-Dialogue 2025 |
| CS-Dialogue, 처음부터 학습한 Conformer: 중국어 CER 대 영어 WER 대 MER | 15.45% 대 32.36% 대 18.91% | Zhou 외, CS-Dialogue 2025 |
| MUCS 2021 엔드투엔드 베이스라인의 테스트 세트 WER: 힌디어-영어 대 벵골어-영어 | 25.9% 대 31.0% | Diwan 외, MUCS 2021 챌린지(Interspeech 2021) |
이상치 참고: CS-Dialogue Conformer 행은 같은 테스트 세트에서 영어 WER이 중국어 CER의 두 배를 넘어, 삽입 언어 문제를 다시 보여준다. ASRU 2019, ASCEND(2021), MUCS 2021 행은 입수 가능한 최신 데이터이며, 저자들이 현재 모델로 다시 실행한 적이 없다. 출처: ASRU 2019 챌린지 보고서, CS-Dialogue, MUCS 2021.
3. 전환 지점 실패: 전체 오류율이 가리는 것
전사문은 전체적으로 좋은 점수를 받으면서도 모든 전환을 틀릴 수 있다. 전환된 단어가 전체에서 차지하는 비중이 작기 때문이다. PIER(Point-of-Interest Error Rate)는 언어가 바뀌는 단어에서만 정확도를 측정하도록 만들어졌고, 그 결과는 불편하다. 파인튜닝 후 Whisper-large는 스페인어-영어 Fisher에서 전체 WER을 상대적으로 5.06% 개선했지만 전환 지점 오류는 39.47% 상승했다. 다시 말해, 일반적인 리더보드 지표는 실제 코드 스위칭에서는 오히려 나빠진 모델에 보상을 준 셈이다.
방향도 중요하다. 영어-요루바어 세트에서 시스템은 영어로 되돌아가는 전환은 그럭저럭 처리했지만 요루바어로의 전환에서는 무너졌다. 전환이 촘촘해질수록 가장 강한 시스템들의 오류율도 올라갔고, 한 단어 안에서의 전환(한 언어의 어간에 다른 언어의 접사가 붙는 경우)이 가장 어려웠다. 삽입도 오류로 세기 때문에 일부 오류율은 100%를 넘는다. 요루바어 세트에서는 생성형 오디오 모델 세 개가 텍스트를 과도하게 생성했는데, 이런 실패 양상은 저희 음성 인식 환각에 관한 정리에서 다룬다.
| 지표 | 값 | 출처 |
|---|---|---|
| 스페인어-영어 Fisher에서 파인튜닝한 Whisper-large: 전체 WER 변화 대 전환 지점 오류(PIER) 변화 | 5.06% 개선 대 39.47% 악화(상대) | Ugan 외, PIER 논문, ICASSP 2025 |
| Fisher에서 파인튜닝한 Whisper-large: WER 대 PIER | 27.94% 대 50.78% | Ugan 외, PIER 논문, ICASSP 2025 |
| 아랍어-영어 ArzEn에서 Whisper-large: 단어 사이 대 단어 안의 전환 지점 오류 | 49.50% 대 105.71% | Ugan 외, PIER 논문, ICASSP 2025 |
| 전환 직후 첫 토큰의 오류: 영어에서 요루바어로 대 요루바어에서 영어로 | 0.95에서 1.00 대 0.40에서 0.53 | Okocha와 Grant, arXiv 2026 |
| 가장 강한 시스템의 평균 WER, 전환 밀도가 낮을 때 대 높을 때(영어-요루바어) | 66.9% 대 71.2% | Okocha와 Grant, arXiv 2026 |
| 토큰 오류율, 영어 우세 발화 대 균형 발화 대 요루바어 우세 발화 | 약 0.42 대 0.65 대 0.83 | Okocha와 Grant, arXiv 2026 |
방법론 주의: 영어-요루바어 세트는 화자 100명의 오디오 9.54시간에 걸쳐 발화당 평균 2.60회 전환(최대 9회)을 포함하므로, 전형적인 대화가 아니라 스트레스 테스트다. 전체 표: PIER 논문과 영어-요루바어 전환 인식 평가.
4. 전환 지점에서의 언어 식별
대부분의 다국어 모델은 전사하기 전에 어떤 언어가 들리는지 먼저 결정한다. 코드 스위칭 음성에서는 이 단일 결정이 모든 문장의 일부에서 설계상 틀리게 된다. 실제 인도 이중 언어 대화에서 한 언어가 이어지는 구간의 평균은 약 500밀리초였고, 많은 발화가 약 200밀리초짜리 단어 하나였다(Baghel 외, DISPLACE 2023 요약). 언어 다이어리제이션(누가 어떤 언어로 언제 말하는지 표시하는 작업으로, 화자 다이어리제이션의 언어 버전)도 그에 맞게 고전했으며, 언어 간 혼동이 가장 큰 오류 요소였다.
같은 약점은 프롬프트 민감도로도 나타난다. Whisper에 어떤 언어를 기대해야 하는지 알려주느냐에 따라 결과가 수십 포인트 달라질 수 있고, 영어-요루바어 세트에서는 언어를 자동으로 감지하게 하는 편이 고정하는 것보다 나빴다. 문자 체계도 중요하다. CS-FLEURS에서 서로 다른 두 문자 체계로 쓰는 언어 쌍은 하나의 문자 체계를 공유하는 쌍보다 평균 3배 높은 CER을 보였는데, 이는 저희 다국어 음성 임베딩 통계에서 다룬 언어 간 표현 문제와 관련이 있다.
| 지표 | 값 | 출처 |
|---|---|---|
| DISPLACE 2023 언어 다이어리제이션 오류율, 2단계 평가: 베이스라인(B2) 대 최고 팀 | 41.67% 대 37.60% | Baghel 외, DISPLACE 2023 챌린지 요약 |
| 베이스라인(B2)의 혼동 오류 요소, 2단계 평가 | 26.40%(가장 큰 요소) | Baghel 외, DISPLACE 2023 챌린지 요약 |
| DISPLACE 2023 코퍼스: 총 시간과 언어 | 32시간; 7개 언어(인도 언어 6개와 인도 영어) | Baghel 외, DISPLACE 2023 챌린지 요약 |
| SEAME 개발 세트 DevSge에서 Whisper-small 제로샷 MER: 중국어 프롬프트 대 영어 프롬프트 | 157.5% 대 83.6% | Yang 외, SEAME와 ASRU 2019에서의 Whisper(2023) |
| 영어-요루바어에서 Whisper-large-v3: 언어 자동 감지 대 고정 프롬프트의 WER | 74.8% 대 71.2% | Okocha와 Grant, arXiv 2026 |
| SEAME.sge 테스트 분할에서 Whisper-large-v3의 전환 지점 오류(PIER): 언어 비종속 디코딩 대 영어 강제 디코딩 | 64.51% 대 36.10% | Ugan 외, PIER 논문, ICASSP 2025 |
| 낭독 CS-FLEURS 음성에서 Whisper-Large-v3 CER: 같은 문자 체계 쌍 대 서로 다른 문자 체계 쌍 | 7.32% 대 32.33% | Yan 외, CS-FLEURS, Interspeech 2025 |
맥락 참고: DISPLACE 요약은 250 ms 허용 구간(collar)을 적용하는 관대한 점수(DER**, 2단계 베이스라인 34.72%)도 보고하는데, 이는 500 ms 이하의 짧은 외국어 단어를 평가에서 제외한다. 논문 저자들은 주된 오류가 코드 혼합 구간의 짧은 길이에서 비롯된다고 결론짓는다. 출처: DISPLACE 2023 챌린지 요약.
5. 데이터 부족: 코드 스위칭 음성은 몇 시간이나 있나
이 부족이 1절에서 4절까지의 근본 원인이다. CS-Dialogue 비교표에 있는 가장 큰 중국어-영어 코퍼스 TALCS는 587시간이고, Whisper는 680,000시간의 오디오로 학습되었으므로 TALCS는 그 약 0.09%에 해당한다(587 / 680,000 = 0.086%). 대부분의 코드 스위칭 코퍼스는 훨씬 작고, 하나의 언어 쌍만 다루며, 상당수는 아예 내려받을 수도 없다.
누구나 인용하는 벤치마크조차 정확히 짚기 어렵다. SEAME은 Linguistic Data Consortium 카탈로그에는 192시간으로 나와 있지만, 2025년의 한 비교표에서는 30시간으로 나온다(데이터 참고 사항 참조). 어휘 커버리지가 두 번째 공백이다. MUCS 2021에서 벵골어-영어 블라인드 테스트 세트의 어휘 외 단어 비율(테스트 단어 중 학습 어휘에 없는 단어의 비중)은 27.3%에 달했다.
| 지표 | 값 | 출처 |
|---|---|---|
| SEAME 중국어-영어 코퍼스(싱가포르와 말레이시아): 시간과 화자 | 약 192시간; 19세에서 33세 화자 156명 | Linguistic Data Consortium, SEAME LDC2015S04(2015) |
| MUCS 2021 코드 스위칭 학습 데이터: 힌디어-영어 대 벵골어-영어 | 89.86시간 대 46.11시간 | Diwan 외, MUCS 2021 챌린지 |
| MUCS 2021 어휘 외 단어 비율, 블라인드 테스트: 힌디어-영어 대 벵골어-영어 | 19.6% 대 27.3% | Diwan 외, MUCS 2021 챌린지 |
| ASRU 2019 챌린지 데이터: 중국어 전용 학습 대 코드 스위칭 학습 대 코드 스위칭 개발 세트 | 500 대 200 대 40시간 | Shi 외, ASRU 2019 챌린지 보고서(2020) |
| 자연 발화 중국어-영어 코퍼스: ASCEND 대 CS-Dialogue 대 TALCS | 10.62시간(화자 23명) 대 104.02시간(화자 200명) 대 587시간 | Zhou 외, CS-Dialogue 2025(비교표) |
| CS-FLEURS: 언어, 코드 스위칭 쌍, 총 시간 | 52개 언어, 113쌍, 294시간 | Yan 외, CS-FLEURS, Interspeech 2025 |
| HiKE 한국어-영어 벤치마크 규모 | 발화 1,121개, 약 2.2시간, 화자 13명 | Paik 외, HiKE 벤치마크 2026 |
| NLP 문헌에 소개된 코드 스위칭 코퍼스: 전체 대 비공개 | 114 대 72(63%) | Winata 외, ACL Findings 2023 |
최신성 표시: SEAME, MUCS, 코퍼스 서베이 수치는 입수 가능한 최신 데이터다(LDC 2015, MUCS 2021, Winata 외 2023). 또한 CS-FLEURS의 294시간 중 128시간은 음성 합성으로 생성한 합성 음성 학습 세트이고, 테스트 세트 대부분도 합성이며, 실제 이중 언어 화자의 목소리를 쓰는 것은 17시간짜리 READ 테스트 세트뿐이다. 출처: LDC SEAME 카탈로그 항목, Winata 외 서베이, Whisper 논문.
6. 파인튜닝과 적응 결과
도메인 내의 적은 코드 스위칭 데이터만으로도 효과가 크다. 자연스러운 한국어-영어 음성으로 Whisper-Medium을 파인튜닝하자 HiKE 혼합 오류율이 31.3에서 9.0으로 내려갔고, 22.3포인트 하락이다. SEAME의 Whisper-small은 같은 프롬프트에서 개발 세트 DevMan의 MER이 101.9에서 14.3으로 떨어졌다. Yang 외 팀은 SEAME에서의 개선이 대략 1시간에서 10시간의 적응 데이터에서 포화되었다고 보고했다.
하지만 맞바꿔야 하는 부분이 있다. HiKE의 같은 파인튜닝은 단일 언어 한국어 CER을 3.4에서 6.0으로 올렸으므로, 혼합 음성에 맞춘 모델은 단일 언어 음성에서 정확도를 잃을 수 있다. 그래도 규모는 튜닝을 이긴다. 40,000시간이 넘는 데이터로 학습한 사내 Conformer는 SEAME에서 파인튜닝한 Whisper-small을 약 18% 앞섰다(Yang 외, 2023).
| 지표 | 값 | 출처 |
|---|---|---|
| HiKE에서 Whisper-Medium: 자연스러운 한국어-영어 음성으로 파인튜닝하기 전 대 후의 MER | 31.3 대 9.0 | Paik 외, HiKE 벤치마크 2026 |
| 같은 파인튜닝: 단일 언어 한국어 CER 전 대 후 | 3.4 대 6.0 | Paik 외, HiKE 벤치마크 2026 |
| SEAME에서 Whisper-small, 영어 프롬프트: 제로샷 대 파인튜닝 MER, 개발 세트 DevMan과 개발 세트 DevSge | 101.9 대 14.3; 83.6 대 20.4 | Yang 외, SEAME와 ASRU 2019에서의 Whisper(2023) |
| SEAME에서 개선이 포화된 적응 데이터량 | 약 1시간에서 10시간 | Yang 외, SEAME와 ASRU 2019에서의 Whisper(2023) |
| CS-Dialogue에서 Whisper-Medium: 제로샷 대 파인튜닝 MER | 15.88% 대 7.53%(상대 52.6% 감소) | Zhou 외, CS-Dialogue 2025 |
| CS-FLEURS 낭독 테스트, 학습에 포함된 언어 쌍: 합성 코드 스위칭 증강이 없을 때 대 있을 때의 오류율 | 31.77 대 26.24 | Yan 외, CS-FLEURS, Interspeech 2025 |
계산 참고: CS-Dialogue의 상대 감소율은 (15.88 - 7.53) / 15.88 = 52.6%다. 파인튜닝이 항상 도움이 되는 것은 아니다. PIER 논문에서 SEAME으로 파인튜닝한 Whisper-small은 SEAME.sge 테스트 분할에서 MER이 68.24에서 87.67로 나빠졌다. 출처: Yang 외 2023.
7. 이중 언어 화자 사이에서 코드 스위칭은 얼마나 흔한가
인식 시스템은 코드 스위칭을 예외적인 경우로 취급하지만, 설문 데이터는 그것이 일상적인 말이라고 보여준다. 미국 라틴계 성인의 63%가 적어도 가끔은 Spanglish를 쓴다고 답했고, 40%는 자주 쓴다고 답했다(Pew Research Center 2023, 2022년 8월 1일부터 14일까지 실시한 히스패닉 성인 3,029명 조사). 이중 언어를 쓰는 라틴계에서는 비율이 77%로 오르며, 그중 52%는 Spanglish를 매우 자주 또는 극도로 자주 쓴다. 음성 인식기 입장에서 이는 혼합 언어가 드문 예외가 아니라 많은 사용자 집단의 평범한 입력이라는 뜻이다.
텍스트 데이터도 같은 사실을 대규모로 보여준다. 7개 언어(네덜란드어, 영어, 프랑스어, 독일어, 포르투갈어, 스페인어, 튀르키예어)의 약 50백만 개 트윗 중 약 3.5%가 코드 스위칭이었고, 그중 85.4%에 영어가 포함되어 있었다. 연구의 관심은 가장 큰 이중 언어 인구를 따라간다. 힌디어-영어와 스페인어-영어가 문헌을 지배하고, 음성 연구의 주요 학회인 ISCA의 논문 대부분은 음성 데이터를 다룬다.
| 지표 | 값 | 출처 |
|---|---|---|
| 적어도 가끔 Spanglish를 쓰는 미국 라틴계 성인 대 자주 쓰는 성인 | 63% 대 40% | Pew Research Center, Latinos’ Views of and Experiences With the Spanish Language(2023) |
| 적어도 가끔 Spanglish를 쓰는 비율: 이중 언어 라틴계 대 영어 우세 대 스페인어 우세 | 77% 대 54% 대 56% | Pew Research Center(2023) |
| 적어도 가끔 Spanglish를 쓰는 비율: 2세대 대 3세대 이상 | 72% 대 45% | Pew Research Center(2023) |
| 자녀와 언어를 섞어 쓴다고 보고한 이중 언어 부모 | 부모 181명 중 90% | Concordia University, Byers-Heinlein 연구(2013) |
| 7개 언어 약 50백만 개 트윗 중 코드 스위칭 비중 | 약 3.5% | Rijhwani 외, ACL 2017 |
| 코드 스위칭 트윗에서 가장 많이 섞인 쌍의 비중: 영어-스페인어, 영어-프랑스어, 영어-포르투갈어 | 21.5%, 20.8%, 18.4% | Rijhwani 외, ACL 2017 |
| 코드 스위칭 트윗 비중이 가장 높은 도시 대 가장 낮은 도시 | 이스탄불 12% 대 휴스턴 1% | Rijhwani 외, ACL 2017 |
| 언어 쌍별 코드 스위칭 연구 논문 수: 힌디어-영어 대 스페인어-영어 대 중국어-영어 | 128 대 86 대 47 | Winata 외, ACL Findings 2023 |
최신성 표시: 부모 연구(2013)와 Twitter 분석(2017)은 해당 지표에 대해 입수 가능한 최신 데이터이며, Pew의 수치는 2022년 조사에서 나온 것이다. 출처: Pew Research Center 보고서, Rijhwani 외 2017, Concordia 연구 보도자료.
숫자로 보는 코드 스위칭 음성 인식
| 지표 | 값 | 출처 |
|---|---|---|
| Whisper-Large: 한국어-영어 코드 스위칭 MER 대 단일 언어 영어 WER | 26.1% 대 4.4% | Paik 외, HiKE 벤치마크 2026 |
| 코드 스위칭 CS-FLEURS 대 단일 언어 FLEURS의 CER | 2배 넘게 높음 | Yan 외, CS-FLEURS, Interspeech 2025 |
| ASRU 2019 우승 시스템: 중국어 CER 대 삽입된 영어 WER | 4.04% 대 12.33% | Shi 외, ASRU 2019 챌린지 보고서(2020) |
| 자연 발화 ASCEND 대화의 최고 베이스라인 MER | 27.05% | Lovenia 외, ASCEND 코퍼스(2021) |
| CS-Dialogue MER: SenseVoice-Small 대 Whisper Large-V2 | 6.71% 대 15.29% | Zhou 외, CS-Dialogue 2025 |
| MUCS 2021 엔드투엔드 베이스라인 WER: 힌디어-영어 대 벵골어-영어 | 25.9% 대 31.0% | Diwan 외, MUCS 2021 챌린지 |
| Fisher에서 파인튜닝한 Whisper-large: WER 변화 대 전환 지점 오류 변화 | 5.06% 개선 대 39.47% 악화 | Ugan 외, PIER 논문, ICASSP 2025 |
| 요루바어로 전환한 뒤 대 영어로 전환한 뒤의 오류 | 0.95에서 1.00 대 0.40에서 0.53 | Okocha와 Grant, arXiv 2026 |
| 인도 이중 언어 대화의 한 언어 구간 평균 | 약 500 ms | Baghel 외, DISPLACE 2023 챌린지 요약 |
| 최고 언어 다이어리제이션 오류율, DISPLACE 2023 | 37.60% | Baghel 외, DISPLACE 2023 챌린지 요약 |
| 낭독 CS-FLEURS CER: 같은 문자 체계 쌍 대 서로 다른 문자 체계 쌍 | 7.32% 대 32.33% | Yan 외, CS-FLEURS, Interspeech 2025 |
| 나열된 가장 큰 중국어-영어 코퍼스(TALCS) 대 Whisper 학습 데이터 | 587시간 대 680,000시간 | Zhou 외, CS-Dialogue 2025; Radford 외, OpenAI 2022 |
| SEAME 코퍼스 규모 | 약 192시간, 화자 156명 | Linguistic Data Consortium, LDC2015S04 |
| 코드 스위칭 코퍼스 중 비공개 비중 | 114개 중 72개(63%) | Winata 외, ACL Findings 2023 |
| 적어도 가끔 Spanglish를 쓰는 미국 라틴계 성인 | 63% | Pew Research Center(2023) |
| 7개 언어 트윗 중 코드 스위칭 비중 | 약 3.5% | Rijhwani 외, ACL 2017 |
방법론과 출처
- Paik 외, HiKE: Hierarchical Evaluation Framework for Korean-English Code-Switching Speech Recognition, arXiv v4, 2026년 1월 13일: arxiv.org/html/2509.24613v4
- Yan 외, CS-FLEURS: A Massively Multilingual and Code-Switched Speech Dataset, Interspeech 2025: arxiv.org/abs/2509.14161v1
- Okocha와 Grant, Beyond Word Error Rate: A Switch Aware Evaluation of ASR and Audio Language Models on English Yoruba Code-Switched Speech, arXiv, 2026년 9월 10일: arxiv.org/abs/2609.11786
- Ugan, Pham, Barmann, Waibel, PIER: A Novel Metric for Evaluating What Matters in Code-Switching, ICASSP 2025: arxiv.org/html/2501.09512
- Zhou 외, CS-Dialogue: A 104-Hour Dataset of Spontaneous Mandarin-English Code-Switching Dialogues for Speech Recognition, arXiv v2, 2025년 3월 12일: arxiv.org/html/2502.18913v2
- Shi, Feng, Xie, The ASRU 2019 Mandarin-English Code-Switching Speech Recognition Challenge: Open Datasets, Tracks, Methods and Results, 2020: arxiv.org/abs/2007.05916
- Diwan 외, Multilingual and code-switching ASR challenges for low resource Indian languages (MUCS 2021), 2021: arxiv.org/abs/2104.00235
- Lovenia 외, ASCEND: A Spontaneous Chinese-English Dataset for Code-switching in Multi-turn Conversation, 2021: arxiv.org/abs/2112.06223v4
- Yang, Peng, Zhong, Huang, Chng, Adapting OpenAI’s Whisper for Speech Recognition on Code-Switch Mandarin-English SEAME and ASRU2019 Datasets, 2023년 11월 29일: arxiv.org/html/2311.17382v1
- Baghel 외, Summary of the DISPLACE Challenge 2023, 2024년 1월 3일 개정: arxiv.org/abs/2311.12564
- Linguistic Data Consortium, SEAME 카탈로그 항목 LDC2015S04, 2015년 4월 15일 공개: catalog.ldc.upenn.edu/LDC2015S04
- Winata, Aji, Yong, Solorio, The Decades Progress on Code-Switching Research in NLP, ACL Findings 2023: arxiv.org/abs/2212.09660
- Radford 외(OpenAI), Robust Speech Recognition via Large-Scale Weak Supervision, 2022: arxiv.org/abs/2212.04356
- Pew Research Center, Latinos’ Views of and Experiences With the Spanish Language, 2023년 9월 20일: pewresearch.org
- Rijhwani 외, Estimating Code-Switching on Twitter with a Novel Generalized Word-Level Language Detection Technique, ACL 2017: aclanthology.org/P17-1180
- Concordia University, 이중 언어 부모 181명을 대상으로 한 Byers-Heinlein 연구, 2013년 1월 16일 보도자료: sciencedaily.com
- 데이터 참고 사항: SEAME의 규모는 출처마다 다르다. LDC 카탈로그는 약 192시간과 화자 156명을, CS-Dialogue 비교표는 30시간과 화자 157명을(해당 논문 본문은 화자 92명이라고 한다), Yang 외는 93.6시간의 학습 세트를 사용했으므로 이 수치들은 서로 다른 부분집합을 가리키는 것으로 보인다. MUCS 2021 초록은 코드 스위칭 베이스라인 WER 32.45%를 인용하는데, 이는 본문에서 인용한 재정렬 결과가 아니라 정렬하지 않은 엔드투엔드 평균과 일치하며, 명시된 총 약 600시간도 자체 표들의 합계와 맞지 않는다. ASRU 2019 초록은 코드 스위칭 데이터가 240시간이라고 하는데, 이는 학습 200시간에 개발 40시간을 더한 값이다. HiKE의 수치는 arXiv 버전 사이에 바뀌었다(Whisper-Tiny의 전체 MER은 v2에서 103.8, v4에서 93.6). 본문은 v4를 인용한다. 영어-요루바어 논문은 2026년 9월 10일에 게재되었으며 동료 평가 이후 수치가 바뀔 수 있다. MER, CER, WER, PIER은 삽입을 오류로 세기 때문에 100%를 넘을 수 있다. 사용 비율 수치는 서로 다른 것을 측정하므로(자기 보고 발화, 부모가 보고한 발화, 글로 쓴 트윗) 합쳐서는 안 된다.
- 마지막 업데이트: 2026년 10월 31일. 저희는 이 정리를 분기마다 업데이트하며, 다음 갱신은 Interspeech 2026과 ICASSP 2027의 코드 스위칭 논문, 그리고 HiKE 벤치마크의 동료 평가를 거친 최종판이 공개될 때 이루어질 것으로 예상한다.