En el benchmark coreano-inglés HiKE, Whisper-Large cometió errores en el 26,1% del habla con alternancia de código, frente al 4,4% en inglés monolingüe y al 3,2% en coreano monolingüe (Paik et al., benchmark HiKE 2026). Eso equivale a unas seis veces la tasa de error en inglés (26,1 / 4,4 = 5,9) para el mismo modelo. El patrón se repite en otros pares de idiomas: los autores de CS-FLEURS midieron tasas de error de caracteres más de 2 veces mayores en grabaciones con alternancia de código que en FLEURS monolingüe (Yan et al., Interspeech 2025), y en el desafío ASRU 2019 de mandarín-inglés el sistema ganador aún erró el 12,33% de las palabras en inglés incrustadas frente al 4,04% de los caracteres en mandarín (Shi et al., informe del desafío ASRU 2019). La alternancia de código (pasar de un idioma a otro dentro de una misma conversación, oración o incluso palabra) es un comportamiento habitual para muchas de las personas descritas en nuestro resumen sobre bilingüismo y hogares multilingües, y aun así los sistemas de reconocimiento se siguen ajustando y clasificando un idioma a la vez, igual que las brechas de acento medidas en benchmarks de un solo idioma. Reunimos datos del corpus SEAME del Linguistic Data Consortium, de los desafíos MUCS 2021 y ASRU 2019, CS-FLEURS, HiKE, CS-Dialogue, ASCEND, del artículo de la métrica PIER, del desafío DISPLACE 2023, del Pew Research Center y de estudios de la ACL sobre investigación en alternancia de código.
Una nota sobre los términos que se usan en todo el texto: la lengua “matriz” es la lengua principal de una oración, la lengua “incrustada” es la que se introduce en la alternancia, y un “punto de alternancia” es la palabra exacta en la que cambia el idioma.
TL;DR
- Whisper-Large: 26,1% de tasa de error mixta en habla coreano-inglés con alternancia de código vs 4,4% de WER en inglés monolingüe (Paik et al., HiKE 2026).
- El CER es más de 2 veces mayor en los conjuntos CS-FLEURS con alternancia de código que en FLEURS monolingüe (Yan et al., Interspeech 2025).
- Mejor sistema de ASRU 2019: 4,04% de CER en mandarín pero 12,33% de WER en inglés dentro de las mismas oraciones mixtas (Shi et al., ASRU 2019).
- Error en los tokens inmediatamente posteriores a una alternancia al yoruba: de 0,95 a 1,00 entre sistemas de ASR y modelos de lenguaje de audio (Okocha y Grant, arXiv 2026).
- El ajuste fino mejoró el WER de Whisper-large en español-inglés en un 5,06%, mientras que el error en los puntos de alternancia (PIER) empeoró un 39,47% (Ugan et al., ICASSP 2025).
- Tramo medio de un idioma en conversaciones bilingües indias: unos 500 ms, muchos de solo unos 200 ms (Baghel et al., DISPLACE 2023).
- Whisper-small sin ajuste fino en el conjunto de desarrollo DevSge de SEAME: 157,5% de MER cuando se le indica que espere mandarín vs 83,6% cuando se le indica inglés (Yang et al., 2023).
- TALCS, el mayor corpus de mandarín-inglés listado, tiene 587 horas, cerca del 0,09% de las 680.000 horas de entrenamiento de Whisper (Zhou et al., CS-Dialogue 2025; Radford et al., OpenAI 2022).
- 72 de los 114 corpus de alternancia de código presentados en la literatura de PLN son privados (Winata et al., ACL Findings 2023).
- El 63% de los adultos latinos de EE. UU. usa spanglish al menos a veces; entre los latinos bilingües, el 77% (Pew Research Center 2023).
- Alrededor del 3,5% de 50 millones de tuits en siete idiomas tenía alternancia de código (Rijhwani et al., ACL 2017).
1. La Penalización de la Alternancia de Código: Tasas de Error Mixtas vs Monolingües
El hallazgo principal es coherente en todos los benchmarks que ejecutan el mismo modelo con ambos tipos de habla: las tasas de error se multiplican cuando dos idiomas comparten una oración. En HiKE, la tasa de error de Whisper-Large con alternancia de código fue 5,9 veces su WER en inglés (26,1 / 4,4) y 8,2 veces su CER en coreano (26,1 / 3,2). HiKE es la comparación más limpia porque informa las puntuaciones monolingües de FLEURS para los mismos modelos junto con los resultados con alternancia de código. GPT-4o-transcribe, el sistema más fuerte de esa tabla, aun así pasó de 3,3% de WER en inglés a 21,8% de MER en habla mixta.
La brecha no es simétrica. En las oraciones mixtas, la lengua incrustada sufre más: el ganador de ASRU 2019 cometió cerca de tres veces más errores en palabras en inglés que en caracteres en mandarín (12,33 / 4,04 = 3,05), aunque el inglés era solo una parte pequeña de cada oración: un promedio de 1,6 palabras en inglés frente a 8,6 caracteres chinos. En la evaluación inglés-yoruba el desequilibrio es extremo, con un fallo casi total en el idioma de menos recursos.
| Métrica | Valor | Fuente |
|---|---|---|
| Whisper-Large, coreano-inglés con alternancia de código (tasa de error mixta) vs WER en inglés monolingüe vs CER en coreano monolingüe | 26,1% vs 4,4% vs 3,2% | Paik et al., benchmark HiKE 2026 |
| GPT-4o-transcribe, coreano-inglés con alternancia de código (tasa de error mixta) vs WER en inglés monolingüe | 21,8% vs 3,3% | Paik et al., benchmark HiKE 2026 |
| Tasa de error de caracteres en CS-FLEURS con alternancia de código vs FLEURS monolingüe original | Más de 2 veces mayor | Yan et al., CS-FLEURS, Interspeech 2025 |
| Mejor sistema de ASRU 2019 (Pista 1): CER en mandarín vs WER en inglés en las mismas oraciones con alternancia de código | 4,04% vs 12,33% | Shi et al., informe del desafío ASRU 2019 (2020) |
| WER de Whisper-large-v3: charlas TED en inglés monolingüe vs Fisher español-inglés vs ArzEn árabe egipcio-inglés | 6,07% vs 29,43% vs 52,80% | Ugan et al., artículo de PIER, ICASSP 2025 |
| Conjunto de prueba inglés-yoruba: tasa de error en tokens en inglés vs tokens en yoruba (ocho sistemas fieles al habla original) | 33% a 46% vs al menos 96,6% | Okocha y Grant, arXiv 2026 |
Nota de contexto: la fila de Ugan et al. compara conjuntos de datos distintos (inglés de charlas vs habla conversacional telefónica), por lo que parte de esa brecha refleja las condiciones de grabación y no solo la alternancia. Las filas de HiKE y CS-FLEURS mantienen el modelo fijo. Cifras completas: artículo de HiKE y artículo de CS-FLEURS.
2. Benchmarks de la Tasa de Error Mixta (MER): Dónde Está el Campo
La tasa de error mixta existe porque no hay una única “palabra” válida para el mandarín y el inglés: la MER cuenta los errores por carácter en los idiomas basados en caracteres (mandarín, coreano) y por palabra en inglés, y luego los combina en una sola tasa. Eso convierte a la MER en la moneda común de los artículos sobre alternancia de código, pero también oculta qué idioma está fallando, por lo que los mejores artículos publican el CER y el WER por separado.
Al leer los distintos benchmarks, las cifras se dispersan mucho: el sistema ganador obtuvo 4,94% de MER en la prueba de mandarín-inglés de ASRU 2019, mientras que la mejor línea base en las conversaciones espontáneas de ASCEND quedó en 27,05%. El mismo par de idiomas puede parecer casi resuelto o muy deficiente según el estilo de grabación y el volumen de entrenamiento: ASRU 2019 aportó 200 horas de audio de entrenamiento con alternancia de código, ASCEND solo 10,62 horas de diálogo espontáneo. Entre los modelos listos para usar, SenseVoice-Small alcanzó 6,71% de MER en CS-Dialogue frente al 15,29% de Whisper Large-V2.
| Métrica | Valor | Fuente |
|---|---|---|
| Mejor tasa de error mixta, ASRU 2019 mandarín-inglés, Pista 1 (ASR tradicional, modelo de lenguaje fijo) vs Pista 3 (ASR de extremo a extremo) | 4,94% vs 5,91% | Shi et al., informe del desafío ASRU 2019 (2020) |
| Mejor línea base en las conversaciones espontáneas de Hong Kong de ASCEND: CER vs MER | 22,69% vs 27,05% | Lovenia et al., corpus ASCEND (2021) |
| Conjunto de prueba de CS-Dialogue, modelos preentrenados (MER): SenseVoice-Small vs Paraformer vs Qwen2-Audio vs Whisper Large-V2 | 6,71% vs 9,65% vs 9,76% vs 15,29% | Zhou et al., CS-Dialogue 2025 |
| CS-Dialogue, Conformer entrenado desde cero: CER en mandarín vs WER en inglés vs MER | 15,45% vs 32,36% vs 18,91% | Zhou et al., CS-Dialogue 2025 |
| WER de la línea base de extremo a extremo de MUCS 2021 en el conjunto de prueba: hindi-inglés vs bengalí-inglés | 25,9% vs 31,0% | Diwan et al., desafío MUCS 2021 (Interspeech 2021) |
Nota sobre el valor atípico: la fila del Conformer en CS-Dialogue muestra de nuevo el problema de la lengua incrustada, con un WER en inglés más del doble que el CER en mandarín en el mismo conjunto de prueba. Datos más recientes disponibles para las filas de ASRU 2019, ASCEND (2021) y MUCS 2021, que sus autores no han vuelto a ejecutar con modelos actuales. Fuentes: informe del desafío ASRU 2019, CS-Dialogue, MUCS 2021.
3. Fallos en los Puntos de Alternancia: Lo Que Ocultan las Tasas de Error Globales
Una transcripción puede tener buena puntuación global y aun así equivocar todas las alternancias, porque las palabras alternadas son una pequeña parte del total. PIER (Point-of-Interest Error Rate) se creó para medir la precisión solo en las palabras donde cambia el idioma, y los resultados son incómodos: tras el ajuste fino, Whisper-large mejoró su WER global en Fisher español-inglés un 5,06% relativo, mientras que su error en los puntos de alternancia subió un 39,47%. Dicho de otro modo, la métrica habitual de las clasificaciones premió a un modelo que empeoró en la alternancia de código propiamente dicha.
La dirección también importa. En el conjunto inglés-yoruba, los sistemas manejaron razonablemente las alternancias de vuelta al inglés y se desplomaron en las alternancias hacia el yoruba. Una alternancia más densa elevó las tasas de error en los sistemas más fuertes, y las alternancias dentro de una sola palabra (una raíz en un idioma, un afijo en otro) fueron las más difíciles de todas. Algunas tasas de error superan el 100% porque las inserciones se cuentan como errores; tres modelos de audio generativos sobre el conjunto en yoruba generaron texto de más, un modo de fallo que tratamos en nuestro resumen sobre alucinaciones en el reconocimiento de voz.
| Métrica | Valor | Fuente |
|---|---|---|
| Whisper-large con ajuste fino en Fisher español-inglés: cambio en el WER global vs cambio en el error en los puntos de alternancia (PIER) | 5,06% mejor vs 39,47% peor (relativo) | Ugan et al., artículo de PIER, ICASSP 2025 |
| Whisper-large con ajuste fino en Fisher: WER vs PIER | 27,94% vs 50,78% | Ugan et al., artículo de PIER, ICASSP 2025 |
| Whisper-large en ArzEn árabe-inglés: error en los puntos de alternancia entre palabras vs dentro de las palabras | 49,50% vs 105,71% | Ugan et al., artículo de PIER, ICASSP 2025 |
| Error en el primer token tras una alternancia: de inglés a yoruba vs de yoruba a inglés | 0,95 a 1,00 vs 0,40 a 0,53 | Okocha y Grant, arXiv 2026 |
| WER medio de los sistemas más fuertes con baja vs alta densidad de alternancia (inglés-yoruba) | 66,9% vs 71,2% | Okocha y Grant, arXiv 2026 |
| Tasa de error de tokens, enunciados dominados por el inglés vs equilibrados vs dominados por el yoruba | Alrededor de 0,42 vs 0,65 vs 0,83 | Okocha y Grant, arXiv 2026 |
Salvedad metodológica: el conjunto inglés-yoruba tiene un promedio de 2,60 alternancias por enunciado (máximo de 9) en 9,54 horas de audio de 100 hablantes, así que es una prueba de estrés y no una conversación típica. Tablas completas: artículo de PIER y evaluación inglés-yoruba sensible a las alternancias.
4. Identificación de Idioma en los Puntos de Alternancia
La mayoría de los modelos multilingües deciden qué idioma están oyendo antes de transcribir. En el habla con alternancia de código, esa decisión única es errónea por diseño en una parte de cada oración. En conversaciones bilingües indias reales, el tramo medio de un idioma duró unos 500 milisegundos, y muchos turnos eran palabras sueltas de unos 200 milisegundos (Baghel et al., resumen de DISPLACE 2023). La diarización de idioma (etiquetar quién habla qué idioma y cuándo, el equivalente lingüístico de la diarización de hablantes) tuvo dificultades en consonancia, y la confusión entre idiomas fue el mayor componente del error.
La misma debilidad aparece como sensibilidad al prompt. Indicarle a Whisper qué idioma esperar puede variar los resultados en decenas de puntos, y dejar que detecte el idioma automáticamente fue peor que fijarlo en el conjunto inglés-yoruba. El sistema de escritura también importa: en CS-FLEURS, los pares escritos en dos sistemas distintos tuvieron en promedio un CER 3 veces mayor que los pares que comparten uno solo, un problema emparentado con las cuestiones de representación entre idiomas que tratamos en nuestras estadísticas de embeddings de voz multilingües.
| Métrica | Valor | Fuente |
|---|---|---|
| Tasa de error de diarización de idioma de DISPLACE 2023, evaluación de la Fase 2: línea base (B2) vs mejor equipo | 41,67% vs 37,60% | Baghel et al., resumen del desafío DISPLACE 2023 |
| Componente de error de confusión de la línea base (B2), evaluación de la Fase 2 | 26,40% (mayor componente) | Baghel et al., resumen del desafío DISPLACE 2023 |
| Corpus de DISPLACE 2023: total de horas e idiomas | 32 horas; siete idiomas (seis idiomas indios más inglés de la India) | Baghel et al., resumen del desafío DISPLACE 2023 |
| MER de Whisper-small sin ajuste fino en el conjunto de desarrollo DevSge de SEAME: con prompt para mandarín vs con prompt para inglés | 157,5% vs 83,6% | Yang et al., Whisper en SEAME y ASRU 2019 (2023) |
| Whisper-large-v3 en inglés-yoruba: WER con detección automática de idioma vs prompt fijo | 74,8% vs 71,2% | Okocha y Grant, arXiv 2026 |
| Error en los puntos de alternancia (PIER) de Whisper-large-v3 en la partición de prueba SEAME.sge: decodificación agnóstica al idioma vs decodificación forzada en inglés | 64,51% vs 36,10% | Ugan et al., artículo de PIER, ICASSP 2025 |
| CER de Whisper-Large-v3 en habla leída de CS-FLEURS: pares con el mismo sistema de escritura vs pares con sistemas de escritura distintos | 7,32% vs 32,33% | Yan et al., CS-FLEURS, Interspeech 2025 |
Nota de contexto: el resumen de DISPLACE también informa una puntuación permisiva (DER**, 34,72% para la línea base en la Fase 2) que aplica un margen de 250 ms, lo que elimina de la evaluación las palabras extranjeras cortas de 500 ms o menos. Los autores del artículo concluyen que el error principal proviene de la corta duración de los tramos con mezcla de idiomas. Fuente: resumen del desafío DISPLACE 2023.
5. Escasez de Datos: Cuántas Horas de Habla con Alternancia de Código Existen
La escasez es la causa de fondo detrás de las secciones 1 a 4. El mayor corpus de mandarín-inglés de la tabla comparativa de CS-Dialogue, TALCS, tiene 587 horas; Whisper se entrenó con 680.000 horas de audio, así que TALCS equivale a cerca del 0,09% de eso (587 / 680.000 = 0,086%). La mayoría de los corpus de alternancia de código son mucho más pequeños, cubren un solo par de idiomas, y muchos no se pueden descargar.
Hasta el benchmark que todos citan es difícil de precisar: SEAME aparece con 192 horas en el catálogo del Linguistic Data Consortium, pero con 30 horas en una tabla comparativa de 2025 (véase la nota sobre los datos). La cobertura de vocabulario es una segunda brecha: en MUCS 2021, la tasa de palabras fuera de vocabulario (proporción de palabras de prueba ausentes del vocabulario de entrenamiento) llegó al 27,3% en el conjunto de prueba ciego de bengalí-inglés.
| Métrica | Valor | Fuente |
|---|---|---|
| Corpus SEAME mandarín-inglés (Singapur y Malasia): horas y hablantes | Unas 192 horas; 156 hablantes de 19 a 33 años | Linguistic Data Consortium, SEAME LDC2015S04 (2015) |
| Datos de entrenamiento con alternancia de código de MUCS 2021: hindi-inglés vs bengalí-inglés | 89,86 horas vs 46,11 horas | Diwan et al., desafío MUCS 2021 |
| Tasa de palabras fuera de vocabulario de MUCS 2021, prueba ciega: hindi-inglés vs bengalí-inglés | 19,6% vs 27,3% | Diwan et al., desafío MUCS 2021 |
| Datos del desafío ASRU 2019: entrenamiento solo en mandarín vs entrenamiento con alternancia de código vs desarrollo con alternancia de código | 500 vs 200 vs 40 horas | Shi et al., informe del desafío ASRU 2019 (2020) |
| Corpus espontáneos de mandarín-inglés: ASCEND vs CS-Dialogue vs TALCS | 10,62 horas (23 hablantes) vs 104,02 horas (200 hablantes) vs 587 horas | Zhou et al., CS-Dialogue 2025 (tabla comparativa) |
| CS-FLEURS: idiomas, pares con alternancia de código, total de horas | 52 idiomas, 113 pares, 294 horas | Yan et al., CS-FLEURS, Interspeech 2025 |
| Tamaño del benchmark coreano-inglés HiKE | 1.121 enunciados, unas 2,2 horas, 13 hablantes | Paik et al., benchmark HiKE 2026 |
| Corpus de alternancia de código presentados en la literatura de PLN: total vs privados | 114 vs 72 (63%) | Winata et al., ACL Findings 2023 |
Alerta de actualidad: las cifras de SEAME, MUCS y del estudio de corpus son los datos más recientes disponibles (LDC 2015, MUCS 2021, Winata et al. 2023). Cabe señalar también que 128 de las 294 horas de CS-FLEURS son un conjunto de entrenamiento de habla sintética generada con síntesis de voz, y la mayoría de los conjuntos de prueba también son sintéticos; solo su conjunto de prueba READ de 17 horas usa voces bilingües reales. Fuentes: entrada del catálogo SEAME en la LDC, estudio de Winata et al., artículo de Whisper.
6. Resultados del Ajuste Fino y la Adaptación
Pequeñas cantidades de datos de alternancia de código del dominio rinden mucho. El ajuste fino de Whisper-Medium con habla natural coreano-inglés redujo la tasa de error mixta en HiKE de 31,3 a 9,0, una caída de 22,3 puntos, y Whisper-small en SEAME bajó de 101,9 a 14,3 de MER en el conjunto de desarrollo DevMan con el mismo prompt. El equipo de Yang et al. informó que las mejoras en SEAME se saturaron tras unas 1 a 10 horas de datos de adaptación.
Hay una contrapartida, sin embargo. El mismo ajuste fino en HiKE elevó el CER del coreano monolingüe de 3,4 a 6,0, de modo que un modelo ajustado para habla mixta puede perder precisión en habla de un solo idioma. La escala sigue superando al ajuste: un Conformer propio entrenado con más de 40.000 horas superó en cerca de un 18% al Whisper-small con ajuste fino en SEAME (Yang et al., 2023).
| Métrica | Valor | Fuente |
|---|---|---|
| Whisper-Medium en HiKE: MER antes vs después del ajuste fino con habla natural coreano-inglés | 31,3 vs 9,0 | Paik et al., benchmark HiKE 2026 |
| Mismo ajuste fino: CER del coreano monolingüe antes vs después | 3,4 vs 6,0 | Paik et al., benchmark HiKE 2026 |
| Whisper-small en SEAME, prompt en inglés: MER sin ajuste fino vs con ajuste fino, conjunto de desarrollo DevMan y conjunto de desarrollo DevSge | 101,9 vs 14,3; 83,6 vs 20,4 | Yang et al., Whisper en SEAME y ASRU 2019 (2023) |
| Cantidad de datos de adaptación en la que se saturaron las mejoras en SEAME | Unas 1 a 10 horas | Yang et al., Whisper en SEAME y ASRU 2019 (2023) |
| Whisper-Medium en CS-Dialogue: MER sin ajuste fino vs con ajuste fino | 15,88% vs 7,53% (reducción relativa del 52,6%) | Zhou et al., CS-Dialogue 2025 |
| Prueba leída de CS-FLEURS, pares de idiomas ya vistos: tasa de error sin vs con aumento de datos sintéticos con alternancia de código | 31,77 vs 26,24 | Yan et al., CS-FLEURS, Interspeech 2025 |
Nota de cálculo: la reducción relativa en CS-Dialogue es (15,88 - 7,53) / 15,88 = 52,6%. El ajuste fino no siempre ayuda: en el artículo de PIER, Whisper-small con ajuste fino en SEAME pasó de 68,24 a 87,67 de MER en la partición de prueba SEAME.sge. Fuente: Yang et al. 2023.
7. Qué Tan Común Es la Alternancia de Código entre Hablantes Bilingües
Los sistemas de reconocimiento tratan la alternancia de código como un caso límite; los datos de encuestas muestran que es habla cotidiana. El 63% de los adultos latinos de EE. UU. dice usar spanglish al menos a veces, y el 40% dice hacerlo con frecuencia (Pew Research Center 2023, encuesta a 3.029 adultos hispanos realizada del 1 al 14 de agosto de 2022). Entre los latinos bilingües la proporción sube al 77%, y el 52% de ellos usa spanglish con mucha o muchísima frecuencia. Para un reconocedor de voz, eso significa que la mezcla de idiomas es la entrada normal de un gran grupo de usuarios, no una excepción rara.
Los datos de texto muestran lo mismo a gran escala. En unos 50 millones de tuits en siete idiomas (neerlandés, inglés, francés, alemán, portugués, español y turco), alrededor del 3,5% tenía alternancia de código, con inglés en el 85,4% de ellos. La atención de la investigación sigue a las mayores poblaciones bilingües: el hindi-inglés y el español-inglés dominan la literatura, y la mayoría de los artículos de ISCA, el principal foro de investigación en habla, trabajan con datos de habla.
| Métrica | Valor | Fuente |
|---|---|---|
| Adultos latinos de EE. UU. que usan spanglish al menos a veces vs con frecuencia | 63% vs 40% | Pew Research Center, Latinos’ Views of and Experiences With the Spanish Language (2023) |
| Uso de spanglish al menos a veces: latinos bilingües vs dominantes en inglés vs dominantes en español | 77% vs 54% vs 56% | Pew Research Center (2023) |
| Uso de spanglish al menos a veces: segunda generación vs tercera generación o posterior | 72% vs 45% | Pew Research Center (2023) |
| Padres bilingües que informaron mezclar idiomas con sus hijos | 90% de 181 padres | Concordia University, estudio de Byers-Heinlein (2013) |
| Proporción con alternancia de código en unos 50 millones de tuits en siete idiomas | Alrededor del 3,5% | Rijhwani et al., ACL 2017 |
| Pares más mezclados como proporción de los tuits con alternancia de código: inglés-español, inglés-francés, inglés-portugués | 21,5%, 20,8%, 18,4% | Rijhwani et al., ACL 2017 |
| Ciudad con la mayor proporción de tuits con alternancia de código vs la menor | Estambul 12% vs Houston 1% | Rijhwani et al., ACL 2017 |
| Artículos de investigación sobre alternancia de código por par de idiomas: hindi-inglés vs español-inglés vs chino-inglés | 128 vs 86 vs 47 | Winata et al., ACL Findings 2023 |
Alerta de actualidad: el estudio con padres (2013) y el análisis de Twitter (2017) son los datos más recientes disponibles para esas mediciones; las cifras del Pew provienen de su encuesta de 2022. Fuentes: informe del Pew Research Center, Rijhwani et al. 2017, comunicado del estudio de Concordia.
Resumen: El Reconocimiento de Voz con Alternancia de Código en Cifras
| Métrica | Valor | Fuente |
|---|---|---|
| Whisper-Large: MER en coreano-inglés con alternancia de código vs WER en inglés monolingüe | 26,1% vs 4,4% | Paik et al., benchmark HiKE 2026 |
| CER en CS-FLEURS con alternancia de código vs FLEURS monolingüe | Más de 2 veces mayor | Yan et al., CS-FLEURS, Interspeech 2025 |
| Ganador de ASRU 2019: CER en mandarín vs WER en inglés incrustado | 4,04% vs 12,33% | Shi et al., informe del desafío ASRU 2019 (2020) |
| Mejor MER de línea base en las conversaciones espontáneas de ASCEND | 27,05% | Lovenia et al., corpus ASCEND (2021) |
| MER en CS-Dialogue: SenseVoice-Small vs Whisper Large-V2 | 6,71% vs 15,29% | Zhou et al., CS-Dialogue 2025 |
| WER de la línea base de extremo a extremo de MUCS 2021: hindi-inglés vs bengalí-inglés | 25,9% vs 31,0% | Diwan et al., desafío MUCS 2021 |
| Whisper-large con ajuste fino en Fisher: cambio en el WER vs cambio en el error en los puntos de alternancia | 5,06% mejor vs 39,47% peor | Ugan et al., artículo de PIER, ICASSP 2025 |
| Error tras alternar al yoruba vs al inglés | 0,95 a 1,00 vs 0,40 a 0,53 | Okocha y Grant, arXiv 2026 |
| Tramo medio de un idioma en conversaciones bilingües indias | Alrededor de 500 ms | Baghel et al., resumen del desafío DISPLACE 2023 |
| Mejor tasa de error de diarización de idioma, DISPLACE 2023 | 37,60% | Baghel et al., resumen del desafío DISPLACE 2023 |
| CER de CS-FLEURS leído: pares con el mismo sistema de escritura vs con sistemas distintos | 7,32% vs 32,33% | Yan et al., CS-FLEURS, Interspeech 2025 |
| Mayor corpus de mandarín-inglés listado (TALCS) vs datos de entrenamiento de Whisper | 587 horas vs 680.000 horas | Zhou et al., CS-Dialogue 2025; Radford et al., OpenAI 2022 |
| Tamaño del corpus SEAME | Unas 192 horas, 156 hablantes | Linguistic Data Consortium, LDC2015S04 |
| Proporción privada de los corpus de alternancia de código | 72 de 114 (63%) | Winata et al., ACL Findings 2023 |
| Adultos latinos de EE. UU. que usan spanglish al menos a veces | 63% | Pew Research Center (2023) |
| Proporción de tuits con alternancia de código en siete idiomas | Alrededor del 3,5% | Rijhwani et al., ACL 2017 |
Metodología y Fuentes
- Paik et al., HiKE: Hierarchical Evaluation Framework for Korean-English Code-Switching Speech Recognition, arXiv v4, 13 de enero de 2026: arxiv.org/html/2509.24613v4
- Yan et al., CS-FLEURS: A Massively Multilingual and Code-Switched Speech Dataset, Interspeech 2025: arxiv.org/abs/2509.14161v1
- Okocha y Grant, Beyond Word Error Rate: A Switch Aware Evaluation of ASR and Audio Language Models on English Yoruba Code-Switched Speech, arXiv, 10 de septiembre de 2026: arxiv.org/abs/2609.11786
- Ugan, Pham, Barmann y Waibel, PIER: A Novel Metric for Evaluating What Matters in Code-Switching, ICASSP 2025: arxiv.org/html/2501.09512
- Zhou et al., CS-Dialogue: A 104-Hour Dataset of Spontaneous Mandarin-English Code-Switching Dialogues for Speech Recognition, arXiv v2, 12 de marzo de 2025: arxiv.org/html/2502.18913v2
- Shi, Feng y Xie, The ASRU 2019 Mandarin-English Code-Switching Speech Recognition Challenge: Open Datasets, Tracks, Methods and Results, 2020: arxiv.org/abs/2007.05916
- Diwan et al., Multilingual and code-switching ASR challenges for low resource Indian languages (MUCS 2021), 2021: arxiv.org/abs/2104.00235
- Lovenia et al., ASCEND: A Spontaneous Chinese-English Dataset for Code-switching in Multi-turn Conversation, 2021: arxiv.org/abs/2112.06223v4
- Yang, Peng, Zhong, Huang y Chng, Adapting OpenAI’s Whisper for Speech Recognition on Code-Switch Mandarin-English SEAME and ASRU2019 Datasets, 29 de noviembre de 2023: arxiv.org/html/2311.17382v1
- Baghel et al., Summary of the DISPLACE Challenge 2023, revisado el 3 de enero de 2024: arxiv.org/abs/2311.12564
- Linguistic Data Consortium, entrada del catálogo SEAME LDC2015S04, publicada el 15 de abril de 2015: catalog.ldc.upenn.edu/LDC2015S04
- Winata, Aji, Yong y Solorio, The Decades Progress on Code-Switching Research in NLP, ACL Findings 2023: arxiv.org/abs/2212.09660
- Radford et al. (OpenAI), Robust Speech Recognition via Large-Scale Weak Supervision, 2022: arxiv.org/abs/2212.04356
- Pew Research Center, Latinos’ Views of and Experiences With the Spanish Language, 20 de septiembre de 2023: pewresearch.org
- Rijhwani et al., Estimating Code-Switching on Twitter with a Novel Generalized Word-Level Language Detection Technique, ACL 2017: aclanthology.org/P17-1180
- Concordia University, estudio de Byers-Heinlein con 181 padres bilingües, comunicado de prensa del 16 de enero de 2013: sciencedaily.com
- Nota sobre los datos: el tamaño de SEAME difiere según la fuente: el catálogo de la LDC indica unas 192 horas y 156 hablantes, la tabla comparativa de CS-Dialogue indica 30 horas y 157 hablantes (su propio texto dice 92 hablantes), y Yang et al. usaron un conjunto de entrenamiento de 93,6 horas, por lo que las cifras probablemente describen subconjuntos distintos. El resumen de MUCS 2021 cita un WER de línea base de alternancia de código de 32,45% que coincide con el promedio de extremo a extremo sin realinear, no con los resultados realineados citados aquí, y su total declarado de unas 600 horas no coincide con la suma de sus propias tablas. El resumen de ASRU 2019 habla de 240 horas de datos con alternancia de código, que son las 200 horas de entrenamiento más 40 horas de desarrollo. Las cifras de HiKE cambiaron entre versiones de arXiv (MER global de Whisper-Tiny 103,8 en la v2, 93,6 en la v4); citamos la v4. El artículo inglés-yoruba se publicó el 10 de septiembre de 2026 y sus cifras pueden cambiar tras la revisión por pares. La MER, el CER, el WER y el PIER pueden superar el 100% porque las inserciones cuentan como errores. Las cifras de prevalencia miden cosas distintas (habla autodeclarada, habla informada por los padres, tuits escritos) y no deben combinarse.
- Última actualización: 31 de octubre de 2026. Actualizamos este informe trimestralmente, y la próxima revisión se espera cuando se publiquen los artículos sobre alternancia de código de Interspeech 2026 e ICASSP 2027 y la versión final, revisada por pares, del benchmark HiKE.