No benchmark coreano-inglês HiKE, o Whisper-Large errou em 26,1% da fala com alternância de código, contra 4,4% em inglês monolíngue e 3,2% em coreano monolíngue (Paik et al., benchmark HiKE 2026). Isso equivale a cerca de seis vezes a taxa de erro em inglês (26,1 / 4,4 = 5,9) para o mesmo modelo. O padrão se repete em outros pares de idiomas: os autores do CS-FLEURS mediram taxas de erro de caracteres mais de 2x maiores em gravações com alternância de código do que no FLEURS monolíngue (Yan et al., Interspeech 2025), e no desafio ASRU 2019 de mandarim-inglês o sistema vencedor ainda errou 12,33% das palavras em inglês incorporadas contra 4,04% dos caracteres em mandarim (Shi et al., relatório do desafio ASRU 2019). A alternância de código (passar de um idioma para outro dentro de uma mesma conversa, frase ou até palavra) é um comportamento comum para muitas das pessoas descritas em nosso levantamento sobre bilinguismo e lares multilíngues, e ainda assim os sistemas de reconhecimento continuam sendo ajustados e classificados um idioma por vez, assim como as lacunas de sotaque medidas em benchmarks de um único idioma. Reunimos dados do corpus SEAME no Linguistic Data Consortium, dos desafios MUCS 2021 e ASRU 2019, CS-FLEURS, HiKE, CS-Dialogue, ASCEND, do artigo da métrica PIER, do desafio DISPLACE 2023, do Pew Research Center e de levantamentos da ACL sobre pesquisa em alternância de código.
Uma nota sobre os termos usados ao longo do texto: a língua “matriz” é a língua principal de uma frase, a língua “incorporada” é aquela que entra na alternância, e um “ponto de alternância” é a palavra exata em que o idioma muda.
TL;DR
- Whisper-Large: 26,1% de taxa de erro mista em fala coreano-inglês com alternância de código vs 4,4% de WER em inglês monolíngue (Paik et al., HiKE 2026).
- O CER é mais de 2x maior nos conjuntos CS-FLEURS com alternância de código do que no FLEURS monolíngue (Yan et al., Interspeech 2025).
- Melhor sistema do ASRU 2019: 4,04% de CER em mandarim, mas 12,33% de WER em inglês dentro das mesmas frases mistas (Shi et al., ASRU 2019).
- Erro nos tokens logo após uma alternância para o iorubá: 0,95 a 1,00 entre sistemas de ASR e modelos de linguagem de áudio (Okocha e Grant, arXiv 2026).
- O ajuste fino melhorou o WER do Whisper-large em espanhol-inglês em 5,06%, enquanto o erro nos pontos de alternância (PIER) piorou 39,47% (Ugan et al., ICASSP 2025).
- Trecho médio de um idioma em conversas bilíngues indianas: cerca de 500 ms, muitos de apenas cerca de 200 ms (Baghel et al., DISPLACE 2023).
- Whisper-small sem ajuste fino no conjunto de desenvolvimento DevSge do SEAME: 157,5% de MER quando orientado a esperar mandarim vs 83,6% quando orientado a esperar inglês (Yang et al., 2023).
- O TALCS, o maior corpus de mandarim-inglês listado, tem 587 horas, cerca de 0,09% das 680.000 horas de treino do Whisper (Zhou et al., CS-Dialogue 2025; Radford et al., OpenAI 2022).
- 72 dos 114 corpora de alternância de código introduzidos na literatura de PLN são privados (Winata et al., ACL Findings 2023).
- 63% dos adultos latinos dos EUA usam Spanglish pelo menos às vezes; entre os latinos bilíngues, 77% (Pew Research Center 2023).
- Cerca de 3,5% de 50 milhões de tweets em sete idiomas tinham alternância de código (Rijhwani et al., ACL 2017).
1. A Penalidade da Alternância de Código: Taxas de Erro Mistas vs Monolíngues
O achado principal é consistente em todos os benchmarks que rodam o mesmo modelo nos dois tipos de fala: as taxas de erro disparam em múltiplos quando dois idiomas dividem uma frase. No HiKE, a taxa de erro do Whisper-Large com alternância de código foi 5,9 vezes seu WER em inglês (26,1 / 4,4) e 8,2 vezes seu CER em coreano (26,1 / 3,2). O HiKE é a comparação mais limpa porque informa as pontuações monolíngues do FLEURS para os mesmos modelos ao lado dos resultados com alternância de código. O GPT-4o-transcribe, o sistema mais forte dessa tabela, ainda foi de 3,3% de WER em inglês para 21,8% de MER em fala mista.
A diferença não é simétrica. Em frases mistas, a língua incorporada sofre mais: o vencedor do ASRU 2019 cometeu cerca de três vezes mais erros em palavras em inglês do que em caracteres em mandarim (12,33 / 4,04 = 3,05), embora o inglês representasse apenas uma pequena parte de cada frase: em média 1,6 palavra em inglês para 8,6 caracteres chineses. Na avaliação inglês-iorubá o desequilíbrio é extremo, com falha quase total no idioma de menos recursos.
| Métrica | Valor | Fonte |
|---|---|---|
| Whisper-Large, coreano-inglês com alternância de código (taxa de erro mista) vs WER em inglês monolíngue vs CER em coreano monolíngue | 26,1% vs 4,4% vs 3,2% | Paik et al., benchmark HiKE 2026 |
| GPT-4o-transcribe, coreano-inglês com alternância de código (taxa de erro mista) vs WER em inglês monolíngue | 21,8% vs 3,3% | Paik et al., benchmark HiKE 2026 |
| Taxa de erro de caracteres no CS-FLEURS com alternância de código vs FLEURS monolíngue original | Mais de 2x maior | Yan et al., CS-FLEURS, Interspeech 2025 |
| Melhor sistema do ASRU 2019 (Trilha 1): CER em mandarim vs WER em inglês nas mesmas frases com alternância de código | 4,04% vs 12,33% | Shi et al., relatório do desafio ASRU 2019 (2020) |
| WER do Whisper-large-v3: palestras TED em inglês monolíngue vs Fisher espanhol-inglês vs ArzEn árabe egípcio-inglês | 6,07% vs 29,43% vs 52,80% | Ugan et al., artigo do PIER, ICASSP 2025 |
| Conjunto de teste inglês-iorubá: taxa de erro em tokens em inglês vs tokens em iorubá (oito sistemas fiéis à fala original) | 33% a 46% vs pelo menos 96,6% | Okocha e Grant, arXiv 2026 |
Nota de contexto: a linha de Ugan et al. compara conjuntos de dados diferentes (inglês de palestras vs fala conversacional por telefone), então parte dessa diferença reflete as condições de gravação, não apenas a alternância. As linhas do HiKE e do CS-FLEURS mantêm o modelo fixo. Números completos: artigo do HiKE e artigo do CS-FLEURS.
2. Benchmarks da Taxa de Erro Mista (MER): Onde o Campo Está
A taxa de erro mista existe porque não há uma única “palavra” que valha para mandarim e inglês: a MER conta erros por caractere nos idiomas baseados em caracteres (mandarim, coreano) e por palavra no inglês, e depois os combina em uma única taxa. Isso faz da MER a moeda comum dos artigos sobre alternância de código, mas também esconde qual idioma está falhando, e é por isso que os melhores artigos informam CER e WER separadamente.
Lendo entre os benchmarks, os números variam muito: o sistema vencedor obteve 4,94% de MER no teste de mandarim-inglês do ASRU 2019, enquanto a melhor linha de base nas conversas espontâneas do ASCEND ficou em 27,05%. O mesmo par de idiomas pode parecer quase resolvido ou seriamente quebrado conforme o estilo de gravação e o volume de treino: o ASRU 2019 trouxe 200 horas de áudio de treino com alternância de código, o ASCEND apenas 10,62 horas de diálogo espontâneo. Entre os modelos prontos para uso, o SenseVoice-Small chegou a 6,71% de MER no CS-Dialogue contra 15,29% do Whisper Large-V2.
| Métrica | Valor | Fonte |
|---|---|---|
| Melhor taxa de erro mista, ASRU 2019 mandarim-inglês, Trilha 1 (ASR tradicional, modelo de linguagem fixo) vs Trilha 3 (ASR de ponta a ponta) | 4,94% vs 5,91% | Shi et al., relatório do desafio ASRU 2019 (2020) |
| Melhor linha de base nas conversas espontâneas de Hong Kong do ASCEND: CER vs MER | 22,69% vs 27,05% | Lovenia et al., corpus ASCEND (2021) |
| Conjunto de teste do CS-Dialogue, modelos pré-treinados (MER): SenseVoice-Small vs Paraformer vs Qwen2-Audio vs Whisper Large-V2 | 6,71% vs 9,65% vs 9,76% vs 15,29% | Zhou et al., CS-Dialogue 2025 |
| CS-Dialogue, Conformer treinado do zero: CER em mandarim vs WER em inglês vs MER | 15,45% vs 32,36% vs 18,91% | Zhou et al., CS-Dialogue 2025 |
| WER da linha de base de ponta a ponta do MUCS 2021 no conjunto de teste: hindi-inglês vs bengali-inglês | 25,9% vs 31,0% | Diwan et al., desafio MUCS 2021 (Interspeech 2021) |
Nota sobre o valor atípico: a linha do Conformer no CS-Dialogue mostra de novo o problema da língua incorporada, com o WER em inglês mais que o dobro do CER em mandarim no mesmo conjunto de teste. Dados mais recentes disponíveis para as linhas do ASRU 2019, do ASCEND (2021) e do MUCS 2021, que não foram reexecutadas com modelos atuais por seus autores. Fontes: relatório do desafio ASRU 2019, CS-Dialogue, MUCS 2021.
3. Falhas nos Pontos de Alternância: O Que as Taxas de Erro Gerais Escondem
Uma transcrição pode ter boa pontuação geral e ainda errar todas as alternâncias, porque as palavras alternadas são uma pequena parte do total. O PIER (Point-of-Interest Error Rate) foi criado para medir a precisão apenas nas palavras em que o idioma muda, e os resultados são incômodos: após o ajuste fino, o Whisper-large melhorou seu WER geral no Fisher espanhol-inglês em 5,06% relativos, enquanto seu erro nos pontos de alternância subiu 39,47%. Em outras palavras, a métrica usual dos rankings premiou um modelo que ficou pior na alternância de código propriamente dita.
A direção também importa. No conjunto inglês-iorubá, os sistemas lidaram razoavelmente bem com as alternâncias de volta ao inglês e colapsaram nas alternâncias para o iorubá. Uma alternância mais densa elevou as taxas de erro nos sistemas mais fortes, e as alternâncias dentro de uma única palavra (um radical em um idioma, um afixo em outro) foram as mais difíceis de todas. Algumas taxas de erro passam de 100% porque as inserções contam como erros; três modelos de áudio generativos no conjunto de iorubá geraram texto em excesso, um modo de falha tratado em nosso levantamento sobre alucinação no reconhecimento de fala.
| Métrica | Valor | Fonte |
|---|---|---|
| Whisper-large ajustado no Fisher espanhol-inglês: variação do WER geral vs variação do erro nos pontos de alternância (PIER) | 5,06% melhor vs 39,47% pior (relativo) | Ugan et al., artigo do PIER, ICASSP 2025 |
| Whisper-large ajustado no Fisher: WER vs PIER | 27,94% vs 50,78% | Ugan et al., artigo do PIER, ICASSP 2025 |
| Whisper-large no ArzEn árabe-inglês: erro nos pontos de alternância entre palavras vs dentro de palavras | 49,50% vs 105,71% | Ugan et al., artigo do PIER, ICASSP 2025 |
| Erro no primeiro token após uma alternância: inglês para iorubá vs iorubá para inglês | 0,95 a 1,00 vs 0,40 a 0,53 | Okocha e Grant, arXiv 2026 |
| WER médio dos sistemas mais fortes com baixa vs alta densidade de alternância (inglês-iorubá) | 66,9% vs 71,2% | Okocha e Grant, arXiv 2026 |
| Taxa de erro de tokens, enunciados dominados por inglês vs equilibrados vs dominados por iorubá | Cerca de 0,42 vs 0,65 vs 0,83 | Okocha e Grant, arXiv 2026 |
Ressalva metodológica: o conjunto inglês-iorubá tem em média 2,60 alternâncias por enunciado (máximo de 9) em 9,54 horas de áudio de 100 falantes, então é um teste de estresse, não uma conversa típica. Tabelas completas: artigo do PIER e avaliação inglês-iorubá sensível às alternâncias.
4. Identificação de Idioma nos Pontos de Alternância
A maioria dos modelos multilíngues decide qual idioma está ouvindo antes de transcrever. Na fala com alternância de código, essa decisão única está errada por definição em parte de cada frase. Em conversas bilíngues indianas reais, o trecho médio de um idioma durou cerca de 500 milissegundos, e muitos turnos eram palavras isoladas de cerca de 200 milissegundos (Baghel et al., resumo do DISPLACE 2023). A diarização de idioma (rotular quem fala qual idioma e quando, o equivalente linguístico da diarização de locutores) teve dificuldades proporcionais, e a confusão entre idiomas foi o maior componente do erro.
A mesma fraqueza aparece como sensibilidade ao prompt. Dizer ao Whisper qual idioma esperar pode mudar os resultados em dezenas de pontos, e deixá-lo detectar o idioma automaticamente foi pior do que fixá-lo no conjunto inglês-iorubá. O sistema de escrita também pesa: no CS-FLEURS, os pares escritos em dois sistemas diferentes tiveram em média CER 3x maior do que os pares que compartilham um só, problema relacionado às questões de representação entre idiomas tratadas em nossas estatísticas de embeddings de fala multilíngues.
| Métrica | Valor | Fonte |
|---|---|---|
| Taxa de erro de diarização de idioma do DISPLACE 2023, avaliação da Fase 2: linha de base (B2) vs melhor equipe | 41,67% vs 37,60% | Baghel et al., resumo do desafio DISPLACE 2023 |
| Componente de erro de confusão da linha de base (B2), avaliação da Fase 2 | 26,40% (maior componente) | Baghel et al., resumo do desafio DISPLACE 2023 |
| Corpus do DISPLACE 2023: total de horas e idiomas | 32 horas; sete idiomas (seis idiomas indianos mais inglês indiano) | Baghel et al., resumo do desafio DISPLACE 2023 |
| MER do Whisper-small sem ajuste fino no conjunto de desenvolvimento DevSge do SEAME: com prompt para mandarim vs com prompt para inglês | 157,5% vs 83,6% | Yang et al., Whisper no SEAME e no ASRU 2019 (2023) |
| Whisper-large-v3 em inglês-iorubá: WER com detecção automática de idioma vs prompt fixo | 74,8% vs 71,2% | Okocha e Grant, arXiv 2026 |
| Erro nos pontos de alternância (PIER) do Whisper-large-v3 na partição de teste SEAME.sge: decodificação agnóstica ao idioma vs decodificação forçada em inglês | 64,51% vs 36,10% | Ugan et al., artigo do PIER, ICASSP 2025 |
| CER do Whisper-Large-v3 em fala lida do CS-FLEURS: pares com o mesmo sistema de escrita vs pares com sistemas de escrita distintos | 7,32% vs 32,33% | Yan et al., CS-FLEURS, Interspeech 2025 |
Nota de contexto: o resumo do DISPLACE também informa uma pontuação tolerante (DER**, 34,72% para a linha de base na Fase 2) que aplica uma margem de 250 ms, o que remove da avaliação palavras estrangeiras curtas de 500 ms ou menos. Os autores do artigo concluem que o erro principal vem da curta duração dos trechos com mistura de idiomas. Fonte: resumo do desafio DISPLACE 2023.
5. Escassez de Dados: Quantas Horas de Fala com Alternância de Código Existem
A escassez é a causa-raiz por trás das seções 1 a 4. O maior corpus de mandarim-inglês da tabela comparativa do CS-Dialogue, o TALCS, tem 587 horas; o Whisper foi treinado com 680.000 horas de áudio, então o TALCS equivale a cerca de 0,09% disso (587 / 680.000 = 0,086%). A maioria dos corpora de alternância de código é bem menor, cobre um único par de idiomas, e muitos não podem ser baixados.
Até o benchmark que todos citam é difícil de definir: o SEAME aparece com 192 horas no catálogo do Linguistic Data Consortium, mas com 30 horas em uma tabela comparativa de 2025 (veja a nota sobre os dados). A cobertura de vocabulário é uma segunda lacuna: no MUCS 2021, a taxa de palavras fora do vocabulário (parcela das palavras de teste ausentes do vocabulário de treino) chegou a 27,3% no conjunto de teste cego de bengali-inglês.
| Métrica | Valor | Fonte |
|---|---|---|
| Corpus SEAME mandarim-inglês (Singapura e Malásia): horas e falantes | Cerca de 192 horas; 156 falantes de 19 a 33 anos | Linguistic Data Consortium, SEAME LDC2015S04 (2015) |
| Dados de treino com alternância de código do MUCS 2021: hindi-inglês vs bengali-inglês | 89,86 horas vs 46,11 horas | Diwan et al., desafio MUCS 2021 |
| Taxa de palavras fora do vocabulário no MUCS 2021, teste cego: hindi-inglês vs bengali-inglês | 19,6% vs 27,3% | Diwan et al., desafio MUCS 2021 |
| Dados do desafio ASRU 2019: treino só em mandarim vs treino com alternância de código vs desenvolvimento com alternância de código | 500 vs 200 vs 40 horas | Shi et al., relatório do desafio ASRU 2019 (2020) |
| Corpora espontâneos de mandarim-inglês: ASCEND vs CS-Dialogue vs TALCS | 10,62 horas (23 falantes) vs 104,02 horas (200 falantes) vs 587 horas | Zhou et al., CS-Dialogue 2025 (tabela comparativa) |
| CS-FLEURS: idiomas, pares com alternância de código, total de horas | 52 idiomas, 113 pares, 294 horas | Yan et al., CS-FLEURS, Interspeech 2025 |
| Tamanho do benchmark coreano-inglês HiKE | 1.121 enunciados, cerca de 2,2 horas, 13 falantes | Paik et al., benchmark HiKE 2026 |
| Corpora de alternância de código introduzidos na literatura de PLN: total vs privados | 114 vs 72 (63%) | Winata et al., ACL Findings 2023 |
Alerta de atualidade: os números do SEAME, do MUCS e do levantamento de corpora são os dados mais recentes disponíveis (LDC 2015, MUCS 2021, Winata et al. 2023). Observe também que 128 das 294 horas do CS-FLEURS são um conjunto de treino de fala sintética gerada por conversão de texto em fala, e a maioria dos conjuntos de teste também é sintética; só o conjunto de teste READ de 17 horas usa vozes bilíngues reais. Fontes: entrada do catálogo SEAME na LDC, levantamento de Winata et al., artigo do Whisper.
6. Resultados de Ajuste Fino e Adaptação
Pequenas quantidades de dados de alternância de código do domínio rendem muito. O ajuste fino do Whisper-Medium em fala natural coreano-inglês reduziu a taxa de erro mista no HiKE de 31,3 para 9,0, queda de 22,3 pontos, e o Whisper-small no SEAME caiu de 101,9 para 14,3 de MER no conjunto de desenvolvimento DevMan com o mesmo prompt. A equipe de Yang et al. relatou que os ganhos no SEAME saturaram após cerca de 1 a 10 horas de dados de adaptação.
Há uma contrapartida, porém. O mesmo ajuste fino no HiKE elevou o CER do coreano monolíngue de 3,4 para 6,0, de modo que um modelo ajustado para fala mista pode perder precisão em fala de um único idioma. Escala ainda vence ajuste: um Conformer interno treinado com mais de 40.000 horas superou o Whisper-small ajustado em cerca de 18% no SEAME (Yang et al., 2023).
| Métrica | Valor | Fonte |
|---|---|---|
| Whisper-Medium no HiKE: MER antes vs depois do ajuste fino em fala natural coreano-inglês | 31,3 vs 9,0 | Paik et al., benchmark HiKE 2026 |
| Mesmo ajuste fino: CER do coreano monolíngue antes vs depois | 3,4 vs 6,0 | Paik et al., benchmark HiKE 2026 |
| Whisper-small no SEAME, prompt em inglês: MER sem ajuste fino vs com ajuste fino, conjunto de desenvolvimento DevMan e conjunto de desenvolvimento DevSge | 101,9 vs 14,3; 83,6 vs 20,4 | Yang et al., Whisper no SEAME e no ASRU 2019 (2023) |
| Quantidade de dados de adaptação em que os ganhos no SEAME saturaram | Cerca de 1 a 10 horas | Yang et al., Whisper no SEAME e no ASRU 2019 (2023) |
| Whisper-Medium no CS-Dialogue: MER sem ajuste fino vs com ajuste fino | 15,88% vs 7,53% (redução relativa de 52,6%) | Zhou et al., CS-Dialogue 2025 |
| Teste lido do CS-FLEURS, pares de idiomas já vistos: taxa de erro sem vs com aumento de dados sintéticos com alternância de código | 31,77 vs 26,24 | Yan et al., CS-FLEURS, Interspeech 2025 |
Nota de cálculo: a redução relativa no CS-Dialogue é (15,88 - 7,53) / 15,88 = 52,6%. O ajuste fino nem sempre ajuda: no artigo do PIER, o Whisper-small ajustado no SEAME passou de 68,24 para 87,67 de MER na partição de teste SEAME.sge. Fonte: Yang et al. 2023.
7. Quão Comum É a Alternância de Código entre Falantes Bilíngues
Os sistemas de reconhecimento tratam a alternância de código como caso extremo; os dados de pesquisa mostram que é fala cotidiana. 63% dos adultos latinos dos EUA dizem usar Spanglish pelo menos às vezes, e 40% dizem fazê-lo com frequência (Pew Research Center 2023, pesquisa com 3.029 adultos hispânicos realizada de 1 a 14 de agosto de 2022). Entre os latinos bilíngues, a proporção sobe para 77%, e 52% deles usam Spanglish com muita ou extrema frequência. Para um reconhecedor de fala, isso significa que a mistura de idiomas é a entrada normal de um grande grupo de usuários, não uma exceção rara.
Os dados de texto mostram o mesmo em escala. Em cerca de 50 milhões de tweets em sete idiomas (holandês, inglês, francês, alemão, português, espanhol e turco), cerca de 3,5% tinham alternância de código, com inglês em 85,4% deles. A atenção da pesquisa segue as maiores populações bilíngues: hindi-inglês e espanhol-inglês dominam a literatura, e a maioria dos artigos da ISCA, o principal fórum de pesquisa em fala, trabalha com dados de fala.
| Métrica | Valor | Fonte |
|---|---|---|
| Adultos latinos dos EUA que usam Spanglish pelo menos às vezes vs com frequência | 63% vs 40% | Pew Research Center, Latinos’ Views of and Experiences With the Spanish Language (2023) |
| Uso de Spanglish pelo menos às vezes: latinos bilíngues vs dominantes em inglês vs dominantes em espanhol | 77% vs 54% vs 56% | Pew Research Center (2023) |
| Uso de Spanglish pelo menos às vezes: segunda geração vs terceira geração ou mais | 72% vs 45% | Pew Research Center (2023) |
| Pais bilíngues que relataram misturar idiomas com os filhos | 90% de 181 pais | Concordia University, estudo de Byers-Heinlein (2013) |
| Parcela com alternância de código em cerca de 50 milhões de tweets em sete idiomas | Cerca de 3,5% | Rijhwani et al., ACL 2017 |
| Pares mais misturados como parcela dos tweets com alternância de código: inglês-espanhol, inglês-francês, inglês-português | 21,5%, 20,8%, 18,4% | Rijhwani et al., ACL 2017 |
| Cidade com a maior parcela de tweets com alternância de código vs a menor | Istambul 12% vs Houston 1% | Rijhwani et al., ACL 2017 |
| Artigos de pesquisa sobre alternância de código por par de idiomas: hindi-inglês vs espanhol-inglês vs chinês-inglês | 128 vs 86 vs 47 | Winata et al., ACL Findings 2023 |
Alerta de atualidade: o estudo com pais (2013) e a análise do Twitter (2017) são os dados mais recentes disponíveis para essas medidas; os números do Pew vêm de sua pesquisa de 2022. Fontes: relatório do Pew Research Center, Rijhwani et al. 2017, comunicado do estudo da Concordia.
Resumo: Reconhecimento de Fala com Alternância de Código em Números
| Métrica | Valor | Fonte |
|---|---|---|
| Whisper-Large: MER em coreano-inglês com alternância de código vs WER em inglês monolíngue | 26,1% vs 4,4% | Paik et al., benchmark HiKE 2026 |
| CER no CS-FLEURS com alternância de código vs FLEURS monolíngue | Mais de 2x maior | Yan et al., CS-FLEURS, Interspeech 2025 |
| Vencedor do ASRU 2019: CER em mandarim vs WER em inglês incorporado | 4,04% vs 12,33% | Shi et al., relatório do desafio ASRU 2019 (2020) |
| Melhor MER de linha de base nas conversas espontâneas do ASCEND | 27,05% | Lovenia et al., corpus ASCEND (2021) |
| MER no CS-Dialogue: SenseVoice-Small vs Whisper Large-V2 | 6,71% vs 15,29% | Zhou et al., CS-Dialogue 2025 |
| WER da linha de base de ponta a ponta do MUCS 2021: hindi-inglês vs bengali-inglês | 25,9% vs 31,0% | Diwan et al., desafio MUCS 2021 |
| Whisper-large ajustado no Fisher: variação do WER vs variação do erro nos pontos de alternância | 5,06% melhor vs 39,47% pior | Ugan et al., artigo do PIER, ICASSP 2025 |
| Erro após alternar para o iorubá vs para o inglês | 0,95 a 1,00 vs 0,40 a 0,53 | Okocha e Grant, arXiv 2026 |
| Trecho médio de um idioma em conversas bilíngues indianas | Cerca de 500 ms | Baghel et al., resumo do desafio DISPLACE 2023 |
| Melhor taxa de erro de diarização de idioma, DISPLACE 2023 | 37,60% | Baghel et al., resumo do desafio DISPLACE 2023 |
| CER do CS-FLEURS lido: pares com o mesmo sistema de escrita vs com sistemas distintos | 7,32% vs 32,33% | Yan et al., CS-FLEURS, Interspeech 2025 |
| Maior corpus de mandarim-inglês listado (TALCS) vs dados de treino do Whisper | 587 horas vs 680.000 horas | Zhou et al., CS-Dialogue 2025; Radford et al., OpenAI 2022 |
| Tamanho do corpus SEAME | Cerca de 192 horas, 156 falantes | Linguistic Data Consortium, LDC2015S04 |
| Parcela privada dos corpora de alternância de código | 72 de 114 (63%) | Winata et al., ACL Findings 2023 |
| Adultos latinos dos EUA que usam Spanglish pelo menos às vezes | 63% | Pew Research Center (2023) |
| Parcela de tweets com alternância de código em sete idiomas | Cerca de 3,5% | Rijhwani et al., ACL 2017 |
Metodologia e Fontes
- Paik et al., HiKE: Hierarchical Evaluation Framework for Korean-English Code-Switching Speech Recognition, arXiv v4, 13 de janeiro de 2026: arxiv.org/html/2509.24613v4
- Yan et al., CS-FLEURS: A Massively Multilingual and Code-Switched Speech Dataset, Interspeech 2025: arxiv.org/abs/2509.14161v1
- Okocha e Grant, Beyond Word Error Rate: A Switch Aware Evaluation of ASR and Audio Language Models on English Yoruba Code-Switched Speech, arXiv, 10 de setembro de 2026: arxiv.org/abs/2609.11786
- Ugan, Pham, Barmann e Waibel, PIER: A Novel Metric for Evaluating What Matters in Code-Switching, ICASSP 2025: arxiv.org/html/2501.09512
- Zhou et al., CS-Dialogue: A 104-Hour Dataset of Spontaneous Mandarin-English Code-Switching Dialogues for Speech Recognition, arXiv v2, 12 de março de 2025: arxiv.org/html/2502.18913v2
- Shi, Feng e Xie, The ASRU 2019 Mandarin-English Code-Switching Speech Recognition Challenge: Open Datasets, Tracks, Methods and Results, 2020: arxiv.org/abs/2007.05916
- Diwan et al., Multilingual and code-switching ASR challenges for low resource Indian languages (MUCS 2021), 2021: arxiv.org/abs/2104.00235
- Lovenia et al., ASCEND: A Spontaneous Chinese-English Dataset for Code-switching in Multi-turn Conversation, 2021: arxiv.org/abs/2112.06223v4
- Yang, Peng, Zhong, Huang e Chng, Adapting OpenAI’s Whisper for Speech Recognition on Code-Switch Mandarin-English SEAME and ASRU2019 Datasets, 29 de novembro de 2023: arxiv.org/html/2311.17382v1
- Baghel et al., Summary of the DISPLACE Challenge 2023, revisado em 3 de janeiro de 2024: arxiv.org/abs/2311.12564
- Linguistic Data Consortium, entrada do catálogo SEAME LDC2015S04, lançada em 15 de abril de 2015: catalog.ldc.upenn.edu/LDC2015S04
- Winata, Aji, Yong e Solorio, The Decades Progress on Code-Switching Research in NLP, ACL Findings 2023: arxiv.org/abs/2212.09660
- Radford et al. (OpenAI), Robust Speech Recognition via Large-Scale Weak Supervision, 2022: arxiv.org/abs/2212.04356
- Pew Research Center, Latinos’ Views of and Experiences With the Spanish Language, 20 de setembro de 2023: pewresearch.org
- Rijhwani et al., Estimating Code-Switching on Twitter with a Novel Generalized Word-Level Language Detection Technique, ACL 2017: aclanthology.org/P17-1180
- Concordia University, estudo de Byers-Heinlein com 181 pais bilíngues, comunicado de imprensa de 16 de janeiro de 2013: sciencedaily.com
- Nota sobre os dados: o tamanho do SEAME difere conforme a fonte: o catálogo da LDC lista cerca de 192 horas e 156 falantes, a tabela comparativa do CS-Dialogue lista 30 horas e 157 falantes (o próprio texto diz 92 falantes), e Yang et al. usaram um conjunto de treino de 93,6 horas, então os números provavelmente descrevem subconjuntos diferentes. O resumo do MUCS 2021 cita um WER de linha de base de 32,45% para alternância de código que corresponde à média de ponta a ponta não alinhada, e não aos resultados realinhados citados aqui, e seu total declarado de cerca de 600 horas não bate com a soma de suas próprias tabelas. O resumo do ASRU 2019 fala em 240 horas de dados com alternância de código, que são as 200 horas de treino mais 40 horas de desenvolvimento. Os números do HiKE mudaram entre versões do arXiv (MER geral do Whisper-Tiny 103,8 na v2, 93,6 na v4); citamos a v4. O artigo inglês-iorubá foi publicado em 10 de setembro de 2026 e seus números podem mudar após a revisão por pares. MER, CER, WER e PIER podem passar de 100% porque as inserções contam como erros. Os números de prevalência medem coisas diferentes (fala autodeclarada, fala relatada pelos pais, tweets escritos) e não devem ser combinados.
- Última atualização: 31 de outubro de 2026. Atualizamos este levantamento trimestralmente, e a próxima revisão é esperada quando forem publicados os artigos sobre alternância de código do Interspeech 2026 e do ICASSP 2027 e a versão final, revisada por pares, do benchmark HiKE.