Sur le benchmark coréen-anglais HiKE, Whisper-Large a fait des erreurs sur 26,1% de la parole à alternance codique, contre 4,4% sur l’anglais monolingue et 3,2% sur le coréen monolingue (Paik et al., benchmark HiKE 2026). Cela représente environ six fois le taux d’erreur en anglais (26,1 / 4,4 = 5,9) pour le même modèle. Le schéma se répète d’une paire de langues à l’autre : les auteurs de CS-FLEURS ont mesuré des taux d’erreur par caractère plus de 2 fois supérieurs sur les enregistrements à alternance codique que sur FLEURS monolingue (Yan et al., Interspeech 2025), et dans le défi mandarin-anglais ASRU 2019, le système gagnant se trompait encore sur 12,33% des mots anglais enchâssés contre 4,04% des caractères mandarins (Shi et al., rapport du défi ASRU 2019). L’alternance codique (passer d’une langue à l’autre au sein d’une même conversation, d’une phrase ou même d’un mot) est un comportement ordinaire pour beaucoup des personnes décrites dans notre tour d’horizon du bilinguisme et des foyers multilingues, et pourtant les systèmes de reconnaissance sont toujours réglés et classés une langue à la fois, un peu comme les écarts d’accent mesurés dans les benchmarks monolingues. Nous avons agrégé des données issues du corpus SEAME du Linguistic Data Consortium, des défis MUCS 2021 et ASRU 2019, de CS-FLEURS, HiKE, CS-Dialogue, ASCEND, de l’article sur la métrique PIER, du défi DISPLACE 2023, du Pew Research Center et des travaux de synthèse de l’ACL sur la recherche en alternance codique.
Une précision sur les termes utilisés tout au long de l’article : la langue « matrice » est la langue principale d’une phrase, la langue « enchâssée » est celle qui y est insérée, et un « point d’alternance » est le mot exact où la langue change.
TL;DR
- Whisper-Large : 26,1% de taux d’erreur mixte sur la parole coréen-anglais à alternance codique contre 4,4% de WER sur l’anglais monolingue (Paik et al., HiKE 2026).
- Le CER est plus de 2 fois supérieur sur les jeux CS-FLEURS à alternance codique que sur FLEURS monolingue (Yan et al., Interspeech 2025).
- Meilleur système ASRU 2019 : 4,04% de CER en mandarin mais 12,33% de WER en anglais au sein des mêmes phrases mixtes (Shi et al., défi ASRU 2019).
- Erreur sur les jetons suivant immédiatement une bascule vers le yoruba : de 0,95 à 1,00 selon les systèmes d’ASR et les modèles de langage audio (Okocha et Grant, arXiv 2026).
- L’affinage a amélioré le WER de Whisper-large en espagnol-anglais de 5,06% tandis que l’erreur aux points d’alternance (PIER) s’est dégradée de 39,47% (Ugan et al., ICASSP 2025).
- Segment de langue moyen dans les conversations bilingues indiennes : environ 500 ms, souvent seulement 200 ms environ (Baghel et al., DISPLACE 2023).
- Whisper-small sans affinage sur le jeu de développement SEAME DevSge : 157,5% de MER quand on lui indique de s’attendre à du mandarin, contre 83,6% pour l’anglais (Yang et al., 2023).
- TALCS, le plus grand corpus mandarin-anglais recensé, contient 587 heures, soit environ 0,09% des 680 000 heures d’entraînement de Whisper (Zhou et al., CS-Dialogue 2025 ; Radford et al., OpenAI 2022).
- 72 des 114 corpus d’alternance codique présentés dans la littérature de TAL sont privés (Winata et al., ACL Findings 2023).
- 63% des adultes latinos aux États-Unis utilisent le spanglish au moins parfois ; 77% des Latinos bilingues le font (Pew Research Center 2023).
- Environ 3,5% de 50 millions de tweets dans sept langues présentaient une alternance codique (Rijhwani et al., ACL 2017).
1. La pénalité de l’alternance codique : taux d’erreur mixtes et monolingues
Le constat principal est constant dans tous les benchmarks qui font tourner le même modèle sur les deux types de parole : les taux d’erreur se multiplient dès que deux langues partagent une phrase. Sur HiKE, le taux d’erreur de Whisper-Large en alternance codique était 5,9 fois son WER en anglais (26,1 / 4,4) et 8,2 fois son CER en coréen (26,1 / 3,2). HiKE offre la comparaison la plus propre car il publie les scores monolingues sur FLEURS pour les mêmes modèles, à côté des résultats en alternance codique. GPT-4o-transcribe, le système le plus performant de ce tableau, est tout de même passé de 3,3% de WER en anglais à 21,8% de MER sur la parole mixte.
L’écart n’est pas symétrique. Dans les phrases mixtes, c’est la langue enchâssée qui souffre le plus : le gagnant d’ASRU 2019 faisait environ trois fois plus d’erreurs sur les mots anglais que sur les caractères mandarins (12,33 / 4,04 = 3,05), alors que l’anglais ne représentait qu’une petite part de chaque phrase : en moyenne 1,6 mot anglais pour 8,6 caractères chinois. Dans l’évaluation anglais-yoruba, le déséquilibre est extrême, avec un échec quasi total sur la langue la moins dotée en ressources.
| Métrique | Valeur | Source |
|---|---|---|
| Whisper-Large, coréen-anglais en alternance codique (taux d’erreur mixte), WER en anglais monolingue et CER en coréen monolingue | 26,1% contre 4,4% contre 3,2% | Paik et al., benchmark HiKE 2026 |
| GPT-4o-transcribe, coréen-anglais en alternance codique (taux d’erreur mixte) et WER en anglais monolingue | 21,8% contre 3,3% | Paik et al., benchmark HiKE 2026 |
| Taux d’erreur par caractère sur CS-FLEURS en alternance codique et sur FLEURS monolingue d’origine | Plus de 2 fois supérieur | Yan et al., CS-FLEURS, Interspeech 2025 |
| Meilleur système ASRU 2019 (Track 1) : CER en mandarin et WER en anglais dans les mêmes phrases en alternance codique | 4,04% contre 12,33% | Shi et al., rapport du défi ASRU 2019 (2020) |
| WER de Whisper-large-v3 : conférences TED en anglais monolingue, Fisher espagnol-anglais et ArzEn arabe égyptien-anglais | 6,07% contre 29,43% contre 52,80% | Ugan et al., article PIER, ICASSP 2025 |
| Jeu de test anglais-yoruba : taux d’erreur sur les jetons anglais et sur les jetons yoruba (huit systèmes fidèles, qui transcrivent la parole à alternance codique sans la traduire dans une seule langue) | 33% à 46% contre au moins 96,6% | Okocha et Grant, arXiv 2026 |
Note de contexte : la ligne d’Ugan et al. compare des jeux de données différents (anglais de conférences et parole téléphonique conversationnelle), de sorte qu’une partie de l’écart reflète les conditions d’enregistrement, pas seulement l’alternance. Les lignes HiKE et CS-FLEURS maintiennent le modèle constant. Chiffres complets : article HiKE et article CS-FLEURS.
2. Benchmarks du taux d’erreur mixte (MER) : où en est le domaine
Le taux d’erreur mixte existe parce qu’il n’y a pas de « mot » unique entre le mandarin et l’anglais : le MER compte les erreurs par caractère pour les langues à caractères (mandarin, coréen) et par mot pour l’anglais, puis les combine en un seul taux. Cela fait du MER la monnaie commune des articles sur l’alternance codique, mais il masque aussi la langue qui échoue, ce qui explique pourquoi les meilleurs articles publient séparément le CER et le WER.
À travers les benchmarks, les chiffres s’étalent largement : le système gagnant a obtenu 4,94% de MER sur le test mandarin-anglais d’ASRU 2019, alors que la meilleure référence sur les conversations spontanées d’ASCEND plafonnait à 27,05%. La même paire de langues peut sembler presque résolue ou très dégradée selon le style d’enregistrement et le volume d’entraînement : ASRU 2019 fournissait 200 heures d’audio d’entraînement en alternance codique, ASCEND seulement 10,62 heures de dialogue spontané. Parmi les modèles prêts à l’emploi, SenseVoice-Small a atteint 6,71% de MER sur CS-Dialogue contre 15,29% pour Whisper Large-V2.
| Métrique | Valeur | Source |
|---|---|---|
| Meilleur taux d’erreur mixte, ASRU 2019 mandarin-anglais, Track 1 (ASR traditionnel, modèle de langage fixe) et Track 3 (ASR de bout en bout) | 4,94% contre 5,91% | Shi et al., rapport du défi ASRU 2019 (2020) |
| Meilleure référence sur les conversations spontanées de Hong Kong d’ASCEND : CER et MER | 22,69% contre 27,05% | Lovenia et al., corpus ASCEND (2021) |
| Jeu de test CS-Dialogue, modèles pré-entraînés (MER) : SenseVoice-Small, Paraformer, Qwen2-Audio et Whisper Large-V2 | 6,71% contre 9,65% contre 9,76% contre 15,29% | Zhou et al., CS-Dialogue 2025 |
| CS-Dialogue, Conformer entraîné à partir de zéro : CER en mandarin, WER en anglais et MER | 15,45% contre 32,36% contre 18,91% | Zhou et al., CS-Dialogue 2025 |
| WER de référence de bout en bout MUCS 2021 sur le jeu de test : hindi-anglais et bengali-anglais | 25,9% contre 31,0% | Diwan et al., défi MUCS 2021 (Interspeech 2021) |
Note sur les valeurs atypiques : la ligne du Conformer de CS-Dialogue montre à nouveau le problème de la langue enchâssée, avec un WER en anglais plus de deux fois supérieur au CER en mandarin sur le même jeu de test. Les lignes ASRU 2019, ASCEND (2021) et MUCS 2021 reposent sur les données disponibles les plus récentes ; leurs auteurs ne les ont pas relancées avec des modèles actuels. Sources : rapport du défi ASRU 2019, CS-Dialogue, MUCS 2021.
3. Échecs aux points d’alternance : ce que les taux d’erreur globaux cachent
Une transcription peut obtenir un bon score global tout en se trompant sur chaque alternance, car les mots concernés représentent une faible part du total. PIER (Point-of-Interest Error Rate) a été conçu pour mesurer la précision uniquement aux mots où la langue change, et les résultats sont inconfortables : après affinage, Whisper-large a amélioré son WER global sur Fisher espagnol-anglais de 5,06% en relatif, tandis que son erreur aux points d’alternance augmentait de 39,47%. Autrement dit, la métrique habituelle des classements a récompensé un modèle devenu moins bon à l’alternance codique elle-même.
La direction compte aussi. Sur le jeu anglais-yoruba, les systèmes géraient raisonnablement les retours vers l’anglais et s’effondraient sur les bascules vers le yoruba. Une alternance plus dense a fait monter les taux d’erreur des systèmes les plus performants, et les alternances à l’intérieur d’un même mot (un radical dans une langue, un affixe dans une autre) étaient les plus difficiles de toutes. Certains taux d’erreur dépassent 100% parce que les insertions sont comptées comme des erreurs ; trois modèles audio génératifs ont sur-généré du texte sur le jeu yoruba, un mode de défaillance abordé dans notre tour d’horizon des hallucinations en reconnaissance vocale.
| Métrique | Valeur | Source |
|---|---|---|
| Whisper-large affiné sur Fisher espagnol-anglais : variation du WER global et variation de l’erreur aux points d’alternance (PIER) | 5,06% mieux contre 39,47% pire (relatif) | Ugan et al., article PIER, ICASSP 2025 |
| Whisper-large affiné sur Fisher : WER et PIER | 27,94% contre 50,78% | Ugan et al., article PIER, ICASSP 2025 |
| Whisper-large sur ArzEn arabe-anglais : erreur aux points d’alternance entre les mots et à l’intérieur des mots | 49,50% contre 105,71% | Ugan et al., article PIER, ICASSP 2025 |
| Erreur sur le premier jeton après une bascule : de l’anglais vers le yoruba et du yoruba vers l’anglais | 0,95 à 1,00 contre 0,40 à 0,53 | Okocha et Grant, arXiv 2026 |
| WER moyen des systèmes les plus performants à faible et à forte densité d’alternance (anglais-yoruba) | 66,9% contre 71,2% | Okocha et Grant, arXiv 2026 |
| Taux d’erreur par jeton, énoncés à dominante anglaise, équilibrés et à dominante yoruba | Environ 0,42 contre 0,65 contre 0,83 | Okocha et Grant, arXiv 2026 |
Réserve méthodologique : le jeu anglais-yoruba compte en moyenne 2,60 alternances par énoncé (maximum 9) sur 9,54 heures d’audio provenant de 100 locuteurs ; c’est donc un test de résistance, pas une conversation typique. Tableaux complets : article PIER et évaluation anglais-yoruba tenant compte des alternances.
4. Identification de la langue aux points d’alternance
La plupart des modèles multilingues décident quelle langue ils entendent avant de transcrire. Sur la parole à alternance codique, cette décision unique est fausse par construction pour une partie de chaque phrase. Dans de vraies conversations bilingues indiennes, la durée moyenne d’un segment dans une seule langue était d’environ 500 millisecondes, et de nombreux tours de parole se limitaient à des mots isolés d’environ 200 millisecondes (Baghel et al., synthèse DISPLACE 2023). La diarisation des langues (étiqueter qui parle quelle langue et quand, l’équivalent pour les langues de la diarisation des locuteurs) a eu du mal en conséquence, et la confusion entre langues était la composante d’erreur la plus importante.
La même faiblesse apparaît sous la forme d’une sensibilité à la consigne. Indiquer à Whisper quelle langue attendre peut faire varier les résultats de plusieurs dizaines de points, et le laisser détecter la langue automatiquement était moins bon que de la fixer sur le jeu anglais-yoruba. L’écriture compte aussi : sur CS-FLEURS, les paires écrites dans deux systèmes d’écriture différents avaient en moyenne un CER 3 fois plus élevé que celles partageant un même système, un problème apparenté aux questions de représentation interlangue abordées dans nos statistiques sur les plongements vocaux multilingues.
| Métrique | Valeur | Source |
|---|---|---|
| Taux d’erreur de diarisation des langues DISPLACE 2023, évaluation de la phase 2 : référence (B2) et meilleure équipe | 41,67% contre 37,60% | Baghel et al., synthèse du défi DISPLACE 2023 |
| Composante d’erreur de confusion de la référence (B2), évaluation de la phase 2 | 26,40% (composante la plus importante) | Baghel et al., synthèse du défi DISPLACE 2023 |
| Corpus DISPLACE 2023 : nombre total d’heures et langues | 32 heures ; sept langues (six langues indiennes plus l’anglais indien) | Baghel et al., synthèse du défi DISPLACE 2023 |
| MER de Whisper-small sans affinage sur le jeu de développement SEAME DevSge : consigne en mandarin et consigne en anglais | 157,5% contre 83,6% | Yang et al., Whisper sur SEAME et ASRU 2019 (2023) |
| Whisper-large-v3 sur anglais-yoruba : WER avec détection automatique de la langue et avec consigne fixe | 74,8% contre 71,2% | Okocha et Grant, arXiv 2026 |
| Erreur aux points d’alternance (PIER) de Whisper-large-v3 sur la partition de test SEAME.sge : décodage indépendant de la langue et décodage forcé en anglais | 64,51% contre 36,10% | Ugan et al., article PIER, ICASSP 2025 |
| CER de Whisper-Large-v3 sur la parole lue de CS-FLEURS : paires au même système d’écriture et paires à systèmes d’écriture distincts | 7,32% contre 32,33% | Yan et al., CS-FLEURS, Interspeech 2025 |
Note de contexte : la synthèse DISPLACE publie aussi un score indulgent (DER**, 34,72% pour la référence en phase 2) qui applique une marge de tolérance de 250 ms, ce qui retire de l’évaluation les mots étrangers courts de 500 ms ou moins. Les auteurs de l’article concluent que l’erreur principale vient de la courte durée des passages en langues mélangées. Source : synthèse du défi DISPLACE 2023.
5. Pénurie de données : combien d’heures de parole à alternance codique existent
La pénurie est la cause profonde des sections 1 à 4. Le plus grand corpus mandarin-anglais du tableau comparatif de CS-Dialogue, TALCS, contient 587 heures ; Whisper a été entraîné sur 680 000 heures d’audio, TALCS en représente donc environ 0,09% (587 / 680 000 = 0,086%). La plupart des corpus d’alternance codique sont beaucoup plus petits, couvrent une seule paire de langues, et beaucoup ne peuvent pas du tout être téléchargés.
Même le benchmark que tout le monde cite est difficile à cerner : SEAME apparaît avec 192 heures dans le catalogue du Linguistic Data Consortium mais avec 30 heures dans un tableau comparatif de 2025 (voir la note sur les données dans la méthodologie). La couverture du vocabulaire est une seconde lacune : dans MUCS 2021, le taux de mots hors vocabulaire (part des mots du test absents du vocabulaire d’entraînement) atteignait 27,3% sur le jeu de test en aveugle bengali-anglais.
| Métrique | Valeur | Source |
|---|---|---|
| Corpus mandarin-anglais SEAME (Singapour et Malaisie) : heures et locuteurs | Environ 192 heures ; 156 locuteurs de 19 à 33 ans | Linguistic Data Consortium, SEAME LDC2015S04 (2015) |
| Données d’entraînement en alternance codique MUCS 2021 : hindi-anglais et bengali-anglais | 89,86 heures contre 46,11 heures | Diwan et al., défi MUCS 2021 |
| Taux de mots hors vocabulaire MUCS 2021, test en aveugle : hindi-anglais et bengali-anglais | 19,6% contre 27,3% | Diwan et al., défi MUCS 2021 |
| Données du défi ASRU 2019 : entraînement en mandarin seul, entraînement en alternance codique et développement en alternance codique | 500 contre 200 contre 40 heures | Shi et al., rapport du défi ASRU 2019 (2020) |
| Corpus mandarin-anglais spontanés : ASCEND, CS-Dialogue et TALCS | 10,62 heures (23 locuteurs) contre 104,02 heures (200 locuteurs) contre 587 heures | Zhou et al., CS-Dialogue 2025 (tableau comparatif) |
| CS-FLEURS : langues, paires en alternance codique, total d’heures | 52 langues, 113 paires, 294 heures | Yan et al., CS-FLEURS, Interspeech 2025 |
| Taille du benchmark coréen-anglais HiKE | 1 121 énoncés, environ 2,2 heures, 13 locuteurs | Paik et al., benchmark HiKE 2026 |
| Corpus d’alternance codique présentés dans la littérature de TAL : total et privés | 114 contre 72 (63%) | Winata et al., ACL Findings 2023 |
Alerte de fraîcheur : les chiffres de SEAME, de MUCS et de la synthèse des corpus sont les données disponibles les plus récentes (LDC 2015, MUCS 2021, Winata et al. 2023). Notez également que 128 des 294 heures de CS-FLEURS constituent un jeu d’entraînement de parole synthétique générée par synthèse vocale, et que la plupart des jeux de test sont eux aussi synthétiques ; seul son jeu de test READ de 17 heures utilise de vraies voix bilingues. Sources : entrée du catalogue LDC SEAME, synthèse de Winata et al., article Whisper.
6. Résultats de l’affinage et de l’adaptation
De petites quantités de données en alternance codique du bon domaine vont très loin. L’affinage de Whisper-Medium sur de la parole coréen-anglais naturelle a fait passer le taux d’erreur mixte sur HiKE de 31,3 à 9,0, soit une baisse de 22,3 points, et Whisper-small sur SEAME est passé de 101,9 à 14,3 de MER sur le jeu de développement DevMan avec la même consigne. L’équipe de Yang et al. a rapporté que les gains sur SEAME se stabilisaient après environ 1 à 10 heures de données d’adaptation.
Il y a cependant un compromis. Le même affinage sur HiKE a fait passer le CER en coréen monolingue de 3,4 à 6,0 : un modèle réglé pour la parole mixte peut donc perdre en précision sur la parole en une seule langue. L’échelle reste malgré tout plus efficace que le réglage : un Conformer interne entraîné sur plus de 40 000 heures a dépassé Whisper-small affiné d’environ 18% sur SEAME (Yang et al., 2023).
| Métrique | Valeur | Source |
|---|---|---|
| Whisper-Medium sur HiKE : MER avant et après affinage sur de la parole coréen-anglais naturelle | 31,3 contre 9,0 | Paik et al., benchmark HiKE 2026 |
| Même affinage : CER en coréen monolingue, avant et après | 3,4 contre 6,0 | Paik et al., benchmark HiKE 2026 |
| Whisper-small sur SEAME, consigne en anglais : MER sans affinage et avec affinage, jeu de développement DevMan et jeu de développement DevSge | 101,9 contre 14,3 ; 83,6 contre 20,4 | Yang et al., Whisper sur SEAME et ASRU 2019 (2023) |
| Quantité de données d’adaptation à laquelle les gains sur SEAME se sont stabilisés | Environ 1 à 10 heures | Yang et al., Whisper sur SEAME et ASRU 2019 (2023) |
| Whisper-Medium sur CS-Dialogue : MER sans affinage et avec affinage | 15,88% contre 7,53% (réduction relative de 52,6%) | Zhou et al., CS-Dialogue 2025 |
| Test de lecture CS-FLEURS, paires de langues vues : taux d’erreur sans et avec augmentation synthétique en alternance codique | 31,77 contre 26,24 | Yan et al., CS-FLEURS, Interspeech 2025 |
Note de calcul : la réduction relative sur CS-Dialogue est (15,88 - 7,53) / 15,88 = 52,6%. L’affinage n’aide pas toujours : dans l’article PIER, Whisper-small affiné sur SEAME est passé de 68,24 à 87,67 de MER sur la partition de test SEAME.sge. Source : Yang et al. 2023.
7. À quel point l’alternance codique est courante chez les locuteurs bilingues
Les systèmes de reconnaissance traitent l’alternance codique comme un cas marginal ; les données d’enquête montrent que c’est la parole de tous les jours. 63% des adultes latinos aux États-Unis déclarent utiliser le spanglish au moins parfois, et 40% disent le faire souvent (Pew Research Center 2023, enquête auprès de 3 029 adultes hispaniques réalisée du 1er au 14 août 2022). Chez les Latinos bilingues, la part monte à 77%, et 52% d’entre eux utilisent le spanglish très ou extrêmement souvent. Pour un système de reconnaissance vocale, cela signifie que la langue mixte est l’entrée normale d’un large groupe d’utilisateurs, pas une rare exception.
Les données textuelles montrent la même chose à grande échelle. Sur environ 50 millions de tweets dans sept langues (néerlandais, anglais, français, allemand, portugais, espagnol et turc), environ 3,5% présentaient une alternance codique, avec de l’anglais dans 85,4% d’entre eux. L’attention de la recherche suit les plus grandes populations bilingues : le hindi-anglais et l’espagnol-anglais dominent la littérature, et la plupart des articles à l’ISCA, principal lieu de la recherche sur la parole, portent sur des données vocales.
| Métrique | Valeur | Source |
|---|---|---|
| Adultes latinos aux États-Unis qui utilisent le spanglish au moins parfois et souvent | 63% contre 40% | Pew Research Center, Latinos’ Views of and Experiences With the Spanish Language (2023) |
| Usage du spanglish au moins parfois : Latinos bilingues, à dominante anglaise et à dominante espagnole | 77% contre 54% contre 56% | Pew Research Center (2023) |
| Usage du spanglish au moins parfois : deuxième génération et troisième génération ou plus | 72% contre 45% | Pew Research Center (2023) |
| Parents bilingues ayant déclaré mélanger les langues avec leurs enfants | 90% de 181 parents | Université Concordia, étude de Byers-Heinlein (2013) |
| Part de tweets en alternance codique sur environ 50 millions de tweets dans sept langues | Environ 3,5% | Rijhwani et al., ACL 2017 |
| Paires les plus mélangées en part des tweets en alternance codique : anglais-espagnol, anglais-français, anglais-portugais | 21,5%, 20,8%, 18,4% | Rijhwani et al., ACL 2017 |
| Ville avec la plus forte part de tweets en alternance codique et la plus faible | Istanbul 12% contre Houston 1% | Rijhwani et al., ACL 2017 |
| Articles de recherche sur l’alternance codique par paire de langues : hindi-anglais, espagnol-anglais et chinois-anglais | 128 contre 86 contre 47 | Winata et al., ACL Findings 2023 |
Alerte de fraîcheur : l’étude sur les parents (2013) et l’analyse de Twitter (2017) sont les données disponibles les plus récentes pour ces mesures ; les chiffres du Pew proviennent de son enquête de 2022. Sources : rapport du Pew Research Center, Rijhwani et al. 2017, communiqué sur l’étude de Concordia.
Résumé : la reconnaissance vocale sur l’alternance codique en chiffres
| Métrique | Valeur | Source |
|---|---|---|
| Whisper-Large : MER coréen-anglais en alternance codique et WER en anglais monolingue | 26,1% contre 4,4% | Paik et al., benchmark HiKE 2026 |
| CER sur CS-FLEURS en alternance codique et sur FLEURS monolingue | Plus de 2 fois supérieur | Yan et al., CS-FLEURS, Interspeech 2025 |
| Gagnant d’ASRU 2019 : CER en mandarin et WER de l’anglais enchâssé | 4,04% contre 12,33% | Shi et al., rapport du défi ASRU 2019 (2020) |
| Meilleur MER de référence sur les conversations spontanées d’ASCEND | 27,05% | Lovenia et al., corpus ASCEND (2021) |
| MER sur CS-Dialogue : SenseVoice-Small et Whisper Large-V2 | 6,71% contre 15,29% | Zhou et al., CS-Dialogue 2025 |
| WER de référence de bout en bout MUCS 2021 : hindi-anglais et bengali-anglais | 25,9% contre 31,0% | Diwan et al., défi MUCS 2021 |
| Whisper-large affiné sur Fisher : variation du WER et variation de l’erreur aux points d’alternance | 5,06% mieux contre 39,47% pire | Ugan et al., article PIER, ICASSP 2025 |
| Erreur après une bascule vers le yoruba et vers l’anglais | 0,95 à 1,00 contre 0,40 à 0,53 | Okocha et Grant, arXiv 2026 |
| Segment de langue moyen dans les conversations bilingues indiennes | Environ 500 ms | Baghel et al., synthèse du défi DISPLACE 2023 |
| Meilleur taux d’erreur de diarisation des langues, DISPLACE 2023 | 37,60% | Baghel et al., synthèse du défi DISPLACE 2023 |
| CER de CS-FLEURS lu : paires au même système d’écriture et paires à systèmes d’écriture distincts | 7,32% contre 32,33% | Yan et al., CS-FLEURS, Interspeech 2025 |
| Plus grand corpus mandarin-anglais recensé (TALCS) et données d’entraînement de Whisper | 587 heures contre 680 000 heures | Zhou et al., CS-Dialogue 2025 ; Radford et al., OpenAI 2022 |
| Taille du corpus SEAME | Environ 192 heures, 156 locuteurs | Linguistic Data Consortium, LDC2015S04 |
| Part privée des corpus d’alternance codique | 72 sur 114 (63%) | Winata et al., ACL Findings 2023 |
| Adultes latinos aux États-Unis utilisant le spanglish au moins parfois | 63% | Pew Research Center (2023) |
| Part de tweets en alternance codique dans sept langues | Environ 3,5% | Rijhwani et al., ACL 2017 |
Méthodologie et sources
- Paik et al., HiKE: Hierarchical Evaluation Framework for Korean-English Code-Switching Speech Recognition, arXiv v4, 13 janvier 2026 : arxiv.org/html/2509.24613v4
- Yan et al., CS-FLEURS: A Massively Multilingual and Code-Switched Speech Dataset, Interspeech 2025 : arxiv.org/abs/2509.14161v1
- Okocha et Grant, Beyond Word Error Rate: A Switch Aware Evaluation of ASR and Audio Language Models on English Yoruba Code-Switched Speech, arXiv, 10 septembre 2026 : arxiv.org/abs/2609.11786
- Ugan, Pham, Barmann et Waibel, PIER: A Novel Metric for Evaluating What Matters in Code-Switching, ICASSP 2025 : arxiv.org/html/2501.09512
- Zhou et al., CS-Dialogue: A 104-Hour Dataset of Spontaneous Mandarin-English Code-Switching Dialogues for Speech Recognition, arXiv v2, 12 mars 2025 : arxiv.org/html/2502.18913v2
- Shi, Feng et Xie, The ASRU 2019 Mandarin-English Code-Switching Speech Recognition Challenge: Open Datasets, Tracks, Methods and Results, 2020 : arxiv.org/abs/2007.05916
- Diwan et al., Multilingual and code-switching ASR challenges for low resource Indian languages (MUCS 2021), 2021 : arxiv.org/abs/2104.00235
- Lovenia et al., ASCEND: A Spontaneous Chinese-English Dataset for Code-switching in Multi-turn Conversation, 2021 : arxiv.org/abs/2112.06223v4
- Yang, Peng, Zhong, Huang et Chng, Adapting OpenAI’s Whisper for Speech Recognition on Code-Switch Mandarin-English SEAME and ASRU2019 Datasets, 29 novembre 2023 : arxiv.org/html/2311.17382v1
- Baghel et al., Summary of the DISPLACE Challenge 2023, révisé le 3 janvier 2024 : arxiv.org/abs/2311.12564
- Linguistic Data Consortium, entrée de catalogue SEAME LDC2015S04, publiée le 15 avril 2015 : catalog.ldc.upenn.edu/LDC2015S04
- Winata, Aji, Yong et Solorio, The Decades Progress on Code-Switching Research in NLP, ACL Findings 2023 : arxiv.org/abs/2212.09660
- Radford et al. (OpenAI), Robust Speech Recognition via Large-Scale Weak Supervision, 2022 : arxiv.org/abs/2212.04356
- Pew Research Center, Latinos’ Views of and Experiences With the Spanish Language, 20 septembre 2023 : pewresearch.org
- Rijhwani et al., Estimating Code-Switching on Twitter with a Novel Generalized Word-Level Language Detection Technique, ACL 2017 : aclanthology.org/P17-1180
- Université Concordia, étude de Byers-Heinlein sur 181 parents bilingues, communiqué de presse du 16 janvier 2013 : sciencedaily.com
- Note sur les données : la taille de SEAME diffère selon la source : le catalogue LDC indique environ 192 heures et 156 locuteurs, le tableau comparatif de CS-Dialogue indique 30 heures et 157 locuteurs (son propre texte parle de 92 locuteurs), et Yang et al. ont utilisé un jeu d’entraînement de 93,6 heures ; les chiffres décrivent donc probablement des sous-ensembles différents. Le résumé de MUCS 2021 cite un WER de référence en alternance codique de 32,45% qui correspond à la moyenne de bout en bout non réalignée, pas aux résultats réalignés cités ici, et son total annoncé d’environ 600 heures ne correspond pas à la somme de ses propres tableaux. Le résumé d’ASRU 2019 parle de 240 heures de données en alternance codique, soit les 200 heures d’entraînement plus 40 heures de développement. Les chiffres de HiKE ont changé entre les versions d’arXiv (MER global de Whisper-Tiny : 103,8 en v2, 93,6 en v4) ; nous citons la v4. L’article anglais-yoruba a été publié le 10 septembre 2026 et ses chiffres peuvent changer après la relecture par les pairs. Le MER, le CER, le WER et le PIER peuvent dépasser 100% parce que les insertions comptent comme des erreurs. Les chiffres de prévalence mesurent des choses différentes (parole déclarée par les personnes, parole déclarée par les parents, tweets écrits) et ne doivent pas être combinés.
- Dernière mise à jour : 31 octobre 2026. Nous actualisons ce tour d’horizon chaque trimestre, et la prochaine révision est attendue à la publication des articles sur l’alternance codique d’Interspeech 2026 et d’ICASSP 2027 ainsi que de la version finale du benchmark HiKE après relecture par les pairs.