W teście HiKE dla pary koreański-angielski Whisper-Large popełniał błędy w 26,1% mowy z przełączaniem kodów, wobec 4,4% w jednojęzycznym angielskim i 3,2% w jednojęzycznym koreańskim (Paik i in., test HiKE 2026). To mniej więcej sześciokrotność współczynnika błędów dla angielskiego (26,1 / 4,4 = 5,9) tego samego modelu. Wzorzec powtarza się w różnych parach języków: autorzy CS-FLEURS zmierzyli współczynniki błędów znaków ponad 2 razy wyższe na nagraniach z przełączaniem kodów niż na jednojęzycznym FLEURS (Yan i in., Interspeech 2025), a w konkursie ASRU 2019 dla pary mandaryński-angielski zwycięski system wciąż mylił się w 12,33% osadzonych słów angielskich wobec 4,04% znaków chińskich (Shi i in., raport z konkursu ASRU 2019). Przełączanie kodów (przechodzenie między dwoma językami w jednej rozmowie, zdaniu, a nawet słowie) to zwykłe zachowanie wielu osób opisanych w naszym zestawieniu o dwujęzyczności i wielojęzycznych domach, a mimo to systemy rozpoznawania wciąż są strojone i oceniane w jednym języku naraz, podobnie jak różnice akcentów mierzone w testach jednojęzycznych. Zebraliśmy dane z korpusu SEAME w Linguistic Data Consortium, konkursów MUCS 2021 i ASRU 2019, CS-FLEURS, HiKE, CS-Dialogue, ASCEND, pracy o mierze PIER, konkursu DISPLACE 2023, Pew Research Center oraz przeglądowych prac ACL o badaniach nad przełączaniem kodów.
Uwaga o terminach używanych w całym tekście: język ‘matrycowy’ to główny język zdania, język ‘osadzony’ to ten, na który następuje przełączenie, a ‘punkt przełączenia’ to dokładne słowo, w którym język się zmienia.
TL;DR
- Whisper-Large: mieszany współczynnik błędów 26,1% na mowie koreańsko-angielskiej z przełączaniem kodów wobec 4,4% WER dla jednojęzycznego angielskiego (Paik i in., HiKE 2026).
- CER jest ponad 2 razy wyższy na zbiorach CS-FLEURS z przełączaniem kodów niż na jednojęzycznym FLEURS (Yan i in., Interspeech 2025).
- Najlepszy system ASRU 2019: 4,04% CER dla mandaryńskiego, ale 12,33% WER dla angielskiego w tych samych mieszanych zdaniach (Shi i in., ASRU 2019).
- Błąd na tokenach tuż po przełączeniu na joruba: od 0,95 do 1,00 w systemach ASR i audio-modelach językowych (Okocha i Grant, arXiv 2026).
- Dostrajanie poprawiło WER Whisper-large dla pary hiszpański-angielski o 5,06%, podczas gdy błąd w punktach przełączenia (PIER) pogorszył się o 39,47% (Ugan i in., ICASSP 2025).
- Średni segment jednego języka w indyjskich rozmowach dwujęzycznych: około 500 ms, wiele zaledwie około 200 ms (Baghel i in., DISPLACE 2023).
- Whisper-small bez dostrajania na zbiorze deweloperskim SEAME DevSge: 157,5% MER, gdy oczekiwany jest mandaryński, wobec 83,6%, gdy angielski (Yang i in., 2023).
- TALCS, największy wymieniony korpus mandaryńsko-angielski, liczy 587 godzin, czyli około 0,09% z 680.000 godzin treningowych Whisper (Zhou i in., CS-Dialogue 2025; Radford i in., OpenAI 2022).
- 72 ze 114 korpusów przełączania kodów wprowadzonych w literaturze NLP jest prywatnych (Winata i in., ACL Findings 2023).
- 63% dorosłych Latynosów w USA używa Spanglish przynajmniej czasami; wśród dwujęzycznych Latynosów robi to 77% (Pew Research Center 2023).
- Około 3,5% z 50 milionów tweetów w siedmiu językach zawierało przełączanie kodów (Rijhwani i in., ACL 2017).
1. Kara za przełączanie kodów: współczynniki błędów mieszane a jednojęzyczne
Główny wniosek jest spójny w każdym teście, który uruchamia ten sam model na obu rodzajach mowy: współczynniki błędów rosną wielokrotnie, gdy dwa języki dzielą jedno zdanie. W HiKE współczynnik błędów Whisper-Large na mowie z przełączaniem kodów był 5,9 raza wyższy niż jego WER dla angielskiego (26,1 / 4,4) i 8,2 raza wyższy niż CER dla koreańskiego (26,1 / 3,2). HiKE jest najczystszym porównaniem, bo podaje wyniki jednojęzycznego FLEURS dla tych samych modeli obok wyników na mowie z przełączaniem kodów. GPT-4o-transcribe, najsilniejszy system w tej tabeli, i tak przeszedł z 3,3% WER dla angielskiego na 21,8% MER dla mowy mieszanej.
Różnica nie jest symetryczna. W zdaniach mieszanych najbardziej cierpi język osadzony: zwycięzca ASRU 2019 popełniał około trzy razy więcej błędów na słowach angielskich niż na znakach mandaryńskich (12,33 / 4,04 = 3,05), choć angielski stanowił tylko niewielką część każdego zdania: średnio 1,6 słowa angielskiego wobec 8,6 znaków chińskich. W ewaluacji angielsko-joruba nierównowaga jest skrajna, z niemal całkowitą porażką w języku o mniejszych zasobach.
| Metryka | Wartość | Źródło |
|---|---|---|
| Whisper-Large, koreańsko-angielska mowa z przełączaniem kodów (mieszany współczynnik błędów) wobec WER dla jednojęzycznego angielskiego wobec CER dla jednojęzycznego koreańskiego | 26,1% wobec 4,4% wobec 3,2% | Paik i in., test HiKE 2026 |
| GPT-4o-transcribe, koreańsko-angielska mowa z przełączaniem kodów (mieszany współczynnik błędów) wobec WER dla jednojęzycznego angielskiego | 21,8% wobec 3,3% | Paik i in., test HiKE 2026 |
| Współczynnik błędów znaków na CS-FLEURS z przełączaniem kodów wobec oryginalnego jednojęzycznego FLEURS | Ponad 2 razy wyższy | Yan i in., CS-FLEURS, Interspeech 2025 |
| Najlepszy system ASRU 2019 (ścieżka 1): CER dla mandaryńskiego wobec WER dla angielskiego w tych samych zdaniach z przełączaniem kodów | 4,04% wobec 12,33% | Shi i in., raport z konkursu ASRU 2019 (2020) |
| WER Whisper-large-v3: jednojęzyczne angielskie wykłady TED wobec hiszpańsko-angielskiego Fisher wobec egipsko-arabsko-angielskiego ArzEn | 6,07% wobec 29,43% wobec 52,80% | Ugan i in., praca o PIER, ICASSP 2025 |
| Zbiór testowy angielsko-joruba: współczynnik błędów na tokenach angielskich wobec tokenów joruba (osiem systemów transkrybujących wiernie, bez tłumaczenia) | 33% do 46% wobec co najmniej 96,6% | Okocha i Grant, arXiv 2026 |
Uwaga o kontekście: wiersz Ugan i in. porównuje różne zbiory danych (angielski z wykładów wobec rozmów telefonicznych), więc część tej różnicy odzwierciedla warunki nagrania, a nie tylko przełączanie. Wiersze HiKE i CS-FLEURS utrzymują model na stałym poziomie. Pełne dane: praca o HiKE i praca o CS-FLEURS.
2. Testy mieszanego współczynnika błędów (MER): gdzie jest ta dziedzina
Mieszany współczynnik błędów istnieje, ponieważ nie ma jednego ‘słowa’ wspólnego dla mandaryńskiego i angielskiego: MER liczy błędy na znak dla języków opartych na znakach (mandaryński, koreański) i na słowo dla angielskiego, a następnie łączy je w jeden współczynnik. To czyni MER wspólną walutą prac o przełączaniu kodów, ale też ukrywa, który język zawodzi, dlatego lepsze prace podają CER i WER osobno.
Po zestawieniu testów liczby bardzo się rozchodzą: zwycięski system uzyskał 4,94% MER w teście ASRU 2019 dla pary mandaryński-angielski, podczas gdy najlepszy model bazowy na spontanicznych rozmowach ASCEND wypadł na 27,05%. Ta sama para języków może wyglądać na niemal rozwiązaną albo mocno zepsutą, zależnie od stylu nagrania i ilości danych treningowych: ASRU 2019 dostarczył 200 godzin treningowego dźwięku z przełączaniem kodów, a ASCEND tylko 10,62 godziny spontanicznych dialogów. Wśród gotowych modeli SenseVoice-Small osiągnął 6,71% MER na CS-Dialogue wobec 15,29% dla Whisper Large-V2.
| Metryka | Wartość | Źródło |
|---|---|---|
| Najlepszy mieszany współczynnik błędów, ASRU 2019 mandaryński-angielski, ścieżka 1 (tradycyjne ASR, stały model językowy) wobec ścieżki 3 (ASR end-to-end) | 4,94% wobec 5,91% | Shi i in., raport z konkursu ASRU 2019 (2020) |
| Najlepszy model bazowy na spontanicznych rozmowach hongkońskich ASCEND: CER wobec MER | 22,69% wobec 27,05% | Lovenia i in., korpus ASCEND (2021) |
| Zbiór testowy CS-Dialogue, modele wstępnie wytrenowane (MER): SenseVoice-Small wobec Paraformer wobec Qwen2-Audio wobec Whisper Large-V2 | 6,71% wobec 9,65% wobec 9,76% wobec 15,29% | Zhou i in., CS-Dialogue 2025 |
| CS-Dialogue, Conformer wytrenowany od zera: CER dla mandaryńskiego wobec WER dla angielskiego wobec MER | 15,45% wobec 32,36% wobec 18,91% | Zhou i in., CS-Dialogue 2025 |
| WER modelu bazowego end-to-end MUCS 2021 na zbiorze testowym: hindi-angielski wobec bengalski-angielski | 25,9% wobec 31,0% | Diwan i in., konkurs MUCS 2021 (Interspeech 2021) |
Uwaga o wartościach odstających: wiersz Conformer w CS-Dialogue znów pokazuje problem języka osadzonego, gdzie WER dla angielskiego jest ponad dwukrotnie wyższy niż CER dla mandaryńskiego w tym samym zbiorze testowym. Wiersze ASRU 2019, ASCEND (2021) i MUCS 2021 to najnowsze dostępne dane, których autorzy nie uruchomili ponownie na obecnych modelach. Źródła: raport z konkursu ASRU 2019, CS-Dialogue, MUCS 2021.
3. Błędy w punktach przełączenia: co ukrywają ogólne współczynniki błędów
Transkrypcja może uzyskać dobry wynik ogólny i mimo to błędnie oddać każde przełączenie, bo przełączane słowa stanowią niewielką część całości. PIER (Point-of-Interest Error Rate) zbudowano, by mierzyć dokładność tylko na słowach, w których zmienia się język, a wyniki są niewygodne: po dostrojeniu Whisper-large poprawił ogólny WER na hiszpańsko-angielskim Fisher o 5,06% względnie, podczas gdy jego błąd w punktach przełączenia wzrósł o 39,47%. Innymi słowy, zwykła miara z rankingów nagrodziła model, który pogorszył się w samym przełączaniu kodów.
Kierunek też ma znaczenie. W zbiorze angielsko-joruba systemy radziły sobie rozsądnie z przełączeniami z powrotem na angielski, a załamywały się przy przełączeniach na joruba. Gęstsze przełączanie podnosiło współczynniki błędów u najsilniejszych systemów, a przełączenia wewnątrz jednego słowa (temat w jednym języku, afiks w innym) były najtrudniejsze ze wszystkich. Niektóre współczynniki błędów przekraczają 100%, ponieważ wstawienia liczone są jako błędy; trzy generatywne modele audio na zbiorze joruba generowały nadmiar tekstu, co opisujemy w naszym zestawieniu o halucynacjach w rozpoznawaniu mowy.
| Metryka | Wartość | Źródło |
|---|---|---|
| Dostrojony Whisper-large na hiszpańsko-angielskim Fisher: zmiana ogólnego WER wobec zmiany błędu w punktach przełączenia (PIER) | poprawa o 5,06% wobec pogorszenia o 39,47% (względnie) | Ugan i in., praca o PIER, ICASSP 2025 |
| Dostrojony Whisper-large na Fisher: WER wobec PIER | 27,94% wobec 50,78% | Ugan i in., praca o PIER, ICASSP 2025 |
| Whisper-large na arabsko-angielskim ArzEn: błąd w punktach przełączenia między słowami wobec wewnątrz słów | 49,50% wobec 105,71% | Ugan i in., praca o PIER, ICASSP 2025 |
| Błąd na pierwszym tokenie po przełączeniu: z angielskiego na joruba wobec z joruba na angielski | 0,95 do 1,00 wobec 0,40 do 0,53 | Okocha i Grant, arXiv 2026 |
| Średni WER najsilniejszych systemów przy niskiej wobec wysokiej gęstości przełączeń (angielsko-joruba) | 66,9% wobec 71,2% | Okocha i Grant, arXiv 2026 |
| Współczynnik błędów tokenów, wypowiedzi z przewagą angielskiego wobec zrównoważonych wobec z przewagą joruba | Około 0,42 wobec 0,65 wobec 0,83 | Okocha i Grant, arXiv 2026 |
Zastrzeżenie metodologiczne: zbiór angielsko-joruba ma średnio 2,60 przełączenia na wypowiedź (maksymalnie 9) w 9,54 godziny nagrań od 100 mówców, więc jest to test obciążeniowy, a nie typowa rozmowa. Pełne tabele: praca o PIER i ewaluacja angielsko-joruba uwzględniająca przełączenia.
4. Identyfikacja języka w punktach przełączenia
Większość modeli wielojęzycznych decyduje, jakiego języka słucha, zanim zacznie transkrybować. W mowie z przełączaniem kodów ta jedna decyzja z założenia jest błędna dla części każdego zdania. W rzeczywistych indyjskich rozmowach dwujęzycznych średni odcinek jednego języka trwał około 500 milisekund, a wiele wypowiedzi było pojedynczymi słowami trwającymi około 200 milisekund (Baghel i in., podsumowanie DISPLACE 2023). Diaryzacja językowa (oznaczanie, kto mówi w jakim języku i kiedy, czyli językowy odpowiednik diaryzacji mówców) odpowiednio sobie nie radziła, a największym składnikiem błędu było mylenie języków.
Ta sama słabość widać we wrażliwości na prompt. Wskazanie Whisper, jakiego języka się spodziewać, może zmienić wyniki o dziesiątki punktów, a pozwolenie mu na automatyczne wykrywanie języka dawało na zbiorze angielsko-joruba gorsze wyniki niż jego ustalenie. Znaczenie ma też pismo: w CS-FLEURS pary zapisywane dwoma różnymi pismami miały średnio 3 razy wyższy CER niż pary dzielące jedno pismo, co wiąże się z problemami reprezentacji międzyjęzykowych opisanymi w naszych statystykach wielojęzycznych osadzeń mowy.
| Metryka | Wartość | Źródło |
|---|---|---|
| Współczynnik błędów diaryzacji językowej w DISPLACE 2023, ewaluacja fazy 2: model bazowy (B2) wobec najlepszego zespołu | 41,67% wobec 37,60% | Baghel i in., podsumowanie konkursu DISPLACE 2023 |
| Składnik błędów pomylenia języków w modelu bazowym (B2), ewaluacja fazy 2 | 26,40% (największy składnik) | Baghel i in., podsumowanie konkursu DISPLACE 2023 |
| Korpus DISPLACE 2023: łączna liczba godzin i języków | 32 godziny; siedem języków (sześć języków indyjskich oraz indyjski angielski) | Baghel i in., podsumowanie konkursu DISPLACE 2023 |
| MER Whisper-small bez dostrajania na zbiorze deweloperskim SEAME DevSge: prompt mandaryński wobec prompta angielskiego | 157,5% wobec 83,6% | Yang i in., Whisper na SEAME i ASRU 2019 (2023) |
| WER Whisper-large-v3 na angielsko-joruba: z automatycznym wykrywaniem języka wobec ustalonego prompta | 74,8% wobec 71,2% | Okocha i Grant, arXiv 2026 |
| Błąd w punktach przełączenia (PIER) Whisper-large-v3 na podziale testowym SEAME.sge: dekodowanie niezależne od języka wobec dekodowania wymuszonego na angielski | 64,51% wobec 36,10% | Ugan i in., praca o PIER, ICASSP 2025 |
| CER Whisper-Large-v3 na czytanej mowie CS-FLEURS: pary w tym samym piśmie wobec par w różnych pismach | 7,32% wobec 32,33% | Yan i in., CS-FLEURS, Interspeech 2025 |
Uwaga o kontekście: podsumowanie DISPLACE podaje także łagodniejszy wynik (DER**, 34,72% dla modelu bazowego w fazie 2), który stosuje margines 250 ms i usuwa z oceny krótkie obce słowa trwające 500 ms lub mniej. Autorzy pracy wnioskują, że główne źródło błędów to krótki czas trwania odcinków z mieszaniem kodów. Źródło: podsumowanie konkursu DISPLACE 2023.
5. Niedobór danych: ile godzin mowy z przełączaniem kodów istnieje
Niedobór jest podstawową przyczyną problemów z sekcji od 1 do 4. Największy korpus mandaryńsko-angielski w tabeli porównawczej CS-Dialogue, TALCS, liczy 587 godzin; Whisper wytrenowano na 680.000 godzin dźwięku, więc TALCS to około 0,09% tej wartości (587 / 680.000 = 0,086%). Większość korpusów przełączania kodów jest znacznie mniejsza, obejmuje jedną parę języków, a wielu w ogóle nie można pobrać.
Nawet test, na który wszyscy się powołują, trudno dokładnie opisać: SEAME figuruje jako 192 godziny w katalogu Linguistic Data Consortium, ale jako 30 godzin w jednej tabeli porównawczej z 2025 roku (zob. uwaga o danych w sekcji Metodologia i źródła). Drugą luką jest pokrycie słownictwa: w MUCS 2021 odsetek słów spoza słownika (udział słów testowych nieobecnych w słowniku treningowym) sięgnął 27,3% na ślepym zbiorze testowym bengalski-angielski.
| Metryka | Wartość | Źródło |
|---|---|---|
| Korpus mandaryńsko-angielski SEAME (Singapur i Malezja): godziny i mówcy | Około 192 godzin; 156 mówców w wieku od 19 do 33 lat | Linguistic Data Consortium, SEAME LDC2015S04 (2015) |
| Dane treningowe MUCS 2021 z przełączaniem kodów: hindi-angielski wobec bengalski-angielski | 89,86 godziny wobec 46,11 godziny | Diwan i in., konkurs MUCS 2021 |
| Odsetek słów spoza słownika w MUCS 2021, test ślepy: hindi-angielski wobec bengalski-angielski | 19,6% wobec 27,3% | Diwan i in., konkurs MUCS 2021 |
| Dane konkursu ASRU 2019: trening tylko mandaryński wobec treningu z przełączaniem kodów wobec zbioru deweloperskiego z przełączaniem kodów | 500 wobec 200 wobec 40 godzin | Shi i in., raport z konkursu ASRU 2019 (2020) |
| Spontaniczne korpusy mandaryńsko-angielskie: ASCEND wobec CS-Dialogue wobec TALCS | 10,62 godziny (23 mówców) wobec 104,02 godziny (200 mówców) wobec 587 godzin | Zhou i in., CS-Dialogue 2025 (tabela porównawcza) |
| CS-FLEURS: języki, pary z przełączaniem kodów, łączna liczba godzin | 52 języki, 113 par, 294 godziny | Yan i in., CS-FLEURS, Interspeech 2025 |
| Rozmiar testu koreańsko-angielskiego HiKE | 1121 wypowiedzi, około 2,2 godziny, 13 mówców | Paik i in., test HiKE 2026 |
| Korpusy przełączania kodów wprowadzone w literaturze NLP: ogółem wobec prywatnych | 114 wobec 72 (63%) | Winata i in., ACL Findings 2023 |
Uwaga o aktualności: dane o SEAME, MUCS i przeglądzie korpusów to najnowsze dostępne dane (LDC 2015, MUCS 2021, Winata i in. 2023). Warto też zauważyć, że 128 z 294 godzin CS-FLEURS to zbiór treningowy z mowy syntetycznej wygenerowanej syntezą mowy, i większość zbiorów testowych również jest syntetyczna; tylko 17-godzinny zbiór testowy READ wykorzystuje prawdziwe głosy dwujęzyczne. Źródła: wpis SEAME w katalogu LDC, przegląd Winata i in., praca o Whisper.
6. Wyniki dostrajania i adaptacji
Niewielkie ilości danych z przełączaniem kodów z danej dziedziny dają bardzo dużo. Dostrojenie Whisper-Medium na naturalnej mowie koreańsko-angielskiej obniżyło mieszany współczynnik błędów w HiKE z 31,3 do 9,0, czyli o 22,3 punktu, a Whisper-small na SEAME spadł ze 101,9 do 14,3 MER na zbiorze deweloperskim DevMan przy tym samym prompcie. Zespół Yang i in. podał, że zyski na SEAME nasyciły się po mniej więcej 1 do 10 godzinach danych adaptacyjnych.
Jest jednak kompromis. To samo dostrojenie w HiKE podniosło CER dla jednojęzycznego koreańskiego z 3,4 do 6,0, więc model dostrojony do mowy mieszanej może tracić dokładność na mowie w jednym języku. Skala wciąż wygrywa z dostrajaniem: własny Conformer wytrenowany na ponad 40.000 godzin przewyższył dostrojony Whisper-small o około 18% na SEAME (Yang i in., 2023).
| Metryka | Wartość | Źródło |
|---|---|---|
| Whisper-Medium na HiKE: MER przed dostrojeniem wobec po dostrojeniu na naturalnej mowie koreańsko-angielskiej | 31,3 wobec 9,0 | Paik i in., test HiKE 2026 |
| To samo dostrojenie: CER dla jednojęzycznego koreańskiego przed wobec po | 3,4 wobec 6,0 | Paik i in., test HiKE 2026 |
| Whisper-small na SEAME, prompt angielski: MER bez dostrajania wobec po dostrojeniu, zbiór deweloperski DevMan i zbiór deweloperski DevSge | 101,9 wobec 14,3; 83,6 wobec 20,4 | Yang i in., Whisper na SEAME i ASRU 2019 (2023) |
| Ilość danych adaptacyjnych, przy której zyski na SEAME się nasyciły | Około 1 do 10 godzin | Yang i in., Whisper na SEAME i ASRU 2019 (2023) |
| Whisper-Medium na CS-Dialogue: MER bez dostrajania wobec po dostrojeniu | 15,88% wobec 7,53% (względna redukcja o 52,6%) | Zhou i in., CS-Dialogue 2025 |
| Test czytany CS-FLEURS, widziane pary języków: współczynnik błędów bez wobec z syntetyczną augmentacją przełączania kodów | 31,77 wobec 26,24 | Yan i in., CS-FLEURS, Interspeech 2025 |
Uwaga rachunkowa: względna redukcja w CS-Dialogue to (15,88 - 7,53) / 15,88 = 52,6%. Dostrajanie nie zawsze pomaga: w pracy o PIER Whisper-small dostrojony na SEAME przeszedł z 68,24 na 87,67 MER na podziale testowym SEAME.sge. Źródło: Yang i in. 2023.
7. Jak powszechne jest przełączanie kodów wśród osób dwujęzycznych
Systemy rozpoznawania traktują przełączanie kodów jako przypadek brzegowy; dane z badań ankietowych mówią, że to mowa codzienna. 63% dorosłych Latynosów w USA deklaruje, że używa Spanglish przynajmniej czasami, a 40% robi to często (Pew Research Center 2023, badanie 3029 dorosłych Latynosów przeprowadzone od 1 do 14 sierpnia 2022 roku). Wśród dwujęzycznych Latynosów odsetek rośnie do 77%, a 52% z nich używa Spanglish bardzo lub niezwykle często. Dla systemu rozpoznawania mowy oznacza to, że język mieszany jest normalnym wejściem od dużej grupy użytkowników, a nie rzadkim wyjątkiem.
Dane tekstowe pokazują to samo na dużą skalę. Wśród około 50 milionów tweetów w siedmiu językach (holenderski, angielski, francuski, niemiecki, portugalski, hiszpański i turecki) około 3,5% zawierało przełączanie kodów, a angielski występował w 85,4% z nich. Uwaga badaczy podąża za największymi populacjami dwujęzycznymi: w literaturze dominują pary hindi-angielski i hiszpański-angielski, a większość prac w ISCA, głównym forum badań nad mową, dotyczy danych mowy.
| Metryka | Wartość | Źródło |
|---|---|---|
| Dorośli Latynosi w USA używający Spanglish przynajmniej czasami wobec często | 63% wobec 40% | Pew Research Center, Latinos’ Views of and Experiences With the Spanish Language (2023) |
| Użycie Spanglish przynajmniej czasami: Latynosi dwujęzyczni wobec dominujących w angielskim wobec dominujących w hiszpańskim | 77% wobec 54% wobec 56% | Pew Research Center (2023) |
| Użycie Spanglish przynajmniej czasami: drugie pokolenie wobec trzeciego lub dalszego pokolenia | 72% wobec 45% | Pew Research Center (2023) |
| Dwujęzyczni rodzice, którzy zgłosili mieszanie języków w rozmowie z dziećmi | 90% ze 181 rodziców | Concordia University, badanie Byers-Heinlein (2013) |
| Udział tweetów z przełączaniem kodów wśród około 50 milionów tweetów w siedmiu językach | Około 3,5% | Rijhwani i in., ACL 2017 |
| Najczęściej mieszane pary jako udział tweetów z przełączaniem kodów: angielski-hiszpański, angielski-francuski, angielski-portugalski | 21,5%, 20,8%, 18,4% | Rijhwani i in., ACL 2017 |
| Miasto z najwyższym wobec najniższego udziału tweetów z przełączaniem kodów | Stambuł 12% wobec Houston 1% | Rijhwani i in., ACL 2017 |
| Prace o przełączaniu kodów według pary języków: hindi-angielski wobec hiszpański-angielski wobec chiński-angielski | 128 wobec 86 wobec 47 | Winata i in., ACL Findings 2023 |
Uwaga o aktualności: badanie rodziców (2013) i analiza Twittera (2017) to najnowsze dostępne dane dla tych miar; dane Pew pochodzą z jego badania z 2022 roku. Źródła: raport Pew Research Center, Rijhwani i in. 2017, komunikat o badaniu Concordia.
Podsumowanie: rozpoznawanie mowy przy przełączaniu kodów w liczbach
| Metryka | Wartość | Źródło |
|---|---|---|
| Whisper-Large: MER dla koreańsko-angielskiej mowy z przełączaniem kodów wobec WER dla jednojęzycznego angielskiego | 26,1% wobec 4,4% | Paik i in., test HiKE 2026 |
| CER na CS-FLEURS z przełączaniem kodów wobec jednojęzycznego FLEURS | Ponad 2 razy wyższy | Yan i in., CS-FLEURS, Interspeech 2025 |
| Zwycięzca ASRU 2019: CER dla mandaryńskiego wobec WER dla osadzonego angielskiego | 4,04% wobec 12,33% | Shi i in., raport z konkursu ASRU 2019 (2020) |
| Najlepszy MER modelu bazowego na spontanicznych rozmowach ASCEND | 27,05% | Lovenia i in., korpus ASCEND (2021) |
| MER w CS-Dialogue: SenseVoice-Small wobec Whisper Large-V2 | 6,71% wobec 15,29% | Zhou i in., CS-Dialogue 2025 |
| WER modelu bazowego end-to-end MUCS 2021: hindi-angielski wobec bengalski-angielski | 25,9% wobec 31,0% | Diwan i in., konkurs MUCS 2021 |
| Dostrojony Whisper-large na Fisher: zmiana WER wobec zmiany błędu w punktach przełączenia | poprawa o 5,06% wobec pogorszenia o 39,47% | Ugan i in., praca o PIER, ICASSP 2025 |
| Błąd po przełączeniu na joruba wobec na angielski | 0,95 do 1,00 wobec 0,40 do 0,53 | Okocha i Grant, arXiv 2026 |
| Średni segment jednego języka w indyjskich rozmowach dwujęzycznych | Około 500 ms | Baghel i in., podsumowanie konkursu DISPLACE 2023 |
| Najlepszy współczynnik błędów diaryzacji językowej, DISPLACE 2023 | 37,60% | Baghel i in., podsumowanie konkursu DISPLACE 2023 |
| CER na czytanym CS-FLEURS: pary w tym samym piśmie wobec par w różnych pismach | 7,32% wobec 32,33% | Yan i in., CS-FLEURS, Interspeech 2025 |
| Największy wymieniony korpus mandaryńsko-angielski (TALCS) wobec danych treningowych Whisper | 587 godzin wobec 680.000 godzin | Zhou i in., CS-Dialogue 2025; Radford i in., OpenAI 2022 |
| Rozmiar korpusu SEAME | Około 192 godzin, 156 mówców | Linguistic Data Consortium, LDC2015S04 |
| Prywatny udział korpusów przełączania kodów | 72 ze 114 (63%) | Winata i in., ACL Findings 2023 |
| Dorośli Latynosi w USA używający Spanglish przynajmniej czasami | 63% | Pew Research Center (2023) |
| Udział tweetów z przełączaniem kodów w siedmiu językach | Około 3,5% | Rijhwani i in., ACL 2017 |
Metodologia i źródła
- Paik i in., HiKE: Hierarchical Evaluation Framework for Korean-English Code-Switching Speech Recognition, arXiv v4, 13 stycznia 2026 roku: arxiv.org/html/2509.24613v4
- Yan i in., CS-FLEURS: A Massively Multilingual and Code-Switched Speech Dataset, Interspeech 2025: arxiv.org/abs/2509.14161v1
- Okocha i Grant, Beyond Word Error Rate: A Switch Aware Evaluation of ASR and Audio Language Models on English Yoruba Code-Switched Speech, arXiv, 10 września 2026 roku: arxiv.org/abs/2609.11786
- Ugan, Pham, Barmann i Waibel, PIER: A Novel Metric for Evaluating What Matters in Code-Switching, ICASSP 2025: arxiv.org/html/2501.09512
- Zhou i in., CS-Dialogue: A 104-Hour Dataset of Spontaneous Mandarin-English Code-Switching Dialogues for Speech Recognition, arXiv v2, 12 marca 2025 roku: arxiv.org/html/2502.18913v2
- Shi, Feng i Xie, The ASRU 2019 Mandarin-English Code-Switching Speech Recognition Challenge: Open Datasets, Tracks, Methods and Results, 2020: arxiv.org/abs/2007.05916
- Diwan i in., Multilingual and code-switching ASR challenges for low resource Indian languages (MUCS 2021), 2021: arxiv.org/abs/2104.00235
- Lovenia i in., ASCEND: A Spontaneous Chinese-English Dataset for Code-switching in Multi-turn Conversation, 2021: arxiv.org/abs/2112.06223v4
- Yang, Peng, Zhong, Huang i Chng, Adapting OpenAI’s Whisper for Speech Recognition on Code-Switch Mandarin-English SEAME and ASRU2019 Datasets, 29 listopada 2023 roku: arxiv.org/html/2311.17382v1
- Baghel i in., Summary of the DISPLACE Challenge 2023, wersja poprawiona 3 stycznia 2024 roku: arxiv.org/abs/2311.12564
- Linguistic Data Consortium, wpis katalogowy SEAME LDC2015S04, wydany 15 kwietnia 2015 roku: catalog.ldc.upenn.edu/LDC2015S04
- Winata, Aji, Yong i Solorio, The Decades Progress on Code-Switching Research in NLP, ACL Findings 2023: arxiv.org/abs/2212.09660
- Radford i in. (OpenAI), Robust Speech Recognition via Large-Scale Weak Supervision, 2022: arxiv.org/abs/2212.04356
- Pew Research Center, Latinos’ Views of and Experiences With the Spanish Language, 20 września 2023 roku: pewresearch.org
- Rijhwani i in., Estimating Code-Switching on Twitter with a Novel Generalized Word-Level Language Detection Technique, ACL 2017: aclanthology.org/P17-1180
- Concordia University, badanie Byers-Heinlein na 181 dwujęzycznych rodzicach, komunikat prasowy z 16 stycznia 2013 roku: sciencedaily.com
- Uwaga o danych: rozmiar SEAME różni się w zależności od źródła: katalog LDC podaje około 192 godzin i 156 mówców, tabela porównawcza CS-Dialogue podaje 30 godzin i 157 mówców (jej własny tekst mówi o 92 mówcach), a Yang i in. użyli zbioru treningowego o długości 93,6 godziny, więc liczby prawdopodobnie opisują różne podzbiory. Streszczenie MUCS 2021 przytacza 32,45% WER modelu bazowego dla przełączania kodów, co odpowiada niewyrównanej średniej end-to-end, a nie przytaczanym tu wynikom po ponownym wyrównaniu, a podana łączna wartość około 600 godzin nie zgadza się z sumą jego własnych tabel. Streszczenie ASRU 2019 mówi o 240 godzinach danych z przełączaniem kodów, czyli 200 godzinach treningowych plus 40 godzinach deweloperskich. Liczby HiKE zmieniały się między wersjami arXiv (ogólny MER Whisper-Tiny wynosi 103,8 w v2 i 93,6 w v4); cytujemy v4. Praca o angielsko-joruba została opublikowana 10 września 2026 roku i jej liczby mogą się zmienić po recenzji. MER, CER, WER i PIER mogą przekraczać 100%, ponieważ wstawienia liczone są jako błędy. Dane o rozpowszechnieniu mierzą różne rzeczy (mowę deklarowaną samodzielnie, mowę zgłaszaną przez rodziców, pisane tweety) i nie należy ich łączyć.
- Ostatnia aktualizacja: 31 października 2026 roku. Aktualizujemy to zestawienie kwartalnie, a kolejnego odświeżenia spodziewamy się po publikacji prac o przełączaniu kodów z Interspeech 2026 i ICASSP 2027 oraz ostatecznej, zrecenzowanej wersji testu HiKE.