Gdy benchmark z 2026 roku poprosił neuronowe systemy zamiany tekstu na mowę (TTS) o zaakcentowanie właściwego słowa w dwóch wersjach tego samego zdania, wyniki Pair-Correct były bliskie zera dla niemal wszystkich z nich, a najlepszy wynik wyniósł 11,5%, i to przy jawnym oznaczeniu akcentu w danych wejściowych (Turetzky i in., benchmark CAST 2026). Ten sam wzorzec przewija się przez resztę badań nad prozodią: w japońskim badaniu audiobooków błąd wysokości dźwięku z grubsza podwoił się między resyntezą samym wokoderem a pełnym TTS, klasyfikator emocji, który na ludzkich nagraniach uzyskał 99,64%, na nagraniach syntetycznych uzyskał 15,31%, a modele zamknięte ustępowały prawdziwym nagraniom o 0,93 punktu pod względem bogactwa ekspresji w długich tekstach. Ogólne oceny naturalności są już bliskie ludzkim nagraniom (zobacz nasze statystyki MOS mowy syntetycznej), ale melodia, rytm i akcentowanie to miejsca, w których pozostaje luka. Zebraliśmy dane z Journal of the Brazilian Computer Society, Interspeech i warsztatów ISCA poświęconych syntezie mowy, Blizzard Challenge, ACL 2026 Findings, Journal of the Acoustical Society of America, LabPhon oraz z ponad tuzina prac na arXiv.
TL;DR
- 95 ze 100 badań oceniających prozodię z lat 2020-2024 analizowało wysokość dźwięku (F0), a F0 RMSE było najczęściej używaną metryką (Galdino i in., JBCS 2025).
- Logarytm F0 RMSE koreluje z ocenami prozodii wystawianymi przez ludzi tylko na poziomie r = 0,30 (Yang i in., ProsodyEval 2025).
- Błąd wysokości dźwięku (F0 RMSE) wyniósł 14,03 dla wiersza samego wokodera HiFi-GAN wobec 27,93 dla najlepszego pełnego modelu TTS (Xin i in., TTS audiobooków 2022).
- Bazowe kantońskie TTS popełniało błędy ramek F0 w 32,76% przypadków w pytaniach w formie oznajmującej wobec 13,53% w twierdzeniach (Bai i in., Interspeech 2022).
- Słuchacze usłyszeli jako pytania tylko 21,83% pytań w formie oznajmującej wygenerowanych przez system bazowy (Bai i in., Interspeech 2022).
- Wynik Pair-Correct dla rozmieszczenia akcentu nie przekroczył 11,5% we wszystkich testowanych systemach TTS, podczas gdy model działający tylko na tekście osiągnął 76,1% (Turetzky i in., CAST 2026).
- Słuchacze rozpoznali gniew w 37% nagrań ludzkich, ale w 7% klipów syntetycznych (Abilbekov i in., KazEmoTTS 2024).
- Rozpoznawanie emocji w wynikach CosyVoice 2 spadło z 83,93% (prawdziwa mowa) do 34,57%, gdy prozodia musiała wynikać z tekstu (Ge i in., 2026).
- Oceny pojedynczych zdań wyjaśniały tylko około 12% wariancji ocen akapitów (Clark i in., SSW10 2019).
- Zamknięte TTS do długich tekstów uzyskało średnio 3,42 w bogactwie ekspresji wobec 4,35 dla prawdziwej mowy (Pan i in., SwanBench-Speech, ACL 2026 Findings).
- Czytający ludzie mówili w tempie 3,20 sylaby na sekundę przy czytaniu wobec 4,96 przy swobodnej wypowiedzi (Jacewicz i in., JASA 2010).
1. Pomiar prozodii: problem metryk
Dziedzina mierzy prozodię głównie jedną liczbą, a ta liczba ledwie odzwierciedla to, co słyszą słuchacze. Logarytm F0 RMSE, domyślna metryka błędu wysokości dźwięku, korelował z ocenami prozodii wystawianymi przez ludzi na poziomie r = 0,30, czyli z mniej niż połową korelacji nowszej metryki opartej na tokenach (Yang i in., ProsodyEval 2025). F0 (częstotliwość podstawowa) to miara akustyczna stojąca za postrzeganą wysokością dźwięku, a RMSE (pierwiastek błędu średniokwadratowego) porównuje klatka po klatce syntetyczną krzywą wysokości dźwięku z jednym ludzkim nagraniem tego samego zdania.
Problem ma charakter strukturalny: zdanie można dobrze przeczytać z wieloma różnymi melodiami, więc odległość od jednego wzorca karze za dopuszczalną zmienność. Nawet duże audio-modele językowe nie są jeszcze rozwiązaniem, ponieważ Gemini 2.5 Pro uzyskał korelację r = 0,27 z ocenami prozodii wystawianymi przez ludzi w tym samym benchmarku obejmującym 1000 próbek, 7 systemów TTS i 2000 ocen ludzkich.
| Metryka | Wartość | Źródło |
|---|---|---|
| Przejrzane badania oceniające prozodię (opublikowane w latach 2020-2024) | 100 | Galdino i in., JBCS 2025 |
| Badania, które analizowały wysokość dźwięku (F0) | 95 ze 100 | Galdino i in., JBCS 2025 |
| Badania według języka: angielski / mandaryński / japoński | 48 / 27 / 15 | Galdino i in., JBCS 2025 |
| Korelacja z ocenami prozodii wystawianymi przez ludzi: logarytm F0 RMSE | r = 0,30 [0,19; 0,40] | Yang i in., ProsodyEval 2025 |
| Korelacja z ocenami prozodii wystawianymi przez ludzi: DS-WED (metryka oparta na tokenach) | r = 0,77 [0,73; 0,81] | Yang i in., ProsodyEval 2025 |
| Gemini 2.5 Pro jako sędzia prozodii, korelacja z ocenami ludzi | r = 0,27 | Yang i in., ProsodyEval 2025 |
Kontekst: przegląd systematyczny w Journal of the Brazilian Computer Society wykazał też, że LJ Speech, jednomówcowy angielski korpus czytanej literatury niefabularnej, był najczęściej używanym zbiorem danych, więc spora część opublikowanych dowodów opisuje jeden styl czytania w jednym języku. Osobny benchmark 35 systemów TTS z lat 2008-2024 wskazuje, że prozodia ma większe znaczenie w późniejszych systemach, a jego autorzy sugerują, że ludzie oceniający skupiają się na niej bardziej, w miarę jak znikają problemy z szumem i zrozumiałością (Minixhofer i in., TTSDS 2024).
2. Zmierzony błąd wysokości dźwięku i czasu trwania względem ludzkich nagrań
Gdy badanie oddziela wokoder od etapu przewidującego prozodię na podstawie tekstu, większość błędu wysokości dźwięku pojawia się w tym drugim. W japońskim badaniu audiobooków F0 RMSE wyniosło 14,03 dla wiersza samego wokodera HiFi-GAN i 27,93 dla najlepszego pełnego modelu TTS, czyli było około 2 razy wyższe (27,93 / 14,03 = 1,99) (Xin i in., TTS audiobooków 2022). Wokoder to końcowy etap zamieniający cechy akustyczne w przebieg dźwiękowy, więc wynik samego wokodera przybliża dolną granicę błędu samego toru audio.
Nowsze predyktory poprawiają wynik tylko o kilka punktów. Model prozodii z 2025 roku, wytrenowany na około 750 godzinach angielskiego dźwięku, dopasował wysokość dźwięku wzorca w 43,9% ramek, wobec 40,2% dla najsilniejszego modelu bazowego. Różnorodność prozodii jest też krucha: dostrajanie preferencyjne (DPO) obniżyło zmierzoną różnorodność prozodii jednego z systemów o 18,8%.
| Metryka | Wartość | Źródło |
|---|---|---|
| F0 RMSE: sam wokoder (HiFi-GAN) wobec najlepszy pełny model TTS (japońskie audiobooki) | 14,03 wobec 27,93 | Xin i in., TTS audiobooków 2022 |
| Błąd gruby wysokości dźwięku: sam wokoder (HiFi-GAN) wobec najlepszy model TTS wobec model bazowy | 2,2 wobec 12,57 wobec 14,16 | Xin i in., TTS audiobooków 2022 |
| Preferencja AB: model świadomy kontekstu wobec model bazowy (40 słuchaczy) | 61,5% wobec 38,5% | Xin i in., TTS audiobooków 2022 |
| F0 RMSE: hierarchiczny model długich tekstów wobec bazowy FastSpeech 2 z BERT (mandaryńskie audiobooki) | 36,61 wobec 51,12 | Guo i in., HiGNN-TTS 2023 |
| MSE czasu trwania: hierarchiczny model długich tekstów wobec model bazowy | 0,1083 wobec 0,1421 | Guo i in., HiGNN-TTS 2023 |
| Surowa dokładność wysokości dźwięku (odsetek ramek bliskich ludzkiej wysokości dźwięku): ProMode wobec bazowy StyleTTS 2 | 43,9% wobec 40,2% | Eren i in., ProMode 2025 |
| Zmiana różnorodności prozodii po dostrajaniu DPO, CosyVoice 2 (LibriSpeech) | -18,8% | Yang i in., ProsodyEval 2025 |
Uwaga o wartościach odstających: wartości F0 RMSE są porównywalne tylko w obrębie jednej pracy, ponieważ jednostki, dopasowanie i zbiory danych się różnią. Praca o ProMode nie podaje jednostek swojego RMSE, a tekst HiGNN-TTS opisuje własny wynik F0 słowami sprzecznymi z jego tabelą, więc podajemy wartości z tabeli.
3. Pytania, składnia i homografy: poprawne odczytanie typu zdania
Intonacja pytań zawodzi tam, gdzie gramatyka nie daje żadnej wskazówki. Bazowy kantoński system Tacotron 2 popełniał błędy ramek F0 w 32,76% ramek w pytaniach w formie oznajmującej, wobec 13,53% w twierdzeniach, a słuchacze rozpoznali jako pytania tylko 21,83% jego pytań w formie oznajmującej (Bai i in., Interspeech 2022). Pytanie w formie oznajmującej to zdanie o budowie twierdzenia, które powinno kończyć się wznoszącą wysokością dźwięku; w korpusie CanTTS stanowią one około 1000 z 12.010 wypowiedzi, więc model rzadko widzi ten wzorzec. Błąd ramek F0 zlicza ramki, w których wysokość dźwięku lub obecność dźwięczności wyraźnie odbiega od ludzkiego nagrania.
Rozwiązanie w tym badaniu, czyli osobny klasyfikator tekstu odróżniający pytanie od twierdzenia, podniosło rozpoznawalność do 98,41%. Nowsze systemy pozostają nierówne: w benchmarku EmergentTTS-Eval z 2025 roku, ocenianym przez sędziego AI względem komercyjnego systemu bazowego, dla którego 50% oznacza remis, modele open source Sesame1B, Orpheus-TTS i Qwen 2.5 Omni wygrały odpowiednio w 31,78%, 39,64% i 49,28% promptów z pytaniami (Manku i in., Boson AI, EmergentTTS-Eval 2025).
| Metryka | Wartość | Źródło |
|---|---|---|
| Pytania w formie oznajmującej rozpoznane jako pytania: bazowy Tacotron 2 wobec model z klasyfikatorem pytań | 21,83% wobec 98,41% | Bai i in., Interspeech 2022 |
| Błąd ramek F0 w pytaniach w formie oznajmującej wobec w twierdzeniach, bazowy Tacotron 2 | 32,76% wobec 13,53% | Bai i in., Interspeech 2022 |
| Intonacja pytań odebrana poprawnie: resynteza wokoderem wobec dwa bazowe emocjonalne TTS | 99,2% wobec 81,6% i 85,9% | Tang i in., QI-TTS 2023 |
| Odsetek wygranych w kategorii pytań względem modelu bazowego: GPT-4o-audio (najlepszy ogółem) wobec Sesame1B | 56,96% wobec 31,78% | Boson AI, EmergentTTS-Eval 2025 |
| Odsetek wygranych w złożoności składniowej względem modelu bazowego: Orpheus-TTS wobec Sesame1B | 38,92% wobec 18,88% | Boson AI, EmergentTTS-Eval 2025 |
| Odsetek wygranych w trudnej wymowie względem modelu bazowego: Qwen 2.5 Omni | 3,30% | Boson AI, EmergentTTS-Eval 2025 |
| Zgodność rankingu sędziego AI z rankingiem ludzi (Spearman) | 90,5% | Boson AI, EmergentTTS-Eval 2025 |
| Francuski test homografów (Blizzard 2023): poziom losowy wobec najlepsze systemy | 50% wobec ponad 80% | Perrotin i in., Blizzard Challenge 2023 |
Kontekst: homografy (wyrazy pisane tak samo, ale inaczej wymawiane, jak francuskie ‘est’ jako czasownik lub strona świata) oceniało 218 słuchaczy w teście ABX w Blizzard Challenge 2023, a organizatorzy powiązali najlepsze wyniki z systemami, które używały dużego modelu językowego w koderze tekstu. Badanie QI-TTS pochodzi z marca 2023 roku; to najnowsze dostępne dane dla tej miary.
4. Akcentowanie i akcent kontrastywny
Postawienie akcentu na właściwym słowie to obecnie najwyraźniejsza porażka. W benchmarku CAST obejmującym 113 par kontrastywnych (226 pozycji) wyniki Pair-Correct (właściwe słowo zaakcentowane w obu wersjach pary) były bliskie zera dla niemal wszystkich systemów, a najlepszy wyniósł 11,5%, osiągnięty tylko przy jawnym oznaczeniu akcentu w danych wejściowych (Turetzky i in., CAST 2026). Ten sam benchmark pokazał, że model językowy działający tylko na tekście potrafi wywnioskować zamierzony akcent z kontekstu w 76,1% przypadków, więc informacja jest dostępna: systemy TTS nie zamieniają jej w dźwięk.
Podanie modelowi TTS poprzedzającego kontekstu nie przyniosło wyraźnej poprawy w żadnym systemie. Starsze badania ze słuchaczami wskazują ten sam kierunek: oznaczenia błędów w mowie syntetycznej skupiają się wokół granic prozodycznych, a dodatkowa zmienność prozodyczna jest często odbierana jako pomyłka, gdy nie pasuje do kontekstu.
| Metryka | Wartość | Źródło |
|---|---|---|
| Słowo docelowe zaakcentowane (Hit) / obie strony poprawne (Pair-Correct): Kokoro | 38,1% / 0,0% | Turetzky i in., CAST 2026 |
| Hit / Pair-Correct: GPT-4o-mini-tts z jawnym oznaczeniem akcentu | 51,8% / 11,5% | Turetzky i in., CAST 2026 |
| Hit / Pair-Correct: Claude Haiku 4.5 tylko na tekście, przewidujący akcent z kontekstu | 88,1% / 76,1% | Turetzky i in., CAST 2026 |
| Wyróżnione słowo rozpoznane przez słuchaczy, EME-TTS: średnia wobec emocja zaskoczenia | 78% wobec 64% | Li i in., EME-TTS 2025 |
| Korelacja między oceną prozodii a odsetkiem błędów oznaczonych przez słuchaczy | R = -0,75 | Gutierrez i in., SSW11 2021 |
| Odsetek przypadków, w których słowo najczęściej oznaczane jako błędne przez FastPitch stało tuż przed znakiem interpunkcyjnym (tekst audiobooka) | 73% | Gutierrez i in., SSW11 2021 |
Kontekst: zgodność słuchaczy co do tego, gdzie pada akcent w mowie syntetycznej, jest sama w sobie umiarkowana (kappa Fleissa = 0,36 wśród trzech słuchaczy w tym samym benchmarku), co jest jednym z powodów, dla których akcentowanie trudno zmierzyć. W EME-TTS (11 słuchaczy) zaskoczenie uzyskało najniższy wynik, a autorzy tłumaczą to częstym wzrostem wysokości dźwięku na końcu wypowiedzi wyrażających zaskoczenie, przez co słuchacze odbierali ostatnie słowo jako zaakcentowane. Badanie szybkiej transkrypcji prozodii pochodzi z 2021 roku; to najnowsze dostępne dane o oznaczaniu błędów przez słuchaczy.
5. Prozodia emocjonalna: co rozpoznają słuchacze i klasyfikatory
Emocje są przekazywane w dużej mierze przez prozodię, a emocje syntetyczne są rozpoznawane znacznie rzadziej niż nagrane. W badaniu kazachskim z udziałem 64 słuchaczy zamierzoną emocję rozpoznano w 43% nagrań ludzkich, ale w 32% klipów syntetycznych, a rozpoznawanie gniewu spadło z 37% do 7% (Abilbekov i in., KazEmoTTS 2024).
Analiza z 2026 roku prześledziła, gdzie emocje się gubią. W CosyVoice 2 rozpoznawanie emocji pozostało na poziomie 82,43% po rekonstrukcji wokoderem i 84,07%, gdy do modelu podano prawdziwe tokeny mowy, czyli blisko 83,93% dla prawdziwej mowy, ale spadło do 34,57%, gdy model musiał wygenerować mowę z tekstu (Ge i in., On the Emotion Understanding of Synthesized Speech, 2026). Strata leży w kroku od tekstu do prozodii, a nie w jakości dźwięku. O tym, jak modele rozpoznawania radzą sobie z ludzkimi głosami, piszemy w naszych statystykach rozpoznawania emocji w mowie.
| Metryka | Wartość | Źródło |
|---|---|---|
| Rozpoznawanie emocji przez słuchaczy: nagrania ludzkie wobec syntetyczne (6 emocji) | 43% wobec 32% | Abilbekov i in., KazEmoTTS 2024 |
| Rozpoznawanie gniewu przez słuchaczy: nagrania ludzkie wobec syntetyczne | 37% wobec 7% | Abilbekov i in., KazEmoTTS 2024 |
| Dokładność klasyfikatora emocji (emotion2vec): ludzkie nagrania TESS wobec syntetyczne TESS | 99,64% wobec 15,31% | Ge i in., 2026 |
| Dokładność klasyfikatora emocji: ludzkie IEMOCAP wobec syntetyczne IEMOCAP | 71,28% wobec 49,58% | Ge i in., 2026 |
| CosyVoice 2 na TESS: prawdziwa mowa wobec sam wokoder wobec generowanie z tekstu | 83,93% wobec 82,43% wobec 34,57% | Ge i in., 2026 |
| Dokładność klasyfikatora emocji na wynikach gpt-4o-tts (zdania CREMA-D / TESS) | 32,94% / 46,42% | Ge i in., 2026 |
| Dokładność ponownej klasyfikacji emocji: ludzkie nagrania przepuszczone przez wokoder wobec najlepszy i najsłabszy z trzech systemów TTS | 0,931 wobec 0,749 i 0,623 | Tang i in., ED-TTS 2024 |
| Odsetek wygranych w kategorii emocji względem modelu bazowego: GPT-4o-audio wobec Sesame1B | 88,84% wobec 7,32% | Boson AI, EmergentTTS-Eval 2025 |
Uwaga o wartościach odstających: wyniki klasyfikatorów z 2026 roku to oceny maszynowe, a nie sądy słuchaczy, a klasyfikator wytrenowany na mowie syntetycznej osiągnął 91,84% na syntetycznym TESS, ale 15,00% na ludzkim TESS, co sugeruje, że emocje syntetyczne i ludzkie różnią się akustycznie. ED-TTS używał własnego klasyfikatora emocji, więc jego skala nie jest bezpośrednio porównywalna z emotion2vec.
6. Czytanie długich tekstów: gdzie testy zdań przestają działać
Prozodia, która brzmi dobrze zdanie po zdaniu, może się rozjeżdżać, spłaszczać lub źle rozmieszczać pauzy w obrębie akapitu. W badaniu czytania wiadomości nawet najlepsza ocena pojedynczego zdania w akapicie wyjaśniała tylko około 12% wariancji oceny całego akapitu (maksymalny MOS zdania wobec MOS akapitu, r = 0,345, p < 0,01) (Clark i in., Evaluating Long-form Text-to-Speech, SSW10 2019). Autorzy doszli do wniosku, że oceny na poziomie zdania są «słabymi predyktorami MOS akapitu».
Obraz z 2026 roku jest węższy, ale nie zamknięty. W SwanBench-Speech najlepszy system zamknięty zbliżył się do prawdziwych nagrań na 0,09 w wyniku prozodii (3,95 wobec 4,04), ale średnia systemów zamkniętych ustępowała prawdziwej mowie o 0,93 punktu zarówno w bogactwie ekspresji (rezonans emocjonalny, portretowanie postaci, opowiadanie historii), jak i w hierarchii ekspresji (dynamika ekspresji na poziomie akapitu), a większość modeli pogarszała wyniki, gdy fragment przekraczał 100 słów (Pan i in., SwanBench-Speech, ACL 2026 Findings). Dla producentów pracujących z czytanymi przez lektora treściami szkoleniowymi i objaśniającymi nasze statystyki lektorów AI omawiają stopień wdrożenia, a generator głosu AI najłatwiej ocenić na całym akapicie, a nie na jednej linijce.
| Metryka | Wartość | Źródło |
|---|---|---|
| Korelacja, średnia ocena zdania wobec ocena akapitu (wiadomości) | r = 0,296 (p < 0,05) | Clark i in., SSW10 2019 |
| Średnia ocena, krótkie zdania wobec 40-sekundowe fragmenty, najlepszy model | 4,09 wobec 3,86 | Guo i in., HiGNN-TTS 2023 |
| Średnia ocena, krótkie zdania wobec 40-sekundowe fragmenty, model bazowy | 3,52 wobec 3,34 | Guo i in., HiGNN-TTS 2023 |
| Test odsłuchowy audiobooka: słuchacze / oceny / długość segmentu | 204 / 33.750 / około 2 minuty | Zhang i in., SSW 2023 |
| Ogólny wzrost jakości dzięki ulepszeniom dla długich tekstów (abstrakt) | +0,47 MOS | Zhang i in., SSW 2023 |
| Wynik porównawczy po usunięciu kontekstu wielozdaniowego: głos żeński / męski | -0,42 / -0,58 | Zhang i in., SSW 2023 |
| Bogactwo ekspresji: prawdziwa mowa wobec średnia systemów zamkniętych wobec średnia systemów open source | 4,35 wobec 3,42 wobec 3,03 | Pan i in., SwanBench-Speech 2026 |
| Hierarchia ekspresji (dynamika na poziomie akapitu): prawdziwa mowa wobec średnia systemów zamkniętych | 3,94 wobec 3,01 | Pan i in., SwanBench-Speech 2026 |
Kontekst: wyniki SwanBench są automatyczne. Jego metryka prozodii zgadzała się z 10 ludzkimi oceniającymi na poziomie SRCC = 0,82 na 50 parach, a jego sędzia bogactwa i hierarchii (Gemini 3 Pro) na poziomie 0,71 i 0,62. Praca o syntezie audiobooków stwierdza, że jej ulepszenia «zmniejszają ogromną lukę między syntezą bazową a nagraniami naturalnymi», ale jej nie zamykają. Badanie Clark i in. pochodzi z 2019 roku; to najnowsze dostępne dane dla porównania zdania z akapitem.
7. Ludzki punkt odniesienia: jak bardzo zmienia się prawdziwa prozodia
Każda liczba «błędu» zakłada jakiś cel, a ludzka prozodia to cel szeroki. U 192 mówców amerykańskiej odmiany angielskiego tempo artykulacji wynosiło 3,20 sylaby na sekundę przy czytaniu zdań i 4,96 w mowie spontanicznej (Jacewicz i in., JASA 2010). Tempo artykulacji zlicza sylaby na sekundę po usunięciu pauz, więc oddziela tempo od wahania.
Zmienność u jednej osoby jest ważniejsza: w tych samych danych zmienność od frazy do frazy u jednego mówcy przewyższała zmienność między mówcami. Badanie korpusowe zaprezentowane na LabPhon 19, obejmujące prawie 120.000 wypowiedzi, wykazało, że poszczególni mówcy różnią się bardziej niż dialekty. Dlatego jedno nagranie referencyjne jest słabą miarą, jak pokazała sekcja 1 na przykładzie F0 RMSE.
| Metryka | Wartość | Źródło |
|---|---|---|
| Tempo artykulacji, czytane zdania wobec mowa spontaniczna (sylaby na sekundę) | 3,20 wobec 4,96 | Jacewicz i in., JASA 2010 |
| Tempo spontaniczne, mówcy z Wisconsin wobec Karoliny Północnej (sylaby na sekundę) | 5,21 wobec 4,80 | Jacewicz i in., JASA 2010 |
| Tempo czytania, młodzi dorośli wobec najstarsi dorośli (sylaby na sekundę) | 3,58 wobec 3,0 | Jacewicz i in., JASA 2010 |
| Wariancja tempa mówienia: u jednego mówcy wobec między mówcami | 1,0 wobec 0,19 | Jacewicz i in., JASA 2010 |
| Rozmiar korpusu: wypowiedzi / mówcy / dialekty | 119.736 / 1115 / 15 | Tanner i in., LabPhon 19 |
| Szacowana różnica tempa artykulacji między dialektami angielskiego | około 40% (około 2 sylab na sekundę) | Tanner i in., LabPhon 19 |
| Prawdopodobieństwo, że zmienność między mówcami przewyższa zmienność między dialektami | 0,98 | Tanner i in., LabPhon 19 |
Kontekst: praca SPADE o tempie artykulacji wykorzystała 14 korpusów mowy spontanicznej z brytyjskiej i północnoamerykańskiej odmiany angielskiego. Dane Jacewicz pochodzą z 2010 roku; to najnowsze dostępne dane o tempie czytanym i spontanicznym w jednej kontrolowanej próbie. O innej cesze prozodycznej, w której oceny słuchaczy rozchodzą się z pomiarami akustycznymi, piszemy w naszych statystykach skrzypiącego głosu.
Podsumowanie: błędy prozodii i intonacji w neuronowym TTS w liczbach
| Metryka | Wartość | Źródło |
|---|---|---|
| Badania prozodii (2020-2024), które analizowały wysokość dźwięku | 95 ze 100 | Galdino i in., JBCS 2025 |
| Korelacja logarytmu F0 RMSE z ocenami prozodii wystawianymi przez ludzi | r = 0,30 | Yang i in., ProsodyEval 2025 |
| F0 RMSE: sam wokoder wobec najlepszy pełny TTS | 14,03 wobec 27,93 | Xin i in., 2022 |
| Surowa dokładność wysokości dźwięku predyktora prozodii z 2025 roku | 43,9% | Eren i in., ProMode 2025 |
| Błąd ramek F0, pytania w formie oznajmującej wobec twierdzenia (model bazowy) | 32,76% wobec 13,53% | Bai i in., Interspeech 2022 |
| Pytania w formie oznajmującej usłyszane jako pytania: model bazowy wobec model z klasyfikatorem | 21,83% wobec 98,41% | Bai i in., Interspeech 2022 |
| Odsetek wygranych w pytaniach względem modelu bazowego: GPT-4o-audio wobec Sesame1B | 56,96% wobec 31,78% | Boson AI, EmergentTTS-Eval 2025 |
| Test homografów: poziom losowy wobec najlepsze systemy | 50% wobec ponad 80% | Perrotin i in., Blizzard 2023 |
| Pair-Correct dla akcentu kontrastywnego: najlepsze TTS wobec model językowy tylko na tekście | 11,5% wobec 76,1% | Turetzky i in., CAST 2026 |
| Rozpoznawanie emocji przez słuchaczy: nagrania ludzkie wobec syntetyczne | 43% wobec 32% | Abilbekov i in., KazEmoTTS 2024 |
| Klasyfikator emocji: ludzkie wobec syntetyczne TESS | 99,64% wobec 15,31% | Ge i in., 2026 |
| Dokładność emocji CosyVoice 2: prawdziwa mowa wobec generowanie z tekstu | 83,93% wobec 34,57% | Ge i in., 2026 |
| Ocena zdania wobec ocena akapitu, wyjaśniona wariancja | około 12% | Clark i in., SSW10 2019 |
| Bogactwo ekspresji: prawdziwa mowa wobec średnia systemów zamkniętych | 4,35 wobec 3,42 | Pan i in., SwanBench-Speech 2026 |
| Krótkie zdania wobec 40-sekundowe fragmenty, najlepszy model | 4,09 wobec 3,86 | Guo i in., HiGNN-TTS 2023 |
| Tempo artykulacji czytane wobec spontaniczne (sylaby na sekundę) | 3,20 wobec 4,96 | Jacewicz i in., JASA 2010 |
| Różnica tempa artykulacji między dialektami angielskiego | około 40% | Tanner i in., LabPhon 19 |
Metodologia i źródła
Każda liczba powyżej została odczytana w pracy, na stronie materiałów konferencyjnych lub w pełnym tekście, który ją podawał. Tam, gdzie praca pokazywała wyniki tylko na wykresie, korzystaliśmy z jej deklarowanych wniosków i pomijaliśmy wartości przybliżone. Wyniki ocenione maszynowo (sędziowie AI, klasyfikatory emocji, benchmarki automatyczne) są w tekście tak oznaczone i nie należy ich odczytywać jako odsetków słuchaczy.
- Galdino, Matos, Svartman i Aluisio, «The evaluation of prosody in speech synthesis: a systematic review», Journal of the Brazilian Computer Society, 9 lipca 2025
- Yang i in., «Measuring Prosody Diversity in Zero-Shot TTS» (ProsodyEval), arXiv 2509.19928, wersja poprawiona 1 kwietnia 2026
- Minixhofer, Klejch i Bell, «TTSDS - Text-to-Speech Distribution Score», arXiv 2407.12707, 2024
- Xin i in., «Improving Speech Prosody of Audiobook Text-to-Speech Synthesis with Acoustic and Textual Contexts», arXiv 2211.02336, 2022
- Guo i in., «HiGNN-TTS: Hierarchical Prosody Modeling with Graph Neural Networks for Expressive Long-form TTS», arXiv 2309.13907, 2023
- Eren i in., «ProMode: A Speech Prosody Model Conditioned on Acoustic and Textual Inputs», arXiv 2508.09389, 2025
- Bai, Ko i Zhang, «A Study of Modeling Rising Intonation in Cantonese Neural Speech Synthesis», Interspeech 2022
- Tang i in., «QI-TTS: Questioning Intonation Control for Emotional Speech Synthesis», arXiv 2303.07682, 2023
- Manku i in. (Boson AI), «EmergentTTS-Eval», arXiv 2505.23009, 29 maja 2025
- Perrotin, Stephenson, Gerber i Bailly, «The Blizzard Challenge 2023», archiwum ISCA
- Turetzky i in., «Knowing What to Stress: A Discourse-Conditioned Text-to-Speech Benchmark» (CAST), arXiv 2604.10580, 12 kwietnia 2026
- Li i in., EME-TTS, o związku między akcentowaniem a emocjami w syntezie mowy, arXiv 2507.12015, 2025
- Gutierrez, Oplustil-Gallegos i Lai, «Location, Location», ISCA SSW11, 2021
- Abilbekov i in., «KazEmoTTS: A Dataset for Kazakh Emotional Text-to-Speech Synthesis», arXiv 2404.01033, 2024
- Ge i in., «On the Emotion Understanding of Synthesized Speech», arXiv 2603.16483, 17 marca 2026
- Tang i in., «ED-TTS: Multi-Scale Emotion Modeling using Cross-Domain Emotion Diarization», arXiv 2401.08166, 2024
- Clark, Silen, Kenter i Leith, «Evaluating Long-form Text-to-Speech: Comparing the Ratings of Sentences and Paragraphs», SSW10, arXiv 1909.03965, 2019
- Zhang i in., «Audiobook synthesis with long-form neural text-to-speech», ISCA SSW12, 2023
- Pan i in., «Comprehensive Benchmarking of Long-Form Speech Generation in Diverse Scenarios» (SwanBench-Speech), ACL 2026 Findings, arXiv 2605.28618
- Jacewicz, Fox i Wei, «Between-speaker and within-speaker variation in speech tempo of American English», Journal of the Acoustical Society of America, 2010
- Tanner i in. oraz SPADE Data Consortium, «Exposing the anatomy of articulation rate across English dialects and speakers», LabPhon 19
- Uwaga o danych: wartości F0 RMSE nie są porównywalne między pracami (różne jednostki, dopasowanie i zbiory danych), a praca o ProMode nie podaje jednostek. Xin i in. podają wiersz HiFi-GAN bez jego opisu; odczytaliśmy go jako wynik samego wokodera, ponieważ jego zniekształcenie widmowe jest znacznie niższe niż w wierszach TTS, co jest naszym wnioskiem. Jacewicz i in. podają w tekście 5,21 i 4,80 sylaby na sekundę, ale w tabeli 5,38 i 4,97 dla tych samych dialektów; podajemy wartości z tekstu. Praca o audiobookach z SSW 2023 podaje wzrost o 0,47 MOS w abstrakcie i 0,46 w treści; wartości z jej wykresu dla poszczególnych systemów nie dało się wiarygodnie przypisać, więc je pominęliśmy. SwanBench-Speech twierdzi, że luka w hierarchii wynosi «ponad pół punktu», podczas gdy średnie z jego tabeli oznaczają 0,93; podajemy wartość z tabeli. Wyniki EmergentTTS-Eval i SwanBench pochodzą od sędziów AI zwalidowanych na małych panelach ludzkich, a późniejsze raporty techniczne, które przepisały teksty EmergentTTS, nie są porównywalne z pierwotną pracą. Dane QI-TTS (2023), Xin i in. (2022), Bai i in. (2022), Gutierrez i in. (2021), Clark i in. (2019) oraz Jacewicz i in. (2010) są starsze niż trzy lata i stanowią najnowsze dostępne dane dla tych konkretnych pomiarów. Kilka źródeł z 2026 roku to preprinty, które mogą się zmienić po recenzji. Kolejne wyniki Blizzard Challenge i materiały konferencji Speech Prosody mogą dodać nowsze dane o intonacji pytań i czytaniu długich tekstów.
Ostatnia aktualizacja: 31 października 2026 roku. Aktualizujemy to zestawienie kwartalnie, a kolejnego odświeżenia spodziewamy się po opublikowaniu w archiwum ISCA wyników następnego Blizzard Challenge.