W Voice Conversion Challenge 2020 osiem systemów w obrębie tego samego języka było statystycznie nieodróżnialnych od prawdziwego mówcy docelowego w testach podobieństwa, a ponad 90% ich przekonwertowanych próbek uznano za należące do tej samej osoby (Zhao i in., przegląd VCC 2020). Cztery lata wcześniej najlepszy system VCC 2016 uzyskał średnio zaledwie 3,0 w 5-punktowej skali naturalności, a czołowe systemy przekonywały słuchaczy w około 70% przypadków. Naturalność nie zmniejszyła dystansu tak wyraźnie: żaden system VCC 2020 nie osiągnął naturalności na poziomie człowieka, a w Singing Voice Conversion Challenge 2025 najlepsze systemy uzyskały około 3,7 wobec około 3,9 dla prawdziwych nagrań. To zestawienie pokazuje, jak mierzy się konwersję głosu, a nie jak się ją sprzedaje; dane o adopcji i rynku znajdziesz w naszych statystykach klonowania głosu, a oceny odsłuchowe syntezy mowy z tekstu w naszych statystykach MOS naturalności syntetycznej mowy. Zebraliśmy dane z konkursów Voice Conversion Challenge z lat 2016, 2018 i 2020, z konkursów Singing Voice Conversion Challenge z lat 2023 i 2025, z recenzowanych artykułów z Interspeech, ICLR, AAAI i IEEE JSTSP oraz z niedawnych badań nad metrykami podobieństwa mówcy i stronniczością testów odsłuchowych.
TL;DR
- 8 systemów VCC 2020 w obrębie tego samego języka nie różniło się istotnie od mówcy docelowego pod względem podobieństwa (Zhao i in., przegląd VCC 2020, 2020).
- System zero-shot z 2025 roku uzyskał 3,96 MOS naturalności wobec 4,33 dla nagrań wzorcowych (Yao i in., StableVC, AAAI 2025).
- Podobieństwo mówcy w systemie działającym w przestrzeni kodeka z 2026 roku spadło z 0,63 dla angielskiego do 0,49 w konwersji z chińskiego na angielski (Zheng i in., X-VC 2026).
- Podobieństwo systemu opartego na cechach samonadzorowanych spadło z 59% do 28% przy przejściu z konwersji any-to-one do any-to-any (Huang i in., IEEE JSTSP 2022).
- 20 z 31 systemów VCC 2020 oszukało system weryfikacji mówcy w ponad 90% przypadków (Das i in., obiektywna ocena VCC 2020, 2020).
- Podobieństwo embeddingów mówcy korelowało z ocenami ludzi na poziomie 0,768 dla prawdziwej mowy, ale tylko 0,512 dla mowy przekonwertowanej z VCC 2018 (Ahn i in., VoxSim, Interspeech 2024).
- Około połowa wypowiedzi z VCC 2018 miała odchylenie standardowe powyżej 1 punktu w czterech ocenach słuchaczy (Lo i in., MOSNet 2019).
- MOS systemu może spaść nawet o około cały punkt, jeśli jest oceniany wyłącznie obok silniejszych systemów (Cooper i Yamagishi, Interspeech 2023).
- Najlepszy system śpiewu z SVCC 2023 dorównał naturalnością nagraniom wzorcowym (około 3,9), ale osiągnął 65% podobieństwa wobec 80% (Violeta i in., analiza SVCC 2025, 2025).
- Śpiew z przydechem był najtrudniejszym stylem do konwersji w SVCC 2025, z dokładnością stylu 37,3% (Violeta i in., analiza SVCC 2025, 2025).
1. Dekada wyników konkursów: od 70% do podobieństwa na poziomie mówcy docelowego
Konwersja głosu (VC) zmienia to, czyj głos słychać w nagraniu, zachowując treść wypowiedzi. Wspólną miarą w tej dziedzinie jest Voice Conversion Challenge (VCC), w którym każdy zespół konwertuje te same zdania między tymi samymi mówcami, a jeden duży test odsłuchowy ocenia wszystkie systemy. Naturalność ocenia się w 5-punktowej skali średniej oceny opinii (MOS); podobieństwo bada się, pytając słuchaczy, czy przekonwertowane nagranie i prawdziwe nagranie pochodzą od tego samego mówcy.
Trajektoria jest stroma. Najlepszy system VCC 2016 uzyskał średnio 3,0 w naturalności, podczas gdy do VCC 2020 osiem systemów statystycznie zrównało się z prawdziwym mówcą docelowym pod względem podobieństwa (Zhao i in., przegląd VCC 2020). Ciekawa jest kolejność postępów: słuchacze przestali odróżniać przekonwertowane nagrania od docelowych w czystym angielskim w obrębie tego samego języka, zanim jakikolwiek system osiągnął naturalność na poziomie człowieka.
| Metryka | Wartość | Źródło |
|---|---|---|
| Grupy badawcze, które zgłosiły się do VCC 2016 | 17 | Toda i in., The Voice Conversion Challenge 2016, Interspeech 2016 |
| Słuchacze w teście VCC 2016, przeprowadzonym w kontrolowanym środowisku | 200 | Toda i in., The Voice Conversion Challenge 2016, Interspeech 2016 |
| Czołowe systemy VCC 2016, odsetek próbek uznanych za tego samego mówcę co docelowy | około 70% | Wester i in., Analysis of the VCC 2016 Evaluation Results, Interspeech 2016 |
| Najlepszy system VCC 2016, średnia naturalność w skali 5-punktowej | 3,0 | Zhao i in., przegląd VCC 2020, 2020 |
| Najlepszy system VCC 2018 (N10): naturalność / odsetek uznanych za tego samego mówcę co docelowy | około 4,1 / około 80% | Lorenzo-Trueba i in., artykuł VCC 2018 |
| Systemy VCC 2020 w obrębie tego samego języka nieróżniące się istotnie od mówcy docelowego pod względem podobieństwa | 8 | Zhao i in., przegląd VCC 2020, 2020 |
Uwaga kontekstowa: zwycięzca VCC 2018 korzystał z ekstraktora treści wytrenowanego na setkach godzin zewnętrznej mowy oraz z wokodera WaveNet zależnego od mówcy (Lorenzo-Trueba i in., VCC 2018). Tylko 3 zespoły VCC 2018 skorzystały z opcji danych zewnętrznych. Najnowsze dostępne dane dla konkursów mowy to VCC 2020, ponieważ czwarta edycja w 2023 roku przeszła na śpiew i zmieniła nazwę (zob. sekcja 6).
2. Luka naturalności: jak daleko od prawdziwej mowy są najlepsze systemy
Werdykt “ten sam mówca” nie oznacza, że nagranie brzmi ludzko. Każdy konkurs zachowywał w teście naturalne nagrania jako punkty odniesienia i te punkty pokazują trwałą lukę. Porównanie z 2022 roku podaje dla USTC-2020, czołowego systemu zadania VCC 2020 w obrębie tego samego języka, 4,41 MOS naturalności wobec 4,57 dla prawdziwych nagrań docelowych, czyli lukę 0,16 punktu (4,57 minus 4,41) (Huang i in., IEEE JSTSP 2022). Ten system uzyskał też 82% w teście podobieństwa.
Luka jest szersza w systemach zero-shot, które konwertują na głos niewidziany w treningu na podstawie krótkiego nagrania referencyjnego. Artykuł z AAAI 2025 zmierzył 3,96 MOS dla swojego systemu wobec 4,33 dla nagrań wzorcowych mówców VCTK, czyli lukę 0,37 punktu, mimo że automatyczny predyktor MOS rozdzielił oba wyniki tylko o 0,12 (Yao i in., StableVC, AAAI 2025). W tym teście automatyczny predyktor był łagodniejszym sędzią, co jest jednym z powodów, by czytać takie wyniki obok testu odsłuchowego.
| Metryka | Wartość | Źródło |
|---|---|---|
| Naturalne nagrania w VCC 2016: naturalność / odsetek uznanych za tego samego mówcę | 4,5 / 90% | Violeta i in., analiza SVCC 2025, 2025 |
| Systemy VCC 2016 oceniane istotnie mniej naturalnie niż prawdziwi mówcy źródłowi i docelowi | wszystkie systemy | Wester i in., Analysis of the VCC 2016 Evaluation Results, Interspeech 2016 |
| Najlepszy system VCC 2018 vs prawdziwa mowa docelowa (test rang Wilcoxona, korekta Bonferroniego, α = 0,01) | istotnie różny zarówno pod względem naturalności, jak i podobieństwa | Lorenzo-Trueba i in., artykuł VCC 2018 |
| Czołowy system VCC 2020 (USTC-2020) vs nagrania docelowe, MOS naturalności w obrębie tego samego języka | 4,41 vs 4,57 | Huang i in., IEEE JSTSP 2022 |
| Najlepszy system oparty na cechach samonadzorowanych vs zwykły bazowy system na melspektrogramie, MOS naturalności | 3,59 vs 2,61 | Huang i in., IEEE JSTSP 2022 |
| System zero-shot vs nagrania wzorcowe, MOS naturalności według słuchaczy (mówcy VCTK) | 3,96 ±0,04 vs 4,33 ±0,04 | Yao i in., StableVC, AAAI 2025 |
| To samo porównanie z użyciem UTMOS, automatycznego predyktora naturalności | 4,12 vs 4,24 | Yao i in., StableVC, AAAI 2025 |
| Najlepszy z sześciu opublikowanych systemów bazowych zero-shot, MOS naturalności według słuchaczy | 3,67 ±0,07 | Yao i in., StableVC, AAAI 2025 |
Uwaga o wartości odstającej: w VCC 2020 japońscy słuchacze ocenili naturalność czołowego systemu T10 w obrębie tego samego języka jako porównywalną z mówcą docelowym, a angielscy słuchacze nie (Zhao i in., przegląd VCC 2020). Werdykt o parytecie może więc zależeć od tego, kto słucha, dlatego pula słuchaczy powinna być częścią każdego raportowanego wyniku.
3. Zrozumiałość i metryki widmowe: co WER i MCD mogą, a czego nie mogą powiedzieć
Metryki obiektywne są tanie i powtarzalne, więc prace naukowe chętnie na nich polegają. Powtarzają się dwie rodziny: zrozumiałość, mierzona jako współczynnik błędów słów (WER) lub znaków (CER) automatycznego systemu rozpoznawania mowy transkrybującego przekonwertowane nagranie, oraz odległość widmowa, zwykle zniekształcenie melcepstralne (MCD), które mierzy, jak daleko przekonwertowane widmo znajduje się od widma docelowego. W obu przypadkach niższa wartość jest lepsza.
Dane VCC pokazują, że WER przyzwoicie śledzi naturalność, a podobieństwo słabo. W VCC 2018 WER korelował na poziomie -0,7127 z naturalnością w zadaniu nierównoległym, ale tylko -0,2272 z podobieństwem mówcy (Lorenzo-Trueba i in., VCC 2018). MCD wypada jeszcze słabiej jako zastępnik naturalności: w Singing Voice Conversion Challenge 2023 nie korelował istotnie z ocenami naturalności w obrębie domeny w żadnej z dwóch grup słuchaczy (Huang i in., SVCC 2023). Systemy rozpoznawania mowy mają też własne tryby awarii, opisane w naszych statystykach halucynacji rozpoznawania mowy, więc niski WER mówi, że słowa przetrwały, a nie że głos brzmi właściwie.
| Metryka | Wartość | Źródło |
|---|---|---|
| Współczynnik błędów słów ASR dla naturalnej mowy źródłowej, VCC 2018 | 6,40% | Lorenzo-Trueba i in., artykuł VCC 2018 |
| Najniższy / najwyższy WER wśród przekonwertowanych systemów Hub w VCC 2018 | 8,60% / 35,60% | Lorenzo-Trueba i in., artykuł VCC 2018 |
| Korelacja WER z MOS naturalności / z podobieństwem, zadanie równoległe Hub i nierównoległe Spoke w VCC 2018 | Hub -0,6587 / -0,3218; Spoke -0,7127 / -0,2272 | Lorenzo-Trueba i in., artykuł VCC 2018 |
| Zespoły VCC 2020 w obrębie tego samego języka z WER poniżej 5% / powyżej 50% | 7 / 7 | Das i in., obiektywna ocena VCC 2020, 2020 |
| MCD, zwykły bazowy system na melspektrogramie vs czołowy system VCC 2020 (dane VCC 2020) | 8,47 vs 6,98 | Huang i in., IEEE JSTSP 2022 |
| Korelacja Spearmana MCD z MOS naturalności w obrębie domeny, SVCC 2023 (słuchacze japońscy / angielscy) | -0,28 / -0,24 (nieistotna) | Huang i in., artykuł SVCC 2023 |
| Korelacja Spearmana CER opartego na Whisper z MOS naturalności w obrębie domeny, SVCC 2023 (słuchacze japońscy) | -0,80 (p < 0,01) | Huang i in., artykuł SVCC 2023 |
Uwaga kontekstowa: rozrzut w VCC 2020 jest szeroki. Najgorsze zgłoszenie w obrębie tego samego języka uzyskało WER 96,17%, co oznacza, że dla systemu rozpoznawania mowy prawie nic nie przetrwało konwersji, podczas gdy siedem zespołów pozostało poniżej 5% (Das i in., obiektywna ocena VCC 2020).
4. Podobieństwo embeddingów mówcy: użyteczne, popularne i kruche
Standardową automatyczną miarą podobieństwa jest podobieństwo kosinusowe embeddingów mówcy (często nazywane SECS lub SIM): oba nagrania przechodzą przez sieć do weryfikacji mówcy, a następnie porównuje się kąt między powstałymi wektorami. Na danych z konkursów dobrze zgadza się ze słuchaczami na poziomie systemu. W VCC 2020 współczynnik błędów weryfikacji mówcy korelował na poziomie 0,89 i 0,90 z podobieństwem ocenianym przez słuchaczy w obu zadaniach (Das i in., obiektywna ocena VCC 2020), a 20 z 31 systemów w obrębie tego samego języka weryfikator zaakceptował jako mówcę docelowego w ponad 90% przypadków. “Fałszywa akceptacja” oznacza tu odsetek przekonwertowanych nagrań, które weryfikator błędnie uznaje za prawdziwego mówcę docelowego, więc wyższa wartość to bardziej przekonująca konwersja.
Zgodność na poziomie pojedynczej wypowiedzi to inna historia. Wstępnie wytrenowany embedding ECAPA-TDNN osiągnął 0,768 korelacji liniowej z ocenami ludzi dla prawdziwych par głosów, ale spadł do 0,512 dla mowy przekonwertowanej z VCC 2018 (Ahn i in., VoxSim, Interspeech 2024). Badanie z 2025 roku przeprowadzone przez Ubisoft La Forge i Uniwersytet Stellenbosch wykazało, że modele weryfikacji rozdzielają krótkie i długie nagrania tego samego mówcy wyraźnie powyżej poziomu losowego oraz że szum i korekcja widmowa przesuwają wyniki, więc liczba SIM częściowo mierzy warunki nagrania (Carbonneau i in. 2025). Każdy, kto porównuje oprogramowanie do klonowania głosu na podstawie opublikowanych liczb SIM, powinien sprawdzić, czy użyto tego samego modelu embeddingów, zestawu testowego i długości nagrań.
| Metryka | Wartość | Źródło |
|---|---|---|
| Systemy VCC 2020 w obrębie tego samego języka zaakceptowane przez weryfikatora mówcy jako mówca docelowy w ponad 90% przypadków | 20 z 31 | Das i in., obiektywna ocena VCC 2020, 2020 |
| Systemy międzyjęzykowe VCC 2020 powyżej tego samego poziomu fałszywej akceptacji 90% | 10 | Das i in., obiektywna ocena VCC 2020, 2020 |
| Korelacja Pearsona współczynnika błędów weryfikatora z podobieństwem ocenianym przez słuchaczy, VCC 2020 zadanie 1 / zadanie 2 | 0,89 / 0,90 | Das i in., obiektywna ocena VCC 2020, 2020 |
| Korelacja Pearsona odległości kosinusowej embeddingów z podobieństwem ocenianym przez słuchaczy, VCC 2020 zadanie 1 / zadanie 2 | 0,85 / 0,82 | Das i in., obiektywna ocena VCC 2020, 2020 |
| Wstępnie wytrenowany rozpoznawacz mówców ECAPA-TDNN vs podobieństwo oceniane przez ludzi, pary prawdziwej mowy (korelacja liniowa) | 0,768 | Ahn i in., VoxSim, Interspeech 2024 |
| Ten sam wstępnie wytrenowany model dla mowy przekonwertowanej z VCC 2018 (korelacja liniowa) | 0,512 | Ahn i in., VoxSim, Interspeech 2024 |
| Podobieństwo embeddingów vs oceny podobieństwa głosu przez ludzi w badaniu syntezy zero-shot (poziom wypowiedzi) | 0,55 | Li i in., DMOSpeech 2025 |
| Wskaźnik równych błędów weryfikatora przy porównaniu krótkich nagrań jednego mówcy z jego długimi nagraniami (ECAPA-TDNN; 0,50 oznacza brak możliwości odróżnienia) | 0,34 ±0,04 | Carbonneau i in. 2025 |
Uwaga o wartości odstającej: dodanie szumu przy stosunku sygnału do szumu 20 dB podniosło wskaźnik równych błędów tego samego ECAPA-TDNN dla czystych i zaszumionych nagrań jednego mówcy do 0,34, a przy 0 dB do 0,05 (Carbonneau i in. 2025). Mówiąc prosto, weryfikator zaczyna traktować zaszumioną kopię głosu jako inną osobę.
5. W obrębie domeny vs międzyjęzykowo i any-to-any: gdzie wyniki się załamują
Liczby z benchmarków podaje się zwykle dla najprzyjaźniejszych warunków: ten sam język, nagrania studyjne i mówca docelowy, na którym model był trenowany (konwersja any-to-one). Zmiana któregokolwiek z tych elementów obniża wyniki. Czołowy system VCC 2020 T10 stracił 0,75 punktu MOS naturalności przy przejściu z konwersji w obrębie tego samego języka do międzyjęzykowej, a w tym zadaniu mniej niż 80% próbek uznano za mówcę docelowego (Zhao i in., przegląd VCC 2020). Słuchacze wystawiali też niższe oceny podobieństwa, gdy nagranie referencyjne było w drugim języku mówcy, a nie po angielsku.
Najbardziej stromy spadek wynika z niewidzianych mówców docelowych (konwersja any-to-any). W porównaniu IEEE JSTSP system oparty na cechach samonadzorowanych zachował niemal niezmienioną naturalność, ale jego podobieństwo spadło o połowę (Huang i in., IEEE JSTSP 2022). Niedawne systemy zero-shot nadal pokazują tę lukę: dla mowy z akcentem i emocjami autorzy ICLR 2025 zmierzyli podobieństwo mówcy 0,762 dla nagrań wzorcowych wobec 0,517 dla najlepszego przekonwertowanego wyniku (Zhang i in., Vevo, ICLR 2025).
| Metryka | Wartość | Źródło |
|---|---|---|
| USTC-2020, odsetek uznanych za tego samego mówcę co docelowy, w obrębie tego samego języka vs międzyjęzykowo | 82% vs 43% | Huang i in., IEEE JSTSP 2022 |
| System oparty na cechach samonadzorowanych, znany mówca docelowy (any-to-one) vs niewidziany mówca docelowy (any-to-any): podobieństwo / MOS naturalności | 59% vs 28% / 3,59 vs 3,58 | Huang i in., IEEE JSTSP 2022 |
| Systemy Hub VCC 2018 poza zwycięzcą, MOS naturalności dla par tej samej płci vs różnych płci | 3,08 vs 2,78 | Lorenzo-Trueba i in., artykuł VCC 2018 |
| Podobieństwo mówcy w systemie zero-shot działającym w przestrzeni kodeka, w obrębie tego samego języka (angielski / chiński) vs międzyjęzykowo (z angielskiego na chiński / z chińskiego na angielski) | 0,63 / 0,73 vs 0,52 / 0,49 | Zheng i in., X-VC 2026 |
| Podobieństwo mówcy dla mowy z akcentem i emocjami, prawdziwe nagrania vs najlepszy przekonwertowany wynik | 0,762 vs 0,517 | Zhang i in., Vevo, ICLR 2025 |
Uwaga kontekstowa: artykuł o przestrzeni kodeka z 2026 roku oceniał pary międzyjęzykowe na innym podzbiorze (pierwsze 1000 wypowiedzi na język), więc jego liczby dla tego samego języka i międzyjęzykowe mają charakter orientacyjny, a nie kontrolowanego porównania (Zheng i in., X-VC 2026). Jego wersja strumieniowa działała z opóźnieniem modelu 240 ms.
6. Konwersja głosu śpiewanego: parytet naturalności, luka tożsamości
Śpiew obciąża konwersję głosu inaczej niż mowa: szerszy zakres wysokości dźwięku, dłuższe nuty i techniki takie jak vibrato. Singing Voice Conversion Challenge (SVCC) przejął formułę konkursu w 2023 roku. Najlepszy system SVCC 2023 dorównał naturalnością nagraniom wzorcowym na poziomie około 3,9, a osiągnął tylko 65% podobieństwa wobec 80% dla prawdziwego śpiewaka (Violeta i in., analiza SVCC 2025). To odwrócenie historii mowy, w której najpierw osiągnięto tożsamość.
SVCC 2025 dodał konwersję stylu śpiewu i żaden system nie osiągnął naturalności na poziomie człowieka. Trudny okazał się styl: śpiew z przydechem, glissando (ślizg między dźwiękami) i vibrato były technikami odtwarzanymi najmniej dokładnie. Autorzy zakwestionowali też, czy standardowy test podobieństwa nadaje się do oceny stylu. Tożsamość śpiewaka również trudno ocenić: nawet nagrania wzorcowe osiągały w tym teście tylko około 70%.
| Metryka | Wartość | Źródło |
|---|---|---|
| Zgłoszenia SVCC 2023 plus systemy bazowe | 24 + 2 | Huang i in., artykuł SVCC 2023 |
| Słuchacze SVCC 2023, angielscy / japońscy | 40 / 319 | Huang i in., artykuł SVCC 2023 |
| Zespoły SVCC 2023 z naturalnością powyżej 3,0, zadanie w obrębie domeny vs międzydomenowe | 14 vs 8 | Huang i in., artykuł SVCC 2023 |
| Najlepszy system SVCC 2023 vs nagrania wzorcowe: naturalność / podobieństwo | około 3,9 / 65% vs około 3,9 / 80% | Violeta i in., analiza SVCC 2025, 2025 |
| Najlepsze systemy SVCC 2025 vs nagrania wzorcowe: naturalność / podobieństwo stylu | około 3,7 / 70% vs około 3,9 / 90% | Violeta i in., analiza SVCC 2025, 2025 |
| Dokładność stylu w SVCC 2025 dla śpiewu z przydechem / glissando / vibrato | 37,3% / 42,6% / 43,9% | Violeta i in., analiza SVCC 2025, 2025 |
| Maksymalna korelacja Spearmana między dowolną metryką obiektywną a ocenami subiektywnymi, SVCC 2025 | około 0,8 | Violeta i in., analiza SVCC 2025, 2025 |
Uwaga kontekstowa: w SVCC 2023 luka podobieństwa między mówcą docelowym a najlepszym systemem wynosiła około 0,4 punktu w 4-punktowej skali w obu zadaniach (Huang i in., SVCC 2023), a odległość embeddingów mówcy była metryką obiektywną najsilniej skorelowaną z podobieństwem (-0,83 Spearmana dla słuchaczy japońskich, zadanie w obrębie domeny).
7. Wiarygodność ewaluacji: liczba słuchaczy, wariancja i stronniczość
Każda z powyższych liczb opiera się na ocenach ludzi, a te oceny są zaszumione. Dla około połowy wypowiedzi z VCC 2018 odchylenie standardowe w czterech ocenach słuchaczy przekraczało 1 punkt w 5-punktowej skali (Lo i in., MOSNet). Uśrednianie naprawia większość tego problemu na poziomie systemu, dlatego automatyczne predyktory wypadają tam dobrze (korelacja 0,957), a na poziomie wypowiedzi słabo (0,642).
Projekt testu również przesuwa wyniki. Cooper i Yamagishi wykazali, że ocenianie wyłącznie najsilniejszych systemów razem może obniżyć MOS systemu nawet o około cały punkt, ponieważ słuchacze rozkładają oceny na całej skali niezależnie od zakresu jakości (Cooper i Yamagishi, Interspeech 2023). Przegląd 80 artykułów o syntezie mowy z Interspeech 2022 wykazał, że 51 z nich nie podawało słuchaczom żadnych instrukcji (Chiang i in. 2023), a w tym samym badaniu pracownicy crowdsourcingowi z Wielkiej Brytanii ocenili jeden system na 2,64, podczas gdy pracownicy z USA na 3,73.
| Metryka | Wartość | Źródło |
|---|---|---|
| Unikalni słuchacze VCC 2018 / ocenione wypowiedzi | 267 / 113.168 | Lorenzo-Trueba i in., artykuł VCC 2018 |
| Wypowiedzi VCC 2018, których cztery oceny miały odchylenie standardowe powyżej 1 | około połowy | Lo i in., MOSNet 2019 |
| Automatyczny predyktor MOS vs MOS ludzi w VCC 2018, poziom wypowiedzi vs poziom systemu (korelacja liniowa) | 0,642 vs 0,957 | Lo i in., MOSNet 2019 |
| Koszt dwóch testów odsłuchowych VCC 2020 (słuchacze angielscy i japońscy) | 738.128 jenów (ok. 6900 USD) | Zhao i in., przegląd VCC 2020, 2020 |
| Zgodność ocen słuchaczy japońskich i angielskich, VCC 2020 | korelacje od 0,965 do 0,984 | Zhao i in., przegląd VCC 2020, 2020 |
| Największy spadek MOS jednego systemu przy ocenie wyłącznie obok 6% najlepszych systemów | 1,28 punktu | Cooper i Yamagishi, Interspeech 2023 |
| Artykuły o syntezie mowy z Interspeech 2022 (z 80) bez instrukcji dla słuchaczy | 51 | Chiang i in., Interspeech 2023 |
| Odpowiedzi crowdsourcingowe unieważnione w teście odsłuchowym z 501 pracownikami | około 30% | Li i in., DMOSpeech 2025 |
Uwaga kontekstowa: pojedyncze prace przeprowadzają znacznie mniejsze testy niż konkursy. Artykuł z Interspeech 2023 o konwersji metodą najbliższych sąsiadów zebrał 2144 oceny naturalności od 61 słuchaczy oraz 1636 ocen podobieństwa od 208 słuchaczy (Baas i in., Interspeech 2023). Raportowane przedziały wynosiły około ±0,1 punktu, więc różnica mniejsza od tej między dwoma zbliżonymi systemami niewiele mówi.
Podsumowanie: benchmark podobieństwa mówcy i naturalności konwersji głosu w liczbach
| Metryka | Wartość | Źródło |
|---|---|---|
| Najlepszy system VCC 2016: naturalność / najwyższe podobieństwo | 3,0 / około 70% | Zhao i in., przegląd VCC 2020, 2020; Wester i in., Interspeech 2016 |
| Najlepszy system VCC 2018: naturalność / podobieństwo | około 4,1 / około 80% | Lorenzo-Trueba i in., artykuł VCC 2018 |
| Naturalne nagrania w VCC 2016: naturalność / podobieństwo | 4,5 / 90% | Violeta i in., analiza SVCC 2025, 2025 |
| USTC-2020 vs nagrania docelowe, MOS naturalności | 4,41 vs 4,57 | Huang i in., IEEE JSTSP 2022 |
| System zero-shot vs nagrania wzorcowe, MOS naturalności według słuchaczy | 3,96 vs 4,33 | Yao i in., StableVC, AAAI 2025 |
| Korelacja MCD z naturalnością w obrębie domeny, SVCC 2023 | -0,28 / -0,24 (nieistotna) | Huang i in., artykuł SVCC 2023 |
| Systemy VCC 2020 w obrębie tego samego języka oszukujące weryfikatora mówcy w ponad 90% przypadków | 20 z 31 | Das i in., obiektywna ocena VCC 2020, 2020 |
| Podobieństwo embeddingów vs oceny ludzi, prawdziwa mowa vs mowa przekonwertowana | 0,768 vs 0,512 | Ahn i in., VoxSim, Interspeech 2024 |
| Współczynnik błędów weryfikatora, krótkie vs długie nagrania tego samego mówcy (0,50 = brak możliwości odróżnienia) | 0,34 | Carbonneau i in. 2025 |
| Podobieństwo, konwersja any-to-one vs any-to-any | 59% vs 28% | Huang i in., IEEE JSTSP 2022 |
| Podobieństwo, w obrębie tego samego języka vs konwersja z chińskiego na angielski (system z 2026 roku) | 0,63 vs 0,49 | Zheng i in., X-VC 2026 |
| Podobieństwo mówcy, prawdziwe nagrania vs najlepszy przekonwertowany wynik dla mowy z akcentem i emocjami | 0,762 vs 0,517 | Zhang i in., Vevo, ICLR 2025 |
| Podobieństwo najlepszego systemu SVCC 2023 vs nagrania wzorcowe | 65% vs 80% | Violeta i in., analiza SVCC 2025, 2025 |
| Wypowiedzi VCC 2018 z odchyleniem standardowym ocen powyżej 1 | około połowy | Lo i in., MOSNet 2019 |
| Największy spadek MOS spowodowany stronniczością wyrównywania zakresu | 1,28 punktu | Cooper i Yamagishi, Interspeech 2023 |
Metodologia i źródła
- Toda i in.: The Voice Conversion Challenge 2016, Interspeech 2016 (ISCA Archive)
- Wester, Wu i Yamagishi: Analysis of the Voice Conversion Challenge 2016 Evaluation Results, Interspeech 2016
- Lorenzo-Trueba i in.: The Voice Conversion Challenge 2018: Promoting Development of Parallel and Nonparallel Methods (2018)
- Zhao i in.: Voice Conversion Challenge 2020: Intra-lingual semi-parallel and cross-lingual voice conversion (2020)
- Das i in.: Predictions of Subjective Ratings and Spoofing Assessments of Voice Conversion Challenge 2020 Submissions (2020)
- Huang, Yang, Hayashi i Toda: A Comparative Study of Self-supervised Speech Representation Based Voice Conversion, IEEE JSTSP 2022
- Huang i in.: The Singing Voice Conversion Challenge 2023
- Violeta i in.: An Extensive Analysis of the Singing Voice Conversion Challenge 2025 Evaluation Results (2025, wersja poprawiona 2026)
- Lo i in.: MOSNet: Deep Learning-based Objective Assessment for Voice Conversion (2019)
- Ahn i in. (KAIST i Samsung Research): VoxSim: A perceptual voice similarity dataset, Interspeech 2024
- Carbonneau i in. (Ubisoft La Forge i Uniwersytet Stellenbosch): Analyzing and Improving Speaker Similarity Assessment for Speech Synthesis (2025)
- Li, Kumar i Jin (Uniwersytet Columbia i Adobe Research): DMOSpeech (2025)
- Cooper i Yamagishi (NII): Investigating Range-Equalizing Bias in Mean Opinion Score Ratings of Synthesized Speech, Interspeech 2023
- Chiang, Huang i Lee (Narodowy Uniwersytet Tajwański): Why We Should Report the Details in Subjective Evaluation of TTS More Rigorously (2023)
- Yao i in. (Northwestern Polytechnical University i Ximalaya): StableVC, AAAI 2025
- Zhang i in. (CUHK-Shenzhen i Meta AI): Vevo: Controllable Zero-Shot Voice Imitation, ICLR 2025
- Zheng i in.: X-VC: Zero-shot Streaming Voice Conversion in Codec Space (kwiecień 2026)
- Baas, van Niekerk i Kamper (Uniwersytet Stellenbosch): Voice Conversion With Just Nearest Neighbors, Interspeech 2023
- Uwaga o danych: analiza SVCC 2025 przytacza wyniki międzyjęzykowe VCC 2020 jako około 4,0 naturalności i około 90% podobieństwa, podczas gdy własny artykuł organizatorów VCC 2020 mówi, że mniej niż 80% próbek międzyjęzykowych uznano za tego samego mówcę co docelowy; używamy liczby organizatorów. Kilka artykułów rozmija się wewnętrznie o niewielkie wartości (tekst MOSNet 0,624 vs tabela 0,642 dla korelacji na poziomie wypowiedzi, gdzie bierzemy tabelę; tekst VoxSim 0,733 vs tabela 0,752 dla jednego wstępnie wytrenowanego modelu; DMOSpeech -0,15 vs -0,16 dla korelacji WER), a liczba systemów w artykule SVCC 2025 różni się między wersjami (26 we wcześniejszej, 33 w obecnej). Artykuł JSTSP zestawia USTC-2020 w tej samej tabeli co własne systemy, nie wyjaśniając, czy te wyniki pochodziły z jego własnego testu odsłuchowego. Artykuł SVCC 2025 nie definiuje swoich wyników “dokładności stylu” dla poszczególnych stylów ani nie podaje, które systemy są uśredniane, więc należy je czytać jako ranking trudności, a nie wartości bezwzględne. Wyniki podobieństwa mówcy z różnych artykułów używają różnych modeli embeddingów, zestawów testowych i pul słuchaczy, więc nie są porównywalne między wierszami, a liczby międzyjęzykowe z 2026 roku używają innego podzbioru testowego niż liczby dla tego samego języka. Najnowsze dostępne dane dla konkursów wyłącznie mowy to VCC 2020; nowsze dowody dotyczące konwersji mowy pochodzą z pojedynczych artykułów, a nie ze wspólnego testu odsłuchowego.
Ostatnia aktualizacja: 31 października 2026 roku. Aktualizujemy to zestawienie kwartalnie, a kolejnego odświeżenia można się spodziewać, gdy zostaną opublikowane wyniki testów odsłuchowych następnego Voice Conversion Challenge lub Singing Voice Conversion Challenge.