Trzy sekundy mowy nieznajomego to standardowy warunek testowy w badaniach nad klonowaniem głosu zero-shot, czyli konfiguracja stojąca za VALL-E i Voicebox. W tym teście Voicebox podniósł podobieństwo mówcy do 0,681 z 0,580 uzyskanych przez VALL-E na LibriSpeech, a NaturalSpeech 3 zgłosił później 0,67 wobec 0,68 dla prawdziwych nagrań we własnym przebiegu na tym samym zbiorze. Słuchacze nie są tu wielką zaporą: w badaniu opublikowanym w Scientific Reports w 2025 roku ludzie uznawali klony AI za prawdziwego mówcę w ok. 80% przypadków. Obraz komercyjny i rynkowy znajdziesz w naszych szerszych statystykach klonowania głosu; to zestawienie zostaje przy jednym pytaniu: ile nagrania referencyjnego potrzeba do klonowania i co daje każda dodatkowa sekunda. Zebraliśmy dane od Microsoft Research, Meta, ByteDance, Barcelona Supercomputing Center, amerykańskiej Federalnej Komisji Handlu, Consumer Reports, McAfee i Starling Bank oraz z recenzowanych artykułów i prac z arXiv z konferencji ICML, NeurIPS i ICLR oraz z czasopisma Scientific Reports.
TL;DR
- Voicebox testowano na próbce referencyjnej o długości 3,0 sekundy i dorównał podobieństwu mówcy VALL-E, używając mniej więcej dwóch trzecich nagrania wejściowego (Meta, artykuł o Voicebox, NeurIPS 2023).
- Na VCTK podobieństwo VALL-E 2 wzrosło z 0,447 przy 3 sekundach do 0,558 przy 10 sekundach, a współczynnik błędów słów wzrósł z 0,9% do 3,3% (Microsoft Research, artykuł o VALL-E 2, 2024).
- Skrócenie średniej próbki referencyjnej z 7,7 do 5,5 sekundy obniżyło podobieństwo F5-TTS z 0,35 do 0,24 na mowie w warunkach rzeczywistych (Barcelona Supercomputing Center, zgłoszenie do WildSpoof 2026).
- XTTS-v2 osiągnął klonowanie o wysokiej wierności przy 6-10 sekundach nagrania referencyjnego, z malejącymi zyskami powyżej 20 sekund (Zhu, praca Uniwersytetu w Groningen 2025).
- Model zero-shot z 300-sekundową próbką uzyskał podobieństwo 0,932, wobec 0,934 dla dostrojonego modelu bazowego na 300 sekundach (Jiang i in., Mega-TTS 2, ICLR 2024).
- Dostrojenie na 20 sekundach mowy portugalskiej podniosło ludzkie oceny podobieństwa z 2,77 do 4,43 (Casanova i in., YourTTS, ICML 2022).
- Słuchacze uznawali głosy AI za tę samą osobę co prawdziwy mówca w ok. 80% przypadków (Barrington, Cooper i Farid, Scientific Reports 2025).
- Badacze McAfee podali szacowaną 85-procentową zgodność głosu na podstawie trzech do czterech sekund nagrania; to pomiar dostawcy (McAfee, Beware the Artificial Impostor 2023).
- 28% dorosłych w Wielkiej Brytanii twierdzi, że w ostatnim roku stało się celem oszustwa z klonowaniem głosu AI (badanie Starling Bank i Mortar Research 2024).
- Cztery z sześciu produktów do klonowania głosu nie podjęły podstawowych kroków, by zapobiec nieautoryzowanemu klonowaniu (Consumer Reports, ocena klonowania głosu 2025).
1. Test trzech sekund: ile nagrania dostają systemy zero-shot
‘Zero-shot’ oznacza, że system nigdy nie był trenowany na docelowym mówcy: słyszy krótki klip referencyjny, zwany ‘promptem’, w chwili generowania i naśladuje go od razu. VALL-E i Voicebox oceniano na próbce referencyjnej trwającej zaledwie 3 sekundy, a ten wybór mówi więcej o ambicji niż o ograniczeniach. Te prace nie pytają, czy głos da się skopiować z kilku sekund. Rywalizują o to, jak dobrze.
Wymagania produktów są dłuższe. OpenAI opisało Voice Engine jako działający na podstawie ‘jednej 15-sekundowej próbki audio’ (wpis OpenAI o głosach syntetycznych 2024), a dokumentacja ElevenLabs zaleca od jednej do dwóch minut. To ustawienia produktów, a nie zmierzone progi.
| Metryka | Wartość | Źródło |
|---|---|---|
| Długość próbki referencyjnej i dane treningowe VALL-E dla nieznanych mówców z LibriSpeech | 3 sekundy; 60 tys. godzin mowy angielskiej, ponad 7.000 mówców | Microsoft Research, artykuł o VALL-E 2023 |
| Nagranie referencyjne użyte w testach zero-shot Voicebox dla angielskiego | 3,0 sekundy | Meta, artykuł o Voicebox (NeurIPS 2023) |
| Długość klipu referencyjnego użytego do oceny XTTS | Jeden fragment od 3 do 8 sekund | Casanova i in., artykuł o XTTS (INTERSPEECH 2024) |
| Zakres długości wypowiedzi referencyjnej w zbiorze testowym Seed-TTS | od 3 do 20 sekund | ByteDance, artykuł o Seed-TTS 2024 |
| Próbka audio, z której działa OpenAI Voice Engine | Jedna 15-sekundowa próbka | OpenAI, wpis o głosach syntetycznych 2024 |
| Minimalna i zalecana ilość nagrania dla natychmiastowego klonowania ElevenLabs | Co najmniej 10 sekund łącznie, zalecane od 1 do 2 minut (wytyczne samego dostawcy) | ElevenLabs, dokumentacja Instant Voice Cloning 2026 |
Jeśli porównujesz pulpitowe oprogramowanie do klonowania głosu, sekcje 2 i 3 pokazują, co zmieniają te sekundy.
2. Jak podobieństwo mówcy rośnie od 3 do 10 sekund
Podobieństwo mówcy (SIM, lub SECS) to podobieństwo cosinusowe między dwoma ‘odciskami palców’ mówcy obliczonymi przez sieć rozpoznającą mówców, gdzie wyższa wartość oznacza większą bliskość. Dwa prawdziwe nagrania tej samej osoby uzyskują wynik wyraźnie poniżej 1,0, więc poniższe wartości dla prawdziwej mowy są punktem odniesienia. Przejście od 3-sekundowej do 10-sekundowej próbki podniosło podobieństwo VALL-E 2 na zbiorze VCTK z 0,447 do 0,558, czyli o 0,111 (0,558 minus 0,447), co jest najwyraźniejszą opublikowaną krzywą dla tego pytania (artykuł o VALL-E 2, 2024).
Krzywa zagina się w różnych miejscach w różnych systemach. Zespół Voicebox z Meta podał, że podobieństwo ‘rośnie szybko i spłaszcza się przy dłuższych próbkach audio’ (artykuł o Voicebox), a praca z 2025 roku o XTTS-v2 umieściła plateau w okolicach 10-20 sekund (Zhu, Uniwersytet w Groningen). We wszystkich trzech pracach pierwsze dziesięć sekund wykonuje większość pracy, choć VALL-E 2 wciąż się poprawiał przy dziesięciu.
| Metryka | Wartość | Źródło |
|---|---|---|
| Podobieństwo VALL-E na VCTK (108 mówców) przy próbkach 3, 5 i 10-sekundowych | 0,382, 0,423, 0,484 (prawdziwe nagrania: 0,546, 0,591, 0,620) | Microsoft Research, artykuł o VALL-E 2023 |
| Podobieństwo VALL-E 2 (rozmiar grupy 1) na VCTK przy próbkach 3, 5 i 10-sekundowych | Pojedyncza próbka: 0,447, 0,487, 0,558; najlepsza z pięciu próbek: 0,508, 0,552, 0,620 (prawdziwe nagrania: 0,623, 0,679, 0,709) | Microsoft Research, artykuł o VALL-E 2, 2024 |
| Udział nagrania wejściowego, którego Voicebox potrzebuje, by dorównać podobieństwu mówcy VALL-E | Mniej więcej dwie trzecie | Meta, artykuł o Voicebox (NeurIPS 2023) |
| Podobieństwo F5-TTS przy długich (średnio 7,7 s) i krótkich (średnio 5,5 s) próbkach na mowie w warunkach rzeczywistych | 0,35 wobec 0,24 | Barcelona Supercomputing Center, zgłoszenie WildSpoof TTS 2026 |
| Podobieństwo StyleTTS2 przy długich (średnio 7,7 s) i krótkich (średnio 5,5 s) próbkach | 0,19 wobec 0,14 | Barcelona Supercomputing Center, zgłoszenie WildSpoof TTS 2026 |
| Długość nagrania referencyjnego, przy której XTTS-v2 osiągnął klonowanie o wysokiej wierności (testowano 1, 3, 6, 10, 20 i 40 sekund) | 6-10 sekund, z malejącymi zyskami powyżej 20 sekund | Zhu, praca magisterska Uniwersytetu w Groningen 2025 |
Uwaga o wartości odstającej: zgłoszenie Barcelona Supercomputing Center to jedyny wynik z 2026 roku w tym zestawieniu i korzysta ze zbioru TTS In the Wild. Próbka krótsza średnio o 2,2 sekundy (7,7 minus 5,5) kosztowała F5-TTS 0,11 podobieństwa (0,35 minus 0,24). To taka sama strata, jaką VALL-E 2 wykazał na różnicy 7 sekund na VCTK, co sugeruje, że krótkie próbki mogą bardziej szkodzić na codziennym nagraniu, choć obu testów nie da się bezpośrednio porównać.
3. Zrozumiałość nie zawsze rośnie przy dłuższych próbkach
Współczynnik błędów słów (WER) mierzy zrozumiałość: system rozpoznawania mowy transkrybuje sklonowane nagranie i liczy się udział błędnych słów, więc niższa wartość jest lepsza. WER VALL-E 2 na VCTK wzrósł z 0,9% przy 3-sekundowej próbce do 3,3% przy 10-sekundowej, czyli w przeciwnym kierunku niż jego zysk w podobieństwie. Ludzie oceniający byli zgodni: w tym samym teście oceny podobieństwa spadały wraz z wydłużaniem próbek, podczas gdy oceny prawdziwych nagrań rosły.
Nic nie gwarantuje, że więcej nagrania referencyjnego pomaga. Mega-TTS 2, zaprojektowany z myślą o próbkach z wieloma zdaniami, poprawiał się aż do 300 sekund, podczas gdy przebieg VALL-E zmierzony w tym samym artykule załamał się przy 20 sekundach (artykuł o Mega-TTS 2). Bardzo krótkie próbki niosą własne ryzyko dla zrozumiałości: StyleTTS2 był systemem, który pogorszył się po skróceniu próbki.
| Metryka | Wartość | Źródło |
|---|---|---|
| VALL-E 2 (rozmiar grupy 1) na VCTK przy próbkach 3, 5 i 10-sekundowych: współczynnik błędów słów oraz ludzka ocena podobieństwa (SMOS, wyższa jest lepsza) | WER 0,9%, 1,9%, 3,3%; SMOS 4,42±0,15, 4,28±0,16, 3,95±0,10 (prawdziwe nagrania 4,47±0,13, 4,53±0,14, 4,74±0,17) | Microsoft Research, artykuł o VALL-E 2, 2024 |
| VALL-E na LibriSpeech przy próbkach 3, 10 i 20-sekundowych, zmierzony przez autorów Mega-TTS 2 | WER 5,83%, 5,54%, 8,77%; podobieństwo 0,885, 0,893, 0,805 | Jiang i in., Mega-TTS 2 (ICLR 2024) |
| Współczynnik błędów słów Mega-TTS 2 przy próbkach 3, 10, 60 i 300-sekundowych | 2,46%, 2,28%, 2,24%, 2,23% | Jiang i in., Mega-TTS 2 (ICLR 2024) |
| Współczynnik błędów słów StyleTTS2 przy długich (7,7 s) i krótkich (5,5 s) próbkach | 0,21 wobec 0,49 (F5-TTS bez zmian, 0,07) | Barcelona Supercomputing Center, zgłoszenie WildSpoof TTS 2026 |
| Trend Voicebox, gdy język próbki i język docelowy się różnią, w miarę wydłużania próbek | Podobieństwo rośnie; WER rośnie w większości kierunków językowych | Meta, artykuł o Voicebox (NeurIPS 2023) |
Kontekst: trend VALL-E 2 nie jest idealnie gładki. Jego ustawienie z rozmiarem grupy 2 zanotowało WER 1,5%, 0,9% i 2,3% przy tych samych trzech długościach. Autorzy Voicebox przypisują rosnący WER międzyjęzykowy temu, że angielski stanowi ponad 90% danych treningowych.
4. Jak blisko prawdziwego mówcy są klony z krótkiej próbki
Na mowie testowej najlepsze opublikowane systemy stoją dziś obok prawdziwych nagrań. NaturalSpeech 3 uzyskał podobieństwo mówcy 0,67 wobec 0,68 dla nagrań wzorcowych, a jego ludzka ocena podobieństwa (4,01) była wyższa niż 3,85 dla prawdziwych nagrań w tym samym teście LibriSpeech (Microsoft Research, artykuł o NaturalSpeech 3, 2024). To daleko od 0,337, które YourTTS uzyskał w pierwszym wierszu poniżej.
Wyniki prawdziwej mowy zdradzają, że są to warunki laboratoryjne: w różnych pracach wahają się od 0,68 do 0,8952, więc każdy system trzeba czytać na tle jego własnego wzorca, jak w tabeli. Artykuł o F5-TTS mieści się w granicy 0,03 od prawdziwej mowy we własnym teście (0,69 minus 0,66).
| Metryka | Wartość | Źródło |
|---|---|---|
| LibriSpeech, 3-sekundowa próbka: YourTTS wobec VALL-E wobec Voicebox | Podobieństwo 0,337 wobec 0,580 wobec 0,681 (prawdziwa mowa 0,754); WER 7,7% wobec 5,9% wobec 1,9% (prawdziwa mowa 2,2%) | Meta, artykuł o Voicebox (NeurIPS 2023) |
| NaturalSpeech 3 wobec prawdziwych nagrań na LibriSpeech: podobieństwo i WER | 0,67 i 1,81% wobec 0,68 i 1,94% | Microsoft Research, artykuł o NaturalSpeech 3, 2024 |
| Podobieństwo Seed-TTS po angielsku wobec nagrań ludzkich oraz ocena porównawcza (CMOS) wobec człowieka | 0,762 wobec 0,730; CMOS -0,07 | ByteDance, artykuł o Seed-TTS 2024 |
| F5-TTS wobec prawdziwej mowy na 1.127 próbkach LibriSpeech-PC o długości od 4 do 10 sekund: podobieństwo i WER | 0,66 i 2,42% wobec 0,69 i 2,23% | Chen i in., artykuł o F5-TTS 2024 |
| Podobieństwo MiniMax-Speech po angielsku: sama osadzona reprezentacja mówcy wobec próbki z towarzyszącym tekstem | 0,692 wobec 0,738 (wzorzec 0,730) | Zhang i in., artykuł o MiniMax-Speech 2025 |
| Podobieństwo XTTS po angielsku wobec prawdziwej mowy | 0,6423 wobec 0,8952 | Casanova i in., artykuł o XTTS (INTERSPEECH 2024) |
Uwaga o wartości odstającej: Seed-TTS i ustawienie MiniMax-Speech z towarzyszącym tekstem uzyskują wyniki wyższe niż ich prawdziwe nagrania. Autorzy Seed-TTS wyjaśniają, że nagranie wzorcowe i klip referencyjny tego samego mówcy mogą się wciąż różnić stylem mówienia i otoczeniem akustycznym, więc model ściśle podążający za referencją może uzyskać wyższy wynik niż drugie prawdziwe nagranie. To nie jest dowód na klon lepszy od człowieka.
5. Zero-shot a dostrojone klonowanie: różnica mierzona w sekundach i minutach
Dostrajanie oznacza aktualizację wag modelu na nagraniach docelowego mówcy, czyli starszą i wolniejszą drogę do własnego głosu. Przy 300 sekundach docelowego głosu próbka zero-shot osiągnęła podobieństwo 0,932, wobec 0,934 dla dostrojonego modelu bazowego, przy mniejszej liczbie błędów słów (2,23% wobec 3,11%) (Jiang i in., Mega-TTS 2, ICLR 2024). Zastrzeżenie jest ważne: oba systemy są własnością autorów, a model bazowy to FastSpeech 2 dostrajany przez 2.000 kroków, a nie najsilniejszy dostępny system dostrojony.
Dostrajanie wciąż się opłaca, gdy głos leży daleko od danych treningowych. YourTTS trenowano na jednym portugalskim mówcy, a dostrojenie na 20-31 sekundach podniosło oceny podobieństwa nowych portugalskich głosów wystawiane przez słuchaczy, choć ogólne oceny jakości nieco spadły (artykuł o YourTTS). XTTS zyskał 0,1314 podobieństwa (0,7166 minus 0,5852) z około 10 minut na mówcę w klonowaniu międzyjęzykowym.
| Metryka | Wartość | Źródło |
|---|---|---|
| Podobieństwo dostrojonego modelu bazowego przy 10, 60 i 300 sekundach nagrania docelowego | 0,895, 0,923, 0,934 | Jiang i in., Mega-TTS 2 (ICLR 2024) |
| Podobieństwo zero-shot Mega-TTS 2 przy próbkach 3, 10, 60 i 300-sekundowych | 0,898, 0,905, 0,926, 0,932 | Jiang i in., Mega-TTS 2 (ICLR 2024) |
| YourTTS, portugalska mówczyni z 20 sekundami mowy, zero-shot wobec dostrojonego | Podobieństwo 0,743 wobec 0,930; Sim-MOS 2,77±0,15 wobec 4,43±0,06; MOS 3,59±0,13 wobec 3,48±0,13 | Casanova i in., YourTTS (ICML 2022) |
| YourTTS, angielski mówca z 61 sekundami mowy, zero-shot wobec dostrojonego | Podobieństwo 0,851 wobec 0,880 (prawdziwa mowa 0,875) | Casanova i in., YourTTS (ICML 2022) |
| Podobieństwo międzyjęzykowe XTTS przed i po dostrojeniu na około 10 minutach na mówcę | 0,5852 wobec 0,7166 | Casanova i in., artykuł o XTTS (INTERSPEECH 2024) |
| Seed-TTS z 20-sekundową próbką wobec dostrojonego na 1-10 godzinach na mówcę: podobieństwo i WER | 0,779 i 3,15 wobec 0,789 i 2,83 (CMOS +0,37 dla dostrojonego) | ByteDance, artykuł o Seed-TTS 2024 |
| Zalecana ilość nagrania dla ElevenLabs Professional Voice Cloning (jego poziom dostrajany) | 30-180 minut (wytyczne samego dostawcy) | ElevenLabs, dokumentacja klonowania głosu 2026 |
Najnowsze dostępne dane dla testu dostrajania YourTTS: Casanova i in., ICML 2022. Obejmuje on tylko 4 mówców, więc traktuj go jako ilustrację efektu językowego, a nie oszacowanie dla populacji.
6. Strona bezpieczeństwa: krótkie próbki i oszustwa
Liczby z badań mają bezpośredni odpowiednik konsumencki: publiczne wideo jest materiałem referencyjnym. Słuchacze uznawali głos AI za tę samą tożsamość co jego prawdziwy odpowiednik w ok. 80% przypadków, a głosy AI rozpoznawali jako takie tylko w ok. 60% przypadków, wśród 604 uczestników badania, w którym prawdziwe klipy miały średnio 5,37 sekundy (Barrington, Cooper i Farid, Scientific Reports 2025). Klony pochodziły z komercyjnej usługi natychmiastowego klonowania, której podano dwa pierwsze nagrane prompty każdego z 220 mówców.
Hasło ‘trzech sekund’ w ostrzeżeniach przed oszustwami opiera się na oświadczeniach firm. Wartość McAfee to jego własny test porównawczy i dla tego źródła najnowsze dostępne dane (McAfee, 2023). Starling Bank powtórzył to twierdzenie w 2024 roku wraz ze swoim badaniem (Starling Bank, kampania Safe Phrases 2024). Same oszustwa opisuje nasz wpis o oszustwach rodzinnych z klonowaniem głosu.
| Metryka | Wartość | Źródło |
|---|---|---|
| Odsetek przypadków, w których słuchacze uznali głos AI za tę samą osobę co prawdziwy mówca | Ok. 80% | Barrington, Cooper i Farid, Scientific Reports 2025 |
| Odsetek przypadków, w których słuchacze poprawnie rozpoznali głos jako wygenerowany przez AI | Ok. 60% | Barrington, Cooper i Farid, Scientific Reports 2025 |
| Nagranie, którego badacze McAfee potrzebowali do szacowanej 85-procentowej zgodności głosu przy użyciu darmowego narzędzia | Od trzech do czterech sekund (ok. 95% przy większym wysiłku; własny test dostawcy) | McAfee, Beware the Artificial Impostor 2023 |
| Dorośli, którzy udostępniają swój głos w internecie co najmniej raz w tygodniu | 53% (7.054 dorosłych, 7 krajów) | McAfee, Beware the Artificial Impostor 2023 |
| Dorośli, którzy nie mają pewności, że odróżniliby prawdziwy głos od sklonowanego | 70% | McAfee, Beware the Artificial Impostor 2023 |
| Dorośli w Wielkiej Brytanii, którzy twierdzą, że w ostatnim roku stali się celem oszustwa z klonowaniem głosu AI | 28% (3.010 dorosłych) | Badanie Starling Bank i Mortar Research 2024 |
| Dorośli w Wielkiej Brytanii, którzy wysłaliby żądane pieniądze, nawet gdyby rozmowa wydawała się dziwna | 8% | Badanie Starling Bank i Mortar Research 2024 |
| Ocenione produkty do klonowania głosu, które nie podjęły podstawowych kroków, by zapobiec nieautoryzowanemu klonowaniu | 4 z 6 | Consumer Reports, ocena klonowania głosu 2025 |
Kontekst: 28% w badaniu Starling mierzy to, co ludzie twierdzą, że ich spotkało, a nie potwierdzone incydenty. Wartości 85% i 95% od McAfee to szacunki samej firmy i nie znaleźliśmy niezależnej replikacji. Ocena Consumer Reports objęła Descript, ElevenLabs, Lovo, PlayHT, Resemble AI i Speechify.
7. Zabezpieczenia, wykrywanie i decyzje o wydaniu
Decyzje o wydaniu dzielą branżę. Microsoft mówi, że ‘nie ma planów włączenia VALL-E 2 do produktu ani rozszerzenia dostępu dla publiczności’ (strona projektu VALL-E 2), a OpenAI zdecydowało się na ‘podgląd, ale nie szeroką publikację’ Voice Engine, wzywając jednocześnie banki do stopniowego rezygnowania z uwierzytelniania głosowego. Tymczasem autorzy F5-TTS apelują o znaki wodne i modele wykrywające w związku z ryzykami nadużyć, które wymieniają. FTC uznała problem za na tyle otwarty, że sfinansowała konkurs (FTC, zwycięzcy Voice Cloning Challenge 2024).
Wyniki wykrywania silnie zależą od tego, z czym porównuje się fałszywkę. Klasyfikator Meta idealnie odróżniał wyjście Voicebox od oryginalnego nagrania, ale uzyskał 0,704 wobec prawdziwej mowy przepuszczonej przez wokoder (oprogramowanie odtwarzające dźwięk z jego widma) przy najniższym poziomie maskowania. Dokładniejszy przegląd skuteczności detektorów znajdziesz w naszych statystykach dokładności wykrywania deepfake’ów audio.
| Metryka | Wartość | Źródło |
|---|---|---|
| Pula nagród podzielona między trzech zwycięzców FTC Voice Cloning Challenge | 35.000 USD (ogłoszone 8 kwietnia 2024) | Federalna Komisja Handlu USA, Voice Cloning Challenge 2024 |
| Rozmiar fragmentu audio sprawdzanego przez detektor klonów w czasie rzeczywistym Pindrop, wyróżniony przez FTC | Fragmenty dwusekundowe | Federalna Komisja Handlu USA, Voice Cloning Challenge 2024 |
| Dokładność klasyfikatora wykrywającego Voicebox wobec oryginalnego nagrania oraz wobec prawdziwego nagrania przepuszczonego przez wokoder przy maskowaniu 30%, 50% i 90% nagrania | 1,000 wobec oryginału; 0,704, 0,809, 0,907 wobec przepuszczonego przez wokoder | Meta, artykuł o Voicebox (NeurIPS 2023) |
| Kiedy OpenAI po raz pierwszy opracowało Voice Engine, a kiedy opublikowało jego ograniczony podgląd | Koniec 2022 wobec 29 marca 2024 | OpenAI, wpis o głosach syntetycznych 2024 |
| Zespoły w konkursie ASVspoof 5 oraz najtrudniejszy atak w otwartym warunku ścieżki 1 | 53 zespoły; wstępnie wytrenowany YourTTS w trybie zero-shot (minDCF 0,33) | Wang i in., artykuł oceniający ASVspoof 5, 2026 |
Kontekst: minDCF to wynik kosztu wykrywania, gdzie wyższa wartość oznacza, że detektory miały większe trudności. To, że wstępnie wytrenowany model YourTTS znalazł się na szczycie listy trudności w otwartym warunku ASVspoof 5, sugeruje, że ataki zero-shot nie potrzebują najnowocześniejszego systemu, by sprawiać kłopoty, choć artykuł nie rozbija tego wyniku według długości próbki.
Podsumowanie: długość nagrania referencyjnego w klonowaniu głosu zero-shot w liczbach
| Metryka | Wartość | Źródło |
|---|---|---|
| Próbka audio, z której działa OpenAI Voice Engine | 15 sekund | OpenAI, wpis o głosach syntetycznych 2024 |
| VALL-E 2 na VCTK, próbka 3 wobec 10 sekund (rozmiar grupy 1): podobieństwo i WER | 0,447 wobec 0,558; 0,9% wobec 3,3% | Microsoft Research, artykuł o VALL-E 2, 2024 |
| Udział nagrania wejściowego, którego Voicebox potrzebuje, by dorównać podobieństwu VALL-E | Mniej więcej dwie trzecie | Meta, artykuł o Voicebox (NeurIPS 2023) |
| Podobieństwo F5-TTS, długie (7,7 s) wobec krótkich (5,5 s) próbek na mowie w warunkach rzeczywistych | 0,35 wobec 0,24 | Barcelona Supercomputing Center, zgłoszenie WildSpoof TTS 2026 |
| Współczynnik błędów słów StyleTTS2, długie (7,7 s) wobec krótkich (5,5 s) próbek | 0,21 wobec 0,49 | Barcelona Supercomputing Center, zgłoszenie WildSpoof TTS 2026 |
| Długość nagrania referencyjnego dla klonowania XTTS-v2 o wysokiej wierności | 6-10 sekund | Zhu, praca Uniwersytetu w Groningen 2025 |
| Podobieństwo NaturalSpeech 3 wobec prawdziwych nagrań | 0,67 wobec 0,68 | Microsoft Research, artykuł o NaturalSpeech 3, 2024 |
| Współczynnik błędów słów F5-TTS wobec prawdziwej mowy | 2,42% wobec 2,23% | Chen i in., artykuł o F5-TTS 2024 |
| Podobieństwo zero-shot Mega-TTS 2 wobec dostrojonego modelu bazowego przy 300 sekundach nagrania | 0,932 wobec 0,934 | Jiang i in., Mega-TTS 2 (ICLR 2024) |
| Ocena podobieństwa YourTTS przez słuchaczy, zero-shot wobec dostrojonego na 20 sekundach | 2,77 wobec 4,43 | Casanova i in., YourTTS (ICML 2022) |
| Podobieństwo międzyjęzykowe XTTS po około 10 minutach dostrajania | 0,5852 do 0,7166 | Casanova i in., artykuł o XTTS (INTERSPEECH 2024) |
| Słuchacze uznający klon AI za prawdziwego mówcę | Ok. 80% | Barrington, Cooper i Farid, Scientific Reports 2025 |
| Nagranie dla szacowanej 85-procentowej zgodności (test dostawcy) | Od trzech do czterech sekund | McAfee, Beware the Artificial Impostor 2023 |
| Dorośli w Wielkiej Brytanii, którzy twierdzą, że stali się celem oszustwa z klonowaniem głosu | 28% | Badanie Starling Bank i Mortar Research 2024 |
| Produkty do klonowania głosu, które nie podjęły podstawowych kroków przeciw nieautoryzowanemu klonowaniu | 4 z 6 | Consumer Reports, ocena klonowania głosu 2025 |
| Pula nagród dla zwycięzców FTC Voice Cloning Challenge | 35.000 USD | Federalna Komisja Handlu USA, Voice Cloning Challenge 2024 |
Metodologia i źródła
- Neural Codec Language Models are Zero-Shot Text to Speech Synthesizers (VALL-E) (Microsoft Research, 2023): konfiguracja z 3-sekundową próbką i wyniki VCTK według długości próbki.
- VALL-E 2: Neural Codec Language Models are Human Parity Zero-Shot Text to Speech Synthesizers (Microsoft Research, 2024): podobieństwo, WER i SMOS na VCTK przy 3, 5 i 10 sekundach.
- VALL-E 2 project page (Microsoft Research): oświadczenie o wydaniu.
- NaturalSpeech 3: Zero-Shot Speech Synthesis with Factorized Codec and Diffusion Models (Microsoft Research i współautorzy z uczelni, 2024): porównanie na LibriSpeech.
- Voicebox: Text-Guided Multilingual Universal Speech Generation at Scale (Meta, NeurIPS 2023): analiza długości próbki, angielski test porównawczy, klasyfikator wykrywający.
- YourTTS: Towards Zero-Shot Multi-Speaker TTS and Zero-Shot Voice Conversion for everyone (Casanova i in., ICML 2022): adaptacja do mówcy zero-shot wobec dostrojonej.
- XTTS: a Massively Multilingual Zero-Shot Text-to-Speech Model (Casanova i in., INTERSPEECH 2024): długość nagrania referencyjnego, podobieństwo po angielsku, zysk z dostrojenia.
- Mega-TTS 2: Boosting Prompting Mechanisms for Zero-Shot Speech Synthesis (Jiang i in., ByteDance i Uniwersytet Zhejiang, ICLR 2024): próbki od 3 do 300 sekund wobec dostrojonego modelu bazowego.
- Seed-TTS: A Family of High-Quality Versatile Speech Generation Models (ByteDance, 2024): zero-shot wobec dostrajania na mówcy.
- F5-TTS: A Fairytaler that Fakes Fluent and Faithful Speech with Flow Matching (Chen i in., 2024): test porównawczy LibriSpeech-PC.
- MiniMax-Speech: Intrinsic Zero-Shot Text-to-Speech with a Learnable Speaker Encoder (Zhang i in., 2025): klonowanie z osadzoną reprezentacją mówcy wobec klonowania z towarzyszącym tekstem.
- Zero-Shot TTS With Enhanced Audio Prompts: BSC submission for the 2026 WildSpoof challenge TTS track (Barcelona Supercomputing Center, 5 lutego 2026): długie wobec krótkich próbek.
- Zero-Shot Voice Cloning with Minimal Data: Impact of Reference Duration on Long-Form Speech Synthesis (Zhu, Uniwersytet w Groningen, 2025): test nagrań referencyjnych od 1 do 40 sekund.
- People are poorly equipped to detect AI-powered voice clones (Barrington, Cooper i Farid, Scientific Reports, 2025).
- ASVspoof 5: Evaluation of Spoofing, Deepfake, and Adversarial Attack Detection Using Crowdsourced Speech (Wang i in., 7 stycznia 2026).
- FTC Announces Winners of Voice Cloning Challenge (Federalna Komisja Handlu USA, 8 kwietnia 2024).
- Do These 6 AI Voice Cloning Companies Do Enough to Prevent Misuse? (Consumer Reports, 10 marca 2025).
- Beware the Artificial Impostor (McAfee, maj 2023; badanie dostawcy).
- Starling Bank Safe Phrases campaign (Starling Bank i Mortar Research, 18 września 2024).
- OpenAI post on the challenges and opportunities of synthetic voices (OpenAI, 29 marca 2024).
- ElevenLabs Instant Voice Cloning documentation (wytyczne dostawcy, odczytane w październiku 2026).
- Uwaga o danych: wyniki podobieństwa nie są porównywalne między artykułami, ponieważ każdy używa własnego modelu rozpoznawania mówców, zbioru testowego i sposobu oceniania (prawdziwa mowa na LibriSpeech uzyskuje 0,754, 0,68 lub 0,69, zależnie od artykułu), więc porównuj tylko w obrębie jednego wiersza. Artykuł o Mega-TTS 2 podaje znacznie wyższe wartości podobieństwa niż pozostałe, z VALL-E na poziomie 0,885 wobec 0,580 w oryginalnym artykule, więc jego liczby należy odnosić tylko do siebie nawzajem. Obie strony porównania dostrajania w Mega-TTS 2 zbudowali jego autorzy. Tekst Voicebox mówi, że podobieństwo rośnie, a potem się spłaszcza przy dłuższych próbkach, podczas gdy podpis jego rysunku mówi, że pozostaje takie samo do 10 sekund. MiniMax-Speech nazywa podawanie próbki z towarzyszącym tekstem ‘one-shot’ i tak klasyfikuje Seed-TTS, chociaż Seed-TTS sam nazywa się zero-shot. Modele WildSpoof dostrojono przed testem na zbiorze TITW, więc te wyniki nie są czystymi wartościami bazowymi zero-shot. Oceny słuchaczy dla VALL-E 2 przy 10 sekundach mają szerokie przedziały (do ±0,49). Artykuł w Scientific Reports nie podaje, jak długie były dwie próbki stojące za każdym klonem, więc jego 80% nie należy czytać jako wartości dla jakiejkolwiek konkretnej długości próbki. Streszczenie pracy Zhu nie podaje wartości podobieństwa, tylko długości i kierunek efektu. VALL-E, Voicebox, YourTTS i McAfee mają ponad trzy lata i oznaczamy je jako najnowsze dostępne dane: nie znaleźliśmy artykułu z 2025 ani 2026 roku, który powtarza pełną krzywą dla 3, 5 i 10 sekund na wspólnym teście porównawczym. Badania Starling Bank i McAfee opierają się na samodzielnych deklaracjach.
Ostatnia aktualizacja: 31 października 2026 roku. Aktualizujemy to zestawienie co kwartał, a kolejne odświeżenie spodziewane jest po publikacji materiałów konferencji ICASSP 2027.