Drei Sekunden Sprache eines Fremden sind eine Standard-Testbedingung der Forschung zum Zero-Shot-Stimmklonen, der Aufbau hinter VALL-E ebenso wie hinter Voicebox. In diesem Test steigerte Voicebox die Sprecherähnlichkeit auf LibriSpeech auf 0,681 gegenüber 0,580 bei VALL-E, und NaturalSpeech 3 meldete später 0,67 gegenüber 0,68 bei den echten Aufnahmen in einem eigenen Durchlauf desselben Datensatzes. Die Hörer sind kein verlässlicher Schutz: In einer Studie in Scientific Reports von 2025 hielten Menschen KI-Klone in etwa 80% der Fälle für den echten Sprecher. Für das kommerzielle Bild und den Markt siehe unsere breiter angelegten Statistiken zum Stimmklonen; diese Zusammenstellung bleibt bei einer einzigen Frage: wie viel Referenzaudio das Klonen braucht und was jede zusätzliche Sekunde bringt. Wir haben Daten von Microsoft Research, Meta, ByteDance, dem Barcelona Supercomputing Center, der US-Handelsbehörde Federal Trade Commission, Consumer Reports, McAfee, Starling Bank sowie aus begutachteten Publikationen und arXiv-Beiträgen von ICML, NeurIPS, ICLR und Scientific Reports zusammengeführt.
TL;DR
- Voicebox wurde mit 3,0 Sekunden Prompt-Audio getestet und erreichte die Sprecherähnlichkeit von VALL-E mit etwa zwei Dritteln des Eingangsaudios (Meta, Voicebox-Publikation, NeurIPS 2023).
- Auf VCTK stieg die Ähnlichkeit von VALL-E 2 von 0,447 bei 3 Sekunden auf 0,558 bei 10 Sekunden, während die Wortfehlerrate von 0,9% auf 3,3% stieg (Microsoft Research, VALL-E-2-Publikation 2024).
- Die Verkürzung des durchschnittlichen Prompts von 7,7 auf 5,5 Sekunden senkte die Ähnlichkeit von F5-TTS bei In-the-Wild-Sprache von 0,35 auf 0,24 (Barcelona Supercomputing Center, WildSpoof-Einreichung 2026).
- XTTS-v2 erreichte hochwertiges Klonen mit 6 bis 10 Sekunden Referenzaudio, mit abnehmendem Zusatznutzen jenseits von 20 Sekunden (Zhu, Abschlussarbeit der Universität Groningen 2025).
- Ein Zero-Shot-Modell mit 300-Sekunden-Prompt erzielte eine Ähnlichkeit von 0,932 gegenüber 0,934 bei einer auf 300 Sekunden feinabgestimmten Baseline (Jiang et al., Mega-TTS 2, ICLR 2024).
- Die Feinabstimmung mit 20 Sekunden portugiesischer Sprache hob die menschlichen Ähnlichkeitsbewertungen von 2,77 auf 4,43 (Casanova et al., YourTTS, ICML 2022).
- Hörer hielten KI-Stimmen in etwa 80% der Fälle für dieselbe Person wie den echten Sprecher (Barrington, Cooper und Farid, Scientific Reports 2025).
- McAfee-Forscher meldeten eine geschätzte Stimmübereinstimmung von 85% aus drei bis vier Sekunden Audio, eine Messung des Anbieters (McAfee, Beware the Artificial Impostor 2023).
- 28% der britischen Erwachsenen geben an, im vergangenen Jahr Ziel einer KI-Stimmklon-Betrugsmasche gewesen zu sein (Umfrage von Starling Bank und Mortar Research 2024).
- Vier von sechs Produkten zum Stimmklonen unterließen grundlegende Schritte gegen unbefugtes Klonen (Consumer Reports, Bewertung von Stimmklon-Produkten 2025).
1. Der 3-Sekunden-Test: Wie viel Audio Zero-Shot-Systeme erhalten
“Zero-Shot” bedeutet, dass das System nie auf den Zielsprecher trainiert wurde: Es hört zum Zeitpunkt der Erzeugung einen kurzen Referenzclip, den sogenannten “Prompt”, und ahmt ihn auf der Stelle nach. VALL-E und Voicebox wurden beide mit einem Prompt von nur 3 Sekunden evaluiert, und diese Wahl sagt mehr über Ehrgeiz als über Grenzen aus. Diese Publikationen fragen nicht, ob sich eine Stimme aus wenigen Sekunden kopieren lässt. Sie konkurrieren darum, wie gut das gelingt.
Die Anforderungen von Produkten liegen höher. OpenAI beschrieb Voice Engine als funktionsfähig mit “einer einzigen 15-Sekunden-Audioprobe” (OpenAI-Beitrag zu synthetischen Stimmen 2024), und die Dokumentation von ElevenLabs empfiehlt ein bis zwei Minuten. Das sind Produkteinstellungen, keine gemessenen Schwellenwerte.
| Metrik | Wert | Quelle |
|---|---|---|
| Prompt-Länge und Trainingsdaten von VALL-E bei unbekannten LibriSpeech-Sprechern | 3 Sekunden; 60K Stunden englische Sprache, über 7.000 Sprecher | Microsoft Research, VALL-E-Publikation 2023 |
| Prompt-Audio für die englischen Zero-Shot-Tests von Voicebox | 3,0 Sekunden | Meta, Voicebox-Publikation (NeurIPS 2023) |
| Länge des Referenzclips zur Evaluierung von XTTS | Ein Segment zwischen 3 und 8 Sekunden | Casanova et al., XTTS-Publikation (INTERSPEECH 2024) |
| Längenbereich der Referenzäußerung im Testset von Seed-TTS | 3 bis 20 Sekunden | ByteDance, Seed-TTS-Publikation 2024 |
| Audioprobe, mit der OpenAI Voice Engine arbeitet | Eine einzige 15-Sekunden-Probe | OpenAI, Beitrag zu synthetischen Stimmen 2024 |
| Minimales und empfohlenes Audio für das Instant-Klonen von ElevenLabs | Mindestens 10 Sekunden insgesamt, 1 bis 2 Minuten empfohlen (Angabe des Anbieters selbst) | ElevenLabs, Dokumentation zu Instant Voice Cloning 2026 |
Wenn Sie Software zum Stimmklonen für den Desktop vergleichen, zeigen die Abschnitte 2 und 3, was diese Sekunden ändern.
2. Wie die Sprecherähnlichkeit von 3 bis 10 Sekunden skaliert
Die Sprecherähnlichkeit (SIM oder SECS) ist die Kosinusähnlichkeit zwischen zwei “Fingerabdrücken” des Sprechers, die ein Sprechererkennungsnetz berechnet; ein höherer Wert bedeutet größere Nähe. Zwei echte Aufnahmen derselben Person erreichen deutlich weniger als 1,0, daher sind die Werte echter Sprache unten der Bezugspunkt, an dem man lesen sollte. Der Wechsel von einem 3-Sekunden- zu einem 10-Sekunden-Prompt hob die Ähnlichkeit von VALL-E 2 auf dem VCTK-Datensatz von 0,447 auf 0,558, ein Zuwachs von 0,111 (0,558 minus 0,447), und damit die klarste veröffentlichte Kurve zu dieser Frage (VALL-E-2-Publikation 2024).
Die Kurve knickt bei verschiedenen Systemen an unterschiedlichen Stellen ab. Das Voicebox-Team von Meta berichtete, die Ähnlichkeit “wächst schnell und flacht mit längeren Audio-Prompts ab” (Voicebox-Publikation), und eine Abschlussarbeit von 2025 zu XTTS-v2 setzte das Plateau bei etwa 10 bis 20 Sekunden an (Zhu, Universität Groningen). Über diese drei Publikationen hinweg leisten die ersten zehn Sekunden den Großteil der Arbeit, auch wenn sich VALL-E 2 bei zehn noch weiter verbesserte.
| Metrik | Wert | Quelle |
|---|---|---|
| Ähnlichkeit von VALL-E auf VCTK (108 Sprecher) mit 3-, 5- und 10-Sekunden-Prompts | 0,382, 0,423, 0,484 (echte Aufnahmen: 0,546, 0,591, 0,620) | Microsoft Research, VALL-E-Publikation 2023 |
| Ähnlichkeit von VALL-E 2 (Gruppengröße 1) auf VCTK mit 3-, 5- und 10-Sekunden-Prompts | Einzelprobe: 0,447, 0,487, 0,558; beste von fünf Proben: 0,508, 0,552, 0,620 (echte Aufnahmen: 0,623, 0,679, 0,709) | Microsoft Research, VALL-E-2-Publikation 2024 |
| Anteil des Eingangsaudios, den Voicebox braucht, um die Sprecherähnlichkeit von VALL-E zu erreichen | Etwa zwei Drittel | Meta, Voicebox-Publikation (NeurIPS 2023) |
| Ähnlichkeit von F5-TTS mit langen (Durchschnitt 7,7 s) vs kurzen (Durchschnitt 5,5 s) Prompts bei In-the-Wild-Sprache | 0,35 vs 0,24 | Barcelona Supercomputing Center, WildSpoof-TTS-Einreichung 2026 |
| Ähnlichkeit von StyleTTS2 mit langen (Durchschnitt 7,7 s) vs kurzen (Durchschnitt 5,5 s) Prompts | 0,19 vs 0,14 | Barcelona Supercomputing Center, WildSpoof-TTS-Einreichung 2026 |
| Referenzlänge, bei der XTTS-v2 hochwertiges Klonen erreichte (getestet: 1, 3, 6, 10, 20 und 40 Sekunden) | 6 bis 10 Sekunden, mit abnehmendem Zusatznutzen jenseits von 20 Sekunden | Zhu, Masterarbeit der Universität Groningen 2025 |
Hinweis zu Ausreißern: Die Einreichung des Barcelona Supercomputing Center ist das einzige Ergebnis von 2026 hier und nutzt den Datensatz TTS In the Wild. Ein im Schnitt 2,2 Sekunden kürzerer Prompt (7,7 minus 5,5) kostete F5-TTS 0,11 an Ähnlichkeit (0,35 minus 0,24). Das ist derselbe Verlust, den VALL-E 2 über eine Differenz von 7 Sekunden auf VCTK zeigte, ein Hinweis darauf, dass kurze Prompts bei Alltagsaudio stärker schaden könnten, auch wenn die beiden Tests nicht direkt vergleichbar sind.
3. Verständlichkeit verbessert sich mit längeren Prompts nicht immer
Die Wortfehlerrate (WER) misst die Verständlichkeit: Ein Spracherkenner transkribiert das geklonte Audio, und der Anteil falscher Wörter wird gezählt, sodass niedriger besser ist. Die WER von VALL-E 2 auf VCTK stieg von 0,9% bei einem 3-Sekunden-Prompt auf 3,3% bei einem 10-Sekunden-Prompt, also in die entgegengesetzte Richtung zu seinem Ähnlichkeitsgewinn. Menschliche Bewerter stimmten zu: Im selben Test sanken die Ähnlichkeitsbewertungen bei längeren Prompts, während die Bewertungen der echten Aufnahmen stiegen.
Nichts garantiert, dass mehr Prompt-Audio hilft. Mega-TTS 2, ausgelegt für Prompts aus mehreren Sätzen, verbesserte sich bis hin zu 300 Sekunden weiter, während der in derselben Publikation gemessene VALL-E-Lauf bei 20 Sekunden zusammenbrach (Mega-TTS-2-Publikation). Sehr kurze Prompts bergen ihr eigenes Verständlichkeitsrisiko: StyleTTS2 war das System, das schlechter wurde, als sein Prompt gekürzt wurde.
| Metrik | Wert | Quelle |
|---|---|---|
| VALL-E 2 (Gruppengröße 1) auf VCTK mit 3-, 5- und 10-Sekunden-Prompts: Wortfehlerrate und menschliche Ähnlichkeitsbewertung (SMOS, höher ist besser) | WER 0,9%, 1,9%, 3,3%; SMOS 4,42±0,15, 4,28±0,16, 3,95±0,10 (echte Aufnahmen 4,47±0,13, 4,53±0,14, 4,74±0,17) | Microsoft Research, VALL-E-2-Publikation 2024 |
| VALL-E auf LibriSpeech mit 3-, 10- und 20-Sekunden-Prompts, gemessen von den Autoren von Mega-TTS 2 | WER 5,83%, 5,54%, 8,77%; Ähnlichkeit 0,885, 0,893, 0,805 | Jiang et al., Mega-TTS 2 (ICLR 2024) |
| Wortfehlerrate von Mega-TTS 2 mit 3-, 10-, 60- und 300-Sekunden-Prompts | 2,46%, 2,28%, 2,24%, 2,23% | Jiang et al., Mega-TTS 2 (ICLR 2024) |
| Wortfehlerrate von StyleTTS2 mit langen (7,7 s) vs kurzen (5,5 s) Prompts | 0,21 vs 0,49 (F5-TTS unverändert bei 0,07) | Barcelona Supercomputing Center, WildSpoof-TTS-Einreichung 2026 |
| Trend von Voicebox, wenn sich Prompt- und Zielsprache unterscheiden, bei länger werdenden Prompts | Die Ähnlichkeit verbessert sich; die WER steigt bei den meisten Sprachrichtungen | Meta, Voicebox-Publikation (NeurIPS 2023) |
Kontext: Der Trend von VALL-E 2 verläuft nicht ganz glatt. Seine Einstellung mit Gruppengröße 2 verzeichnete bei denselben drei Längen eine WER von 1,5%, 0,9% und 2,3%. Die Autoren von Voicebox führen die steigende WER über Sprachgrenzen hinweg darauf zurück, dass Englisch über 90% der Trainingsdaten ausmacht.
4. Wie nah Klone aus kurzen Prompts dem echten Sprecher kommen
Bei Benchmark-Sprache liegen die besten veröffentlichten Systeme heute direkt neben den echten Aufnahmen. NaturalSpeech 3 erreichte eine Sprecherähnlichkeit von 0,67 gegenüber 0,68 bei den Referenzaufnahmen (Ground Truth), und seine menschliche Ähnlichkeitsbewertung (4,01) lag über den 3,85 der echten Aufnahmen im selben LibriSpeech-Test (Microsoft Research, NaturalSpeech-3-Publikation 2024). Das ist weit entfernt von den 0,337, die YourTTS in der ersten Zeile unten erzielte.
Die Werte echter Sprache zeigen, dass es sich um Laborbedingungen handelt: Sie reichen je nach Publikation von 0,68 bis 0,8952, daher muss jedes System an seiner eigenen Ground Truth gemessen werden, wie in der Tabelle. Die F5-TTS-Publikation liegt in ihrem eigenen Test innerhalb von 0,03 der echten Sprache (0,69 minus 0,66).
| Metrik | Wert | Quelle |
|---|---|---|
| LibriSpeech, 3-Sekunden-Prompt: YourTTS vs VALL-E vs Voicebox | Ähnlichkeit 0,337 vs 0,580 vs 0,681 (echte Sprache 0,754); WER 7,7% vs 5,9% vs 1,9% (echte Sprache 2,2%) | Meta, Voicebox-Publikation (NeurIPS 2023) |
| NaturalSpeech 3 vs echte Aufnahmen auf LibriSpeech: Ähnlichkeit und WER | 0,67 und 1,81% vs 0,68 und 1,94% | Microsoft Research, NaturalSpeech-3-Publikation 2024 |
| Englische Ähnlichkeit von Seed-TTS vs menschliche Aufnahmen und vergleichende Bewertung (CMOS) vs Mensch | 0,762 vs 0,730; CMOS -0,07 | ByteDance, Seed-TTS-Publikation 2024 |
| F5-TTS vs echte Sprache bei 1.127 LibriSpeech-PC-Proben von 4 bis 10 Sekunden: Ähnlichkeit und WER | 0,66 und 2,42% vs 0,69 und 2,23% | Chen et al., F5-TTS-Publikation 2024 |
| Englische Ähnlichkeit von MiniMax-Speech: nur Speaker Embedding vs Prompt mit gepaartem Text | 0,692 vs 0,738 (Ground Truth 0,730) | Zhang et al., MiniMax-Speech-Publikation 2025 |
| Englische Ähnlichkeit von XTTS vs echte Sprache | 0,6423 vs 0,8952 | Casanova et al., XTTS-Publikation (INTERSPEECH 2024) |
Hinweis zu Ausreißern: Seed-TTS und die Einstellung von MiniMax-Speech mit gepaartem Text erzielen höhere Werte als ihre echten Aufnahmen. Die Autoren von Seed-TTS erklären, dass sich Ground-Truth- und Referenzclips desselben Sprechers weiterhin in Sprechstil und Hintergrundumgebung unterscheiden können, sodass ein Modell, das der Referenz eng folgt, eine zweite echte Aufnahme übertreffen kann. Das ist kein Beleg für einen Klon, der besser als ein Mensch ist.
5. Zero-Shot- vs feinabgestimmtes Klonen: Die Lücke in Sekunden und Minuten
Feinabstimmung bedeutet, die Gewichte eines Modells mit dem Audio des Zielsprechers zu aktualisieren, der ältere und langsamere Weg zu einer individuellen Stimme. Mit 300 Sekunden der Zielstimme erreichte ein Zero-Shot-Prompt eine Ähnlichkeit von 0,932 gegenüber 0,934 bei einer feinabgestimmten Baseline, mit weniger Wortfehlern (2,23% vs 3,11%) (Jiang et al., Mega-TTS 2, ICLR 2024). Der Vorbehalt ist wichtig: Beide Systeme stammen von den Autoren selbst, und die Baseline ist eine für 2.000 Schritte feinabgestimmte FastSpeech-2-Variante, nicht das stärkste verfügbare feinabgestimmte System.
Feinabstimmung rechtfertigt ihren Aufwand weiterhin, wenn eine Stimme weit von den Trainingsdaten entfernt liegt. YourTTS wurde mit einem einzigen portugiesischen Sprecher trainiert, und die Feinabstimmung mit 20 bis 31 Sekunden hob die Ähnlichkeitsbewertungen der Hörer für neue portugiesische Stimmen, auch wenn die Bewertungen der Gesamtqualität leicht sanken (YourTTS-Publikation). XTTS gewann 0,1314 an Ähnlichkeit (0,7166 minus 0,5852) durch etwa 10 Minuten pro Sprecher beim sprachübergreifenden Klonen.
| Metrik | Wert | Quelle |
|---|---|---|
| Ähnlichkeit der feinabgestimmten Baseline mit 10, 60 und 300 Sekunden Zielaudio | 0,895, 0,923, 0,934 | Jiang et al., Mega-TTS 2 (ICLR 2024) |
| Ähnlichkeit von Zero-Shot-Mega-TTS-2 mit 3-, 10-, 60- und 300-Sekunden-Prompts | 0,898, 0,905, 0,926, 0,932 | Jiang et al., Mega-TTS 2 (ICLR 2024) |
| YourTTS, portugiesische Sprecherin mit 20 Sekunden Sprache, Zero-Shot vs feinabgestimmt | Ähnlichkeit 0,743 vs 0,930; Sim-MOS 2,77±0,15 vs 4,43±0,06; MOS 3,59±0,13 vs 3,48±0,13 | Casanova et al., YourTTS (ICML 2022) |
| YourTTS, englischer Sprecher mit 61 Sekunden Sprache, Zero-Shot vs feinabgestimmt | Ähnlichkeit 0,851 vs 0,880 (echte Sprache 0,875) | Casanova et al., YourTTS (ICML 2022) |
| Sprachübergreifende Ähnlichkeit von XTTS vor vs nach Feinabstimmung mit etwa 10 Minuten pro Sprecher | 0,5852 vs 0,7166 | Casanova et al., XTTS-Publikation (INTERSPEECH 2024) |
| Seed-TTS mit 20-Sekunden-Prompt vs feinabgestimmt auf 1 bis 10 Stunden pro Sprecher: Ähnlichkeit und WER | 0,779 und 3,15 vs 0,789 und 2,83 (CMOS +0,37 für die feinabgestimmte Variante) | ByteDance, Seed-TTS-Publikation 2024 |
| Empfohlenes Audio für ElevenLabs Professional Voice Cloning (die feinabgestimmte Stufe) | 30 bis 180 Minuten (Angabe des Anbieters selbst) | ElevenLabs, Dokumentation zum Stimmklonen 2026 |
Aktuellste verfügbare Daten zum Feinabstimmungstest von YourTTS: Casanova et al., ICML 2022. Er umfasst nur 4 Sprecher und sollte daher als Veranschaulichung des Spracheffekts gelesen werden, nicht als Schätzung für eine Population.
6. Die Sicherheitsseite: Kurze Prompts und Betrug
Die Forschungszahlen haben eine direkte Übersetzung für Verbraucher: Öffentliche Videos sind Prompt-Material. Hörer hielten eine KI-Stimme in etwa 80% der Fälle für dieselbe Identität wie ihr echtes Gegenstück und erkannten KI-Stimmen nur in etwa 60% der Fälle, bei 604 Teilnehmern einer Studie, deren echte Clips im Schnitt 5,37 Sekunden lang waren (Barrington, Cooper und Farid, Scientific Reports 2025). Die Klone stammten von einem kommerziellen Instant-Klon-Dienst, der mit den ersten beiden aufgenommenen Prompts von je 220 Sprechern gespeist wurde.
Die “Drei-Sekunden”-Aussage in Betrugswarnungen beruht auf Firmenangaben. Die Zahl von McAfee ist deren eigener Benchmark und für diese Quelle die aktuellste verfügbare Angabe (McAfee, 2023). Starling Bank wiederholte die Aussage 2024 zusammen mit ihrer Umfrage (Starling Bank, Kampagne Safe Phrases 2024). Unser Beitrag zum Familienbetrug mit Stimmklonen behandelt die Betrugsmaschen selbst.
| Metrik | Wert | Quelle |
|---|---|---|
| Anteil der Fälle, in denen Hörer eine KI-Stimme für dieselbe Person wie den echten Sprecher hielten | Etwa 80% | Barrington, Cooper und Farid, Scientific Reports 2025 |
| Anteil der Fälle, in denen Hörer eine Stimme korrekt als KI-erzeugt erkannten | Etwa 60% | Barrington, Cooper und Farid, Scientific Reports 2025 |
| Audio, das McAfee-Forscher für eine geschätzte Stimmübereinstimmung von 85% mit einem kostenlosen Tool brauchten | Drei bis vier Sekunden (etwa 95% mit mehr Aufwand; Benchmark des Anbieters selbst) | McAfee, Beware the Artificial Impostor 2023 |
| Erwachsene, die ihre Stimme mindestens einmal pro Woche online teilen | 53% (7.054 Erwachsene, 7 Länder) | McAfee, Beware the Artificial Impostor 2023 |
| Erwachsene, die nicht sicher sind, eine echte Stimme von einer geklonten unterscheiden zu können | 70% | McAfee, Beware the Artificial Impostor 2023 |
| Britische Erwachsene, die angeben, im vergangenen Jahr Ziel einer KI-Stimmklon-Betrugsmasche gewesen zu sein | 28% (3.010 Erwachsene) | Umfrage von Starling Bank und Mortar Research 2024 |
| Britische Erwachsene, die das geforderte Geld auch bei einem seltsam wirkenden Anruf überweisen würden | 8% | Umfrage von Starling Bank und Mortar Research 2024 |
| Bewertete Stimmklon-Produkte, die grundlegende Schritte gegen unbefugtes Klonen unterließen | 4 von 6 | Consumer Reports, Bewertung von Stimmklon-Produkten 2025 |
Kontext: Die 28% von Starling messen, was Menschen nach eigener Aussage widerfahren ist, nicht bestätigte Vorfälle. Die 85% und 95% von McAfee sind Schätzungen des Unternehmens selbst, und wir fanden keine unabhängige Replikation. Die Bewertung von Consumer Reports umfasste Descript, ElevenLabs, Lovo, PlayHT, Resemble AI und Speechify.
7. Schutzmaßnahmen, Erkennung und Freigabeentscheidungen
Freigabeentscheidungen spalten die Branche. Microsoft sagt, es habe “keine Pläne, VALL-E 2 in ein Produkt aufzunehmen oder den Zugang für die Öffentlichkeit zu erweitern” (Projektseite VALL-E 2), und OpenAI entschied sich, Voice Engine “als Vorschau, aber nicht breit freizugeben”, während es Banken drängte, stimmbasierte Authentifizierung auslaufen zu lassen. Die Autoren von F5-TTS fordern unterdessen Wasserzeichen und Erkennungsmodelle für die von ihnen genannten Missbrauchsrisiken. Die FTC hielt das Problem für offen genug, um einen Wettbewerb zu finanzieren (FTC, Gewinner der Voice Cloning Challenge 2024).
Erkennungsergebnisse hängen stark davon ab, womit die Fälschung verglichen wird. Der Klassifikator von Meta trennte die Ausgabe von Voicebox perfekt vom Originalaudio, erzielte aber 0,704 gegenüber echter Sprache, die bei der niedrigsten Maskierungsstufe durch einen Vocoder (Software, die Audio aus seinem Spektrum rekonstruiert) geschickt worden war. Einen genaueren Blick auf die Leistung von Detektoren bieten unsere Statistiken zur Genauigkeit der Audio-Deepfake-Erkennung.
| Metrik | Wert | Quelle |
|---|---|---|
| Preisgeld, das sich die drei Gewinner der FTC Voice Cloning Challenge teilten | 35.000 US-Dollar (angekündigt am 8. April 2024) | US-Handelsbehörde Federal Trade Commission, Voice Cloning Challenge 2024 |
| Größe der Audioabschnitte, die der von der FTC gewürdigte Echtzeit-Klon-Detektor von Pindrop prüft | Zwei-Sekunden-Abschnitte | US-Handelsbehörde Federal Trade Commission, Voice Cloning Challenge 2024 |
| Genauigkeit des Erkennungsklassifikators von Voicebox vs Originalaudio und vs vocodiertes echtes Audio bei 30%, 50% und 90% Maskierung des Audios | 1,000 vs Original; 0,704, 0,809, 0,907 vs vocodiert | Meta, Voicebox-Publikation (NeurIPS 2023) |
| Wann OpenAI Voice Engine erstmals entwickelte vs wann es die eingeschränkte Vorschau veröffentlichte | Ende 2022 vs 29. März 2024 | OpenAI, Beitrag zu synthetischen Stimmen 2024 |
| Teams im ASVspoof-5-Wettbewerb und der schwierigste Angriff in der offenen Bedingung von Track 1 | 53 Teams; vortrainiertes Zero-Shot-YourTTS (minDCF 0,33) | Wang et al., ASVspoof-5-Evaluierungspublikation 2026 |
Kontext: minDCF ist ein Erkennungskostenwert, bei dem ein höherer Wert bedeutet, dass die Detektoren mehr Mühe hatten. Dass ein vortrainiertes YourTTS-Modell die Schwierigkeitsliste der offenen Bedingung von ASVspoof 5 anführt, deutet darauf hin, dass Zero-Shot-Angriffe kein Spitzensystem brauchen, um Probleme zu verursachen, auch wenn die Publikation dieses Ergebnis nicht nach Prompt-Länge aufschlüsselt.
Zusammenfassung: Länge des Referenzaudios beim Zero-Shot-Stimmklonen in Zahlen
| Metrik | Wert | Quelle |
|---|---|---|
| Audioprobe, mit der OpenAI Voice Engine arbeitet | 15 Sekunden | OpenAI, Beitrag zu synthetischen Stimmen 2024 |
| VALL-E 2 auf VCTK, 3- vs 10-Sekunden-Prompt (Gruppengröße 1): Ähnlichkeit und WER | 0,447 vs 0,558; 0,9% vs 3,3% | Microsoft Research, VALL-E-2-Publikation 2024 |
| Anteil des Eingangsaudios, den Voicebox braucht, um die Ähnlichkeit von VALL-E zu erreichen | Etwa zwei Drittel | Meta, Voicebox-Publikation (NeurIPS 2023) |
| Ähnlichkeit von F5-TTS, lange (7,7 s) vs kurze (5,5 s) Prompts bei In-the-Wild-Sprache | 0,35 vs 0,24 | Barcelona Supercomputing Center, WildSpoof-TTS-Einreichung 2026 |
| Wortfehlerrate von StyleTTS2, lange (7,7 s) vs kurze (5,5 s) Prompts | 0,21 vs 0,49 | Barcelona Supercomputing Center, WildSpoof-TTS-Einreichung 2026 |
| Referenzlänge für hochwertiges Klonen mit XTTS-v2 | 6 bis 10 Sekunden | Zhu, Abschlussarbeit der Universität Groningen 2025 |
| Ähnlichkeit von NaturalSpeech 3 vs echte Aufnahmen | 0,67 vs 0,68 | Microsoft Research, NaturalSpeech-3-Publikation 2024 |
| Wortfehlerrate von F5-TTS vs echte Sprache | 2,42% vs 2,23% | Chen et al., F5-TTS-Publikation 2024 |
| Ähnlichkeit von Zero-Shot-Mega-TTS-2 vs feinabgestimmter Baseline mit 300 Sekunden Audio | 0,932 vs 0,934 | Jiang et al., Mega-TTS 2 (ICLR 2024) |
| Ähnlichkeitsbewertung der Hörer für YourTTS, Zero-Shot vs feinabgestimmt auf 20 Sekunden | 2,77 vs 4,43 | Casanova et al., YourTTS (ICML 2022) |
| Sprachübergreifende Ähnlichkeit von XTTS nach etwa 10 Minuten Feinabstimmung | 0,5852 auf 0,7166 | Casanova et al., XTTS-Publikation (INTERSPEECH 2024) |
| Hörer, die einen KI-Klon für den echten Sprecher hielten | Etwa 80% | Barrington, Cooper und Farid, Scientific Reports 2025 |
| Audio für eine geschätzte Übereinstimmung von 85% (Benchmark des Anbieters) | Drei bis vier Sekunden | McAfee, Beware the Artificial Impostor 2023 |
| Britische Erwachsene, die angeben, Ziel einer Stimmklon-Betrugsmasche gewesen zu sein | 28% | Umfrage von Starling Bank und Mortar Research 2024 |
| Stimmklon-Produkte, die grundlegende Schritte gegen unbefugtes Klonen unterließen | 4 von 6 | Consumer Reports, Bewertung von Stimmklon-Produkten 2025 |
| Preisgeld für die Gewinner der FTC Voice Cloning Challenge | 35.000 US-Dollar | US-Handelsbehörde Federal Trade Commission, Voice Cloning Challenge 2024 |
Methodik und Quellen
- Neural Codec Language Models are Zero-Shot Text to Speech Synthesizers (VALL-E) (Microsoft Research, 2023): Aufbau mit 3-Sekunden-Prompt und VCTK-Ergebnisse nach Prompt-Länge.
- VALL-E 2: Neural Codec Language Models are Human Parity Zero-Shot Text to Speech Synthesizers (Microsoft Research, 2024): Ähnlichkeit, WER und SMOS auf VCTK bei 3, 5 und 10 Sekunden.
- VALL-E 2 project page (Microsoft Research): Aussage zur Freigabe.
- NaturalSpeech 3: Zero-Shot Speech Synthesis with Factorized Codec and Diffusion Models (Microsoft Research und Ko-Autoren von Universitäten, 2024): Vergleich auf LibriSpeech.
- Voicebox: Text-Guided Multilingual Universal Speech Generation at Scale (Meta, NeurIPS 2023): Analyse der Prompt-Länge, englischer Benchmark, Erkennungsklassifikator.
- YourTTS: Towards Zero-Shot Multi-Speaker TTS and Zero-Shot Voice Conversion for everyone (Casanova et al., ICML 2022): Sprecheranpassung per Zero-Shot vs Feinabstimmung.
- XTTS: a Massively Multilingual Zero-Shot Text-to-Speech Model (Casanova et al., INTERSPEECH 2024): Referenzlänge, englische Ähnlichkeit, Gewinn durch Feinabstimmung.
- Mega-TTS 2: Boosting Prompting Mechanisms for Zero-Shot Speech Synthesis (Jiang et al., ByteDance und Universität Zhejiang, ICLR 2024): Prompts von 3 bis 300 Sekunden vs eine feinabgestimmte Baseline.
- Seed-TTS: A Family of High-Quality Versatile Speech Generation Models (ByteDance, 2024): Zero-Shot vs Feinabstimmung auf den Sprecher.
- F5-TTS: A Fairytaler that Fakes Fluent and Faithful Speech with Flow Matching (Chen et al., 2024): LibriSpeech-PC-Benchmark.
- MiniMax-Speech: Intrinsic Zero-Shot Text-to-Speech with a Learnable Speaker Encoder (Zhang et al., 2025): Klonen per Speaker Embedding vs mit gepaartem Text.
- Zero-Shot TTS With Enhanced Audio Prompts: BSC submission for the 2026 WildSpoof challenge TTS track (Barcelona Supercomputing Center, 5. Februar 2026): lange vs kurze Prompts.
- Zero-Shot Voice Cloning with Minimal Data: Impact of Reference Duration on Long-Form Speech Synthesis (Zhu, Universität Groningen, 2025): Referenztest mit 1 bis 40 Sekunden.
- People are poorly equipped to detect AI-powered voice clones (Barrington, Cooper und Farid, Scientific Reports, 2025).
- ASVspoof 5: Evaluation of Spoofing, Deepfake, and Adversarial Attack Detection Using Crowdsourced Speech (Wang et al., 7. Januar 2026).
- FTC Announces Winners of Voice Cloning Challenge (US-Handelsbehörde Federal Trade Commission, 8. April 2024).
- Do These 6 AI Voice Cloning Companies Do Enough to Prevent Misuse? (Consumer Reports, 10. März 2025).
- Beware the Artificial Impostor (McAfee, Mai 2023; Anbieterstudie).
- Starling Bank Safe Phrases campaign (Starling Bank und Mortar Research, 18. September 2024).
- OpenAI post on the challenges and opportunities of synthetic voices (OpenAI, 29. März 2024).
- ElevenLabs Instant Voice Cloning documentation (Angabe des Anbieters, abgerufen im Oktober 2026).
- Daten-Hinweis: Ähnlichkeitswerte sind zwischen Publikationen nicht vergleichbar, weil jede ihr eigenes Sprechererkennungsmodell, ihr eigenes Testset und ihre eigene Bewertung verwendet (echte Sprache auf LibriSpeech erzielt je nach Publikation 0,754, 0,68 oder 0,69), daher sollte nur innerhalb einer Zeile verglichen werden. Die Mega-TTS-2-Publikation berichtet deutlich höhere Ähnlichkeitswerte als die anderen, mit VALL-E bei 0,885 dort gegenüber 0,580 in der Originalpublikation, weshalb ihre Zahlen nur untereinander gelesen werden sollten. Beide Seiten des Feinabstimmungsvergleichs von Mega-TTS 2 wurden von dessen Autoren gebaut. Der Text von Voicebox sagt, die Ähnlichkeit wachse und flache dann mit längeren Prompts ab, während die Abbildungsunterschrift besagt, sie bleibe bis 10 Sekunden gleich. MiniMax-Speech nennt Prompting mit gepaartem Text ‘One-Shot’ und ordnet Seed-TTS so ein, obwohl sich Seed-TTS selbst als Zero-Shot bezeichnet. Die WildSpoof-Modelle wurden vor dem Test auf dem TITW-Datensatz feinabgestimmt, daher sind diese Ergebnisse keine reinen Zero-Shot-Baselines. Die Hörerwerte von VALL-E 2 bei 10 Sekunden haben weite Intervalle (bis zu ±0,49). Die Publikation in Scientific Reports gibt nicht an, wie lang die beiden Prompts hinter jedem Klon waren, daher sollten ihre 80% nicht als Wert für eine bestimmte Prompt-Länge gelesen werden. Der Abstract von Zhus Abschlussarbeit nennt keine Ähnlichkeitswerte, nur die Längen und die Richtung des Effekts. VALL-E, Voicebox, YourTTS und McAfee sind älter als drei Jahre und als aktuellste verfügbare Daten gekennzeichnet: Wir fanden keine Publikation von 2025 oder 2026, die die vollständige Kurve mit 3, 5 und 10 Sekunden auf einem gemeinsamen Benchmark wiederholt. Die Umfragen von Starling Bank und McAfee beruhen auf Selbstauskunft.
Zuletzt aktualisiert: 31. Oktober 2026. Wir aktualisieren diese Zusammenstellung vierteljährlich, und die nächste Aktualisierung wird erwartet, wenn die Tagungsbände der ICASSP 2027 veröffentlicht werden.