Trois secondes de parole d’un inconnu constituent une condition de test standard pour la recherche sur le clonage vocal zero-shot, le dispositif à l’origine de VALL-E comme de Voicebox. Sur ce test, Voicebox a fait passer la similarité du locuteur de 0,580 pour VALL-E à 0,681 sur LibriSpeech, et NaturalSpeech 3 a ensuite rapporté 0,67 contre 0,68 pour les enregistrements réels, sur sa propre exécution du même jeu de données. Les auditeurs ne constituent guère un garde-fou : dans une étude de 2025 publiée dans Scientific Reports, les participants ont jugé que les clones IA étaient le vrai locuteur environ 80% du temps. Pour le tableau commercial et le marché, consultez nos statistiques du clonage vocal plus générales ; ce tour d’horizon reste centré sur une seule question : de quelle quantité d’audio de référence le clonage a-t-il besoin, et qu’apporte chaque seconde supplémentaire. Nous avons agrégé des données de Microsoft Research, Meta, ByteDance, du Barcelona Supercomputing Center, de la Commission fédérale du commerce des États-Unis, de Consumer Reports, McAfee, Starling Bank, ainsi que d’articles évalués par les pairs et d’articles arXiv issus d’ICML, NeurIPS, ICLR et Scientific Reports.
TL;DR
- Voicebox a été testé avec 3,0 secondes d’audio de prompt et a égalé la similarité du locuteur de VALL-E avec environ deux tiers de l’audio d’entrée (Meta, article Voicebox, NeurIPS 2023).
- Sur VCTK, la similarité de VALL-E 2 est passée de 0,447 à 3 secondes à 0,558 à 10 secondes, tandis que le taux d’erreur sur les mots passait de 0,9% à 3,3% (Microsoft Research, article VALL-E 2, 2024).
- Réduire le prompt moyen de 7,7 à 5,5 secondes a fait chuter la similarité de F5-TTS de 0,35 à 0,24 sur de la parole en conditions réelles (Barcelona Supercomputing Center, soumission WildSpoof 2026).
- XTTS-v2 a atteint un clonage de haute fidélité avec 6 à 10 secondes d’audio de référence, avec des rendements décroissants au-delà de 20 secondes (Zhu, mémoire de l’Université de Groningue, 2025).
- Un modèle zero-shot avec un prompt de 300 secondes a obtenu une similarité de 0,932, contre 0,934 pour une référence affinée sur 300 secondes (Jiang et al., Mega-TTS 2, ICLR 2024).
- L’affinage sur 20 secondes de parole en portugais a fait passer les évaluations humaines de similarité de 2,77 à 4,43 (Casanova et al., YourTTS, ICML 2022).
- Les auditeurs ont jugé que des voix IA étaient la même personne que le vrai locuteur environ 80% du temps (Barrington, Cooper et Farid, Scientific Reports 2025).
- Des chercheurs de McAfee ont rapporté une correspondance vocale estimée à 85% à partir de trois à quatre secondes d’audio, une mesure du fournisseur (McAfee, Beware the Artificial Impostor 2023).
- 28% des adultes britanniques disent avoir été ciblés par une arnaque au clonage vocal par IA au cours de l’année écoulée (enquête Starling Bank et Mortar Research 2024).
- Quatre produits de clonage vocal sur six ne prenaient pas les mesures de base pour empêcher le clonage non autorisé (Consumer Reports, évaluation du clonage vocal 2025).
1. Le test des 3 secondes : quelle quantité d’audio reçoivent les systèmes zero-shot
« Zero-shot » signifie que le système n’a jamais été entraîné sur le locuteur cible : il écoute un court clip de référence, appelé « prompt », au moment de la génération et l’imite sur-le-champ. VALL-E et Voicebox ont tous deux été évalués avec un prompt de seulement 3 secondes, et ce choix en dit plus sur l’ambition que sur les limites. Ces articles ne se demandent pas si une voix peut être copiée à partir de quelques secondes. Ils rivalisent sur la qualité de la copie.
Les exigences des produits sont plus longues. OpenAI a décrit Voice Engine comme fonctionnant à partir d’« un seul échantillon audio de 15 secondes » (article d’OpenAI sur les voix synthétiques 2024), et la documentation d’ElevenLabs recommande une à deux minutes. Ce sont des réglages de produit, pas des seuils mesurés.
| Métrique | Valeur | Source |
|---|---|---|
| Longueur du prompt et données d’entraînement de VALL-E sur des locuteurs LibriSpeech inconnus du modèle | 3 secondes ; 60K heures de parole en anglais, plus de 7 000 locuteurs | Microsoft Research, article VALL-E 2023 |
| Audio de prompt utilisé pour les tests zero-shot en anglais de Voicebox | 3,0 secondes | Meta, article Voicebox (NeurIPS 2023) |
| Longueur du clip de référence utilisé pour évaluer XTTS | Un segment compris entre 3 et 8 secondes | Casanova et al., article XTTS (INTERSPEECH 2024) |
| Plage de longueur des énoncés de référence dans le jeu de test de Seed-TTS | 3 à 20 secondes | ByteDance, article Seed-TTS 2024 |
| Échantillon audio à partir duquel fonctionne OpenAI Voice Engine | Un seul échantillon de 15 secondes | OpenAI, article sur les voix synthétiques 2024 |
| Audio minimal et recommandé pour le clonage instantané d’ElevenLabs | Au moins 10 secondes au total, 1 à 2 minutes recommandées (conseil du fournisseur lui-même) | ElevenLabs, documentation Instant Voice Cloning 2026 |
Si vous comparez des logiciels de clonage vocal de bureau, les sections 2 et 3 montrent ce que changent ces secondes.
2. Comment la similarité du locuteur évolue de 3 à 10 secondes
La similarité du locuteur (SIM, ou SECS) est la similarité cosinus entre deux « empreintes » de locuteur calculées par un réseau de reconnaissance du locuteur, une valeur plus élevée signifiant une voix plus proche. Deux enregistrements réels d’une même personne obtiennent un score nettement inférieur à 1,0, de sorte que les chiffres de parole réelle ci-dessous servent de point de repère. Passer d’un prompt de 3 secondes à un prompt de 10 secondes a fait monter la similarité de VALL-E 2 sur le jeu de données VCTK de 0,447 à 0,558, soit un gain de 0,111 (0,558 moins 0,447), ce qui constitue la courbe publiée la plus claire sur cette question (article VALL-E 2, 2024).
La courbe s’infléchit à des endroits différents selon les systèmes. L’équipe Voicebox de Meta a indiqué que la similarité « augmente rapidement puis se stabilise avec des prompts audio plus longs » (article Voicebox), et un mémoire de 2025 sur XTTS-v2 situe le plateau autour de 10 à 20 secondes (Zhu, Université de Groningue). Dans ces trois articles, les dix premières secondes font l’essentiel du travail, même si VALL-E 2 progressait encore à dix secondes.
| Métrique | Valeur | Source |
|---|---|---|
| Similarité de VALL-E sur VCTK (108 locuteurs) avec des prompts de 3, 5 et 10 secondes | 0,382 ; 0,423 ; 0,484 (enregistrements réels : 0,546 ; 0,591 ; 0,620) | Microsoft Research, article VALL-E 2023 |
| Similarité de VALL-E 2 (taille de groupe 1) sur VCTK avec des prompts de 3, 5 et 10 secondes | Échantillon unique : 0,447 ; 0,487 ; 0,558 ; meilleur de cinq échantillons : 0,508 ; 0,552 ; 0,620 (enregistrements réels : 0,623 ; 0,679 ; 0,709) | Microsoft Research, article VALL-E 2 2024 |
| Part de l’audio d’entrée dont Voicebox a besoin pour égaler la similarité du locuteur de VALL-E | Environ deux tiers | Meta, article Voicebox (NeurIPS 2023) |
| Similarité de F5-TTS avec des prompts longs (7,7 s en moyenne) et courts (5,5 s en moyenne) sur de la parole en conditions réelles | 0,35 et 0,24 | Barcelona Supercomputing Center, soumission WildSpoof TTS 2026 |
| Similarité de StyleTTS2 avec des prompts longs (7,7 s en moyenne) et courts (5,5 s en moyenne) | 0,19 et 0,14 | Barcelona Supercomputing Center, soumission WildSpoof TTS 2026 |
| Longueur de référence à laquelle XTTS-v2 a atteint un clonage de haute fidélité (1, 3, 6, 10, 20 et 40 secondes testées) | 6 à 10 secondes, avec des rendements décroissants au-delà de 20 secondes | Zhu, mémoire de master de l’Université de Groningue 2025 |
Note sur la valeur aberrante : la soumission du Barcelona Supercomputing Center est le seul résultat de 2026 ici et utilise le jeu de données TTS In the Wild. Un prompt plus court de 2,2 secondes en moyenne (7,7 moins 5,5) a coûté 0,11 de similarité à F5-TTS (0,35 moins 0,24). C’est la même ampleur de perte que celle de VALL-E 2 sur un écart de 7 secondes sur VCTK, ce qui laisse penser que les prompts courts pourraient être plus pénalisants sur de l’audio du quotidien, même si les deux tests ne sont pas directement comparables.
3. L’intelligibilité ne s’améliore pas toujours avec des prompts plus longs
Le taux d’erreur sur les mots (WER) mesure l’intelligibilité : un système de reconnaissance vocale transcrit l’audio cloné et la part de mots erronés est comptée, donc une valeur plus basse est meilleure. Le WER de VALL-E 2 sur VCTK est passé de 0,9% avec un prompt de 3 secondes à 3,3% avec un prompt de 10 secondes, soit le sens inverse de son gain de similarité. Les évaluateurs humains étaient d’accord : dans le même test, les notes de similarité ont baissé à mesure que les prompts s’allongeaient, tandis que celles des enregistrements réels augmentaient.
Rien ne garantit qu’un prompt audio plus long aide. Mega-TTS 2, conçu pour des prompts de plusieurs phrases, a continué de s’améliorer jusqu’à 300 secondes, alors que le VALL-E mesuré dans le même article s’est effondré à 20 secondes (article Mega-TTS 2). Les prompts très courts présentent aussi leur propre risque d’intelligibilité : StyleTTS2 est le système qui s’est dégradé lorsque son prompt a été raccourci.
| Métrique | Valeur | Source |
|---|---|---|
| VALL-E 2 (taille de groupe 1) sur VCTK avec des prompts de 3, 5 et 10 secondes : taux d’erreur sur les mots et note humaine de similarité (SMOS, plus haut est meilleur) | WER 0,9% ; 1,9% ; 3,3% ; SMOS 4,42±0,15 ; 4,28±0,16 ; 3,95±0,10 (enregistrements réels 4,47±0,13 ; 4,53±0,14 ; 4,74±0,17) | Microsoft Research, article VALL-E 2 2024 |
| VALL-E sur LibriSpeech avec des prompts de 3, 10 et 20 secondes, tel que mesuré par les auteurs de Mega-TTS 2 | WER 5,83% ; 5,54% ; 8,77% ; similarité 0,885 ; 0,893 ; 0,805 | Jiang et al., Mega-TTS 2 (ICLR 2024) |
| Taux d’erreur sur les mots de Mega-TTS 2 avec des prompts de 3, 10, 60 et 300 secondes | 2,46% ; 2,28% ; 2,24% ; 2,23% | Jiang et al., Mega-TTS 2 (ICLR 2024) |
| Taux d’erreur sur les mots de StyleTTS2 avec des prompts longs (7,7 s) et courts (5,5 s) | 0,21 et 0,49 (F5-TTS inchangé à 0,07) | Barcelona Supercomputing Center, soumission WildSpoof TTS 2026 |
| Tendance de Voicebox lorsque la langue du prompt et celle de la cible diffèrent, à mesure que les prompts s’allongent | La similarité s’améliore ; le WER augmente pour la plupart des directions linguistiques | Meta, article Voicebox (NeurIPS 2023) |
Contexte : la tendance de VALL-E 2 n’est pas parfaitement régulière. Son réglage avec une taille de groupe de 2 a enregistré un WER de 1,5%, 0,9% et 2,3% aux trois mêmes longueurs. Les auteurs de Voicebox attribuent la hausse du WER interlingue au fait que l’anglais représente plus de 90% des données d’entraînement.
4. À quel point les clones à prompt court se rapprochent du vrai locuteur
Sur de la parole de benchmark, les meilleurs systèmes publiés se situent désormais à côté des enregistrements réels. NaturalSpeech 3 a obtenu une similarité du locuteur de 0,67 contre 0,68 pour les enregistrements de référence, et sa note humaine de similarité (4,01) était supérieure à celle des enregistrements réels (3,85) sur le même test LibriSpeech (Microsoft Research, article NaturalSpeech 3, 2024). On est très loin des 0,337 obtenus par YourTTS à la première ligne ci-dessous.
Les scores de parole réelle montrent bien qu’il s’agit de conditions de laboratoire : ils vont de 0,68 à 0,8952 selon les articles, si bien que chaque système doit être lu par rapport à sa propre référence réelle, comme dans le tableau. L’article F5-TTS arrive à moins de 0,03 de la parole réelle sur son propre test (0,69 moins 0,66).
| Métrique | Valeur | Source |
|---|---|---|
| LibriSpeech, prompt de 3 secondes : YourTTS, VALL-E et Voicebox | Similarité 0,337 ; 0,580 ; 0,681 (parole réelle 0,754) ; WER 7,7% ; 5,9% ; 1,9% (parole réelle 2,2%) | Meta, article Voicebox (NeurIPS 2023) |
| NaturalSpeech 3 et enregistrements réels sur LibriSpeech : similarité et WER | 0,67 et 1,81% ; enregistrements réels 0,68 et 1,94% | Microsoft Research, article NaturalSpeech 3 2024 |
| Similarité de Seed-TTS en anglais et enregistrements humains, et note comparative (CMOS) par rapport à l’humain | 0,762 et 0,730 ; CMOS -0,07 | ByteDance, article Seed-TTS 2024 |
| F5-TTS et parole réelle sur 1 127 échantillons LibriSpeech-PC de 4 à 10 secondes : similarité et WER | 0,66 et 2,42% ; parole réelle 0,69 et 2,23% | Chen et al., article F5-TTS 2024 |
| Similarité de MiniMax-Speech en anglais : plongement du locuteur seul et prompt avec texte apparié | 0,692 et 0,738 (référence réelle 0,730) | Zhang et al., article MiniMax-Speech 2025 |
| Similarité de XTTS en anglais et parole réelle | 0,6423 et 0,8952 | Casanova et al., article XTTS (INTERSPEECH 2024) |
Note sur la valeur aberrante : Seed-TTS et le réglage de MiniMax-Speech avec texte apparié obtiennent des scores supérieurs à ceux de leurs enregistrements réels. Les auteurs de Seed-TTS expliquent que l’enregistrement de référence et le clip de référence d’un même locuteur peuvent encore différer par le style d’élocution et l’environnement sonore, si bien qu’un modèle qui suit de près la référence peut dépasser un second enregistrement réel. Ce n’est pas la preuve d’un clone meilleur qu’un humain.
5. Clonage zero-shot et clonage affiné : l’écart mesuré en secondes et en minutes
L’affinage consiste à mettre à jour les poids d’un modèle sur l’audio du locuteur cible, la voie plus ancienne et plus lente vers une voix personnalisée. Avec 300 secondes de la voix cible, un prompt zero-shot a atteint une similarité de 0,932 contre 0,934 pour une référence affinée, avec moins d’erreurs sur les mots (2,23% contre 3,11%) (Jiang et al., Mega-TTS 2, ICLR 2024). La réserve compte : les deux systèmes sont ceux des auteurs, et la référence est une version de FastSpeech 2 affinée sur 2 000 étapes, pas le meilleur système affiné disponible.
L’affinage reste rentable lorsqu’une voix est éloignée des données d’entraînement. YourTTS a été entraîné sur un seul locuteur portugais, et l’affinage sur 20 à 31 secondes a augmenté les notes de similarité des auditeurs pour de nouvelles voix portugaises, même si les notes de qualité globale ont légèrement baissé (article YourTTS). XTTS a gagné 0,1314 de similarité (0,7166 moins 0,5852) avec environ 10 minutes par locuteur en clonage interlingue.
| Métrique | Valeur | Source |
|---|---|---|
| Similarité de la référence affinée avec 10, 60 et 300 secondes d’audio cible | 0,895 ; 0,923 ; 0,934 | Jiang et al., Mega-TTS 2 (ICLR 2024) |
| Similarité de Mega-TTS 2 zero-shot avec des prompts de 3, 10, 60 et 300 secondes | 0,898 ; 0,905 ; 0,926 ; 0,932 | Jiang et al., Mega-TTS 2 (ICLR 2024) |
| YourTTS, locutrice portugaise avec 20 secondes de parole, zero-shot et affiné | Similarité 0,743 et 0,930 ; Sim-MOS 2,77±0,15 et 4,43±0,06 ; MOS 3,59±0,13 et 3,48±0,13 | Casanova et al., YourTTS (ICML 2022) |
| YourTTS, locuteur anglais avec 61 secondes de parole, zero-shot et affiné | Similarité 0,851 et 0,880 (parole réelle 0,875) | Casanova et al., YourTTS (ICML 2022) |
| Similarité interlingue de XTTS avant et après affinage sur environ 10 minutes par locuteur | 0,5852 et 0,7166 | Casanova et al., article XTTS (INTERSPEECH 2024) |
| Seed-TTS avec un prompt de 20 secondes et affiné sur 1 à 10 heures par locuteur : similarité et WER | 0,779 et 3,15 ; affiné 0,789 et 2,83 (CMOS +0,37 pour l’affiné) | ByteDance, article Seed-TTS 2024 |
| Audio recommandé pour ElevenLabs Professional Voice Cloning (son niveau affiné) | 30 à 180 minutes (conseil du fournisseur lui-même) | ElevenLabs, documentation sur le clonage vocal 2026 |
Données les plus récentes disponibles pour le test d’affinage de YourTTS : Casanova et al., ICML 2022. Il ne porte que sur 4 locuteurs, il faut donc le considérer comme une illustration de l’effet de la langue plutôt que comme une estimation sur une population.
6. Le volet sécurité : prompts courts et fraude
Les chiffres de la recherche ont une traduction directe pour le grand public : une vidéo publique est une matière première pour un prompt. Les auditeurs ont jugé qu’une voix IA avait la même identité que son équivalent réel environ 80% du temps et n’ont identifié les voix IA que dans environ 60% des cas, auprès de 604 participants, dans une étude où les clips réels duraient en moyenne 5,37 secondes (Barrington, Cooper et Farid, Scientific Reports 2025). Les clones provenaient d’un service commercial de clonage instantané alimenté avec les deux premiers prompts enregistrés de chacun de 220 locuteurs.
La mention des « trois secondes » dans les alertes contre la fraude repose sur des déclarations d’entreprises. Le chiffre de McAfee est son propre benchmark et, pour cette source, la donnée la plus récente disponible (McAfee, 2023). Starling Bank a repris l’affirmation en 2024 avec son enquête (Starling Bank, campagne Safe Phrases 2024). Notre article sur la fraude familiale par clonage vocal traite des arnaques elles-mêmes.
| Métrique | Valeur | Source |
|---|---|---|
| Part des essais où les auditeurs ont jugé qu’une voix IA était la même personne que le vrai locuteur | Environ 80% | Barrington, Cooper et Farid, Scientific Reports 2025 |
| Part des essais où les auditeurs ont correctement identifié une voix comme générée par IA | Environ 60% | Barrington, Cooper et Farid, Scientific Reports 2025 |
| Audio dont les chercheurs de McAfee ont eu besoin pour une correspondance vocale estimée à 85% avec un outil gratuit | Trois à quatre secondes (environ 95% avec plus d’efforts ; benchmark du fournisseur lui-même) | McAfee, Beware the Artificial Impostor 2023 |
| Adultes qui partagent leur voix en ligne au moins une fois par semaine | 53% (7 054 adultes, 7 pays) | McAfee, Beware the Artificial Impostor 2023 |
| Adultes qui ne sont pas sûrs de pouvoir distinguer une vraie voix d’une voix clonée | 70% | McAfee, Beware the Artificial Impostor 2023 |
| Adultes britanniques qui disent avoir été ciblés par une arnaque au clonage vocal par IA au cours de l’année écoulée | 28% (3 010 adultes) | Starling Bank et Mortar Research, enquête 2024 |
| Adultes britanniques qui enverraient l’argent demandé même si l’appel semblait étrange | 8% | Starling Bank et Mortar Research, enquête 2024 |
| Produits de clonage vocal évalués qui ne prenaient pas les mesures de base pour empêcher le clonage non autorisé | 4 sur 6 | Consumer Reports, évaluation du clonage vocal 2025 |
Contexte : les 28% de Starling mesurent ce que les gens disent avoir vécu, pas des incidents confirmés. Les 85% et 95% de McAfee sont les estimations de l’entreprise elle-même, et nous n’avons trouvé aucune réplication indépendante. L’évaluation de Consumer Reports portait sur Descript, ElevenLabs, Lovo, PlayHT, Resemble AI et Speechify.
7. Protections, détection et décisions de publication
Les décisions de publication divisent le secteur. Microsoft affirme n’avoir « aucun projet d’intégrer VALL-E 2 dans un produit ni d’en élargir l’accès au public » (page du projet VALL-E 2), et OpenAI a choisi de présenter Voice Engine « en aperçu sans le diffuser largement » tout en exhortant les banques à abandonner progressivement l’authentification vocale. Pendant ce temps, les auteurs de F5-TTS appellent à des filigranes et à des modèles de détection face aux risques d’usage abusif qu’ils citent. La FTC a jugé le problème suffisamment ouvert pour financer un concours (FTC, lauréats du Voice Cloning Challenge 2024).
Les résultats de détection dépendent fortement de ce à quoi le faux est comparé. Le classifieur de Meta séparait parfaitement la sortie de Voicebox de l’audio d’origine, mais n’obtenait que 0,704 face à de la parole réelle passée dans un vocodeur (un logiciel qui reconstruit l’audio à partir de son spectre) au niveau de masquage le plus bas. Pour un examen plus approfondi des performances des détecteurs, consultez nos statistiques sur la précision de la détection des deepfakes audio.
| Métrique | Valeur | Source |
|---|---|---|
| Montant des prix partagé par les trois lauréats du FTC Voice Cloning Challenge | 35 000 $ (annoncé le 8 avril 2024) | Commission fédérale du commerce des États-Unis (FTC), Voice Cloning Challenge 2024 |
| Taille des segments audio vérifiés par le détecteur de clones en temps réel Pindrop reconnu par la FTC | Segments de deux secondes | Commission fédérale du commerce des États-Unis (FTC), Voice Cloning Challenge 2024 |
| Précision du classifieur de détection de Voicebox face à l’audio d’origine, et face à de l’audio réel passé dans un vocodeur avec 30%, 50% et 90% de masquage de l’audio | 1,000 face à l’original ; 0,704 ; 0,809 ; 0,907 face à l’audio vocodé | Meta, article Voicebox (NeurIPS 2023) |
| Moment où OpenAI a d’abord développé Voice Engine et moment où l’entreprise a publié son aperçu limité | Fin 2022 et 29 mars 2024 | OpenAI, article sur les voix synthétiques 2024 |
| Équipes du défi ASVspoof 5 et attaque la plus difficile de la condition ouverte de la Track 1 | 53 équipes ; YourTTS zero-shot pré-entraîné (minDCF 0,33) | Wang et al., article d’évaluation ASVspoof 5 2026 |
Contexte : le minDCF est un score de coût de détection pour lequel une valeur plus élevée signifie que les détecteurs ont eu plus de difficultés. Qu’un modèle YourTTS pré-entraîné arrive en tête de la liste de difficulté de la condition ouverte d’ASVspoof 5 suggère que les attaques zero-shot n’ont pas besoin d’un système de pointe pour poser problème, même si l’article ne détaille pas ce résultat par longueur de prompt.
Résumé : la durée de l’audio de référence en clonage vocal zero-shot en chiffres
| Métrique | Valeur | Source |
|---|---|---|
| Échantillon audio à partir duquel fonctionne OpenAI Voice Engine | 15 secondes | OpenAI, article sur les voix synthétiques 2024 |
| VALL-E 2 sur VCTK, prompt de 3 et de 10 secondes (taille de groupe 1) : similarité et WER | 0,447 et 0,558 ; 0,9% et 3,3% | Microsoft Research, article VALL-E 2 2024 |
| Part de l’audio d’entrée dont Voicebox a besoin pour égaler la similarité de VALL-E | Environ deux tiers | Meta, article Voicebox (NeurIPS 2023) |
| Similarité de F5-TTS, prompts longs (7,7 s) et courts (5,5 s) sur de la parole en conditions réelles | 0,35 et 0,24 | Barcelona Supercomputing Center, soumission WildSpoof TTS 2026 |
| Taux d’erreur sur les mots de StyleTTS2, prompts longs (7,7 s) et courts (5,5 s) | 0,21 et 0,49 | Barcelona Supercomputing Center, soumission WildSpoof TTS 2026 |
| Longueur de référence pour un clonage XTTS-v2 de haute fidélité | 6 à 10 secondes | Zhu, mémoire de l’Université de Groningue 2025 |
| Similarité de NaturalSpeech 3 et enregistrements réels | 0,67 et 0,68 | Microsoft Research, article NaturalSpeech 3 2024 |
| Taux d’erreur sur les mots de F5-TTS et parole réelle | 2,42% et 2,23% | Chen et al., article F5-TTS 2024 |
| Similarité de Mega-TTS 2 zero-shot et de la référence affinée avec 300 secondes d’audio | 0,932 et 0,934 | Jiang et al., Mega-TTS 2 (ICLR 2024) |
| Note de similarité des auditeurs pour YourTTS, zero-shot et affiné sur 20 secondes | 2,77 et 4,43 | Casanova et al., YourTTS (ICML 2022) |
| Similarité interlingue de XTTS après environ 10 minutes d’affinage | De 0,5852 à 0,7166 | Casanova et al., article XTTS (INTERSPEECH 2024) |
| Auditeurs jugeant qu’un clone IA était le vrai locuteur | Environ 80% | Barrington, Cooper et Farid, Scientific Reports 2025 |
| Audio pour une correspondance estimée à 85% (benchmark du fournisseur) | Trois à quatre secondes | McAfee, Beware the Artificial Impostor 2023 |
| Adultes britanniques qui disent avoir été ciblés par une arnaque au clonage vocal | 28% | Starling Bank et Mortar Research, enquête 2024 |
| Produits de clonage vocal qui ne prenaient pas les mesures de base contre le clonage non autorisé | 4 sur 6 | Consumer Reports, évaluation du clonage vocal 2025 |
| Montant des prix des lauréats du FTC Voice Cloning Challenge | 35 000 $ | Commission fédérale du commerce des États-Unis (FTC), Voice Cloning Challenge 2024 |
Méthodologie et sources
- Neural Codec Language Models are Zero-Shot Text to Speech Synthesizers (VALL-E) (Microsoft Research, 2023) : dispositif à prompt de 3 secondes et résultats VCTK par longueur de prompt.
- VALL-E 2: Neural Codec Language Models are Human Parity Zero-Shot Text to Speech Synthesizers (Microsoft Research, 2024) : similarité, WER et SMOS sur VCTK à 3, 5 et 10 secondes.
- Page du projet VALL-E 2 (Microsoft Research) : déclaration sur la publication.
- NaturalSpeech 3: Zero-Shot Speech Synthesis with Factorized Codec and Diffusion Models (Microsoft Research et coauteurs universitaires, 2024) : comparaison sur LibriSpeech.
- Voicebox: Text-Guided Multilingual Universal Speech Generation at Scale (Meta, NeurIPS 2023) : analyse de la longueur du prompt, benchmark en anglais, classifieur de détection.
- YourTTS: Towards Zero-Shot Multi-Speaker TTS and Zero-Shot Voice Conversion for everyone (Casanova et al., ICML 2022) : adaptation au locuteur zero-shot et affinée.
- XTTS: a Massively Multilingual Zero-Shot Text-to-Speech Model (Casanova et al., INTERSPEECH 2024) : longueur de référence, similarité en anglais, gain de l’affinage.
- Mega-TTS 2: Boosting Prompting Mechanisms for Zero-Shot Speech Synthesis (Jiang et al., ByteDance et Université du Zhejiang, ICLR 2024) : prompts de 3 à 300 secondes et référence affinée.
- Seed-TTS: A Family of High-Quality Versatile Speech Generation Models (ByteDance, 2024) : zero-shot et affinage sur le locuteur.
- F5-TTS: A Fairytaler that Fakes Fluent and Faithful Speech with Flow Matching (Chen et al., 2024) : benchmark LibriSpeech-PC.
- MiniMax-Speech: Intrinsic Zero-Shot Text-to-Speech with a Learnable Speaker Encoder (Zhang et al., 2025) : clonage par plongement du locuteur et par texte apparié.
- Zero-Shot TTS With Enhanced Audio Prompts: BSC submission for the 2026 WildSpoof challenge TTS track (Barcelona Supercomputing Center, 5 février 2026) : prompts longs et courts.
- Zero-Shot Voice Cloning with Minimal Data: Impact of Reference Duration on Long-Form Speech Synthesis (Zhu, Université de Groningue, 2025) : test de référence de 1 à 40 secondes.
- People are poorly equipped to detect AI-powered voice clones (Barrington, Cooper et Farid, Scientific Reports, 2025).
- ASVspoof 5: Evaluation of Spoofing, Deepfake, and Adversarial Attack Detection Using Crowdsourced Speech (Wang et al., 7 janvier 2026).
- FTC Announces Winners of Voice Cloning Challenge (Commission fédérale du commerce des États-Unis, 8 avril 2024).
- Do These 6 AI Voice Cloning Companies Do Enough to Prevent Misuse? (Consumer Reports, 10 mars 2025).
- Beware the Artificial Impostor (McAfee, mai 2023 ; étude d’un fournisseur).
- Campagne Safe Phrases de Starling Bank (Starling Bank et Mortar Research, 18 septembre 2024).
- Article d’OpenAI sur les défis et les opportunités des voix synthétiques (OpenAI, 29 mars 2024).
- Documentation ElevenLabs Instant Voice Cloning (conseil du fournisseur, consulté en octobre 2026).
- Note sur les données : les scores de similarité ne sont pas comparables d’un article à l’autre, car chacun utilise son propre modèle de reconnaissance du locuteur, son propre jeu de test et sa propre notation (la parole réelle sur LibriSpeech obtient 0,754, 0,68 ou 0,69 selon l’article), il ne faut donc comparer qu’au sein d’une même ligne. L’article Mega-TTS 2 rapporte des valeurs de similarité bien plus élevées que les autres, avec VALL-E à 0,885 contre 0,580 dans l’article d’origine, ses chiffres ne doivent donc être lus que les uns par rapport aux autres. Les deux côtés de la comparaison d’affinage de Mega-TTS 2 ont été construits par ses auteurs. Le texte de Voicebox dit que la similarité augmente puis se stabilise avec des prompts plus longs, alors que la légende de sa figure dit qu’elle reste identique jusqu’à 10 secondes. MiniMax-Speech qualifie de « one-shot » le prompt avec texte apparié et y classe Seed-TTS, alors que Seed-TTS se présente comme zero-shot. Les modèles WildSpoof ont été affinés sur le jeu de données TITW avant les tests, ces résultats ne sont donc pas de purs points de référence zero-shot. Les scores d’auditeurs de VALL-E 2 à 10 secondes comportent de larges intervalles (jusqu’à ±0,49). L’article de Scientific Reports n’indique pas la durée des deux prompts à l’origine de chaque clone, ses 80% ne doivent donc pas être lus comme un chiffre pour une longueur de prompt donnée. Le résumé du mémoire de Zhu ne donne aucune valeur de similarité, seulement les durées et le sens de l’effet. VALL-E, Voicebox, YourTTS et McAfee datent de plus de trois ans et sont signalés comme données les plus récentes disponibles : nous n’avons trouvé aucun article de 2025 ou 2026 qui reprenne la courbe complète à 3, 5 et 10 secondes sur un benchmark commun. Les enquêtes de Starling Bank et de McAfee sont déclaratives.
Dernière mise à jour : 31 octobre 2026. Nous actualisons ce tour d’horizon chaque trimestre, et la prochaine révision est attendue lors de la publication des actes d’ICASSP 2027.