Три секунды речи незнакомого человека - стандартное тестовое условие в исследованиях клонирования голоса без дообучения, именно такая постановка лежит в основе и VALL-E, и Voicebox. В этом тесте Voicebox повысил сходство голоса на LibriSpeech до 0,681 против 0,580 у VALL-E, а NaturalSpeech 3 позже сообщил 0,67 против 0,68 у реальных записей в собственном прогоне того же набора данных. Слушатели защитой служат плохо: в исследовании Scientific Reports 2025 года люди принимали клоны ИИ за реального говорящего примерно в 80% случаев. Коммерческую картину и рынок см. в нашей более общей статистике клонирования голоса; этот обзор посвящён одному вопросу: сколько референсного аудио нужно для клонирования и что даёт каждая дополнительная секунда. Мы собрали данные Microsoft Research, Meta, ByteDance, Барселонского суперкомпьютерного центра, Федеральной торговой комиссии США, Consumer Reports, McAfee, Starling Bank, а также рецензируемых статей и препринтов arXiv с конференций ICML, NeurIPS, ICLR и из журнала Scientific Reports.
Кратко (TL;DR)
- Voicebox тестировали на 3,0 секундах аудио промпта, и он сравнялся с VALL-E по сходству голоса примерно на двух третях входного аудио (Meta, статья о Voicebox, NeurIPS 2023).
- На VCTK сходство VALL-E 2 выросло с 0,447 при 3 секундах до 0,558 при 10 секундах, а доля ошибочных слов выросла с 0,9% до 3,3% (Microsoft Research, статья о VALL-E 2, 2024).
- Сокращение среднего промпта с 7,7 до 5,5 секунды снизило сходство F5-TTS с 0,35 до 0,24 на речи в реальных условиях (Барселонский суперкомпьютерный центр, заявка на WildSpoof, 2026).
- XTTS-v2 достиг высокоточного клонирования при 6-10 секундах референсного аудио, с убывающей отдачей после 20 секунд (Zhu, диссертация Гронингенского университета, 2025).
- Модель без дообучения с 300-секундным промптом показала сходство 0,932 против 0,934 у дообученной базовой модели на 300 секундах (Jiang и др., Mega-TTS 2, ICLR 2024).
- Дообучение на 20 секундах португальской речи подняло человеческие оценки сходства с 2,77 до 4,43 (Casanova и др., YourTTS, ICML 2022).
- Слушатели считали голоса ИИ голосом того же человека, что и реальный говорящий, примерно в 80% случаев (Barrington, Cooper и Farid, Scientific Reports 2025).
- Исследователи McAfee сообщили об оценочном совпадении голоса в 85% по трём-четырём секундам аудио, это измерение поставщика (McAfee, Beware the Artificial Impostor 2023).
- 28% взрослых в Великобритании говорят, что в прошлом году столкнулись с мошенничеством на основе клонирования голоса ИИ (опрос Starling Bank и Mortar Research, 2024).
- Четыре из шести продуктов для клонирования голоса не приняли базовых мер против несанкционированного клонирования (Consumer Reports, оценка продуктов для клонирования голоса 2025).
1. Тест на 3 секунды: сколько аудио получают системы без дообучения
Понятие «без дообучения» означает, что система никогда не обучалась на целевом говорящем: в момент генерации она слышит короткий референсный фрагмент, называемый «промптом», и тут же имитирует его. VALL-E и Voicebox оценивались с промптом всего в 3 секунды, и этот выбор говорит скорее об амбициях, чем о пределах. Эти статьи не спрашивают, можно ли скопировать голос по нескольким секундам. Они соревнуются в том, насколько хорошо это получается.
Требования продуктов выше. OpenAI описала Voice Engine как работающий по «единственному 15-секундному аудиообразцу» (публикация OpenAI о синтетических голосах 2024), а документация ElevenLabs рекомендует от одной до двух минут. Это продуктовые настройки, а не измеренные пороги.
| Показатель | Значение | Источник |
|---|---|---|
| Длина промпта и обучающие данные VALL-E для неизвестных говорящих LibriSpeech | 3 секунды; 60K часов английской речи, более 7 000 говорящих | Microsoft Research, статья о VALL-E 2023 |
| Аудио промпта, использованное в английских тестах Voicebox без дообучения | 3,0 секунды | Meta, статья о Voicebox (NeurIPS 2023) |
| Длина референсного фрагмента, использованного для оценки XTTS | Один сегмент от 3 до 8 секунд | Casanova и др., статья о XTTS (INTERSPEECH 2024) |
| Диапазон длины референсной реплики в тестовом наборе Seed-TTS | От 3 до 20 секунд | ByteDance, статья о Seed-TTS 2024 |
| Аудиообразец, по которому работает OpenAI Voice Engine | Единственный 15-секундный образец | OpenAI, публикация о синтетических голосах 2024 |
| Минимальный и рекомендуемый объём аудио для мгновенного клонирования ElevenLabs | Не менее 10 секунд суммарно, рекомендуется от 1 до 2 минут (рекомендация самого поставщика) | ElevenLabs, документация Instant Voice Cloning 2026 |
Если вы сравниваете настольное программное обеспечение для клонирования голоса, разделы 2 и 3 показывают, что меняют эти секунды.
2. Как сходство голоса растёт от 3 до 10 секунд
Сходство голоса (SIM, или SECS) - это косинусное сходство между двумя «отпечатками» говорящего, вычисленными сетью распознавания говорящего, где большее значение означает большую близость. Две реальные записи одного и того же человека дают значение заметно ниже 1,0, поэтому приведённые ниже показатели реальной речи служат точкой отсчёта для чтения. Переход от 3-секундного промпта к 10-секундному поднял сходство VALL-E 2 на наборе данных VCTK с 0,447 до 0,558, прирост составил 0,111 (0,558 минус 0,447), и это самая наглядная опубликованная кривая по данному вопросу (статья о VALL-E 2, 2024).
У разных систем кривая изгибается в разных точках. Команда Voicebox из Meta сообщила, что сходство «быстро растёт и выходит на плато при более длинных аудиопромптах» (статья о Voicebox), а диссертация 2025 года о XTTS-v2 поместила плато примерно на 10-20 секунд (Zhu, Гронингенский университет). По этим трём статьям первые десять секунд делают основную работу, хотя VALL-E 2 на десяти секундах всё ещё улучшался.
| Показатель | Значение | Источник |
|---|---|---|
| Сходство VALL-E на VCTK (108 говорящих) с промптами 3, 5 и 10 секунд | 0,382, 0,423, 0,484 (реальные записи: 0,546, 0,591, 0,620) | Microsoft Research, статья о VALL-E 2023 |
| Сходство VALL-E 2 (размер группы 1) на VCTK с промптами 3, 5 и 10 секунд | Один образец: 0,447, 0,487, 0,558; лучший из пяти образцов: 0,508, 0,552, 0,620 (реальные записи: 0,623, 0,679, 0,709) | Microsoft Research, статья о VALL-E 2 2024 |
| Доля входного аудио, которая нужна Voicebox, чтобы сравняться с VALL-E по сходству голоса | Примерно две трети | Meta, статья о Voicebox (NeurIPS 2023) |
| Сходство F5-TTS с длинными (в среднем 7,7 с) и короткими (в среднем 5,5 с) промптами на речи в реальных условиях | 0,35 против 0,24 | Барселонский суперкомпьютерный центр, заявка на WildSpoof TTS 2026 |
| Сходство StyleTTS2 с длинными (в среднем 7,7 с) и короткими (в среднем 5,5 с) промптами | 0,19 против 0,14 | Барселонский суперкомпьютерный центр, заявка на WildSpoof TTS 2026 |
| Длина референса, при которой XTTS-v2 достиг высокоточного клонирования (проверяли 1, 3, 6, 10, 20 и 40 секунд) | 6-10 секунд, с убывающей отдачей после 20 секунд | Zhu, магистерская диссертация Гронингенского университета 2025 |
Замечание о выбросах: заявка Барселонского суперкомпьютерного центра - единственный результат 2026 года в этом обзоре, и она использует набор данных TTS In the Wild. Промпт, в среднем на 2,2 секунды короче (7,7 минус 5,5), стоил F5-TTS 0,11 сходства (0,35 минус 0,24). Это тот же размер потери, который VALL-E 2 показал на разрыве в 7 секунд на VCTK, намёк на то, что короткие промпты могут вредить сильнее на обычном аудио, хотя два теста напрямую несопоставимы.
3. Разборчивость не всегда улучшается с более длинными промптами
Доля ошибочных слов (WER) измеряет разборчивость: система распознавания речи расшифровывает клонированное аудио, и подсчитывается доля неверных слов, поэтому чем ниже, тем лучше. WER у VALL-E 2 на VCTK выросла с 0,9% при 3-секундном промпте до 3,3% при 10-секундном, то есть в направлении, противоположном приросту сходства. Оценщики-люди согласились: в том же тесте оценки сходства падали по мере удлинения промптов, тогда как оценки реальных записей росли.
Ничто не гарантирует, что больше аудио промпта помогает. Mega-TTS 2, рассчитанный на промпты из нескольких предложений, продолжал улучшаться вплоть до 300 секунд, тогда как прогон VALL-E, измеренный в той же статье, развалился на 20 секундах (статья о Mega-TTS 2). У очень коротких промптов свой риск для разборчивости: StyleTTS2 оказалась системой, которая ухудшилась, когда её промпт сократили.
| Показатель | Значение | Источник |
|---|---|---|
| VALL-E 2 (размер группы 1) на VCTK с промптами 3, 5 и 10 секунд: доля ошибочных слов и человеческая оценка сходства (SMOS, чем выше, тем лучше) | WER 0,9%, 1,9%, 3,3%; SMOS 4,42±0,15, 4,28±0,16, 3,95±0,10 (реальные записи 4,47±0,13, 4,53±0,14, 4,74±0,17) | Microsoft Research, статья о VALL-E 2 2024 |
| VALL-E на LibriSpeech с промптами 3, 10 и 20 секунд по измерениям авторов Mega-TTS 2 | WER 5,83%, 5,54%, 8,77%; сходство 0,885, 0,893, 0,805 | Jiang и др., Mega-TTS 2 (ICLR 2024) |
| Доля ошибочных слов у Mega-TTS 2 с промптами 3, 10, 60 и 300 секунд | 2,46%, 2,28%, 2,24%, 2,23% | Jiang и др., Mega-TTS 2 (ICLR 2024) |
| Доля ошибочных слов у StyleTTS2 с длинными (7,7 с) и короткими (5,5 с) промптами | 0,21 против 0,49 (F5-TTS без изменений, 0,07) | Барселонский суперкомпьютерный центр, заявка на WildSpoof TTS 2026 |
| Тенденция Voicebox, когда язык промпта и целевой язык различаются, по мере удлинения промптов | Сходство улучшается; WER растёт для большинства языковых направлений | Meta, статья о Voicebox (NeurIPS 2023) |
Контекст: тенденция VALL-E 2 не вполне гладкая. Его настройка с размером группы 2 дала WER 1,5%, 0,9% и 2,3% на тех же трёх длинах. Авторы Voicebox объясняют рост WER при смене языка тем, что английский составляет более 90% обучающих данных.
4. Насколько близко клоны по коротким промптам подходят к реальному говорящему
На бенчмарковой речи лучшие опубликованные системы сегодня стоят вровень с реальными записями. NaturalSpeech 3 показал сходство голоса 0,67 против 0,68 у эталонных записей, а его человеческая оценка сходства (4,01) оказалась выше, чем у реальных записей (3,85), в том же тесте на LibriSpeech (Microsoft Research, статья о NaturalSpeech 3 2024). Это очень далеко от 0,337, которые YourTTS набрал в первой строке ниже.
Показатели реальной речи выдают лабораторные условия: в разных статьях они составляют от 0,68 до 0,8952, поэтому каждую систему нужно читать относительно её собственных эталонных записей, как в таблице. Статья о F5-TTS оказывается в пределах 0,03 от реальной речи в собственном тесте (0,69 минус 0,66).
| Показатель | Значение | Источник |
|---|---|---|
| LibriSpeech, 3-секундный промпт: YourTTS против VALL-E против Voicebox | Сходство 0,337 против 0,580 против 0,681 (реальная речь 0,754); WER 7,7% против 5,9% против 1,9% (реальная речь 2,2%) | Meta, статья о Voicebox (NeurIPS 2023) |
| NaturalSpeech 3 против реальных записей на LibriSpeech: сходство и WER | 0,67 и 1,81% против 0,68 и 1,94% | Microsoft Research, статья о NaturalSpeech 3 2024 |
| Сходство Seed-TTS на английском против человеческих записей и сравнительная оценка (CMOS) относительно человека | 0,762 против 0,730; CMOS -0,07 | ByteDance, статья о Seed-TTS 2024 |
| F5-TTS против реальной речи на 1 127 образцах LibriSpeech-PC длиной от 4 до 10 секунд: сходство и WER | 0,66 и 2,42% против 0,69 и 2,23% | Chen и др., статья о F5-TTS 2024 |
| Сходство MiniMax-Speech на английском: только эмбеддинг говорящего против промпта с парным текстом | 0,692 против 0,738 (эталон 0,730) | Zhang и др., статья о MiniMax-Speech 2025 |
| Сходство XTTS на английском против реальной речи | 0,6423 против 0,8952 | Casanova и др., статья о XTTS (INTERSPEECH 2024) |
Замечание о выбросах: Seed-TTS и настройка MiniMax-Speech с парным текстом набирают больше, чем их реальные записи. Авторы Seed-TTS объясняют, что эталонные и референсные фрагменты одного говорящего всё равно могут различаться по манере речи и фоновой обстановке, поэтому модель, близко следующая за референсом, может обойти вторую реальную запись. Это не доказательство того, что клон лучше человека.
5. Клонирование без дообучения и с дообучением: разрыв в секундах и минутах
Дообучение означает обновление весов модели на аудио целевого говорящего, это более старый и медленный путь к индивидуальному голосу. При 300 секундах целевого голоса промпт без дообучения достиг сходства 0,932 против 0,934 у дообученной базовой модели, с меньшим числом ошибочных слов (2,23% против 3,11%) (Jiang и др., Mega-TTS 2, ICLR 2024). Оговорка важна: обе системы принадлежат самим авторам, а базовая модель - это сборка FastSpeech 2, дообученная в течение 2 000 шагов, а не сильнейшая из доступных дообученных систем.
Дообучение по-прежнему оправдывает затраты, когда голос далёк от обучающих данных. YourTTS обучали на одном португальском говорящем, и дообучение на 20-31 секунде повысило оценки сходства слушателей для новых португальских голосов, хотя оценки общего качества немного снизились (статья о YourTTS). XTTS получил прирост сходства 0,1314 (0,7166 минус 0,5852) примерно от 10 минут на говорящего при межъязыковом клонировании.
| Показатель | Значение | Источник |
|---|---|---|
| Сходство дообученной базовой модели при 10, 60 и 300 секундах целевого аудио | 0,895, 0,923, 0,934 | Jiang и др., Mega-TTS 2 (ICLR 2024) |
| Сходство Mega-TTS 2 без дообучения с промптами 3, 10, 60 и 300 секунд | 0,898, 0,905, 0,926, 0,932 | Jiang и др., Mega-TTS 2 (ICLR 2024) |
| YourTTS, португальская говорящая-женщина с 20 секундами речи, без дообучения против с дообучением | Сходство 0,743 против 0,930; Sim-MOS 2,77±0,15 против 4,43±0,06; MOS 3,59±0,13 против 3,48±0,13 | Casanova и др., YourTTS (ICML 2022) |
| YourTTS, английский говорящий-мужчина с 61 секундой речи, без дообучения против с дообучением | Сходство 0,851 против 0,880 (реальная речь 0,875) | Casanova и др., YourTTS (ICML 2022) |
| Межъязыковое сходство XTTS до и после дообучения примерно на 10 минутах на говорящего | 0,5852 против 0,7166 | Casanova и др., статья о XTTS (INTERSPEECH 2024) |
| Seed-TTS с 20-секундным промптом против дообучения на 1-10 часах на говорящего: сходство и WER | 0,779 и 3,15 против 0,789 и 2,83 (CMOS +0,37 в пользу дообученной) | ByteDance, статья о Seed-TTS 2024 |
| Рекомендуемый объём аудио для ElevenLabs Professional Voice Cloning (их уровень с дообучением) | От 30 до 180 минут (рекомендация самого поставщика) | ElevenLabs, документация по клонированию голоса 2026 |
Самые свежие доступные данные для теста дообучения YourTTS: Casanova и др., ICML 2022. Он охватывает только 4 говорящих, поэтому его следует воспринимать как иллюстрацию языкового эффекта, а не как оценку по популяции.
6. Сторона безопасности: короткие промпты и мошенничество
Исследовательские цифры имеют прямой перевод для потребителя: публичное видео - это материал для промпта. Слушатели считали голос ИИ голосом того же человека, что и его реальный прототип, примерно в 80% случаев, а голоса ИИ распознавали лишь примерно в 60% случаев, среди 604 участников исследования, где реальные фрагменты в среднем длились 5,37 секунды (Barrington, Cooper и Farid, Scientific Reports 2025). Клоны были получены в коммерческом сервисе мгновенного клонирования, которому подали первые два записанных промпта каждого из 220 говорящих.
Фраза про «три секунды» в предупреждениях о мошенничестве опирается на заявления компаний. Цифра McAfee - это её собственный бенчмарк и, для этого источника, самые свежие доступные данные (McAfee, 2023). Starling Bank повторил это утверждение в 2024 году вместе со своим опросом (Starling Bank, кампания Safe Phrases 2024). Наш материал о мошенничестве с клонированием голоса в семье посвящён самим схемам.
| Показатель | Значение | Источник |
|---|---|---|
| Доля случаев, когда слушатели считали голос ИИ голосом того же человека, что и реальный говорящий | Около 80% | Barrington, Cooper и Farid, Scientific Reports 2025 |
| Доля случаев, когда слушатели правильно определяли голос как сгенерированный ИИ | Около 60% | Barrington, Cooper и Farid, Scientific Reports 2025 |
| Объём аудио, который понадобился исследователям McAfee для оценочного совпадения голоса в 85% с помощью бесплатного инструмента | От трёх до четырёх секунд (около 95% при больших усилиях; собственный бенчмарк поставщика) | McAfee, Beware the Artificial Impostor 2023 |
| Взрослые, которые делятся своим голосом в сети хотя бы раз в неделю | 53% (7 054 взрослых, 7 стран) | McAfee, Beware the Artificial Impostor 2023 |
| Взрослые, не уверенные, что отличат настоящий голос от клонированного | 70% | McAfee, Beware the Artificial Impostor 2023 |
| Взрослые в Великобритании, которые говорят, что в прошлом году столкнулись с мошенничеством на основе клонирования голоса ИИ | 28% (3 010 взрослых) | Опрос Starling Bank и Mortar Research 2024 |
| Взрослые в Великобритании, которые отправили бы запрошенные деньги, даже если бы звонок казался странным | 8% | Опрос Starling Bank и Mortar Research 2024 |
| Оценённые продукты для клонирования голоса, не принявшие базовых мер против несанкционированного клонирования | 4 из 6 | Consumer Reports, оценка продуктов для клонирования голоса 2025 |
Контекст: 28% у Starling измеряют то, что люди сами называют случившимся с ними, а не подтверждённые инциденты. 85% и 95% у McAfee - собственные оценки компании, и независимого воспроизведения мы не нашли. Оценка Consumer Reports охватила Descript, ElevenLabs, Lovo, PlayHT, Resemble AI и Speechify.
7. Меры защиты, обнаружение и решения о выпуске
Решения о выпуске разделяют отрасль. Microsoft заявляет, что «не планирует включать VALL-E 2 в продукт или открывать доступ широкой публике» (страница проекта VALL-E 2), а OpenAI решила дать Voice Engine «предварительный просмотр, но не широкий выпуск», призвав при этом банки постепенно отказаться от голосовой аутентификации. Между тем авторы F5-TTS призывают к водяным знакам и моделям обнаружения для названных ими рисков злоупотребления. FTC сочла проблему достаточно открытой, чтобы профинансировать конкурс (FTC, победители Voice Cloning Challenge 2024).
Результаты обнаружения сильно зависят от того, с чем сравнивается подделка. Классификатор Meta идеально отделил выходные данные Voicebox от исходного аудио, но показал 0,704 на реальной речи, пропущенной через вокодер (программу, которая восстанавливает аудио по его спектру), при самом низком уровне маскирования. Более подробно о качестве детекторов - в нашей статистике точности обнаружения аудиодипфейков.
| Показатель | Значение | Источник |
|---|---|---|
| Призовые деньги, разделённые тремя победителями FTC Voice Cloning Challenge | 35 000 долларов США (объявлено 8 апреля 2024 года) | Федеральная торговая комиссия США, Voice Cloning Challenge 2024 |
| Размер аудиофрагмента, проверяемого детектором клонов в реальном времени от Pindrop, отмеченным FTC | Двухсекундные фрагменты | Федеральная торговая комиссия США, Voice Cloning Challenge 2024 |
| Точность классификатора обнаружения Voicebox против исходного аудио и против реального аудио после вокодера при маскировании 30%, 50% и 90% аудио | 1,000 против исходного; 0,704, 0,809, 0,907 против после вокодера | Meta, статья о Voicebox (NeurIPS 2023) |
| Когда OpenAI впервые разработала Voice Engine и когда опубликовала ограниченный предварительный просмотр | Конец 2022 года и 29 марта 2024 года | OpenAI, публикация о синтетических голосах 2024 |
| Команды в конкурсе ASVspoof 5 и самая трудная атака в открытом условии Track 1 | 53 команды; предобученная YourTTS без дообучения (minDCF 0,33) | Wang и др., статья об оценке ASVspoof 5 2026 |
Контекст: minDCF - это показатель стоимости обнаружения, где большее значение означает, что детекторам пришлось тяжелее. Предобученная модель YourTTS во главе списка сложности открытого условия ASVspoof 5 говорит о том, что атакам без дообучения не нужна передовая система, чтобы создавать проблемы, хотя в статье этот результат не разбит по длине промпта.
Итоги: длина референсного аудио при клонировании голоса без дообучения в цифрах
| Показатель | Значение | Источник |
|---|---|---|
| Аудиообразец, по которому работает OpenAI Voice Engine | 15 секунд | OpenAI, публикация о синтетических голосах 2024 |
| VALL-E 2 на VCTK, промпт 3 против 10 секунд (размер группы 1): сходство и WER | 0,447 против 0,558; 0,9% против 3,3% | Microsoft Research, статья о VALL-E 2 2024 |
| Доля входного аудио, которая нужна Voicebox, чтобы сравняться с VALL-E по сходству | Примерно две трети | Meta, статья о Voicebox (NeurIPS 2023) |
| Сходство F5-TTS, длинные (7,7 с) и короткие (5,5 с) промпты на речи в реальных условиях | 0,35 против 0,24 | Барселонский суперкомпьютерный центр, заявка на WildSpoof TTS 2026 |
| Доля ошибочных слов у StyleTTS2, длинные (7,7 с) и короткие (5,5 с) промпты | 0,21 против 0,49 | Барселонский суперкомпьютерный центр, заявка на WildSpoof TTS 2026 |
| Длина референса для высокоточного клонирования XTTS-v2 | 6-10 секунд | Zhu, диссертация Гронингенского университета 2025 |
| Сходство NaturalSpeech 3 против реальных записей | 0,67 против 0,68 | Microsoft Research, статья о NaturalSpeech 3 2024 |
| Доля ошибочных слов у F5-TTS против реальной речи | 2,42% против 2,23% | Chen и др., статья о F5-TTS 2024 |
| Сходство Mega-TTS 2 без дообучения против дообученной базовой модели при 300 секундах аудио | 0,932 против 0,934 | Jiang и др., Mega-TTS 2 (ICLR 2024) |
| Оценка сходства слушателями для YourTTS, без дообучения против дообучения на 20 секундах | 2,77 против 4,43 | Casanova и др., YourTTS (ICML 2022) |
| Межъязыковое сходство XTTS после примерно 10 минут дообучения | От 0,5852 до 0,7166 | Casanova и др., статья о XTTS (INTERSPEECH 2024) |
| Слушатели, принявшие клон ИИ за реального говорящего | Около 80% | Barrington, Cooper и Farid, Scientific Reports 2025 |
| Аудио для оценочного совпадения в 85% (бенчмарк поставщика) | От трёх до четырёх секунд | McAfee, Beware the Artificial Impostor 2023 |
| Взрослые в Великобритании, которые говорят, что столкнулись с мошенничеством на основе клонирования голоса | 28% | Опрос Starling Bank и Mortar Research 2024 |
| Продукты для клонирования голоса, не принявшие базовых мер против несанкционированного клонирования | 4 из 6 | Consumer Reports, оценка продуктов для клонирования голоса 2025 |
| Призовые деньги победителям FTC Voice Cloning Challenge | 35 000 долларов США | Федеральная торговая комиссия США, Voice Cloning Challenge 2024 |
Методология и источники
- Neural Codec Language Models are Zero-Shot Text to Speech Synthesizers (VALL-E) (Microsoft Research, 2023): постановка с 3-секундным промптом и результаты на VCTK по длине промпта.
- VALL-E 2: Neural Codec Language Models are Human Parity Zero-Shot Text to Speech Synthesizers (Microsoft Research, 2024): сходство, WER и SMOS на VCTK при 3, 5 и 10 секундах.
- VALL-E 2 project page (Microsoft Research): заявление о выпуске.
- NaturalSpeech 3: Zero-Shot Speech Synthesis with Factorized Codec and Diffusion Models (Microsoft Research и соавторы из университетов, 2024): сравнение на LibriSpeech.
- Voicebox: Text-Guided Multilingual Universal Speech Generation at Scale (Meta, NeurIPS 2023): анализ длины промпта, английский бенчмарк, классификатор обнаружения.
- YourTTS: Towards Zero-Shot Multi-Speaker TTS and Zero-Shot Voice Conversion for everyone (Casanova и др., ICML 2022): адаптация к говорящему без дообучения и с дообучением.
- XTTS: a Massively Multilingual Zero-Shot Text-to-Speech Model (Casanova и др., INTERSPEECH 2024): длина референса, сходство на английском, прирост от дообучения.
- Mega-TTS 2: Boosting Prompting Mechanisms for Zero-Shot Speech Synthesis (Jiang и др., ByteDance и Чжэцзянский университет, ICLR 2024): промпты от 3 до 300 секунд против дообученной базовой модели.
- Seed-TTS: A Family of High-Quality Versatile Speech Generation Models (ByteDance, 2024): работа без дообучения против дообучения на говорящего.
- F5-TTS: A Fairytaler that Fakes Fluent and Faithful Speech with Flow Matching (Chen и др., 2024): бенчмарк LibriSpeech-PC.
- MiniMax-Speech: Intrinsic Zero-Shot Text-to-Speech with a Learnable Speaker Encoder (Zhang и др., 2025): клонирование по эмбеддингу говорящего против промпта с парным текстом.
- Zero-Shot TTS With Enhanced Audio Prompts: BSC submission for the 2026 WildSpoof challenge TTS track (Барселонский суперкомпьютерный центр, 5 февраля 2026 года): длинные и короткие промпты.
- Zero-Shot Voice Cloning with Minimal Data: Impact of Reference Duration on Long-Form Speech Synthesis (Zhu, Гронингенский университет, 2025): тест референсов от 1 до 40 секунд.
- People are poorly equipped to detect AI-powered voice clones (Barrington, Cooper и Farid, Scientific Reports, 2025).
- ASVspoof 5: Evaluation of Spoofing, Deepfake, and Adversarial Attack Detection Using Crowdsourced Speech (Wang и др., 7 января 2026 года).
- FTC Announces Winners of Voice Cloning Challenge (Федеральная торговая комиссия США, 8 апреля 2024 года).
- Do These 6 AI Voice Cloning Companies Do Enough to Prevent Misuse? (Consumer Reports, 10 марта 2025 года).
- Beware the Artificial Impostor (McAfee, май 2023 года; исследование поставщика).
- Starling Bank Safe Phrases campaign (Starling Bank и Mortar Research, 18 сентября 2024 года).
- OpenAI post on the challenges and opportunities of synthetic voices (OpenAI, 29 марта 2024 года).
- ElevenLabs Instant Voice Cloning documentation (рекомендации поставщика, просмотрены в октябре 2026 года).
- Наблюдение по данным: показатели сходства несопоставимы между статьями, потому что каждая использует собственную модель распознавания говорящего, собственный тестовый набор и собственную оценку (реальная речь на LibriSpeech получает 0,754, 0,68 или 0,69 в зависимости от статьи), поэтому сравнивать можно только внутри одной строки. Статья о Mega-TTS 2 приводит значительно более высокие значения сходства, чем остальные, причём VALL-E там получает 0,885 против 0,580 в исходной статье, поэтому её цифры следует сопоставлять только друг с другом. Обе стороны сравнения дообучения в Mega-TTS 2 построены её авторами. В тексте Voicebox сказано, что сходство растёт, а затем выходит на плато с более длинными промптами, тогда как в подписи к рисунку сказано, что оно остаётся прежним до 10 секунд. MiniMax-Speech называет промптинг с парным текстом «one-shot» и относит к нему Seed-TTS, хотя сам Seed-TTS называет себя работающим без дообучения. Модели WildSpoof были дообучены на наборе данных TITW до тестирования, поэтому эти результаты не являются чистыми базовыми показателями без дообучения. Оценки слушателей для VALL-E 2 при 10 секундах имеют широкие интервалы (до ±0,49). В статье Scientific Reports не указано, какой длины были два промпта за каждым клоном, поэтому её 80% не следует считать значением для какой-либо конкретной длины промпта. В аннотации диссертации Zhu нет значений сходства, только длины и направление эффекта. VALL-E, Voicebox, YourTTS и McAfee старше трёх лет и помечены как самые свежие доступные данные: мы не нашли статьи 2025 или 2026 года, которая повторяла бы полную кривую для 3, 5 и 10 секунд на общем бенчмарке. Опросы Starling Bank и McAfee основаны на самостоятельных ответах респондентов.
Последнее обновление: 31 октября 2026 года. Мы обновляем этот обзор ежеквартально, и следующее обновление ожидается после публикации материалов конференции ICASSP 2027.