В Voice Conversion Challenge 2020 восемь внутриязыковых систем в тестах сходства статистически не отличались от настоящего целевого диктора, причём более 90% их преобразованных образцов были признаны одним и тем же человеком (Zhao и др., обзор VCC 2020). Четырьмя годами ранее лучшая система VCC 2016 получила в среднем всего 3,0 по 5-балльной шкале естественности, а лучшие системы убеждали слушателей примерно в 70% случаев. С естественностью разрыв сократился не так чисто: ни одна система VCC 2020 не достигла человеческого уровня естественности, а в Singing Voice Conversion Challenge 2025 лучшие системы набрали около 3,7 против около 3,9 у настоящих записей. Этот обзор рассматривает, как измеряют преобразование голоса, а не как его продают; данные о внедрении и рынке - в нашей статистике клонирования голоса, а слуховые оценки синтеза речи - в нашей статистике MOS естественности синтетической речи. Мы свели данные Voice Conversion Challenge 2016, 2018 и 2020 годов, Singing Voice Conversion Challenge 2023 и 2025 годов, рецензируемых статей Interspeech, ICLR, AAAI и IEEE JSTSP, а также недавних исследований метрик сходства дикторов и смещений в слуховых тестах.
Кратко (TL;DR)
- 8 внутриязыковых систем VCC 2020 значимо не отличались от целевого диктора по сходству (Zhao и др., обзор VCC 2020, 2020).
- Система 2025 года без дообучения получила MOS естественности 3,96 против 4,33 у эталонных записей (Yao и др., StableVC, AAAI 2025).
- Сходство с диктором у системы 2026 года в пространстве кодека упало с 0,63 на английском до 0,49 при преобразовании с китайского на английский (Zheng и др., X-VC 2026).
- Сходство у системы на самоконтролируемых признаках упало с 59% до 28% при переходе от преобразования «любой-к-одному» к «любой-к-любому» (Huang и др., IEEE JSTSP 2022).
- 20 из 31 системы VCC 2020 обманули систему верификации диктора более чем в 90% случаев (Das и др., объективная оценка VCC 2020, 2020).
- Сходство по эмбеддингам дикторов коррелировало с оценками людей на уровне 0,768 для настоящей речи, но лишь 0,512 для преобразованной речи VCC 2018 (Ahn и др., VoxSim, Interspeech 2024).
- Примерно у половины высказываний VCC 2018 стандартное отклонение четырёх оценок слушателей превышало 1 балл (Lo и др., MOSNet 2019).
- MOS системы может упасть почти на целый балл, если её оценивают только рядом с более сильными системами (Cooper и Yamagishi, Interspeech 2023).
- Лучшая певческая система SVCC 2023 сравнялась с эталонными записями по естественности (около 3,9), но достигла 65% сходства против 80% (Violeta и др., анализ SVCC 2025, 2025).
- Пение с придыханием оказалось самым трудным для преобразования стилем в SVCC 2025, с точностью стиля 37,3% (Violeta и др., анализ SVCC 2025, 2025).
1. Десятилетие результатов конкурсов: от 70% до сходства на уровне целевого диктора
Преобразование голоса (VC) меняет то, на чей голос похожа запись, сохраняя то, что в ней сказано. Общая мерка в этой области - Voice Conversion Challenge (VCC), где каждая команда преобразует одни и те же фразы между одними и теми же дикторами, а один большой слуховой тест оценивает всех. Естественность оценивают по 5-балльной шкале средней оценки мнений (MOS); сходство определяют, спрашивая слушателей, принадлежат ли преобразованный и настоящий фрагменты одному и тому же диктору.
Траектория крутая. Лучшая система VCC 2016 получила в среднем 3,0 по естественности, а к VCC 2020 восемь систем статистически сравнялись с настоящим целевым диктором по сходству (Zhao и др., обзор VCC 2020). Интересен порядок прогресса: слушатели перестали отличать преобразованные фрагменты от целевых на чистом английском в пределах одного языка раньше, чем какая-либо система достигла человеческого уровня естественности.
| Показатель | Значение | Источник |
|---|---|---|
| Исследовательские группы, подавшие системы на VCC 2016 | 17 | Toda и др., Voice Conversion Challenge 2016, Interspeech 2016 |
| Слушатели в тесте VCC 2016, проведённом в контролируемой среде | 200 | Toda и др., Voice Conversion Challenge 2016, Interspeech 2016 |
| Лучшие системы VCC 2016, доля образцов, признанных тем же диктором, что и целевой | около 70% | Wester и др., анализ результатов оценки Voice Conversion Challenge 2016, Interspeech 2016 |
| Лучшая система VCC 2016, средняя естественность по 5-балльной шкале | 3,0 | Zhao и др., обзор VCC 2020, 2020 |
| Лучшая система VCC 2018 (N10): естественность / доля, признанная такой же, как целевой | около 4,1 / около 80% | Lorenzo-Trueba и др., статья VCC 2018 |
| Системы VCC 2020 в пределах одного языка, значимо не отличавшиеся от целевого диктора по сходству | 8 | Zhao и др., обзор VCC 2020, 2020 |
Примечание о контексте: победитель VCC 2018 опирался на экстрактор содержания, обученный на сотнях часов внешней речи, и на вокодер WaveNet, зависящий от диктора (Lorenzo-Trueba и др., VCC 2018). Лишь 3 команды VCC 2018 использовали вариант с внешними данными. Самые свежие доступные данные по речевым конкурсам: VCC 2020, так как четвёртый выпуск в 2023 году сместился к пению и был переименован (см. раздел 6).
2. Разрыв в естественности: как далеко лучшие системы от настоящей речи
Вердикт «тот же диктор» не означает, что фрагмент звучит по-человечески. Каждый конкурс оставлял внутри теста естественные записи в качестве опорных, и они показывают устойчивый разрыв. Сравнение 2022 года указывает USTC-2020, лучшую систему внутриязыковой задачи VCC 2020, с MOS естественности 4,41 против 4,57 у настоящих целевых записей, то есть разрыв 0,16 пункта (4,57 минус 4,41) (Huang и др., IEEE JSTSP 2022). Эта система также набрала 82% в тесте сходства.
Разрыв шире у систем без дообучения, которые преобразуют в голос, не встречавшийся при обучении, по короткому референсному фрагменту. В статье AAAI 2025 года для их системы измерили MOS 3,96 против 4,33 у эталонных записей на дикторах VCTK, то есть разрыв 0,37 пункта, хотя автоматический предиктор MOS поставил их всего в 0,12 друг от друга (Yao и др., StableVC, AAAI 2025). В этом тесте автоматический предиктор оказался более снисходительным судьёй, и это одна из причин читать такие оценки рядом со слуховым тестом.
| Показатель | Значение | Источник |
|---|---|---|
| Естественные записи в VCC 2016: естественность / доля, признанная тем же диктором | 4,5 / 90% | Violeta и др., анализ SVCC 2025, 2025 |
| Системы VCC 2016, оценённые как значимо менее естественные, чем настоящие исходные и целевые дикторы | все системы | Wester и др., анализ результатов оценки Voice Conversion Challenge 2016, Interspeech 2016 |
| Лучшая система VCC 2018 против настоящей целевой речи (критерий знаковых рангов Вилкоксона, поправка Бонферрони, α = 0,01) | значимо различаются и по естественности, и по сходству | Lorenzo-Trueba и др., статья VCC 2018 |
| Лучшая система VCC 2020 (USTC-2020) против целевых записей, MOS естественности в пределах одного языка | 4,41 против 4,57 | Huang и др., IEEE JSTSP 2022 |
| Лучшая система на самоконтролируемых признаках против простой базовой системы на мел-спектрограмме, MOS естественности | 3,59 против 2,61 | Huang и др., IEEE JSTSP 2022 |
| Система без дообучения против эталонных записей, MOS естественности по оценкам слушателей (дикторы VCTK) | 3,96 ±0,04 против 4,33 ±0,04 | Yao и др., StableVC, AAAI 2025 |
| То же сравнение по UTMOS, автоматическому предиктору естественности | 4,12 против 4,24 | Yao и др., StableVC, AAAI 2025 |
| Лучшая из шести опубликованных базовых систем без дообучения, MOS естественности по оценкам слушателей | 3,67 ±0,07 | Yao и др., StableVC, AAAI 2025 |
Примечание о выбросе: в VCC 2020 японские слушатели оценили естественность ведущей системы T10 в пределах одного языка как сопоставимую с целевым диктором, а английские слушатели - нет (Zhao и др., обзор VCC 2020). Поэтому вердикт о паритете может зависеть от того, кто слушает, и состав слушателей должен указываться в любом опубликованном результате.
3. Разборчивость и спектральные метрики: что WER и MCD могут и чего не могут сказать
Объективные метрики дёшевы и воспроизводимы, поэтому статьи на них опираются. Повторяются два семейства: разборчивость, которую измеряют как коэффициент ошибок по словам (WER) или по символам (CER) у системы автоматического распознавания речи, расшифровывающей преобразованный звук, и спектральное расстояние, обычно мел-кепстральное искажение (MCD), показывающее, насколько преобразованный спектр удалён от спектра цели. Для обеих метрик чем меньше, тем лучше.
Данные VCC показывают, что WER довольно хорошо отслеживает естественность и плохо отслеживает сходство. В VCC 2018 WER коррелировал с естественностью на уровне -0,7127 в задаче без параллельных данных, но лишь -0,2272 со сходством с диктором (Lorenzo-Trueba и др., VCC 2018). MCD выглядит ещё слабее как заменитель естественности: в Singing Voice Conversion Challenge 2023 она не имела значимой корреляции с оценками естественности внутри домена ни у одной из двух групп слушателей (Huang и др., SVCC 2023). У систем распознавания есть и собственные сбои, о которых говорится в нашей статистике галлюцинаций при распознавании речи, поэтому низкий WER говорит лишь о том, что слова сохранились, а не о том, что голос звучит правильно.
| Показатель | Значение | Источник |
|---|---|---|
| Коэффициент ошибок по словам у ASR на естественной исходной речи, VCC 2018 | 6,40% | Lorenzo-Trueba и др., статья VCC 2018 |
| Наименьший / наибольший WER среди преобразованных систем Hub в VCC 2018 | 8,60% / 35,60% | Lorenzo-Trueba и др., статья VCC 2018 |
| Корреляция WER с MOS естественности / со сходством, задача Hub с параллельными данными и задача Spoke без параллельных данных в VCC 2018 | Hub -0,6587 / -0,3218; Spoke -0,7127 / -0,2272 | Lorenzo-Trueba и др., статья VCC 2018 |
| Команды VCC 2020 в пределах одного языка с WER ниже 5% / выше 50% | 7 / 7 | Das и др., объективная оценка VCC 2020, 2020 |
| MCD, простая базовая система на мел-спектрограмме против лучшей системы VCC 2020 (данные VCC 2020) | 8,47 против 6,98 | Huang и др., IEEE JSTSP 2022 |
| Корреляция Спирмена MCD с MOS естественности внутри домена, SVCC 2023 (японские / английские слушатели) | -0,28 / -0,24 (не значима) | Huang и др., статья SVCC 2023 |
| Корреляция Спирмена CER на основе Whisper с MOS естественности внутри домена, SVCC 2023 (японские слушатели) | -0,80 (p < 0,01) | Huang и др., статья SVCC 2023 |
Примечание о контексте: разброс в VCC 2020 велик. Худшая заявка в пределах одного языка показала WER 96,17%, то есть для системы распознавания после преобразования почти ничего не уцелело, тогда как семь команд остались ниже 5% (Das и др., объективная оценка VCC 2020).
4. Сходство по эмбеддингам дикторов: полезное, популярное и хрупкое
Стандартная автоматическая оценка сходства - косинусное сходство эмбеддингов дикторов (его часто называют SECS или SIM): оба фрагмента пропускают через сеть верификации диктора и сравнивают угол между получившимися векторами. На данных конкурсов она хорошо согласуется со слушателями на уровне систем. В VCC 2020 коэффициент ошибок верификации диктора коррелировал со сходством по оценкам слушателей на уровне 0,89 и 0,90 в двух задачах (Das и др., объективная оценка VCC 2020), а 20 из 31 системы в пределах одного языка принимались верификатором за целевого диктора более чем в 90% случаев. Доля «ложного принятия» здесь - это доля преобразованных фрагментов, которые верификатор ошибочно принимает за настоящего целевого диктора, поэтому чем она выше, тем убедительнее преобразование.
Согласованность по отдельным высказываниям - другая история. Предобученный эмбеддинг ECAPA-TDNN достиг линейной корреляции 0,768 с оценками людей на парах настоящих голосов, но опустился до 0,512 на преобразованной речи VCC 2018 (Ahn и др., VoxSim, Interspeech 2024). Исследование 2025 года Ubisoft La Forge и Стелленбосского университета показало, что модели верификации разделяют короткие и длинные фрагменты одного диктора заметно выше случайного уровня, а шум и эквализация смещают оценки, так что значение SIM отчасти измеряет условия записи (Carbonneau и др. 2025). Тем, кто сравнивает программы для клонирования голоса по опубликованным значениям SIM, следует проверить, что использовались одна и та же модель эмбеддингов, один и тот же тестовый набор и одинаковая длина фрагментов.
| Показатель | Значение | Источник |
|---|---|---|
| Системы VCC 2020 в пределах одного языка, принятые верификатором диктора за целевого более чем в 90% случаев | 20 из 31 | Das и др., объективная оценка VCC 2020, 2020 |
| Межъязыковые системы VCC 2020 выше того же уровня 90% ложного принятия | 10 | Das и др., объективная оценка VCC 2020, 2020 |
| Корреляция Пирсона коэффициента ошибок верификатора со сходством по оценкам слушателей, VCC 2020 задача 1 / задача 2 | 0,89 / 0,90 | Das и др., объективная оценка VCC 2020, 2020 |
| Корреляция Пирсона косинусного расстояния между эмбеддингами со сходством по оценкам слушателей, VCC 2020 задача 1 / задача 2 | 0,85 / 0,82 | Das и др., объективная оценка VCC 2020, 2020 |
| Предобученная система распознавания дикторов ECAPA-TDNN против сходства по оценкам людей, пары настоящей речи (линейная корреляция) | 0,768 | Ahn и др., VoxSim, Interspeech 2024 |
| Та же предобученная модель на преобразованной речи VCC 2018 (линейная корреляция) | 0,512 | Ahn и др., VoxSim, Interspeech 2024 |
| Сходство по эмбеддингам против оценок людей по сходству голоса в исследовании синтеза без дообучения (на уровне высказываний) | 0,55 | Li и др., DMOSpeech 2025 |
| Равновероятная ошибка верификатора при сравнении коротких фрагментов одного диктора с его же длинными фрагментами (ECAPA-TDNN; 0,50 означает неразличимость) | 0,34 ±0,04 | Carbonneau и др. 2025 |
Примечание о выбросе: добавление шума с отношением сигнал/шум 20 дБ подняло равновероятную ошибку того же ECAPA-TDNN для чистых и зашумлённых фрагментов одного диктора до 0,34, а при 0 дБ до 0,05 (Carbonneau и др. 2025). Проще говоря, верификатор начинает считать зашумлённую копию голоса другим человеком.
5. Внутри домена, межъязыковые и «любой-к-любому»: где оценки рушатся
Показатели бенчмарков обычно приводят для самых благоприятных условий: один язык, студийный звук и целевой диктор, на котором модель обучалась (преобразование «любой-к-одному»). Стоит изменить любой из этих факторов, и оценки падают. Ведущая система VCC 2020 T10 потеряла 0,75 пункта MOS по естественности при переходе от преобразования в пределах одного языка к межъязыковому, и в этой задаче менее 80% образцов были признаны целевым диктором (Zhao и др., обзор VCC 2020). Слушатели также выставляли более низкие оценки сходства, когда референсный фрагмент был на втором языке диктора, а не на английском.
Самое резкое падение вызывают не встречавшиеся при обучении целевые дикторы (преобразование «любой-к-любому»). В сравнении IEEE JSTSP система на самоконтролируемых признаках почти сохранила естественность, но её сходство сократилось вдвое (Huang и др., IEEE JSTSP 2022). Недавние системы без дообучения всё ещё показывают этот разрыв: на речи с акцентом и эмоциями авторы ICLR 2025 измерили сходство с диктором 0,762 для эталонных записей против 0,517 для лучшего преобразованного результата (Zhang и др., Vevo, ICLR 2025).
| Показатель | Значение | Источник |
|---|---|---|
| USTC-2020, доля, признанная такой же, как целевой, один язык против межъязыкового | 82% против 43% | Huang и др., IEEE JSTSP 2022 |
| Система на самоконтролируемых признаках, известный целевой диктор («любой-к-одному») против не встречавшегося при обучении целевого диктора («любой-к-любому»): сходство / MOS естественности | 59% против 28% / 3,59 против 3,58 | Huang и др., IEEE JSTSP 2022 |
| Системы Hub VCC 2018, кроме победителя, MOS естественности для пар одного пола против пар разного пола | 3,08 против 2,78 | Lorenzo-Trueba и др., статья VCC 2018 |
| Сходство с диктором у системы без дообучения в пространстве кодека, один язык (английский / китайский) против межъязыкового (с английского на китайский / с китайского на английский) | 0,63 / 0,73 против 0,52 / 0,49 | Zheng и др., X-VC 2026 |
| Сходство с диктором на речи с акцентом и эмоциями, настоящие записи против лучшего преобразованного результата | 0,762 против 0,517 | Zhang и др., Vevo, ICLR 2025 |
Примечание о контексте: в статье 2026 года о системе в пространстве кодека межъязыковые пары оценивали на другом подмножестве (первые 1 000 высказываний на каждый язык), поэтому её показатели для одного языка и межъязыковые носят ориентировочный характер, а не являются контролируемым сравнением (Zheng и др., X-VC 2026). Её потоковая версия работала с задержкой модели 240 мс.
6. Преобразование певческого голоса: паритет по естественности, разрыв по идентичности
Пение предъявляет к преобразованию голоса требования, которых нет у речи: более широкий диапазон высоты тона, выдержанные ноты и такие приёмы, как вибрато. Singing Voice Conversion Challenge (SVCC) принял формат конкурса в 2023 году. Лучшая система SVCC 2023 сравнялась с эталонными записями по естественности на уровне около 3,9, но достигла лишь 65% сходства против 80% у настоящего певца (Violeta и др., анализ SVCC 2025). Это обратная картина по сравнению с речью, где первой была достигнута идентичность.
SVCC 2025 добавил преобразование стиля пения, и ни одна система не достигла человеческого уровня естественности. Трудной частью оказался стиль: пение с придыханием, глиссандо (скольжение между нотами) и вибрато были наименее точно воспроизведёнными приёмами. Авторы также усомнились в том, что стандартный тест сходства подходит для оценки стиля. Идентичность певца тоже трудно оценить: даже эталонные записи набрали в этом тесте лишь около 70%.
| Показатель | Значение | Источник |
|---|---|---|
| Заявки на SVCC 2023 плюс базовые системы | 24 + 2 | Huang и др., статья SVCC 2023 |
| Слушатели SVCC 2023, английские / японские | 40 / 319 | Huang и др., статья SVCC 2023 |
| Команды SVCC 2023 с естественностью выше 3,0, задача внутри домена против междоменной | 14 против 8 | Huang и др., статья SVCC 2023 |
| Лучшая система SVCC 2023 против эталонных записей: естественность / сходство | около 3,9 / 65% против около 3,9 / 80% | Violeta и др., анализ SVCC 2025, 2025 |
| Лучшие системы SVCC 2025 против эталонных записей: естественность / сходство стиля | около 3,7 / 70% против около 3,9 / 90% | Violeta и др., анализ SVCC 2025, 2025 |
| Точность стиля в SVCC 2025 для пения с придыханием / глиссандо / вибрато | 37,3% / 42,6% / 43,9% | Violeta и др., анализ SVCC 2025, 2025 |
| Максимальная корреляция Спирмена между любой объективной метрикой и субъективными оценками, SVCC 2025 | около 0,8 | Violeta и др., анализ SVCC 2025, 2025 |
Примечание о контексте: в SVCC 2023 разрыв по сходству между целью и лучшей системой составлял около 0,4 пункта по 4-балльной шкале в обеих задачах (Huang и др., SVCC 2023), а расстояние между эмбеддингами дикторов было объективной метрикой с наибольшей корреляцией со сходством (-0,83 по Спирмену для японских слушателей, задача внутри домена).
7. Надёжность оценки: число слушателей, дисперсия и смещение
Все приведённые выше цифры опираются на оценки людей, а эти оценки шумны. Примерно у половины высказываний VCC 2018 стандартное отклонение четырёх оценок слушателей превышало 1 балл по 5-балльной шкале (Lo и др., MOSNet). Усреднение исправляет значительную часть этого на уровне систем, поэтому автоматические предикторы выглядят там сильными (корреляция 0,957), а по отдельным высказываниям слабыми (0,642).
Дизайн теста тоже сдвигает оценки. Cooper и Yamagishi показали, что оценка только самых сильных систем вместе может снизить MOS системы почти на целый балл, потому что слушатели распределяют оценки по всей шкале независимо от диапазона качества (Cooper и Yamagishi, Interspeech 2023). Обзор 80 статей Interspeech 2022 по синтезу речи показал, что 51 не приводила инструкций для слушателей (Chiang и др. 2023), а в том же исследовании участники краудсорсинга из Великобритании оценили одну систему в 2,64, тогда как участники из США - в 3,73.
| Показатель | Значение | Источник |
|---|---|---|
| Уникальные слушатели / оценённые высказывания в VCC 2018 | 267 / 113 168 | Lorenzo-Trueba и др., статья VCC 2018 |
| Высказывания VCC 2018, у которых стандартное отклонение четырёх оценок превышало 1 | около половины | Lo и др., MOSNet 2019 |
| Автоматический предиктор MOS против MOS людей в VCC 2018, уровень высказываний против уровня систем (линейная корреляция) | 0,642 против 0,957 | Lo и др., MOSNet 2019 |
| Стоимость двух слуховых тестов VCC 2020 (английские и японские слушатели) | 738 128 иен (ок. 6 900 USD) | Zhao и др., обзор VCC 2020, 2020 |
| Согласованность оценок японских и английских слушателей, VCC 2020 | корреляции от 0,965 до 0,984 | Zhao и др., обзор VCC 2020, 2020 |
| Наибольшее падение MOS одной системы при оценке только рядом с лучшими 6% систем | 1,28 пункта | Cooper и Yamagishi, Interspeech 2023 |
| Статьи Interspeech 2022 по синтезу речи (из 80) без инструкций для слушателей | 51 | Chiang и др., Interspeech 2023 |
| Ответы краудсорсинга, признанные недействительными в слуховом тесте с 501 участником | около 30% | Li и др., DMOSpeech 2025 |
Примечание о контексте: отдельные статьи проводят гораздо более мелкие тесты, чем конкурсы. Статья Interspeech 2023 года о преобразовании по ближайшим соседям собрала 2 144 оценки естественности от 61 слушателя и 1 636 оценок сходства от 208 слушателей (Baas и др., Interspeech 2023). Заявленные интервалы составляли около ±0,1 пункта, поэтому разница меньше этой между двумя близкими системами говорит о немногом.
Итоги: бенчмарк сходства голоса и естественности при преобразовании голоса в цифрах
| Показатель | Значение | Источник |
|---|---|---|
| Лучшая система VCC 2016, естественность / наибольшее сходство | 3,0 / около 70% | Zhao и др., обзор VCC 2020, 2020; Wester и др., Interspeech 2016 |
| Лучшая система VCC 2018, естественность / сходство | около 4,1 / около 80% | Lorenzo-Trueba и др., статья VCC 2018 |
| Естественные записи в VCC 2016: естественность / сходство | 4,5 / 90% | Violeta и др., анализ SVCC 2025, 2025 |
| USTC-2020 против целевых записей, MOS естественности | 4,41 против 4,57 | Huang и др., IEEE JSTSP 2022 |
| Система без дообучения против эталонных записей, MOS естественности по оценкам слушателей | 3,96 против 4,33 | Yao и др., StableVC, AAAI 2025 |
| Корреляция MCD с естественностью внутри домена, SVCC 2023 | -0,28 / -0,24 (не значима) | Huang и др., статья SVCC 2023 |
| Системы VCC 2020 в пределах одного языка, обманувшие верификатор диктора более чем в 90% случаев | 20 из 31 | Das и др., объективная оценка VCC 2020, 2020 |
| Сходство по эмбеддингам против оценок людей, настоящая речь против преобразованной | 0,768 против 0,512 | Ahn и др., VoxSim, Interspeech 2024 |
| Коэффициент ошибок верификатора, короткие и длинные фрагменты одного диктора (0,50 = неразличимо) | 0,34 | Carbonneau и др. 2025 |
| Сходство, преобразование «любой-к-одному» против «любой-к-любому» | 59% против 28% | Huang и др., IEEE JSTSP 2022 |
| Сходство, один язык против преобразования с китайского на английский (система 2026 года) | 0,63 против 0,49 | Zheng и др., X-VC 2026 |
| Сходство с диктором, настоящие записи против лучшего преобразованного результата на речи с акцентом и эмоциями | 0,762 против 0,517 | Zhang и др., Vevo, ICLR 2025 |
| Сходство лучшей системы SVCC 2023 против эталонных записей | 65% против 80% | Violeta и др., анализ SVCC 2025, 2025 |
| Высказывания VCC 2018 со стандартным отклонением оценок выше 1 | около половины | Lo и др., MOSNet 2019 |
| Наибольшее падение MOS из-за смещения выравнивания диапазона | 1,28 пункта | Cooper и Yamagishi, Interspeech 2023 |
Методология и источники
- Toda и др.: The Voice Conversion Challenge 2016, Interspeech 2016 (ISCA Archive)
- Wester, Wu и Yamagishi: Analysis of the Voice Conversion Challenge 2016 Evaluation Results, Interspeech 2016
- Lorenzo-Trueba и др.: The Voice Conversion Challenge 2018: Promoting Development of Parallel and Nonparallel Methods (2018)
- Zhao и др.: Voice Conversion Challenge 2020: Intra-lingual semi-parallel and cross-lingual voice conversion (2020)
- Das и др.: Predictions of Subjective Ratings and Spoofing Assessments of Voice Conversion Challenge 2020 Submissions (2020)
- Huang, Yang, Hayashi и Toda: A Comparative Study of Self-supervised Speech Representation Based Voice Conversion, IEEE JSTSP 2022
- Huang и др.: The Singing Voice Conversion Challenge 2023
- Violeta и др.: An Extensive Analysis of the Singing Voice Conversion Challenge 2025 Evaluation Results (2025, пересмотрено в 2026)
- Lo и др.: MOSNet: Deep Learning-based Objective Assessment for Voice Conversion (2019)
- Ahn и др. (KAIST и Samsung Research): VoxSim: A perceptual voice similarity dataset, Interspeech 2024
- Carbonneau и др. (Ubisoft La Forge и Stellenbosch University): Analyzing and Improving Speaker Similarity Assessment for Speech Synthesis (2025)
- Li, Kumar и Jin (Columbia University и Adobe Research): DMOSpeech (2025)
- Cooper и Yamagishi (NII): Investigating Range-Equalizing Bias in Mean Opinion Score Ratings of Synthesized Speech, Interspeech 2023
- Chiang, Huang и Lee (National Taiwan University): Why We Should Report the Details in Subjective Evaluation of TTS More Rigorously (2023)
- Yao и др. (Northwestern Polytechnical University и Ximalaya): StableVC, AAAI 2025
- Zhang и др. (CUHK-Shenzhen и Meta AI): Vevo: Controllable Zero-Shot Voice Imitation, ICLR 2025
- Zheng и др.: X-VC: Zero-shot Streaming Voice Conversion in Codec Space (апрель 2026)
- Baas, van Niekerk и Kamper (Stellenbosch University): Voice Conversion With Just Nearest Neighbors, Interspeech 2023
- Наблюдение по данным: анализ SVCC 2025 пересказывает межъязыковые результаты VCC 2020 как около 4,0 по естественности и около 90% по сходству, тогда как в собственной статье организаторов VCC 2020 сказано, что менее 80% межъязыковых образцов были признаны такими же, как целевой диктор; мы используем цифру организаторов. Несколько статей внутренне расходятся на небольшие величины (текст MOSNet 0,624 против 0,642 в таблице для корреляции на уровне высказываний, где мы используем таблицу; текст VoxSim 0,733 против 0,752 в таблице для одной предобученной модели; DMOSpeech -0,15 против -0,16 для корреляции WER), а число систем в статье SVCC 2025 различается между версиями (26 в ранней, 33 в текущей). Статья JSTSP приводит USTC-2020 в той же таблице, что и собственные системы, не уточняя, получены ли эти оценки в её собственном слуховом тесте. Статья SVCC 2025 не определяет свои оценки точности стиля по каждому стилю и не говорит, по каким системам они усреднены, поэтому их следует читать как ранжирование по сложности, а не как абсолютные значения. Оценки сходства с диктором из разных статей используют разные модели эмбеддингов, тестовые наборы и составы слушателей, поэтому между строками они несопоставимы, а межъязыковые показатели 2026 года используют иное тестовое подмножество, чем показатели для одного языка. Самые свежие доступные данные по чисто речевым конкурсам - это VCC 2020; более новые свидетельства по речевому VC происходят из отдельных статей, а не из общего слухового теста.
Последнее обновление: 31 октября 2026 года. Мы обновляем этот обзор ежеквартально, и следующее обновление ожидается после публикации результатов слуховых тестов следующего Voice Conversion Challenge или Singing Voice Conversion Challenge.