Статистика точности высоты тона и естественности синтеза певческого голоса (2026): более 55 показателей об ошибках высоты тона, разрыве MOS и обучающих данных

Точность высоты тона в синтезе пения 2026: лучшие модели получают MOS от 3,70 до 4,01, а записи людей - от 4,30 до 4,54 в 5 научных работах.

Лучшая модель синтеза певческого голоса, обученная на корпусе Opencpop, получила 3,70 по 5-балльной шкале средней оценки мнений (MOS), тогда как записи самой профессиональной певицы получили 4,51 (Wang и др., статья Opencpop, Interspeech 2022). В четырёх других эталонных работах лучшая модель получила от 3,81 до 4,01 против значений от 4,30 до 4,54 у настоящих записей (см. раздел 4). Люди тоже не идеальны: 24 взрослых, певших «С днём рождения» по памяти, промахивались мимо целевых нот в среднем (по медиане) на 19 центов, около пятой части полутона (Mauch, Frieler и Dixon, JASA 2014), а медианный слушатель замечает расстроенный вокал лишь примерно при 55 центах (Larrouy-Maestri, Harrison и Müllensiefen, Behavior Research Methods 2019). Синтез речи достиг паритета на ряде эталонных тестов, как показывает наш обзор статистики MOS синтетической речи, а пение пока нет. Мы свели данные из работ по корпусам Opencpop, M4Singer, GTSinger и ACE-Opencpop, из конкурсов Singing Voice Conversion Challenge 2023 и 2025, конкурса по обнаружению дипфейков SVDD 2024, эталонного набора оценок SingMOS-Pro и рецензируемых исследований пения в JASA, Frontiers in Psychology, PLoS One и Journal of Research in Music Education.

Кратко (TL;DR)

  • Лучшая базовая модель Opencpop получила 3,70 MOS против 4,51 у исходных записей (Wang и др., статья Opencpop, Interspeech 2022).
  • 24 взрослых певца попадали в ноты с медианной ошибкой 19 центов (Mauch, Frieler и Dixon, JASA 2014).
  • 28% из 50 певцов-любителей были отнесены к плохо интонирующим певцам (Berkowska и Dalla Bella, Frontiers in Psychology 2013).
  • Лишь 37% из 1 046 человек точно воспроизводили высоту тона по строгому правилу в 50 центов (Pfordresher и Demorest, JRME 2021).
  • Медианный слушатель обнаруживает расстройку при сдвиге в 54,989 цента (Larrouy-Maestri, Harrison и Müllensiefen, Behavior Research Methods 2019).
  • Передача DiffSinger настоящей кривой высоты тона певца подняла MOS просодии с 3,72 до 4,02, а качество звука лишь с 3,92 до 3,97 (Zhang и др., M4Singer, NeurIPS 2022).
  • VISinger 2 упал с 3,96 до 3,02 MOS без своего DSP-синтезатора (Zhang и др., статья VISinger 2, 2022).
  • CoMelSinger приблизился к записям на 0,24 балла естественности для неизвестных при обучении певцов (Zhao и др., CoMelSinger 2026).
  • ACE-Opencpop добавляет 128,9 часа синтезированного пения 30 голосов (Shi и др., статья ACE-Opencpop, 2024).
  • Ни одна система не достигла человеческого уровня естественности в SVCC 2025: лучшие показали около 3,7 против примерно 3,9 у настоящего пения (аналитическая статья SVCC 2025).
  • SingMOS-Pro собрал 44 247 оценок качества от 78 разметчиков (статья об эталонном наборе SingMOS-Pro, 2026).
  • Лучший детектор SVDD 2024 достиг равного уровня ошибок 1,65% (Zhang и др., статья конкурса SVDD 2024).

1. Человеческий ориентир: насколько точно люди действительно поют

Точность высоты тона измеряется в центах: 100 центов равны одному полутону, шагу между двумя соседними клавишами пианино. Медианная ошибка по ноте в 19 центов у 24 певцов без аккомпанемента (Mauch, Frieler и Dixon, JASA 2014) - это реалистичная цель для синтетического певца, а не ноль. Даже обученные голоса отклоняются: профессионалы стали менее точны в интервалах, а не более, когда перешли на оперную технику.

Разброс в популяции велик. Только 24% участников без подготовки точно воспроизводили высоту тона в том же наборе данных, где это делали 37% всей выборки (Pfordresher и Demorest, JRME 2021). Темп объясняет большую часть различия: в классическом исследовании 62 певцов-любителей большинство из 15 немузыкантов, повторно протестированных в более медленном темпе, сравнялось по точности с профессионалами, и лишь двое продолжали делать много ошибок высоты тона (Dalla Bella, Giguère и Peretz, JASA 2007).

ПоказательЗначениеИсточник
Медианная ошибка по ноте, 24 взрослых поют «С днём рождения» без аккомпанемента19 центовMauch, Frieler и Dixon, JASA 2014
Медианный абсолютный дрейф высоты тона за выступление примерно в 50 секунд11 центовMauch, Frieler и Dixon, JASA 2014
Среднее отклонение по интервалу, 14 профессиональных певцов без оперной техники32,81 центаLarrouy-Maestri и Morsomme, Logopedics Phoniatrics Vocology 2014
Среднее отклонение по интервалу, 63 певца-любителя без формальной подготовки50,83 центаLarrouy-Maestri и Morsomme, Logopedics Phoniatrics Vocology 2014
Среднее отклонение по интервалу, те же профессионалы с оперной (лирической) техникой62,13 центаLarrouy-Maestri и Morsomme, Logopedics Phoniatrics Vocology 2014
Певцы-любители, отнесённые к плохо интонирующим (2 стандартных отклонения от среднего по группе)28% (14 из 50)Berkowska и Dalla Bella, Frontiers in Psychology 2013
Точно воспроизводящие высоту тона (90% и более нот в пределах 50 центов), объединённая выборка из 1 046 человек37%Pfordresher и Demorest, JRME 2021
Пение, признанное точным при смягчении критерия до 100 центов94%Pfordresher и Demorest, JRME 2021

Самые свежие доступные данные: Pfordresher и Demorest, Journal of Research in Music Education 2021. Доля плохо интонирующих певцов зависит от порога: на отдельных спетых звуках 6% тех же 50 певцов-любителей оказались за линией 2 стандартных отклонений, но 58% оказались за пределом 50 центов, поэтому любая оценка распространённости настолько надёжна, насколько надёжен её порог.

2. Терпимость слушателя: сколько ошибок высоты тона прощает ухо

Синтетическим певцам не нужно обыгрывать тюнер, им нужно обыграть слушателя. Способность медианного слушателя обнаруживать расстройку соответствовала сдвигу высоты вокала на 54,989 цента в калибровке теста Mistuning Perception Test на 333 людях, при этом 95% слушателей оказались в диапазоне от 36,309 до 82,589 цента (Larrouy-Maestri, Harrison и Müllensiefen, Behavior Research Methods 2019). Это примерно полполутона, заметно больше медианной ошибки по ноте в 19 центов из раздела 1, хотя два теста измеряют разное.

Обычные слушатели всё же оценивают высоту тона последовательно. Оценки неспециалистов следовали за измеренным отклонением по интервалу почти так же тесно, как оценки экспертов, и в целом были строже (Larrouy-Maestri и др., PLoS One 2015). Для модели синтеза это значит, что обычная аудитория - валидная тестовая группа для ошибок высоты тона, а не только группа преподавателей вокала.

ПоказательЗначениеИсточник
Порог обнаружения, низкая против высокой музыкальной подготовки (балл подготовки Gold-MSI 10 против 40)65,173 против 43,219 центаLarrouy-Maestri, Harrison и Müllensiefen, Behavior Research Methods 2019
Правильное обнаружение расстройки, наименьший против наибольшего проверенного сдвига (от 10 до 100 центов, случайное угадывание = 50%)от 51,2% до 81,5%Larrouy-Maestri, Harrison и Müllensiefen, Behavior Research Methods 2019
Корреляция с измеренным отклонением по интервалу: 3 судьи-эксперта против судей-неспециалистовоколо 0,83 против около 0,79Larrouy-Maestri и др., PLoS One 2015
Среднее отклонение по интервалу в 166 оценённых исполнениях «С днём рождения»55,97 цента (диапазон от 10,10 до 383)Larrouy-Maestri и др., PLoS One 2015
Корреляция между различением высоты тона и воспроизведением высоты тона, 632 добровольцаr(630) = -.31, p < 0,001Pfordresher и Demorest, JRME 2021

Самые свежие доступные данные: Larrouy-Maestri, Harrison и Müllensiefen, 2019. Тест сдвигал всю вокальную дорожку на постоянную величину, поэтому он измеряет терпимость к певцу, который фальшивит на протяжении всего исполнения, а не к ошибкам, меняющимся от ноты к ноте, что авторы оставляют для будущих работ.

3. Объективные метрики высоты тона: что измеряют работы по SVS

Работы по синтезу певческого голоса (SVS) оценивают высоту тона с помощью F0 RMSE, среднеквадратичной ошибки между сгенерированной и реальной основной частотой (F0, кривой высоты тона). Ни одна из рассмотренных нами работ по SVS не приводила эту ошибку в центах: в таблицах Opencpop, VISinger 2 и CSSinger единица не указана вовсе, а ACE-Opencpop использует логарифмическую шкалу F0. Исследования с людьми используют центы, поэтому чистого показателя высоты тона «машина против человека» пока не существует.

Числа показывают ранжирование внутри одного эталонного набора. На Opencpop модель Conformer снизила F0 RMSE с 29,99 до 26,72 по сравнению с базовой моделью Transformer (Wang и др., статья Opencpop, Interspeech 2022), а VISinger 2 достиг 26,0 при 25,7 млн параметров против 137,5 млн у CpopSing (Zhang и др., статья VISinger 2, 2022). Точность по полутонам, выраженная в процентах, - ближайшая к человеческой оценке метрика, хотя в статье ACE-Opencpop её формула не раскрывается.

ПоказательЗначениеИсточник
F0 RMSE на тестовой выборке Opencpop, базовая модель Transformer против Conformer (единица не указана)29,99 против 26,72Wang и др., статья Opencpop, Interspeech 2022
Корреляция F0 с настоящим певцом, базовые модели Opencpopот 0,893 до 0,904Wang и др., статья Opencpop, Interspeech 2022
F0 RMSE при 22 кГц: VISinger 2 против VISinger против CpopSing26,0 против 33,7 против 28,5Zhang и др., статья VISinger 2, 2022
Размер модели: VISinger 2 против CpopSing25,7 млн против 137,5 млн параметровZhang и др., статья VISinger 2, 2022
Точность по полутонам VISinger2: китайский ACE-Opencpop против японского корпуса Kiritan65,19% против 49,33%Shi и др., статья ACE-Opencpop, 2024
F0 RMSE, корреляция F0 и ошибка вокализованных/невокализованных участков у CSSinger-FS на Opencpop28,601, 0,919 и 0,107Cui и др., CSSinger 2024
F0 RMSE на ACE-Opencpop: SVS на основе речевой языковой модели против TokSing против XiaoiceSing62,79 против 55,83 против 71,67Zhao и др., статья о SVS на основе речевой языковой модели, 2025

Ошибка вокализации показывает, как часто модель путает вокализованный звук (голосовые связки колеблются, поэтому высота тона существует) с невокализованным. Разброс точности по полутонам от 49,33% до 65,19% для одной и той же архитектуры говорит о сильной зависимости оценки от корпуса, поэтому результаты на разных корпусах нельзя ранжировать друг относительно друга.

4. Естественность: разрыв MOS между синтетическим и настоящим пением

MOS - это средняя оценка, которую группа слушателей ставит по шкале от 1 до 5, и в каждой из рассмотренных здесь работ наряду с моделями проверялись настоящие записи. В пяти эталонных работах разрыв между лучшей моделью и настоящим пением составил от 0,45 до 0,81 балла MOS (4,30 минус 3,85 на PopCS, 4,51 минус 3,70 на Opencpop). Синтез речи сообщал о паритете с записями на ряде эталонных тестов; пение пока отстаёт примерно на полбалла и более.

Новейшие работы без обучающих примеров целевого голоса сокращают этот разрыв. Это означает, что модель поёт голосом, которого ни разу не слышала при обучении. CoMelSinger, пересмотренный в апреле 2026 года, приблизился к настоящим записям на 0,24 балла естественности для певцов, которых никогда не слышал (4,35 минус 4,11), что стало наименьшим разрывом в этом наборе (Zhao и др., CoMelSinger 2026). Группы слушателей при этом невелики, часто от 10 до 20 человек, поэтому преимущество в 0,1 балла редко бывает решающим.

ПоказательЗначениеИсточник
MOS на Opencpop: лучшая базовая модель (CpopSing) против записей3,70 против 4,51Wang и др., статья Opencpop, Interspeech 2022
MOS на PopCS: DiffSinger против записей3,85 против 4,30Liu и др., DiffSinger, AAAI 2022
MOS качества звука на M4Singer: DiffSinger против записей3,92 против 4,52Zhang и др., M4Singer, NeurIPS 2022
MOS при 44,1 кГц: VISinger 2 против записей3,81 против 4,32Zhang и др., статья VISinger 2, 2022
MOS качества звука на GTSinger: StyleSinger против записей4,01 против 4,54Zhang и др., GTSinger, NeurIPS 2024
MOS естественности, певцы, известные при обучении: CoMelSinger против записей4,02 против 4,38Zhao и др., CoMelSinger 2026
MOS естественности, неизвестные при обучении певцы (без обучающих примеров): CoMelSinger против записей4,11 против 4,35Zhao и др., CoMelSinger 2026

Самые свежие доступные данные по этим корпусам: строки Opencpop, PopCS, M4Singer и VISinger 2 относятся к 2022 году, поэтому они задают исходный уровень для каждого корпуса, а не нынешний передовой рубеж. Более широкие данные о распространении ИИ-инструментов для музыки приведены в нашей статистике генерации музыки с помощью ИИ.

5. Где важна высота тона: что меняется, когда модель верно воспроизводит F0

Самый чистый тест передаёт модели настоящую кривую высоты тона певца и измеряет, что улучшается. Когда DiffSinger получил настоящий F0, его MOS просодии вырос на 0,30 балла (с 3,72 до 4,02), тогда как качество звука выросло лишь на 0,05 (с 3,92 до 3,97) (Zhang и др., M4Singer, NeurIPS 2022). Просодия здесь означает связность и естественность мелодической подачи. Более точная высота тона закрывает часть этого разрыва, но даже с настоящим F0 обе оценки остаются ниже записей (4,47 и 4,52), так что высота тона - лишь одно из нескольких ограничений.

Динамические приёмы даются тяжелее всего. В Singing Voice Conversion Challenge 2025, задаче конверсии, а не синтеза по нотам, стили, которые организаторы описывают как имеющие сильные динамические компоненты (придыхание, глиссандо, вибрато), получили наименьшую точность стиля, тогда как преимущественно статичные, такие как фальцет, получили наибольшую (аналитическая статья SVCC 2025).

ПоказательЗначениеИсточник
Средняя абсолютная ошибка F0 и точность вокализованных/невокализованных участков, DiffSinger с предсказанным против настоящего F08,9990 против 1,7061; 0,9406 против 0,9856Zhang и др., M4Singer, NeurIPS 2022
MOS VISinger 2, полная модель против модели без DSP-синтезатора3,96 против 3,02Zhang и др., статья VISinger 2, 2022
MOS VISinger 2 без вспомогательного модуля мел-спектра3,85Zhang и др., статья VISinger 2, 2022
Точность стиля в SVCC 2025: придыхание, глиссандо, вибрато37,3%, 42,6%, 43,9%Аналитическая статья SVCC 2025
Точность стиля в SVCC 2025: фарингальный, микст, фальцет44,8%, 48,3%, 48,8%Аналитическая статья SVCC 2025

Авторы Opencpop сообщили, что их базовые модели показали ограниченные возможности на редких высотах тона в длинном хвосте обучающего распределения, и корпус одного певца затрудняет преодоление этого ограничения.

6. Обучающие данные: часы пения за моделями

Модели пения по-прежнему учатся на одно- или двузначном числе часов записанного пения. Корпус Opencpop, на котором держится значительная часть литературы по SVS на китайском языке, содержит около 5,2 часа пения одной профессиональной певицы (Wang и др., статья Opencpop, Interspeech 2022). Записанные корпуса, такие как Opencpop и M4Singer, требуют вручную размечать границы нот и нотные партитуры, поэтому объём данных реального пения растёт медленно.

Обходной путь - синтетические данные. ACE-Opencpop получен из партитур Opencpop и синтезирован с помощью певческого синтезатора ACE Studio с ручной настройкой контуров высоты тона, дыхания и вибрато, что дало 128,9 часа, а предварительное обучение на нём подняло точность по полутонам VISinger2 на настоящем Opencpop с 64,50% до 65,18% (Shi и др., статья ACE-Opencpop, 2024). Предварительное обучение на настоящем корпусе M4Singer, напротив, снизило её до 60,54%. ACE-Opencpop использует те же песни, что и целевой корпус, поэтому этот результат говорит больше о соответствии цели, чем о самом числе часов.

ПоказательЗначениеИсточник
Opencpop: 1 профессиональная певица, 100 песеноколо 5,2 часа, 3 756 высказыванийWang и др., статья Opencpop, Interspeech 2022
M4Singer: 20 профессиональных певцов (10 мужчин, 10 женщин), 700 песен29,77 часа, 20 942 высказыванияZhang и др., M4Singer, NeurIPS 2022
GTSinger: 20 профессиональных певцов, 9 языков, 6 приёмов80,59 часа пения плюс 16,16 часа парной речиZhang и др., GTSinger, NeurIPS 2024
Синтезированные корпуса ACE-Opencpop и ACE-KiSing128,9 часа (30 голосов) и 32,5 часа (34 голоса)Shi и др., статья ACE-Opencpop, 2024
Точность по полутонам VISinger2 на Opencpop: без предварительного обучения против ACE-Opencpop против предварительного обучения на M4Singer64,50% против 65,18% против 60,54%Shi и др., статья ACE-Opencpop, 2024
VISinger2 на KiSing, обучение только на нём против добавления ACE-KiSing: точность по полутонам и MOSс 68,12% до 72,51%; с 3,58 до 3,83Shi и др., статья ACE-Opencpop, 2024
Настоящее пение, собранное из 8 публичных корпусов для эталонного набора CtrSVDD47,64 часаZang и др., CtrSVDD 2024

Девять языков GTSinger - китайский, английский, японский, корейский, русский, испанский, французский, немецкий и итальянский, а его шесть размеченных приёмов - микст, фальцет, придыхание, фарингальный звук, вибрато и глиссандо, те же шесть стилей, которые оценивались в разделе 5.

7. Методы оценки и эталонные наборы: как получают оценки

Нормой остаются небольшие группы слушателей. В Opencpop на каждый клип приходилось 20 слушателей, в тесте VISinger 2 было десять слушателей на 30 сегментах, а в тесте ACE-Opencpop 30 слушателей на 30 образцах на систему. Записи Opencpop получили 4,22 MOS в одном тесте и 4,77 в другом внутри одной работы 2024 года (Cui и др., CSSinger 2024), и этот разброс в 0,55 балла больше многих разрывов между моделями.

Автоматические оценщики помогают на уровне систем, но не на уровне отдельных клипов. Лучший предсказатель MOS на SingMOS-Pro достиг линейной корреляции 0,88 при ранжировании систем, но лишь 0,58 на отдельных клипах (статья об эталонном наборе SingMOS-Pro, 2026). Обнаружение продвинулось дальше: на контролируемых данных лучшая команда SVDD 2024 снизила равный уровень ошибок до 1,65% (Zhang и др., статья конкурса SVDD 2024), эта тема рассмотрена в нашей статистике криминалистики и обнаружения аудиодипфейков.

ПоказательЗначениеИсточник
Размер SingMOS-Pro7 981 клип, 44 247 оценок, 78 разметчиков, 11,15 часаСтатья об эталонном наборе SingMOS-Pro, 2026
Оценённые в SingMOS-Pro системы (синтез, конверсия, ресинтез, эталонные записи)141 (60, 17, 52 и 12)Статья об эталонном наборе SingMOS-Pro, 2026
Лучший автоматический предсказатель MOS, линейная корреляция на уровне систем против уровня клипов0,88 против 0,58Статья об эталонном наборе SingMOS-Pro, 2026
Заявки и слушатели SVCC 202326 заявок (включая 2 базовые модели); 40 англоязычных и 319 японоязычных слушателейHuang и др., статья SVCC 2023
Корреляция Спирмена предсказателя UTMOS с MOS естественности SVCC 2023 (Задача 1, японоязычные слушатели)0,77Huang и др., статья SVCC 2023
Естественность в SVCC 2025, лучшие системы против настоящего пенияоколо 3,7 против около 3,9Аналитическая статья SVCC 2025
CtrSVDD, настоящее пение против дипфейк-пения, 14 методов генерации, 164 идентичности певцов47,64 против 260,34 часаZang и др., CtrSVDD 2024
Равный уровень ошибок на SVDD 2024: лучшая команда против базовых моделей; команды, превзошедшие обе базовые модели1,65% против 11,16% и 12,03%; 37 из 47Zhang и др., статья конкурса SVDD 2024

Контекст: в SVCC 2023 лучшие системы в обеих задачах были признаны не отличающимися значимо от естественных образцов по естественности, тогда как в SVCC 2025, где оценивался и стиль пения, ни одна система не достигла человеческого уровня естественности. Анализ делает вывод, что моделирование стиля пения остаётся сложной задачей.

Итоги: точность высоты тона и естественность синтеза певческого голоса в цифрах

ПоказательЗначениеИсточник
Медианная ошибка по ноте, 24 взрослых певца без аккомпанемента19 центовMauch, Frieler и Dixon, JASA 2014
Точно воспроизводящие высоту тона в выборке из 1 046 человек37%Pfordresher и Demorest, JRME 2021
Пение, признанное точным по более мягкому критерию в 100 центов94%Pfordresher и Demorest, JRME 2021
Плохо интонирующие певцы-любители (критерий 2 стандартных отклонений)28% (14 из 50)Berkowska и Dalla Bella, Frontiers in Psychology 2013
Сдвиг высоты тона, соответствующий способности обнаружения у медианного слушателя54,989 центаLarrouy-Maestri, Harrison и Müllensiefen, Behavior Research Methods 2019
Лучшая базовая модель Opencpop против записей, MOS3,70 против 4,51Wang и др., статья Opencpop, Interspeech 2022
VISinger 2 против записей при 44,1 кГц, MOS3,81 против 4,32Zhang и др., статья VISinger 2, 2022
CoMelSinger против записей, MOS естественности для неизвестных при обучении певцов4,11 против 4,35Zhao и др., CoMelSinger 2026
Прирост MOS просодии против прироста MOS качества звука от настоящего F0 (DiffSinger)+0,30 против +0,05Zhang и др., M4Singer, NeurIPS 2022
MOS VISinger 2 без DSP-синтезатора3,02 (против 3,96)Zhang и др., статья VISinger 2, 2022
Точность по полутонам VISinger2, ACE-Opencpop против Kiritan65,19% против 49,33%Shi и др., статья ACE-Opencpop, 2024
Точность стиля в SVCC 2025 для вибрато43,9%Аналитическая статья SVCC 2025
Размер корпуса GTSinger80,59 часа, 20 певцов, 9 языковZhang и др., GTSinger, NeurIPS 2024
Размер синтезированного корпуса ACE-Opencpop128,9 часа, 30 голосовShi и др., статья ACE-Opencpop, 2024
Записи Opencpop, оценённые в двух отдельных тестах внутри одной работы, MOS4,22 против 4,77Cui и др., CSSinger 2024
Оценки, собранные в SingMOS-Pro44 247 от 78 разметчиковСтатья об эталонном наборе SingMOS-Pro, 2026
Лучший равный уровень ошибок SVDD 20241,65%Zhang и др., статья конкурса SVDD 2024

Методология и источники

Последнее обновление: 31 октября 2026 года. Мы обновляем этот обзор ежеквартально, и следующее обновление ожидается после публикации трудов конференции ICASSP 2027 и результатов следующего конкурса Singing Voice Conversion Challenge.

Попробуй VoxBooster — 3 дня бесплатно.

Клонирование голоса в реальном времени, саундборд и эффекты — везде, где ты говоришь.

  • Без карты
  • ~30 мс задержки
  • Discord · Teams · OBS
Попробовать 3 дня бесплатно