Статистика частоты ошибок диаризации дикторов (DER) (2026): более 50 показателей о перекрывающейся речи, рекордах бенчмарков и разрывах между доменами

Статистика ошибок диаризации 2026: DER на CALLHOME растёт с 8,50% при 2 дикторах до 40,29% при 6, плюс DIHARD, VoxSRC, AMI и клинические бенчмарки.

На телефонном бенчмарке CALLHOME одна и та же сквозная система диаризации, которая показывает 8,50% DER на звонках с двумя дикторами, показывает 40,29% на звонках с шестью (Horiguchi и др., EEND-EDA, Interspeech 2020). Диаризация дикторов - это шаг «кто и когда говорил»: она делит запись на участки и помечает каждый диктором до транскрипции или вместе с ней. На отобранных бенчмарках она быстро улучшалась: медианный DER в DIHARD, трек 1, снизился с более чем 30% в DIHARD I до менее 20% в DIHARD III (Ryant и др., Третье соревнование DIHARD 2021), но аудио званого ужина всё равно дало базовый DER 62,0% в CHiME-6 (Watanabe и др., обзор соревнования CHiME-6 2020). Мы собрали данные организаторов соревнований DIHARD и VoxSRC, соревнований CHiME-6, NOTSOFAR-1 и DISPLACE, бенчмарка диаризации ETH Zurich 2025 года, Брненского технического университета, карточек моделей проекта pyannote и рецензируемых клинических исследований. О стороне того же конвейера на уровне слов читайте в нашем обзоре смещения распознавания речи по акценту и частоты ошибок в словах.

Замечание о том, как читать каждое число ниже: DER (частота ошибок диаризации) тем лучше, чем ниже, и сопоставим только тогда, когда два результата получены на одном бенчмарке, с одним и тем же окном допуска (collar - короткое окно без оценки вокруг каждой смены диктора) и по одному правилу для перекрывающейся речи. Каждая таблица указывает схему оценки, если источник её приводит.

Кратко (TL;DR)

  • DER на CALLHOME растёт с 8,50% при 2 дикторах до 40,29% при 6 дикторах у одной и той же системы (Horiguchi и др., Interspeech 2020).
  • Медианный DER в DIHARD, трек 1, снизился с более чем 30% (DIHARD I) до 25% (DIHARD II) и менее 20% (DIHARD III) (Ryant и др., Третье соревнование DIHARD 2021).
  • Победители VoxSRC показали 3,71% DER в 2020 году и 4,30% в 2023 году на аудио с YouTube, примерно вдвое лучше базовой системы каждый год (Huh и др., ретроспектива VoxSRC, IEEE TASLP 2024).
  • Отказ от окна допуска 0,25 с повышает DER на AMI с 9,8% до 15,4% у той же системы (Han и др., Брненский технический университет 2024).
  • Более 33% ошибок на данных совещаний NIST с одним микрофоном приходятся на интервал в пределах 0,5 с от смены диктора (Knox, UC Berkeley 2013).
  • В среднем от 12% до 15% речи в записях совещаний перекрывается (Park и др., Computer Speech and Language 2022).
  • Диалоги врача и пациента в среднем дали 33,38% DER против 15,18% для обычных разговоров по восьми системам (Okocha и др., 2025).
  • Базовая система CHiME-6 на званом ужине показала 62,0% DER на оценочном наборе (Watanabe и др., обзор CHiME-6 2020).
  • Лучшая система для совещаний в NOTSOFAR-1 снизила частоту ошибок в словах с привязкой к дикторам до 10,8% с базовых 28,3% (Abramovski и др., сводка NOTSOFAR-1 2025).
  • Самая быстрая модель в бенчмарке 2025 года обработала аудио в 214,3 раза быстрее реального времени (Lanzendoerfer и др., ETH Zurich 2025).

1. Что измеряет DER и почему схема оценки сдвигает число

DER складывает три вида времени и делит на общий объём эталонной речи: пропущенная речь (кто-то говорил, система услышала тишину), ложная тревога (система пометила речь там, где её не было) и путаница дикторов (речь обнаружена, но приписана не тому человеку). Карточка модели pyannote 3.1 наглядно показывает арифметику: на аудио гарнитур из AMI её DER 18,8% складывается из 3,6% ложных тревог, 9,5% пропущенной речи и 5,7% путаницы.

Более серьёзная ловушка - окно допуска (collar). Со времён оценок NIST Rich Transcription большинство работ игнорирует 0,25 с с каждой стороны от каждой эталонной границы, потому что аннотаторы-люди редко сходятся в точной миллисекунде начала реплики. Этот единственный выбор убирает 5,6 пункта, или 36% значения без окна допуска: одна и та же система Брненского технического университета показывает 15,4% на AMI без окна допуска и 9,8% с ним (Han и др., 2024). Прощаемая зона - ровно то место, где системы ошибаются чаще всего, поскольку треть или больше всех ошибок находится в пределах полусекунды от смены диктора (Knox, технический отчёт UC Berkeley 2013).

ПоказательЗначениеИсточник
Стандартное окно допуска без оценки вокруг каждой эталонной границы сегмента (оценка в стиле RT)0,25 с, описывается как самая распространённая схемаPark и др., Computer Speech and Language 2022
Правило оценки в DIHARD и CHiME-6Без окна допуска, перекрывающаяся речь учитываетсяPark и др., Computer Speech and Language 2022
DER на AMI, система BUT на основе WavLM, без окна допуска и с окном 0,25 с15,4% и 9,8%Han и др., Брненский технический университет 2024
DER на AliMeeting, та же система, без окна допуска и с окном 0,25 с17,6% и 10,2%Han и др., Брненский технический университет 2024
DER на AMI, базовая система pyannote 3, без окна допуска и с окном 0,25 с21,1% и 13,7%Han и др., Брненский технический университет 2024
Доля ошибок в пределах 0,5 с от смены диктора, совещания NIST RT-09, один удалённый микрофон и несколькоБолее 33% и 40%Knox, UC Berkeley 2013
DER на AMI при смешении гарнитур, pyannote 3.1, разбивка на ложные тревоги + пропуски + путаницу18,8% = 3,6% + 9,5% + 5,7% (по данным проекта)pyannote, карточка модели speaker-diarization-3.1

Контекст: разбор ошибок из Беркли - самые свежие доступные данные о положении ошибок (Knox, UC Berkeley 2013). Бенчмарк ETH 2025 года указывает в ту же сторону: пропущенная речь была преобладающим типом ошибок у большинства моделей, а авторы объясняют пропущенные сегменты, в среднем около 350 мс, временем начала и окончания речи, а не тем, что целые реплики остались неуслышанными (Lanzendoerfer и др., Сравнительная оценка моделей диаризации 2025).

2. Передовой уровень по бенчмаркам и как быстро падал DER

Прогресс реален, но привязан к конкретному бенчмарку. В DIHARD, намеренно сложной смеси из 11 доменов, медианный DER трека 1 снизился с более чем 30% до менее 20% за три выпуска (Ryant и др., Третье соревнование по диаризации DIHARD 2021). Трек 1 (категория соревнования) выдаёт системам истинные области речи; трек 2 заставляет их находить речь самостоятельно, поэтому его числа выше.

На аудио с YouTube в стиле вещания победители VoxSRC находятся около 4%, примерно вдвое лучше базовой системы организаторов каждый год (Huh и др., Соревнование VoxCeleb по распознаванию дикторов: ретроспектива, IEEE TASLP 2024). Победители 2020 и 2023 годов, однако, не образуют временного ряда: тестовый набор вырос с 232 до 413 файлов, так что чуть более высокое значение в 2023 году не означает, что область пошла назад.

ПоказательЗначениеИсточник
Медианный DER DIHARD, трек 1 (истинные области речи заданы), DIHARD I, II и IIIБолее 30%, 25% и менее 20%Ryant и др., Третье соревнование DIHARD 2021
Медианный DER DIHARD, трек 2 (система сама обнаруживает речь), DIHARD I и III40% и менее 25%Ryant и др., Третье соревнование DIHARD 2021
Победитель DIHARD III (USTC-NELSLIP), основной оценочный набор, трек 1 и трек 213,45% и 19,37% (без окна допуска, перекрытие учитывается)Результаты соревнования DIHARD III
Трек диаризации VoxSRC, тестовый набор 2020, победитель и базовая система3,71% и 8,15% (окно допуска 0,25 с, перекрытие учитывается)Huh и др., ретроспектива VoxSRC 2024
Трек диаризации VoxSRC, тестовый набор 2023, победитель и базовая система4,30% и 8,54% (окно допуска 0,25 с, перекрытие учитывается)Huh и др., ретроспектива VoxSRC 2024
DER на CALLHOME, все звонки, сквозная EEND-EDA и кластеризация x-векторов15,29% и 19,43% (окно допуска 0,25 с)Horiguchi и др., Interspeech 2020
Средний DER системы ICSI на совещаниях NIST RT-09, один удалённый микрофон31,3%Sinclair и King, Эдинбургский университет 2013

Контекст: DER победителя DIHARD III на полном оценочном наборе составил 11,3% в треке 1 и 16,78% в треке 2 против базовых 20,65% и 27,34% на основном наборе (результаты соревнования DIHARD III). Значение RT-09 - самые свежие доступные данные для этой оценки (Sinclair и King, В чём проблемы диаризации дикторов? 2013), и оно получено на других данных и в другую эпоху, чем DIHARD, поэтому его нельзя читать как прямое сравнение «до и после».

3. Перекрывающаяся речь и число дикторов: два главных фактора DER

Перекрытие - не редкий случай. В среднем от 12% до 15% речи в записях совещаний перекрывается, а обзор, собравший это число, отмечает, что в повседневной беседе оно может быть ещё выше (Park и др., Обзор диаризации дикторов, Computer Speech and Language 2022). Более старые конвейеры кластеризации назначают каждому моменту ровно одного диктора, поэтому при перекрытии двух человек как минимум половина оцениваемого времени ошибочна ещё до любой другой ошибки.

Число дикторов усугубляет проблему. На CALLHOME та же модель EEND-EDA идёт от 8,50% DER на звонках с двумя дикторами до 40,29% на звонках с шестью (Horiguchi и др., EEND-EDA, Interspeech 2020), а модели с жёстким пределом числа дикторов платят дважды: семейство Sortformer, ограниченное четырьмя дикторами, показало больше путаницы дикторов на многолюдных записях в бенчмарке ETH. Запись несколькими микрофонами помогает, как показывают результаты по совещаниям NOTSOFAR-1 в разделе 5, и эта же закономерность видна в наших данных о формировании диаграммы направленности в дальнем поле и точности слова активации.

ПоказательЗначениеИсточник
Средняя доля перекрывающейся речи в записях совещанийот 12% до 15%Park и др., Computer Speech and Language 2022
Средняя доля перекрытия: AliMeeting, AMI, CALLHOME и VoxConverse19%, 15,94%, 12,58% и 3,52%Lanzendoerfer и др., ETH Zurich 2025
DER на CALLHOME, EEND-EDA, звонки с 2, 3 и 4 дикторами8,50%, 13,24% и 21,46%Horiguchi и др., Interspeech 2020
DER на CALLHOME, EEND-EDA, звонки с 5 и 6 дикторами33,16% и 40,29%Horiguchi и др., Interspeech 2020
DER на CALLHOME, кластеризация x-векторов, звонки с 2 и 6 дикторами15,45% и 34,27%Horiguchi и др., Interspeech 2020
DER на записях с 4 дикторами: Sortformer (предел 4 диктора) и DiariZen21,3% и 12,7% (окно допуска 0,25 с, перекрытие учитывается)Lanzendoerfer и др., ETH Zurich 2025
Среднее число дикторов на запись, тестовый набор VoxSRC 20206,5 диктора при средней длительности 675,6 сHuh и др., ретроспектива VoxSRC 2024

Контекст: одно лишь число дикторов не определяет результат. В бенчмарке ETH лучшая система показала 6,6% на записях с 5 и более дикторами, но 10,1% на записях с 4, что напоминает: перекрытие и условия записи важны не меньше числа людей. Результаты CALLHOME для 5 и 6 дикторов к тому же опираются на малое число файлов: авторы EEND-EDA отмечают, что в CALLHOME всего десять записей с более чем четырьмя дикторами.

4. Разрывы между доменами: клиническое, детское, многоязычное аудио и аудио в реальных условиях

Модель, настроенная на совещания и телефонные звонки, не переносит свою точность в клинику, семейный дом или онлайн-видео. По восьми системам диаризации диалоги врача и пациента в среднем дали 33,38% DER против 15,18% для обычных разговоров, разрыв в 18,20 процентного пункта (парный t-тест p < 10⁻⁴), и большую часть клинического штрафа вызвали ложные тревоги (Okocha и др., Диаризация дикторов с учётом домена для английского с африканским акцентом 2025). Дообучение на речи с акцентом вдвое снизило ошибку одной открытой модели, но клинический разрыв сократился, а не исчез.

Дети - отдельный рубеж. В исследовании BabyHuBERT многочасовые записи, ориентированные на ребёнка, оцениваются по типам дикторов (ребёнок-носитель записи, другие дети, взрослые мужчины, взрослые женщины) с помощью показателя F1, где больше - лучше, и лучшая модель 2026 года всё ещё уступает второму аннотатору-человеку (Charlot и др., BabyHuBERT 2026). DIHARD III указал на ту же слабость, выделив детей в клинических интервью как особую сложность.

ПоказательЗначениеИсточник
Медианный DER DIHARD III, трек 1, домены совещаний, веб-видео и ресторанаот 35% до 45%Ryant и др., Третье соревнование DIHARD 2021
DER DIHARD III, клинические интервью и телефонная речь, трек 1 и трек 2Как правило, от 10% до 20% и от 15% до 25%Ryant и др., Третье соревнование DIHARD 2021
Средний DER по 8 системам, диалоги врача и пациента и обычные диалоги на английском с африканским акцентом33,38% и 15,18% (без окна допуска, перекрытие учитывается)Okocha и др., 2025
DER pyannote до и после дообучения на речи с африканским акцентом, медицинские диалоги31,46% и 15,73%Okocha и др., 2025
Записи, ориентированные на ребёнка, средний F1 по типам дикторов: LENA, BabyHuBERT-VTC и второй аннотатор-человек40,8%, 65,1% и 69,8% (больше - лучше)Charlot и др., BabyHuBERT 2026
DER на видеобенчмарках в реальных условиях Ego4D (отладочный набор) и AVA-AVD, pyannote community-146,8% и 44,6% (по данным проекта, без окна допуска)pyannote, карточка модели community-1 2025
DER по языкам на наборах данных бенчмарка ETH, лучшая система (pyannoteAI), испанский и английский14,3% и 6,6%Lanzendoerfer и др., ETH Zurich 2025
Многоязычные индийские разговоры (DISPLACE), DER лучшей команды на тех же оценочных данных, 2023 и 202427,8% и 21,27%Kalluri и др., Второе соревнование DISPLACE 2024

Контекст: данные DISPLACE охватывают 9 индийских языков и индийский английский, по 3-5 участников на сессию (Kalluri и др., Второе соревнование DISPLACE 2024). Авторы ETH связывают языковой разрыв с нехваткой данных по некоторым языкам и называют испанский самым трудным из пяти проверенных.

5. Реальное применение: совещания, колл-центры и клиники

В производственной эксплуатации ошибки диаризации проявляются как строки транскрипта, приписанные не тому человеку, поэтому исследования совещаний и медицинские исследования часто приводят метрики на уровне слов. Ниже встречаются две: tcpWER - частота ошибок в словах, которая учитывает и слова, приписанные не тому диктору в пределах временного окна, и WDER - доля слов, получивших неверную метку диктора. Одна из самых трудных когда-либо оценённых ситуаций - званый ужин: базовая система CHiME-6 показала 62,0% DER на своём оценочном наборе, а организаторы относят около 15% абсолютного разрыва в частоте ошибок в словах между своими треками главным образом на счёт диаризации (Watanabe и др., обзор соревнования CHiME-6 2020).

Офисные совещания поддаются лучше. В NOTSOFAR-1, собранном из 315 реальных совещаний по 4-8 участников в 30 обстановках, лучшая многоканальная система достигла 10,8% tcpWER (Abramovski и др., Сводка соревнования NOTSOFAR-1, Computer Speech and Language 2025). У юридической транскрипции свои требования к разметке дикторов, о них рассказано в нашей статистике точности транскрипции речи в зале суда, а текстовые ошибки, накладывающиеся на ошибки дикторов, разобраны в наших данных о галлюцинациях при распознавании речи.

ПоказательЗначениеИсточник
Базовый DER CHiME-6 на званом ужине, отладочный и оценочный набор61,6% и 62,0%Watanabe и др., обзор CHiME-6 2020
Разрыв в частоте ошибок в словах между треками CHiME-6, объясняемый главным образом диаризациейОколо 15% абсолютныхWatanabe и др., обзор CHiME-6 2020
Транскрипция совещаний NOTSOFAR-1, tcpWER лучшей системы и базовой, многоканальная10,8% и 28,3%Abramovski и др., сводка NOTSOFAR-1 2025
Транскрипция совещаний NOTSOFAR-1, tcpWER лучшей системы и базовой, одноканальная22,2% и 41,4%Abramovski и др., сводка NOTSOFAR-1 2025
DER на телефонных звонках CALLHOME, открытая community-1 и коммерческая precision-226,7% и 16,6% (по данным поставщика, без окна допуска)pyannote, карточка модели community-1 2025
WDER у четырёх коммерческих речевых моделей, 36 разговоров в первичной медико-санитарной помощиот 1,8% до 13,9%Tran и др., AMIA Annual Symposium 2022
WDER на разговорах врача и пациента, обычный конвейер и совместная модель распознавания и диаризации15,8% и 2,2%El Shafey и др., Interspeech 2019

Контекст: записи первичной медико-санитарной помощи были разыграны двумя носителями английского языка в тихой студии, поэтому авторы называют свои значения вероятной верхней границей для реальных клиник (Tran и др., AMIA Annual Symposium Proceedings 2022). Результат совместной модели - самые свежие доступные данные по непубличному корпусу (El Shafey и др., Interspeech 2019). Значение precision-2 - собственное утверждение поставщика о его коммерческой модели.

6. Скорость, открытые модели и масштаб исследований

Точность - лишь половина решения о внедрении. Самая быстрая система в бенчмарке ETH работала в 214,3 раза быстрее реального времени, более чем в десять раз быстрее открытой модели DiariZen, которая работала в 20,2 раза быстрее реального времени и показала 13,3% DER в целом (Lanzendoerfer и др., ETH Zurich 2025). Этот компромисс гораздо важнее для субтитров в прямом эфире, чем для ночной пакетной обработки.

Открытые модели широко используются. Конвейеры pyannote показывают миллионы загрузок в месяц, а собственный бенчмарк проекта за сентябрь 2025 года сообщает меньший DER для нынешнего открытого выпуска, чем для прежнего, на большинстве наборов данных, при этом коммерческий уровень опережает оба (pyannote, карточка модели speaker-diarization-community-1). Считайте эти значения данными проекта: их получает та же команда, которая выпускает модели.

ПоказательЗначениеИсточник
Коэффициент реального времени (длительность аудио, делённая на время обработки), Sortformer v2 и потоковый Sortformer v2214,3× и 209,5×Lanzendoerfer и др., ETH Zurich 2025
Коэффициент реального времени, открытая pyannote и DiariZen45,0× и 20,2×Lanzendoerfer и др., ETH Zurich 2025
Общий DER по бенчмарку ETH, pyannoteAI и DiariZen11,2% и 13,3% (окно допуска 0,25 с, перекрытие учитывается)Lanzendoerfer и др., ETH Zurich 2025
DER на DIHARD 3 (полный набор), pyannote 3.1, community-1 и precision-221,4%, 20,2% и 14,7% (по данным проекта и поставщика, без окна допуска)pyannote, карточка модели community-1 2025
Загрузок в месяц на Hugging Face, pyannote speaker-diarization-3.1 и community-16 886 119 и 5 051 937 (просмотрено в октябре 2026 года)Страницы моделей Hugging Face
Смоделированные обучающие данные NOTSOFAR-1, выданные участникамОколо 1 000 часовAbramovski и др., сводка NOTSOFAR-1 2025
Объём AMI Meeting Corpus100 часов, около двух третей - разыгранные по ролям совещания по дизайнуЭдинбургский университет, AMI Meeting Corpus

Контекст: AMI Meeting Corpus, по-прежнему базовый бенчмарк диаризации, синхронно записывает микрофоны ближнего и дальнего поля (Эдинбургский университет, AMI Meeting Corpus). Бенчмарк ETH не смог измерить скорость pyannoteAI, потому что был доступен только API.

Итоги: частота ошибок диаризации дикторов в цифрах

ПоказательЗначениеИсточник
DER на CALLHOME, EEND-EDA, 2 и 6 дикторов (окно допуска 0,25 с)8,50% и 40,29%Horiguchi и др., Interspeech 2020
DER на CALLHOME, EEND-EDA и кластеризация x-векторов, все звонки15,29% и 19,43%Horiguchi и др., Interspeech 2020
Медианный DER DIHARD, трек 1, DIHARD I и IIIБолее 30% и менее 20%Ryant и др., Третье соревнование DIHARD 2021
Победитель DIHARD III, основной оценочный набор, трек 1 и трек 213,45% и 19,37%Результаты соревнования DIHARD III
Победитель VoxSRC и базовая система, тестовый набор 20234,30% и 8,54%Huh и др., ретроспектива VoxSRC 2024
DER на AMI, та же система, без окна допуска и с окном 0,25 с15,4% и 9,8%Han и др., Брненский технический университет 2024
Ошибки в пределах 0,5 с от смены диктора, NIST RT-09, один удалённый микрофонБолее 33%Knox, UC Berkeley 2013
DER системы ICSI, NIST RT-09, один удалённый микрофон31,3%Sinclair и King, Эдинбургский университет 2013
Доля перекрывающейся речи в записях совещанийот 12% до 15%Park и др., Computer Speech and Language 2022
Доля перекрытия, AliMeeting и AMI19% и 15,94%Lanzendoerfer и др., ETH Zurich 2025
DER диалогов врача и пациента и обычных диалогов, среднее по 8 системам33,38% и 15,18%Okocha и др., 2025
Записи, ориентированные на ребёнка, средний F1, лучшая модель и второй аннотатор-человек65,1% и 69,8%Charlot и др., BabyHuBERT 2026
DER лучшей команды DISPLACE, 2023 и 202427,8% и 21,27%Kalluri и др., Второе соревнование DISPLACE 2024
Базовый DER CHiME-6 на званом ужине, оценочный набор62,0%Watanabe и др., обзор CHiME-6 2020
tcpWER лучшей системы NOTSOFAR-1 и базовой, многоканальная10,8% и 28,3%Abramovski и др., сводка NOTSOFAR-1 2025
Диапазон WDER, четыре коммерческие речевые модели, первичная медико-санитарная помощьот 1,8% до 13,9%Tran и др., AMIA Annual Symposium 2022
Загрузок pyannote 3.1 в месяц на Hugging Face6 886 119Hugging Face, страница модели pyannote speaker-diarization-3.1

Методология и источники

Попробуй VoxBooster — 3 дня бесплатно.

Клонирование голоса в реальном времени, саундборд и эффекты — везде, где ты говоришь.

  • Без карты
  • ~30 мс задержки
  • Discord · Teams · OBS
Попробовать 3 дня бесплатно