Машинный перевод · Оригинал на английском

Бенчмарки разграничения спикеров: Nemotron 3 и Sortformer

Nemotron 3 MLX и CoreML объединяются с более ранними системами диаризации на одном внутреннем наборе из 132 записей на восьми языках. Каждая система получает аудио без указания количества референсных спикеров. Запуск Nemotron 3 охватывает 12.82 часа аудио без неудачных файлов.

Как читать эти цифры

Каждая ячейка — DER (ошибка диаризации), взвешенная по времени с участием референс-спикера с отступом 0,25 с. Чем меньше, тем лучше. Реальные разговоры и синтетические треки — это разные уровни доказательств и их нельзя смешивать.

Экспорты Nemotron 3 в формате INT8

Выполняемые на Apple Silicon runtime используют финальный NVIDIA Nemotron 3 Diarization контрольную точку. Оба запуска использовали автоматическое определение количества говорящих и стандартную постобработку пакета. DER агрегирован по времени референсного говорящего внутри карты оценки каждой записи, включая перекрытия. Точное совпадение количества говорящих составило 85,6% для MLX и 84,8% для CoreML.

ЯзыкФайлыNemotron 3 MLXNemotron 3 CoreMLИсточник Sortformer
Арабский1216.54%18.16%22.32%
Немецкий127.32%7.21%8.38%
Английский4810.31%10.24%13.81%
Испанский1212.56%13.19%16.33%
Мандарин1210.00%9.68%9.95%
Азербайджанский122.53%2.55%5.25%
Швейцарский немецкий1215.72%15.69%21.59%
Русский124.47%4.44%5.35%
Все13210.98%11.20%—

Ранее полученные результаты источника-модели по языкам

Реальная беседа

Аудио с прямой трансляции, по телефону и с совещаний. 96 записей, 12,63 часа.

СистемаАрабскийНемецкийАнглийскийИспанскийМандарин
DER, чем меньше, тем лучше
Speech Cloud API21.02%7.62%13.21%15.92%9.63%
Потоковый Sortformer22.32%8.38%13.81%16.33%9.95%
Sortformer офлайн17.92%8.13%14.34%16.43%10.52%
pyannote Community-115.57%20.22%15.22%22.78%16.19%

Синтетические рельсы

Соединенная речь чтения с очередностью реплик, отобранная из распределений, измеренных на слайсах CallHome. Они обнаруживают грубые сбои домена и ничего более. Не сравнивайте эти числа с таблицей выше.

СистемаАзербайджанскийШвейцарский немецкийРусский
DER, чем меньше, тем лучше
Speech Cloud API4.74%19.33%8.15%
Потоковый Sortformer5.25%21.59%5.35%
Sortformer офлайн5.16%28.03%8.20%
pyannote Community-135.23%45.21%35.26%

Методология и ограничения

Происхождение данных

Срезы немецкого, испанского и мандаринского языков взяты из talkbank/callhome в ревизии 17c8a153 под лицензией CC BY-NC-SA 4.0. Обороты-ссылки — это собственные временные метки корпуса: не используется VAD, кластеризация или идентичность, полученная из эмбеддингов, и перекрытие сохраняется в опубликованном виде. Поскольку эта лицензия запрещает коммерческое использование, эти срезы являются доказательством оценки и не одобрены для обучения.

Запустите сами

Результаты используют тот же набор данных для бенчмарка и оценщик. См. руководство по разделению говорящих для выбора движка, оценки DER и вывода RTTM на Apple Silicon, или полный индекс бенчмарка для строк ASR и TTS, измеренных одинаковым образом.