Машинный перевод · Оригинал на английском
Бенчмарки разграничения спикеров: Nemotron 3 и Sortformer
Nemotron 3 MLX и CoreML объединяются с более ранними системами диаризации на одном внутреннем наборе из 132 записей на восьми языках. Каждая система получает аудио без указания количества референсных спикеров. Запуск Nemotron 3 охватывает 12.82 часа аудио без неудачных файлов.
Каждая ячейка — DER (ошибка диаризации), взвешенная по времени с участием референс-спикера с отступом 0,25 с. Чем меньше, тем лучше. Реальные разговоры и синтетические треки — это разные уровни доказательств и их нельзя смешивать.
Экспорты Nemotron 3 в формате INT8
Выполняемые на Apple Silicon runtime используют финальный NVIDIA Nemotron 3 Diarization контрольную точку. Оба запуска использовали автоматическое определение количества говорящих и стандартную постобработку пакета. DER агрегирован по времени референсного говорящего внутри карты оценки каждой записи, включая перекрытия. Точное совпадение количества говорящих составило 85,6% для MLX и 84,8% для CoreML.
| Язык | Файлы | Nemotron 3 MLX | Nemotron 3 CoreML | Источник Sortformer |
|---|---|---|---|---|
| Арабский | 12 | 16.54% | 18.16% | 22.32% |
| Немецкий | 12 | 7.32% | 7.21% | 8.38% |
| Английский | 48 | 10.31% | 10.24% | 13.81% |
| Испанский | 12 | 12.56% | 13.19% | 16.33% |
| Мандарин | 12 | 10.00% | 9.68% | 9.95% |
| Азербайджанский | 12 | 2.53% | 2.55% | 5.25% |
| Швейцарский немецкий | 12 | 15.72% | 15.69% | 21.59% |
| Русский | 12 | 4.47% | 4.44% | 5.35% |
| Все | 132 | 10.98% | 11.20% | — |
Ранее полученные результаты источника-модели по языкам
Реальная беседа
Аудио с прямой трансляции, по телефону и с совещаний. 96 записей, 12,63 часа.
| Система | Арабский | Немецкий | Английский | Испанский | Мандарин |
|---|---|---|---|---|---|
| DER, чем меньше, тем лучше | |||||
| Speech Cloud API | 21.02% | 7.62% | 13.21% | 15.92% | 9.63% |
| Потоковый Sortformer | 22.32% | 8.38% | 13.81% | 16.33% | 9.95% |
| Sortformer офлайн | 17.92% | 8.13% | 14.34% | 16.43% | 10.52% |
| pyannote Community-1 | 15.57% | 20.22% | 15.22% | 22.78% | 16.19% |
Синтетические рельсы
Соединенная речь чтения с очередностью реплик, отобранная из распределений, измеренных на слайсах CallHome. Они обнаруживают грубые сбои домена и ничего более. Не сравнивайте эти числа с таблицей выше.
| Система | Азербайджанский | Швейцарский немецкий | Русский |
|---|---|---|---|
| DER, чем меньше, тем лучше | |||
| Speech Cloud API | 4.74% | 19.33% | 8.15% |
| Потоковый Sortformer | 5.25% | 21.59% | 5.35% |
| Sortformer офлайн | 5.16% | 28.03% | 8.20% |
| pyannote Community-1 | 35.23% | 45.21% | 35.26% |
Методология и ограничения
- Один оценщик, один набор элементов. Каждая ячейка берется из одного и того же харнесса и одних и тех же зафиксированных отрывков, поэтому две системы никогда не сравниваются с двумя разными эталонами.
- Количество спикеров не указано ни для одного бэкенда.
- Только таймлайны анонимных спикеров. Это результаты диаризации, а не атрибуция спикеров по именам.
- Синтетические рельсы — это не настоящий разговор. Рельсы
az,gswиruбыли перестроены на основе распределений очередности реплик, измеренных из CallHome. Ранние рельсы использовали фиксированный шаблон интервалов, что приводило к 100% частоте смены говорящего, тогда как в реальном разговоре один и тот же говорящий повторяется примерно 16% времени. Это поощряло любого диаризатора, который просто чередует говорящих, и неправильно упорядочило поле на двух языках. - Sortformer ограничивается четырьмя спикерами; 22 из 96 исходных файлов превышают эту вместимость.
Происхождение данных
Срезы немецкого, испанского и мандаринского языков взяты из talkbank/callhome в ревизии 17c8a153 под лицензией CC BY-NC-SA 4.0. Обороты-ссылки — это собственные временные метки корпуса: не используется VAD, кластеризация или идентичность, полученная из эмбеддингов, и перекрытие сохраняется в опубликованном виде. Поскольку эта лицензия запрещает коммерческое использование, эти срезы являются доказательством оценки и не одобрены для обучения.
Запустите сами
Результаты используют тот же набор данных для бенчмарка и оценщик. См. руководство по разделению говорящих для выбора движка, оценки DER и вывода RTTM на Apple Silicon, или полный индекс бенчмарка для строк ASR и TTS, измеренных одинаковым образом.