机器翻译 · 英文原文

说话人分离基准测试:Nemotron 3 和 Sortformer

Nemotron 3 MLX 和 CoreML 与早期的说话人分离系统共同使用相同的内部 132 条录音集,涵盖八种语言。每个系统均接收不含参考说话人数量的音频。Nemotron 3 运行涵盖 12.82 小时音频,无失败文件。

如何解读这些数值

每个单元格是 DER(说话人识别错误率),按参考说话人时间加权,带有 0.25 秒容差。越低越好。真实对话和合成轨道是不同的证据层级,不得跨层级读取。

Nemotron 3 INT8 导出版本

发布的 Apple Silicon 运行时使用最终的NVIDIA Nemotron 3 说话人分离检查点。两次运行均使用自动说话人数统计和软件包默认的后期处理。DER 按每条录音评估图中参考说话人的时间进行池化计算,包含重叠部分。MLX 的精确说话人数匹配度为 85.6%,CoreML 为 84.8%。

语言文件Nemotron 3 MLXNemotron 3 CoreMLSortformer 源
Arabic1216.54%18.16%22.32%
德语127.32%7.21%8.38%
English4810.31%10.24%13.81%
西班牙语1212.56%13.19%16.33%
普通话1210.00%9.68%9.95%
阿塞拜疆语122.53%2.55%5.25%
瑞士德语1215.72%15.69%21.59%
俄语124.47%4.44%5.35%
全部13210.98%11.20%—

按语言划分的早期源模型结果

真实对话

广播、电话和会议音频。共 96 条录音,总时长 12.63 小时。

系统Arabic德语English西班牙语普通话
DER,数值越低越好
Speech Cloud API21.02%7.62%13.21%15.92%9.63%
Sortformer 流式处理22.32%8.38%13.81%16.33%9.95%
Sortformer 离线17.92%8.13%14.34%16.43%10.52%
pyannote Community-115.57%20.22%15.22%22.78%16.19%

合成轨道

将 CallHome 切片中测量的分布采样出的带话轮转换的拼接朗读语音。这些仅检测粗粒度的领域失败,除此之外别无其他。请勿将这些数字与上表进行比较。

系统阿塞拜疆语瑞士德语俄语
DER,数值越低越好
Speech Cloud API4.74%19.33%8.15%
Sortformer 流式处理5.25%21.59%5.35%
Sortformer 离线5.16%28.03%8.20%
pyannote Community-135.23%45.21%35.26%

方法论与限制

数据溯源

德语、西班牙语和普通话片段来自 talkbank/callhome 的 17c8a153 次修订版,遵循 CC BY-NC-SA 4.0 许可。参考转写使用语料库自身的 timestamps:不涉及 VAD、聚类或基于嵌入的身份识别,且重叠部分按原样保留。由于该许可禁止商业用途,这些片段仅作为评估证据,未获批准用于训练。

自行运行

结果使用相同的基准数据集和评分器。有关 Apple Silicon 上的引擎选择、DER 评分和 RTTM 输出,请参阅说话人分离指南;有关以相同方式测量的 ASR 和 TTS 行,请参阅完整基准索引。