机器翻译 · 英文原文
说话人分离基准测试:Nemotron 3 和 Sortformer
Nemotron 3 MLX 和 CoreML 与早期的说话人分离系统共同使用相同的内部 132 条录音集,涵盖八种语言。每个系统均接收不含参考说话人数量的音频。Nemotron 3 运行涵盖 12.82 小时音频,无失败文件。
如何解读这些数值
每个单元格是 DER(说话人识别错误率),按参考说话人时间加权,带有 0.25 秒容差。越低越好。真实对话和合成轨道是不同的证据层级,不得跨层级读取。
Nemotron 3 INT8 导出版本
发布的 Apple Silicon 运行时使用最终的NVIDIA Nemotron 3 说话人分离检查点。两次运行均使用自动说话人数统计和软件包默认的后期处理。DER 按每条录音评估图中参考说话人的时间进行池化计算,包含重叠部分。MLX 的精确说话人数匹配度为 85.6%,CoreML 为 84.8%。
| 语言 | 文件 | Nemotron 3 MLX | Nemotron 3 CoreML | Sortformer 源 |
|---|---|---|---|---|
| Arabic | 12 | 16.54% | 18.16% | 22.32% |
| 德语 | 12 | 7.32% | 7.21% | 8.38% |
| English | 48 | 10.31% | 10.24% | 13.81% |
| 西班牙语 | 12 | 12.56% | 13.19% | 16.33% |
| 普通话 | 12 | 10.00% | 9.68% | 9.95% |
| 阿塞拜疆语 | 12 | 2.53% | 2.55% | 5.25% |
| 瑞士德语 | 12 | 15.72% | 15.69% | 21.59% |
| 俄语 | 12 | 4.47% | 4.44% | 5.35% |
| 全部 | 132 | 10.98% | 11.20% | — |
按语言划分的早期源模型结果
真实对话
广播、电话和会议音频。共 96 条录音,总时长 12.63 小时。
| 系统 | Arabic | 德语 | English | 西班牙语 | 普通话 |
|---|---|---|---|---|---|
| DER,数值越低越好 | |||||
| Speech Cloud API | 21.02% | 7.62% | 13.21% | 15.92% | 9.63% |
| Sortformer 流式处理 | 22.32% | 8.38% | 13.81% | 16.33% | 9.95% |
| Sortformer 离线 | 17.92% | 8.13% | 14.34% | 16.43% | 10.52% |
| pyannote Community-1 | 15.57% | 20.22% | 15.22% | 22.78% | 16.19% |
合成轨道
将 CallHome 切片中测量的分布采样出的带话轮转换的拼接朗读语音。这些仅检测粗粒度的领域失败,除此之外别无其他。请勿将这些数字与上表进行比较。
| 系统 | 阿塞拜疆语 | 瑞士德语 | 俄语 |
|---|---|---|---|
| DER,数值越低越好 | |||
| Speech Cloud API | 4.74% | 19.33% | 8.15% |
| Sortformer 流式处理 | 5.25% | 21.59% | 5.35% |
| Sortformer 离线 | 5.16% | 28.03% | 8.20% |
| pyannote Community-1 | 35.23% | 45.21% | 35.26% |
方法论与限制
- 一个评分器,一个项目集。每个单元格都来自同一个框架和相同的固定语料,因此两个系统永远不会用两个不同的标准进行比较。
- 未向任何后端提供说话人数量
- 仅匿名说话人时间线。 这些是说话人识别结果,而非命名说话人归属。
- 合成轨道并非真实对话。
az、gsw和ru轨道已根据从 CallHome 测量的话轮转换分布重新构建。早期的轨道使用固定的间隔模式,产生了 100% 的说话人切换率,而真实对话中说话人重复出现的比例约为 16%。这奖励了任何仅交替的说话人检测器,并导致两种语言中的字段排序错误。 - Sortformer 最多支持四位说话人;96 个原始文件中有 22 个超过了此容量。
数据溯源
德语、西班牙语和普通话片段来自 talkbank/callhome 的 17c8a153 次修订版,遵循 CC BY-NC-SA 4.0 许可。参考转写使用语料库自身的 timestamps:不涉及 VAD、聚类或基于嵌入的身份识别,且重叠部分按原样保留。由于该许可禁止商业用途,这些片段仅作为评估证据,未获批准用于训练。
自行运行
结果使用相同的基准数据集和评分器。有关 Apple Silicon 上的引擎选择、DER 评分和 RTTM 输出,请参阅说话人分离指南;有关以相同方式测量的 ASR 和 TTS 行,请参阅完整基准索引。