机器翻译 · 英文原文

说话人分离

识别多说话人录音中的说话者。有四种引擎可用:轻量级 Pyannote(CLI 默认)、完整管道 Community-1(CoreML + 原生 PLDA/VBx)、流式 Sortformer(CoreML, Neural Engine)和 Nemotron 3(CoreML INT8 或 MLX INT8)。

引擎

选择引擎 --engine pyannote(默认)、--engine community1、--engine sortformer 或 --engine nemotron3。

Pyannote(默认)

两阶段管道:Pyannote 分割处理重叠窗口,采用基于活动的说话人链式处理(重叠区域使用皮尔逊相关系数)来分配全局说话人标签。事后 WeSpeaker 嵌入提取通过注册音频实现目标说话人识别。

Community-1(CoreML + 原生 VBx)

完整的 Pyannote Community-1 CoreML bundle:10 秒的 PyanNet 分割窗口每秒推进,掩码后的 WeSpeaker 嵌入输入质心 AHC 和 256→128 PLDA 变换,然后原生 Swift VBx 和约束分配生成全局聚类。它返回每个检测到的说话者的一个 256 维质心,并支持精确、最小或最大说话人数界限。

Sortformer(CoreML)

NVIDIA 的端到端神经说话人识别模型。直接预测每帧的说话人活动,支持多达 4 个说话人,无需单独的嵌入或聚类阶段。通过 CoreML 在 Neural Engine 上运行,使用流状态缓冲区(FIFO + 说话人缓存)。

对于实时音频,SortformerStreamingSession 以 16 kHz 单声道 PCM 缓冲区(任意大小)增量运行 .streaming Sortformer 模型。一旦其 560 ms 的前瞻可用,它以 480 ms 的音频步骤推进;一个包含五个文件的 M 系列 Neural Engine 试点测量了每 500 ms 推送的中位延迟为 12.4 ms。说话人标签遵循到达顺序说话人缓存,而不是对每个窗口重新聚类,并且每次推送都返回整个流快照。finish() 刷新缓冲的尾部。在模型门控等价性测试中,最终片段与整个缓冲区 .streaming 说话人识别在大约一个 80 ms 帧内匹配。

Nemotron 3(CoreML 或 MLX)

NVIDIA Nemotron 3 预测多达八个匿名说话人的 10 毫秒说话人活动。最终的 INT8 导出会自动从 CoreML 或 MLX 下载。默认 CLI 后端是 CoreML;选择 MLX 请使用 --nemotron3-backend mlx。两者均支持通过 --nemotron3-directory 获取本地捆绑包。

在内部 132 次录音的说话人识别集(12.82 小时,0.25 秒容差)上,发布的 Nemotron 3 MLX 和 CoreML 运行时分别获得 10.98% 和 11.20% 的池化 DER,且无失败。在 48 个英文会议中,它们分别获得 10.31% 和 10.24%。请参阅 各语言对比和评估限制。

注意

--target-speaker 和 --embedding-engine 标志仅在默认 Pyannote 引擎上可用。Community-1 通过其 Swift API 返回聚类中心;Sortformer 和 Nemotron 3 不产生说话人嵌入。

对于跨对话者识别系统和八种语言的测量结果,使用同一标尺评分,请参阅 对话者识别基准。

已发布的 CALLHOME 基线

以下是 NVIDIA 发布的原始匿名说话人基线 diar_streaming_sortformer_4spk-v2。这是一个外部参考,并非 speech-swift 的 CoreML 转换的本地测量结果,也不是命名说话人归属结果。

数据集条件DER
CALLHOME 第 2 部分2 个参考说话人6.57%
CALLHOME 第 2 部分3 个参考说话人10.05%
CALLHOME 第 2 部分4 个参考说话人12.44%

所有行均采用 1.04 s 的输入缓冲延迟,计入重叠,使用 0.25 s 的容差窗口,并在独立划分的 CALLHOME Part 1 上调优后处理。CALLHOME 数据需要许可证,不随项目提供。本地 diarization-bench 会按参考说话人数分别报告可比较的结果,输出到控制台以及 JSON 的 byReferenceSpeakerCount 字段中。

Community-1 管道

Community-1 使用 CoreML 运行两个神经阶段,并使用 Swift 处理所有主机端操作,因此不会加载 MLX 或需要 Metal 着色器库。保留的默认设置包括:硬幂集解码、带有上游短轨道回退的干净单说话人掩码、0.6 质心连接阈值、Fa=0.07、Fb=0.8,以及最多 20 次 VBx 迭代。

在固定的五文件 VoxConverse 发布子集(1,057.49 秒,0.25 秒边距,包含重叠)上,使用 Swift 输出并通过 pyannote.metrics 重新评分的 4.66% DER / 21.43% JER;已发布的 CoreML 参考测得 4.65% / 21.42%。这是一个小型一致性检查,而非整个数据集的质量声明。

使用 speech-swift 的帧网格评分器对同一子集进行评估时,Community-1 测得 9.31% DER / 16.20% JER,25.5 倍实时处理速度,以及 1.54 GB 峰值 RSS。默认的 Pyannote 引擎测得 5.03% / 9.28%,105.7 倍实时处理速度,以及 393 MB。因此,Community-1 是一个具有说话人数限制并返回中心点的可选上游一致性管道,而非通用的准确性或速度升级。两种评分方法的分数无法直接比较。

Pyannote 管道

默认管道分两个阶段运行:

阶段 1:分割 + 说话人链接

Pyannote segmentation-3.0 处理 10 秒的滑动窗口,重叠率为 50%。一个powerset decoder将 7 类输出转换为每个说话人的概率(每个窗口最多 3 个本地说话人)。相邻窗口共享 5 秒的重叠区域——说话人身份通过在重叠区域计算Pearson correlation的概率轨迹之间的皮尔逊相关系数来传播,并使用贪婪独占匹配以保持一致的全局说话人 ID。

阶段 2:事后嵌入

diarization 后,WeSpeaker ResNet34-LM 为每个说话人提取一个 256 维的中心点嵌入。这些嵌入支持目标说话人提取(--target-speaker),但不驱动说话人分配本身。

从 pyannote.audio 迁移

如果您来自 Python pyannote.audio 库——替换一个设置 pipeline.segmentation = ... 的 Pipeline 子类,或从托管 pyannote/speaker-diarization-3.1 的服务器迁移——Soniqo 封装了相同的 Pyannote-Segmentation-3.0 模型,并在 Apple Silicon 上完全本地运行。无需 Python 运行时,无需 CUDA,推理时也不需要 Hugging Face 令牌。

pyannote.audio(Python)Soniqo (Swift)
Pipeline.from_pretrained("pyannote/speaker-diarization-3.1") DiarizationPipeline.fromPretrained()
pipeline(audio_file) pipeline.diarize(audio: samples, sampleRate: 16000)
pipeline.segmentation = ...(自定义子类) 已修复:Pyannote-Segmentation-3.0(MLX 或 CoreML,自动选择)
diarization.itertracks(yield_label=True) for seg in result.segments { ... }
diarization.write_rttm(file) CLI: --rttm
pyannote.metrics.diarization.DiarizationErrorRate CLI: --score-against reference.rttm

Pyannote-Segmentation-3.0 权重是从上游 HuggingFace 检查点转换而来的,因此分割 logits 在 float-精度容差范围内数值等价。后处理分段链式处理(重叠窗口内的 Pearson 相关性 + 贪婪互斥匹配)和后处理 WeSpeaker 嵌入阶段已在 Swift 中重新实现,但能产生与参考 Python 管道相当的 RTTM 输出。

暂不支持

Pyannote 引擎没有流式处理 OnlineSpeakerDiarization 等效方案。请使用 --engine sortformer 进行实时说话人分离,它使用 Sortformer 模型并维护 FIFO 和说话人缓存状态缓冲区。

CLI 用法

# Basic diarization (pyannote, default)
.build/release/speech diarize meeting.wav

# Community-1 (CoreML + native PLDA/VBx)
.build/release/speech diarize meeting.wav --engine community1
.build/release/speech diarize meeting.wav --engine community1 --num-speakers 2

# End-to-end Sortformer (CoreML)
.build/release/speech diarize meeting.wav --engine sortformer

# Nemotron 3 (CoreML default; MLX optional)
.build/release/speech diarize meeting.wav --engine nemotron3
.build/release/speech diarize meeting.wav --engine nemotron3 --nemotron3-backend mlx

# RTTM output format (for evaluation)
.build/release/speech diarize meeting.wav --rttm

# JSON output
.build/release/speech diarize meeting.wav --json

目标说话人提取

提供已知说话人的注册音频,以从其录音中提取仅该说话人的片段。该管道计算注册音频的说话人嵌入,并找到余弦相似度最高的聚类。

# Extract segments for a specific speaker
.build/release/speech diarize meeting.wav --target-speaker enrollment.wav

DER 评分

通过对照参考 RTTM 文件评分来评估说话人分离质量。该流水线计算说话人分离错误率(DER),该指标衡量错误归因的时间比例。

# Score against reference RTTM
.build/release/speech diarize meeting.wav --score-against reference.rttm

RTTM 输出

--rttm 标志生成富转录时间标记输出,这是一种用于说话人分离评估的标准格式。每行遵循以下格式:

SPEAKER filename 1 start_time duration <NA> <NA> speaker_id <NA> <NA>

选项

选项说明
--target-speaker用于目标说话人提取的注册音频(仅 pyannote)
--embedding-engine说话人 embedding 引擎:mlx 或 coreml(仅 pyannote)
--vad-filter用 Silero VAD 预过滤(仅 pyannote)
--community1-compute-unitsane(默认)、cpu、gpu 或 all
--num-speakers已知确切说话人数量(仅限 Community-1)
--min-speakers最小说话人数量(Community-1,默认 1)
--max-speakers最大说话人数(Community-1)
--rttm以 RTTM 格式输出
--jsonJSON 输出格式
--score-against使用参考 RTTM 文件进行 DER 评估
重要

说话人分离在具有清晰说话人轮次的录音中效果最佳。高度重叠的语音可能会降低准确性。说话人数量由系统自动确定。

模型下载

模型会在首次使用时自动下载:

组件模型大小HuggingFace
分割Pyannote-Segmentation-3.0~5.7 MBaufklarer/Pyannote-Segmentation-MLX
说话人嵌入WeSpeaker-ResNet34-LM (MLX)~25 MBaufklarer/WeSpeaker-ResNet34-LM-MLX
说话人嵌入WeSpeaker-ResNet34-LM(CoreML)~25 MBaufklarer/WeSpeaker-ResNet34-LM-CoreML
Community-1 管道PyanNet + 掩码 WeSpeaker + PLDA/VBx~32 MBaufklarer/Pyannote-Community-1-CoreML
SortformerSortformer 说话人分离 (CoreML)~240 MBaufklarer/Sortformer-Diarization-CoreML
Nemotron 3说话人分离 INT8(CoreML 或 MLX)每个约 100 MBCoreML · MLX

Swift API

import SpeechVAD

let pipeline = try await DiarizationPipeline.fromPretrained()
let result = pipeline.diarize(audio: samples, sampleRate: 16000)
for seg in result.segments {
    print("Speaker \(seg.speakerId): [\(seg.startTime)s - \(seg.endTime)s]")
}

// Target speaker extraction
let targetEmb = pipeline.embeddingModel.embed(audio: enrollmentAudio, sampleRate: 16000)
let segments = pipeline.extractSpeaker(
    audio: meetingAudio, sampleRate: 16000,
    targetEmbedding: targetEmb
)

// Full Community-1 pipeline with bounded speaker counts
let community1 = try await Community1DiarizationPipeline.fromPretrained()
try community1.prewarm()
let attributed = try community1.diarize(
    audio: meetingAudio,
    sampleRate: 16000,
    speakerBounds: Community1SpeakerBounds(minimum: 2, maximum: 6)
)