機械翻訳 · 英語の原文

話者分離ベンチマーク:Nemotron 3 と Sortformer

Nemotron 3 MLX と CoreML は、8 カ国語の 132 件の録音という同じ内部セットで早期話者分離システムと結合します。すべてのシステムは参照話者数なしのオーディオを受けます。Nemotron 3 の実行は 12.82 時間のオーディオで、失敗したファイルはありません。

これらの数値の読み方

各セルは DER(ダイアライゼーション誤差率)であり、0.25 秒のカラーで参照話者時間に重み付けされています。低いほど良いです。リアルな会話と合成レールは異なる証拠の階層であり、互いに読み取ってはいけません。

Nemotron 3 INT8 エクスポート

出荷された Apple Silicon ランタイムは、最終的な NVIDIA Nemotron 3 Diarization チェックポイントを使用します。両方の実行は自動話者数を使用し、パッケージのデフォルトのポストプロセッシングを使用しました。DER は、各記録の評価マップ内の参照話者の時間によってプールされます(オーバーラップを含む)。正確な話者数一致率は、MLX で 85.6%、CoreML で 84.8% でした。

言語ファイルNemotron 3 MLXNemotron 3 CoreMLSortformer ソース
アラビア語1216.54%18.16%22.32%
ドイツ語127.32%7.21%8.38%
英語4810.31%10.24%13.81%
スペイン語1212.56%13.19%16.33%
中国語1210.00%9.68%9.95%
アゼルバイジャン語122.53%2.55%5.25%
スイスドイツ語1215.72%15.69%21.59%
ロシア語124.47%4.44%5.35%
すべて13210.98%11.20%—

言語による以前のソースモデルの結果

実際の会話

ブロードキャスト、電話、会議音声。96 件の録音、12.63 時間。

システムアラビア語ドイツ語英語スペイン語中国語
DER、低いほど良い
Speech Cloud API21.02%7.62%13.21%15.92%9.63%
Sortformer ストリーミング22.32%8.38%13.81%16.33%9.95%
Sortformer オフライン17.92%8.13%14.34%16.43%10.52%
pyannote Community-115.57%20.22%15.22%22.78%16.19%

合成レール

CallHome スライスで測定された分布からターンテイクをサンプリングして結合した音声読み上げ。これらは大域的なドメインの失敗のみを検出します。上記の表の数値と比較しないでください。

システムアゼルバイジャン語スイスドイツ語ロシア語
DER、低いほど良い
Speech Cloud API4.74%19.33%8.15%
Sortformer ストリーミング5.25%21.59%5.35%
Sortformer オフライン5.16%28.03%8.20%
pyannote Community-135.23%45.21%35.26%

手法と制限

データの出所

talkbank/callhome のドイツ語、スペイン語、マンダリン語のスライスには、17c8a153 リビジョンのものが含まれており、CC BY-NC-SA 4.0 ライセンスの下にあります。参照ターンはコーパス自身のタイムスタンプであり、VAD、クラスタリング、埋め込み由来のアイデンティティは関与せず、オーバーラップは公開通り保持されます。そのライセンスは商用利用を禁止しているため、これらのスライスは評価証拠であり、トレーニング承認されていません。

自分で実行

結果は同じベンチマークデータセットとスコアリング器を使用します。Apple Silicon でのエンジン選択、DER スコアリング、RTTM 出力については スピーカーダイアライゼーションガイド を参照し、ASR と TTS の行は同じ方法で測定された 完全ベンチマークインデックス を参照してください。