機械翻訳 · 英語の原文
話者分離ベンチマーク:Nemotron 3 と Sortformer
Nemotron 3 MLX と CoreML は、8 カ国語の 132 件の録音という同じ内部セットで早期話者分離システムと結合します。すべてのシステムは参照話者数なしのオーディオを受けます。Nemotron 3 の実行は 12.82 時間のオーディオで、失敗したファイルはありません。
各セルは DER(ダイアライゼーション誤差率)であり、0.25 秒のカラーで参照話者時間に重み付けされています。低いほど良いです。リアルな会話と合成レールは異なる証拠の階層であり、互いに読み取ってはいけません。
Nemotron 3 INT8 エクスポート
出荷された Apple Silicon ランタイムは、最終的な NVIDIA Nemotron 3 Diarization チェックポイントを使用します。両方の実行は自動話者数を使用し、パッケージのデフォルトのポストプロセッシングを使用しました。DER は、各記録の評価マップ内の参照話者の時間によってプールされます(オーバーラップを含む)。正確な話者数一致率は、MLX で 85.6%、CoreML で 84.8% でした。
| 言語 | ファイル | Nemotron 3 MLX | Nemotron 3 CoreML | Sortformer ソース |
|---|---|---|---|---|
| アラビア語 | 12 | 16.54% | 18.16% | 22.32% |
| ドイツ語 | 12 | 7.32% | 7.21% | 8.38% |
| 英語 | 48 | 10.31% | 10.24% | 13.81% |
| スペイン語 | 12 | 12.56% | 13.19% | 16.33% |
| 中国語 | 12 | 10.00% | 9.68% | 9.95% |
| アゼルバイジャン語 | 12 | 2.53% | 2.55% | 5.25% |
| スイスドイツ語 | 12 | 15.72% | 15.69% | 21.59% |
| ロシア語 | 12 | 4.47% | 4.44% | 5.35% |
| すべて | 132 | 10.98% | 11.20% | — |
言語による以前のソースモデルの結果
実際の会話
ブロードキャスト、電話、会議音声。96 件の録音、12.63 時間。
| システム | アラビア語 | ドイツ語 | 英語 | スペイン語 | 中国語 |
|---|---|---|---|---|---|
| DER、低いほど良い | |||||
| Speech Cloud API | 21.02% | 7.62% | 13.21% | 15.92% | 9.63% |
| Sortformer ストリーミング | 22.32% | 8.38% | 13.81% | 16.33% | 9.95% |
| Sortformer オフライン | 17.92% | 8.13% | 14.34% | 16.43% | 10.52% |
| pyannote Community-1 | 15.57% | 20.22% | 15.22% | 22.78% | 16.19% |
合成レール
CallHome スライスで測定された分布からターンテイクをサンプリングして結合した音声読み上げ。これらは大域的なドメインの失敗のみを検出します。上記の表の数値と比較しないでください。
| システム | アゼルバイジャン語 | スイスドイツ語 | ロシア語 |
|---|---|---|---|
| DER、低いほど良い | |||
| Speech Cloud API | 4.74% | 19.33% | 8.15% |
| Sortformer ストリーミング | 5.25% | 21.59% | 5.35% |
| Sortformer オフライン | 5.16% | 28.03% | 8.20% |
| pyannote Community-1 | 35.23% | 45.21% | 35.26% |
手法と制限
- スコア 1 つ、アイテムセット 1 つ。 すべてのセルは同じハネスから、同じピン留めされた発話から来るため、2 つのシステムは決して 2 つの異なる基準で比較されることはありません。
- 話者数が指定されていない ため、どのバックエンドでも処理できません。
- 匿名話者のタイムラインのみ。 これらは話者分離の結果であり、名前付き話者の帰属ではありません。
- 合成レールは実際の会話ではありません。
az、gswおよびruレールは、CallHome から測定されたターンテイク分布に基づいて再構築されました。以前のレールは固定のギャップパターンを使用しており、話者変更率は 100% でしたが、実際の会話は話者を約 16% の頻度で繰り返します。これは単に交互に切り替えるあらゆる話者検出器を優遇し、2 つの言語でフィールドの順序付けを誤ってしまいました。 - Sortformer は 4 話者まで制限 されており、元の 96 ファイルのうち 22 ファイルがその容量を超えています。
データの出所
talkbank/callhome のドイツ語、スペイン語、マンダリン語のスライスには、17c8a153 リビジョンのものが含まれており、CC BY-NC-SA 4.0 ライセンスの下にあります。参照ターンはコーパス自身のタイムスタンプであり、VAD、クラスタリング、埋め込み由来のアイデンティティは関与せず、オーバーラップは公開通り保持されます。そのライセンスは商用利用を禁止しているため、これらのスライスは評価証拠であり、トレーニング承認されていません。
自分で実行
結果は同じベンチマークデータセットとスコアリング器を使用します。Apple Silicon でのエンジン選択、DER スコアリング、RTTM 出力については スピーカーダイアライゼーションガイド を参照し、ASR と TTS の行は同じ方法で測定された 完全ベンチマークインデックス を参照してください。