Maschinelle Übersetzung · Englisches Original

Sprecherdiarisiertungs-Benchmarks: Nemotron 3 und Sortformer

Nemotron 3 MLX und CoreML schließen sich früher an Diarisierungssysteme an denselben internen Satz von 132 Aufnahmen über acht Sprachen an. Jeder System erhält das Audio ohne eine Referenzsprecheranzahl. Der Nemotron 3-Lauf deckt 12,82 Stunden Audio ohne fehlgeschlagene Dateien ab.

So lesen Sie diese Zahlen

Zelle ist DER (Diarisierungsfehlerquote), nach Referenzsprecherzeit gewichtet mit einer 0,25 s Kragen. Niedriger ist besser. Reale Gespräche und synthetische Schienen sind unterschiedliche Beweistiefen und dürfen nicht überlesen werden.

Nemotron 3 INT8 Exporte

Die ausgelieferten Apple Silicon-Runtimes verwenden den finalen NVIDIA Nemotron 3 Diarization-Checkpoint. Beide Ausführungen nutzten die automatische Sprecheranzahl und die Standard-Postverarbeitung des Pakets. DER wird nach Referenzsprecherzeit innerhalb der Bewertungskarte jeder Aufnahme gepoolt, einschließlich Überlappung. Die exakte Übereinstimmung der Sprecheranzahl betrug 85,6 % für MLX und 84,8 % für CoreML.

SpracheDateienNemotron 3 MLXNemotron 3 CoreMLSortformer-Quelle
Arabisch1216.54%18.16%22.32%
Deutsch127.32%7.21%8.38%
Englisch4810.31%10.24%13.81%
Spanisch1212.56%13.19%16.33%
Mandarin1210.00%9.68%9.95%
Aserbaidschanisch122.53%2.55%5.25%
Schweizerdeutsch1215.72%15.69%21.59%
Russisch124.47%4.44%5.35%
Alle13210.98%11.20%—

Frühere Quellmodell-Ergebnisse nach Sprache

Echte Gespräche

Broadcast-, Telefon- und Meeting-Audio. 96 Aufnahmen, 12,63 Stunden.

SystemArabischDeutschEnglischSpanischMandarin
DER, niedriger ist besser
Speech Cloud API21.02%7.62%13.21%15.92%9.63%
Sortformer Streaming22.32%8.38%13.81%16.33%9.95%
Sortformer offline17.92%8.13%14.34%16.43%10.52%
pyannote Community-115.57%20.22%15.22%22.78%16.19%

Synthetische Schienen

Zusammengesetzte gesprochene Lesestücke mit Wechseln der Sprecher, die aus Verteilungen stammen, die an den CallHome-Slices gemessen wurden. Diese erkennen grobe Domänenfehler und nichts weiter. Vergleichen Sie diese Zahlen nicht mit der obigen Tabelle.

SystemAserbaidschanischSchweizerdeutschRussisch
DER, niedriger ist besser
Speech Cloud API4.74%19.33%8.15%
Sortformer Streaming5.25%21.59%5.35%
Sortformer offline5.16%28.03%8.20%
pyannote Community-135.23%45.21%35.26%

Methodik und Grenzen

Datenherkunft

Die deutschen, spanischen und mandarinischen Slices stammen aus talkbank/callhome in der Revision 17c8a153 unter CC BY-NC-SA 4.0. Referenzumdrehungen sind die eigenen Zeitstempel des Korpus: es ist kein VAD, keine Clustering- oder in Embeddings abgeleitete Identität beteiligt, und die Überlappung wird wie veröffentlicht erhalten. Da diese Lizenz den kommerziellen Gebrauch verbietet, dienen diese Slices als Beweismittel für die Evaluation und sind nicht für das Training genehmigt.

Führen Sie es selbst aus

Die Ergebnisse verwenden denselben Benchmark-Datensatz und denselben Bewertungsmechanismus. Siehe die Führer zur Sprecherdiarisation für die Auswahl der Engine, DER-Bewertung und RTTM-Ausgabe auf Apple Silicon, oder den vollständigen Benchmark-Index für die ASR- und TTS-Reihen, die auf dieselbe Weise gemessen wurden.