Maschinelle Übersetzung · Englisches Original
Sprecherdiarisiertungs-Benchmarks: Nemotron 3 und Sortformer
Nemotron 3 MLX und CoreML schließen sich früher an Diarisierungssysteme an denselben internen Satz von 132 Aufnahmen über acht Sprachen an. Jeder System erhält das Audio ohne eine Referenzsprecheranzahl. Der Nemotron 3-Lauf deckt 12,82 Stunden Audio ohne fehlgeschlagene Dateien ab.
Zelle ist DER (Diarisierungsfehlerquote), nach Referenzsprecherzeit gewichtet mit einer 0,25 s Kragen. Niedriger ist besser. Reale Gespräche und synthetische Schienen sind unterschiedliche Beweistiefen und dürfen nicht überlesen werden.
Nemotron 3 INT8 Exporte
Die ausgelieferten Apple Silicon-Runtimes verwenden den finalen NVIDIA Nemotron 3 Diarization-Checkpoint. Beide Ausführungen nutzten die automatische Sprecheranzahl und die Standard-Postverarbeitung des Pakets. DER wird nach Referenzsprecherzeit innerhalb der Bewertungskarte jeder Aufnahme gepoolt, einschließlich Überlappung. Die exakte Übereinstimmung der Sprecheranzahl betrug 85,6 % für MLX und 84,8 % für CoreML.
| Sprache | Dateien | Nemotron 3 MLX | Nemotron 3 CoreML | Sortformer-Quelle |
|---|---|---|---|---|
| Arabisch | 12 | 16.54% | 18.16% | 22.32% |
| Deutsch | 12 | 7.32% | 7.21% | 8.38% |
| Englisch | 48 | 10.31% | 10.24% | 13.81% |
| Spanisch | 12 | 12.56% | 13.19% | 16.33% |
| Mandarin | 12 | 10.00% | 9.68% | 9.95% |
| Aserbaidschanisch | 12 | 2.53% | 2.55% | 5.25% |
| Schweizerdeutsch | 12 | 15.72% | 15.69% | 21.59% |
| Russisch | 12 | 4.47% | 4.44% | 5.35% |
| Alle | 132 | 10.98% | 11.20% | — |
Frühere Quellmodell-Ergebnisse nach Sprache
Echte Gespräche
Broadcast-, Telefon- und Meeting-Audio. 96 Aufnahmen, 12,63 Stunden.
| System | Arabisch | Deutsch | Englisch | Spanisch | Mandarin |
|---|---|---|---|---|---|
| DER, niedriger ist besser | |||||
| Speech Cloud API | 21.02% | 7.62% | 13.21% | 15.92% | 9.63% |
| Sortformer Streaming | 22.32% | 8.38% | 13.81% | 16.33% | 9.95% |
| Sortformer offline | 17.92% | 8.13% | 14.34% | 16.43% | 10.52% |
| pyannote Community-1 | 15.57% | 20.22% | 15.22% | 22.78% | 16.19% |
Synthetische Schienen
Zusammengesetzte gesprochene Lesestücke mit Wechseln der Sprecher, die aus Verteilungen stammen, die an den CallHome-Slices gemessen wurden. Diese erkennen grobe Domänenfehler und nichts weiter. Vergleichen Sie diese Zahlen nicht mit der obigen Tabelle.
| System | Aserbaidschanisch | Schweizerdeutsch | Russisch |
|---|---|---|---|
| DER, niedriger ist besser | |||
| Speech Cloud API | 4.74% | 19.33% | 8.15% |
| Sortformer Streaming | 5.25% | 21.59% | 5.35% |
| Sortformer offline | 5.16% | 28.03% | 8.20% |
| pyannote Community-1 | 35.23% | 45.21% | 35.26% |
Methodik und Grenzen
- Einer, ein Datensatz. Jede Zelle stammt aus demselben Rahmenwerk und denselben festgelegten Äußerungen, sodass zwei Systeme niemals mit zwei verschiedenen Maßstäben verglichen werden.
- Keine Sprecheranzahl wird an ein Backend übermittelt
- Nur anonyme Sprecher-Zeitleisten. Dies sind Diarisierungsresultate, keine benannten Sprecher-Zuordnungen.
- Synthetische Schienen sind keine echten Gespräche. Die
az,gswundruSchienen wurden neu aufgebaut basierend auf Wechseln der Sprecher-Verteilungen, die aus CallHome gemessen wurden. Frühere Schienen verwendeten ein festes Lückenmuster, das eine 100%-Sprecherwechselrate erzeugte, während echte Gespräche einen Sprecher etwa 16% der Zeit wiederholen. Das belohnte jeden Diarizer, der einfach abwechselnd arbeitete, und ordnete das Feld auf zwei Sprachen falsch zu. - Sortformer ist auf vier Sprecher beschränkt; 22 der 96 ursprünglichen Dateien überschreiten diese Kapazität.
Datenherkunft
Die deutschen, spanischen und mandarinischen Slices stammen aus talkbank/callhome in der Revision 17c8a153 unter CC BY-NC-SA 4.0. Referenzumdrehungen sind die eigenen Zeitstempel des Korpus: es ist kein VAD, keine Clustering- oder in Embeddings abgeleitete Identität beteiligt, und die Überlappung wird wie veröffentlicht erhalten. Da diese Lizenz den kommerziellen Gebrauch verbietet, dienen diese Slices als Beweismittel für die Evaluation und sind nicht für das Training genehmigt.
Führen Sie es selbst aus
Die Ergebnisse verwenden denselben Benchmark-Datensatz und denselben Bewertungsmechanismus. Siehe die Führer zur Sprecherdiarisation für die Auswahl der Engine, DER-Bewertung und RTTM-Ausgabe auf Apple Silicon, oder den vollständigen Benchmark-Index für die ASR- und TTS-Reihen, die auf dieselbe Weise gemessen wurden.