Traduction automatique · Version originale en anglais

Benchmarks de diarisation : Nemotron 3 et Sortformer

Nemotron 3 MLX et CoreML rejoignent les systèmes de diarisation antérieurs sur le même ensemble interne de 132 enregistrements couvrant huit langues. Chaque système reçoit l'audio sans le nombre de locuteurs de référence. L'exécution Nemotron 3 couvre 12,82 heures d'audio sans fichier échoué.

Comment lire ces chiffres

Chaque cellule est DER (taux d'erreur de diarisation), pondéré par le temps de locuteur de référence avec une marge de 0,25 s. Plus c'est bas, mieux c'est. Les conversations réelles et les rails synthétiques sont des niveaux de preuve différents et ne doivent pas être lus l'un à travers l'autre.

Exports Nemotron 3 INT8

Les runtimes Apple Silicon livrés utilisent le checkpoint final NVIDIA Nemotron 3 Diarization. Les deux exécutions ont utilisé un nombre de locuteurs automatique et le posttraitement par défaut du package. Le DER est agrégé par le temps de locuteur de référence à l'intérieur de la carte d'évaluation de chaque enregistrement, y compris les chevauchements. L'accord exact du nombre de locuteurs était de 85,6 % pour MLX et de 84,8 % pour CoreML.

LangueFichiersNemotron 3 MLXNemotron 3 CoreMLSource Sortformer
Arabe1216.54%18.16%22.32%
Allemand127.32%7.21%8.38%
Anglais4810.31%10.24%13.81%
Espagnol1212.56%13.19%16.33%
Mandarin1210.00%9.68%9.95%
Azerbaïdjanais122.53%2.55%5.25%
Allemand suisse1215.72%15.69%21.59%
Russe124.47%4.44%5.35%
Tout13210.98%11.20%—

Résultats de la source-modèle par langue

Conversation réelle

Audio diffusé, téléphonique et de réunion. 96 enregistrements, 12,63 heures.

SystèmeArabeAllemandAnglaisEspagnolMandarin
DER, plus bas c'est mieux
API Speech Cloud21.02%7.62%13.21%15.92%9.63%
Sortformer en flux22.32%8.38%13.81%16.33%9.95%
Sortforme hors ligne17.92%8.13%14.34%16.43%10.52%
pyannote Community-115.57%20.22%15.22%22.78%16.19%

Rails synthétiques

Synthèse vocale concaténée avec des tours de parole échantillonnés à partir de distributions mesurées sur les tranches CallHome. Elles détectent les échecs de domaine grossiers et rien de plus. Ne comparez pas ces nombres avec le tableau ci-dessus.

SystèmeAzerbaïdjanaisAllemand suisseRusse
DER, plus bas c'est mieux
API Speech Cloud4.74%19.33%8.15%
Sortformer en flux5.25%21.59%5.35%
Sortforme hors ligne5.16%28.03%8.20%
pyannote Community-135.23%45.21%35.26%

Méthodologie et limites

Provenance des données

Les tranches allemandes, espagnoles et mandarin proviennent de talkbank/callhome à la révision 17c8a153 sous CC BY-NC-SA 4.0. Les tours de référence sont les timestamps du corpus : aucun VAD, regroupement ou identité dérivée des embeddings n'est impliqué, et le chevauchement est conservé tel que publié. Étant donné que cette licence interdit l'usage commercial, ces tranches constituent des preuves d'évaluation et ne sont pas approuvées pour l'entraînement.

Exécutez-le vous-même

Les résultats utilisent le même ensemble de données de référence et le même scoreur. Consultez le guide de diarisation des locuteurs pour le choix du moteur, le score DER et la sortie RTTM sur Apple Silicon, ou l'index complet des benchmarks pour les lignes ASR et TTS mesurées de la même manière.