Traduction automatique · Version originale en anglais
Benchmarks de diarisation : Nemotron 3 et Sortformer
Nemotron 3 MLX et CoreML rejoignent les systèmes de diarisation antérieurs sur le même ensemble interne de 132 enregistrements couvrant huit langues. Chaque système reçoit l'audio sans le nombre de locuteurs de référence. L'exécution Nemotron 3 couvre 12,82 heures d'audio sans fichier échoué.
Chaque cellule est DER (taux d'erreur de diarisation), pondéré par le temps de locuteur de référence avec une marge de 0,25 s. Plus c'est bas, mieux c'est. Les conversations réelles et les rails synthétiques sont des niveaux de preuve différents et ne doivent pas être lus l'un à travers l'autre.
Exports Nemotron 3 INT8
Les runtimes Apple Silicon livrés utilisent le checkpoint final NVIDIA Nemotron 3 Diarization. Les deux exécutions ont utilisé un nombre de locuteurs automatique et le posttraitement par défaut du package. Le DER est agrégé par le temps de locuteur de référence à l'intérieur de la carte d'évaluation de chaque enregistrement, y compris les chevauchements. L'accord exact du nombre de locuteurs était de 85,6 % pour MLX et de 84,8 % pour CoreML.
| Langue | Fichiers | Nemotron 3 MLX | Nemotron 3 CoreML | Source Sortformer |
|---|---|---|---|---|
| Arabe | 12 | 16.54% | 18.16% | 22.32% |
| Allemand | 12 | 7.32% | 7.21% | 8.38% |
| Anglais | 48 | 10.31% | 10.24% | 13.81% |
| Espagnol | 12 | 12.56% | 13.19% | 16.33% |
| Mandarin | 12 | 10.00% | 9.68% | 9.95% |
| Azerbaïdjanais | 12 | 2.53% | 2.55% | 5.25% |
| Allemand suisse | 12 | 15.72% | 15.69% | 21.59% |
| Russe | 12 | 4.47% | 4.44% | 5.35% |
| Tout | 132 | 10.98% | 11.20% | — |
Résultats de la source-modèle par langue
Conversation réelle
Audio diffusé, téléphonique et de réunion. 96 enregistrements, 12,63 heures.
| Système | Arabe | Allemand | Anglais | Espagnol | Mandarin |
|---|---|---|---|---|---|
| DER, plus bas c'est mieux | |||||
| API Speech Cloud | 21.02% | 7.62% | 13.21% | 15.92% | 9.63% |
| Sortformer en flux | 22.32% | 8.38% | 13.81% | 16.33% | 9.95% |
| Sortforme hors ligne | 17.92% | 8.13% | 14.34% | 16.43% | 10.52% |
| pyannote Community-1 | 15.57% | 20.22% | 15.22% | 22.78% | 16.19% |
Rails synthétiques
Synthèse vocale concaténée avec des tours de parole échantillonnés à partir de distributions mesurées sur les tranches CallHome. Elles détectent les échecs de domaine grossiers et rien de plus. Ne comparez pas ces nombres avec le tableau ci-dessus.
| Système | Azerbaïdjanais | Allemand suisse | Russe |
|---|---|---|---|
| DER, plus bas c'est mieux | |||
| API Speech Cloud | 4.74% | 19.33% | 8.15% |
| Sortformer en flux | 5.25% | 21.59% | 5.35% |
| Sortforme hors ligne | 5.16% | 28.03% | 8.20% |
| pyannote Community-1 | 35.23% | 45.21% | 35.26% |
Méthodologie et limites
- Un scoreur, un ensemble d'items. Chaque cellule provient du même harnais et des mêmes énoncés épinglés, de sorte que deux systèmes ne sont jamais comparés avec deux règles différentes.
- Aucun nombre de locuteurs n'est fourni à aucun backend.
- Seules les chronologies des locuteurs anonymes. Il s'agit de résultats de diarisation, pas d'attribution de locuteur nommé.
- Les rails synthétiques ne sont pas une conversation réelle. Les rails
az,gswetruont été reconstruits sur des distributions de tours de parole mesurées à partir de CallHome. Les rails antérieurs utilisaient un motif de délai fixe qui produisait un taux de changement de locuteur de 100 %, alors que dans une conversation réelle, un locuteur répète environ 16 % du temps. Cela récompensait tout diariseur qui se contente d'alterner, et cela a classé mal le domaine sur deux langues. - Sortformer est limité à quatre locuteurs ; 22 des 96 fichiers originaux dépassent cette capacité.
Provenance des données
Les tranches allemandes, espagnoles et mandarin proviennent de talkbank/callhome à la révision 17c8a153 sous CC BY-NC-SA 4.0. Les tours de référence sont les timestamps du corpus : aucun VAD, regroupement ou identité dérivée des embeddings n'est impliqué, et le chevauchement est conservé tel que publié. Étant donné que cette licence interdit l'usage commercial, ces tranches constituent des preuves d'évaluation et ne sont pas approuvées pour l'entraînement.
Exécutez-le vous-même
Les résultats utilisent le même ensemble de données de référence et le même scoreur. Consultez le guide de diarisation des locuteurs pour le choix du moteur, le score DER et la sortie RTTM sur Apple Silicon, ou l'index complet des benchmarks pour les lignes ASR et TTS mesurées de la même manière.