Maskinöversättning · Engelskt original
Talar diarization benchmarks: Nemotron 3 och Sortformer
Nemotron 3 MLX och CoreML ansluter sig till tidigare diariseringssystem på samma interna uppsättning 132 inspelningar på åtta språk. Varje system får ljudet utan referenstalare. Nemotron 3 run täcker 12,82 timmar ljud utan misslyckade filer.
Varje cell är DER (diariseringsfel), referens-talare-tid viktad med en 0,25 s krage. Lägre är bättre. Real konversation och syntetiska spår är olika bevisnivåer och får inte läsas över.
Nemotron 3 INT8 export
Den levererade Apple Silicon runtimes använder finalen NVIDIA Nemotron 3 Diarization checkpoint. Båda körs som används automatisk högtalarantal och paketets standard efterbehandling. DER poolas av referenshögtalartid inuti varje inspelnings utvärderingskarta, inklusive överlappning. Exakt högtalar-räkneavtal var 85.6% för MLX och 84.8% till CoreML.
| Språkspråk | Filer | Nemotron 3 MLX | Nemotron 3 CoreML | Sortformer källa |
|---|---|---|---|---|
| Arabiska arabiska | 12 | 16.54% | 18.16% | 22.32% |
| Tyska tyska | 12 | 7.32% | 7.21% | 8.38% |
| Engelska engelska engelska | 48 | 10.31% | 10.24% | 13.81% |
| Spanska spanska | 12 | 12.56% | 13.19% | 16.33% |
| Mandarin | 12 | 10.00% | 9.68% | 9.95% |
| Azerbajdzjan | 12 | 2.53% | 2.55% | 5.25% |
| Schweiziska tyska | 12 | 15.72% | 15.69% | 21.59% |
| Ryska ryska ryska ryska ryska | 12 | 4.47% | 4.44% | 5.35% |
| All | 132 | 10.98% | 11.20% | — |
Tidigare källmodellresultat genom språk
Real konversation
Broadcast, telefon och mötesljud. 96 inspelningar, 12,63 timmar.
| Systemsystem | Arabiska arabiska | Tyska tyska | Engelska engelska engelska | Spanska spanska | Mandarin |
|---|---|---|---|---|---|
| DER, lägre är bättre | |||||
| Speech Cloud API | 21.02% | 7.62% | 13.21% | 15.92% | 9.63% |
| Sortformer streaming | 22.32% | 8.38% | 13.81% | 16.33% | 9.95% |
| Sortformer offline | 17.92% | 8.13% | 14.34% | 16.43% | 10.52% |
| Pyannote Community-1 | 15.57% | 20.22% | 15.22% | 22.78% | 16.19% |
Syntetiska räls
Konkatenerade lästal med tur-taking sampled från distributioner som mäts på CallHome skivor. Dessa upptäcker bruttodomänfel och ingenting mer. Jämför inte dessa siffror med tabellen ovan.
| Systemsystem | Azerbajdzjan | Schweiziska tyska | Ryska ryska ryska ryska ryska |
|---|---|---|---|
| DER, lägre är bättre | |||
| Speech Cloud API | 4.74% | 19.33% | 8.15% |
| Sortformer streaming | 5.25% | 21.59% | 5.35% |
| Sortformer offline | 5.16% | 28.03% | 8.20% |
| Pyannote Community-1 | 35.23% | 45.21% | 35.26% |
Metodologi och gränser
- En scorer, en objektuppsättning. Varje cell kommer från samma sele och samma fasta uttalanden, så två system jämförs aldrig med två olika härskare.
- Inget högtalarantal levereras till någon backend.
- Anonym högtalartidslinjer endast. Dessa är diariseringsresultat, inte namngivet högtalarattribut.
- Syntetiska räls är inte riktiga konversationer.
az,gswochruräls byggdes om på tur-taking-distributioner mätta från CallHome. Tidigare räls använde ett fast gap-mönster som producerade en 100% högtalarbytesfrekvens, där riktiga samtal upprepar en talare om 16% av tiden. Det belönade alla diarizer som helt enkelt alternerar, och det beställde felet på. - Sortformer caps på fyra högtalare ; 22 av de 96 ursprungliga filerna överstiger den kapaciteten.
Data Provenance
De tyska, spanska och mandarin skivorna kommer från talkbank/callhome vid revision 17c8a153 under C BY-NC-SA 4.0. Referens vänder är corpus egna tidsstämplar: ingen VAD, kluster eller bäddadderiverad identitet är inblandad, och överlappar bevaras som publicerad.
Kör det själv
Resultaten använder samma referensdataset och scorer. Se talare diarization guide för motorval, DER scoring och RTTM-utgång på Apple Silicon, eller Full Benchmark index för ASR och TTS rader mätt på samma sätt.