Maskinoversettelse · Engelsk original
Høyttalerdiariserings benchmarks: Nemotron 3 og Sortformer
Nemotron 3 MLX og CoreML bli med tidligere diariseringssystemer på det samme interne settet med 132 opptak på åtte språk. Hvert system mottar lyden uten referansehøyttaler. Nemotron 3 kjører dekker 12,82 timer lyd uten mislykkede filer.
Hver celle er DER (diariseringsfeilrate), referanse-speaker-tid vektet med en 0,25 s krage. Lavere er bedre. Real samtale og syntetiske skinner er forskjellige bevisnivå og må ikke leses på tvers.
Nemotron 3 INT8 eksport
Den fraktede Apple Silicon kjøretidene bruker den endelige NVIDIA Nemotron 3 Diarization kontrollpunkt. Begge kjører brukte automatisk høyttalertall og pakkens standard postbehandling. DER samles med referansehøyttalertid inne i hvert opptakets evalueringskart, inkludert overlapping. Eksakt høyttaler-taler-count-avtale var 85,6% for MLX og 84,8% for CoreML.
| Språk | Filer | Nemotron 3 MLX | Nemotron 3 CoreML | Sortformerkilde |
|---|---|---|---|---|
| Arabisk | 12 | 16.54% | 18.16% | 22.32% |
| Tysk | 12 | 7.32% | 7.21% | 8.38% |
| Engelsk | 48 | 10.31% | 10.24% | 13.81% |
| Spansk | 12 | 12.56% | 13.19% | 16.33% |
| Mandarin | 12 | 10.00% | 9.68% | 9.95% |
| Aserbajdsjanske | 12 | 2.53% | 2.55% | 5.25% |
| sveitsisk tysk | 12 | 15.72% | 15.69% | 21.59% |
| russiske | 12 | 4.47% | 4.44% | 5.35% |
| Alle | 132 | 10.98% | 11.20% | — |
Tidligere source-model resultater etter språk
Ekte samtale
Broadcast, telefon og møtelyd. 96 opptak, 12,63 timer.
| System | Arabisk | Tysk | Engelsk | Spansk | Mandarin |
|---|---|---|---|---|---|
| DER, lavere er bedre | |||||
| Service Cloud API | 21.02% | 7.62% | 13.21% | 15.92% | 9.63% |
| Sortformer streaming | 22.32% | 8.38% | 13.81% | 16.33% | 9.95% |
| Sortformer frakoblet | 17.92% | 8.13% | 14.34% | 16.43% | 10.52% |
| pyannote Community-1 | 15.57% | 20.22% | 15.22% | 22.78% | 16.19% |
Syntetiske skinner
Konkatert lesetale med turtakerprøve fra distribusjoner som måles på CallHome-skivene. Disse oppdager grove domenefeil og ingenting mer. Ikke sammenlikn disse tallene med tabellen ovenfor.
| System | Aserbajdsjanske | sveitsisk tysk | russiske |
|---|---|---|---|
| DER, lavere er bedre | |||
| Service Cloud API | 4.74% | 19.33% | 8.15% |
| Sortformer streaming | 5.25% | 21.59% | 5.35% |
| Sortformer frakoblet | 5.16% | 28.03% | 8.20% |
| pyannote Community-1 | 35.23% | 45.21% | 35.26% |
Metodologi og grenser
- En scorer, ett element sett. Hver celle kommer fra samme sele og de samme festede uttalelser, så to systemer er aldri sammenlignet med to forskjellige linjaler.
- Ingen høyttaler er levert til noen backend.
- Anymiserte høyttalertidslinjer kun. Dette er diariseringsresultater, ikke navngitt høyttalertilskrivning.
- Synthetic skinner er ikke ekte samtale. The
az,gswogruskinner ble bygd opp på dreiefordelinger målt fra CallHome. Tidligere skinner brukte et fast gapmønster som produserte en 100% høyttaler-endringsrate, der ekte samtale gjentar en høyttaler om 16% av tiden. Det belønnet enhver diarizer som bare bytter, og det bestilte feltet feil på to språk. - Sortformer caps på fire høyttalere; 22 av de 96 opprinnelige filene overstiger den kapasiteten.
Dataprotestance
De tyske, spanske og Mandarin skivene kommer fra talkbank/callhome ved revisjon 17c8a153 under CC BY-NC-SA 4.0. Referansesvingene er korpuens egne tidsstempler: no VAD, clusting eller e-innbygging-avledet identitet er involvert, og overlapping er bevart som publisert. Fordi lisensen forbyr kommersiell bruk, er disse skivene evalueringsbevis og er ikke opplæringsgodkjent.
Kjør det selv
Resultatene bruker samme referansedatasett og scorer. Se speaker diariseringsguide for motorvalg, DER-scoring og RTTM-utgang på Apple Silicon, eller full benchmarkindeks for ASR og TTS-radene målt på samme måte.