Maskinoversættelse · Engelsk original
Speaker diarization benchmarks: Nemotron 3 og Sortformer
Nemotron 3 MLX og CoreML deltage tidligere diarization systemer på samme interne sæt af 132 Optagelser på tværs af otte sprog. Hvert system modtager lyden uden en reference højttaler tæller. Nemotron 3 Run covers 12.82 timer med lyd uden fejlbehæftede filer.
Hver celle er DER (Diarization fejlrate), reference- taler-tid vægtet med en 0.25 s krave. Lavere er bedre. Reel samtale og syntetiske skinner er forskellige beviser lag og må ikke læses på tværs.
Nemotron 3 INT8 eksport
De sendte Apple Silicon runtimes bruge finalen NVIDIA Nemotron 3 Diarisering checkpoint. Begge kørsler bruges automatisk højttaler og pakkens standard efterbehandling. DER er poolet ved reference højttaler tid inde i hver optagelse evaluering kort, herunder overlap. Eksakt højttaler-tæller aftale var 85.6% for MLX og 84.8% til CoreML.
| Sprog | Filer | Nemotron 3 MLX | Nemotron 3 CoreML | Sortererkilde |
|---|---|---|---|---|
| Arabisk | 12 | 16.54% | 18.16% | 22.32% |
| Tysk | 12 | 7.32% | 7.21% | 8.38% |
| Engelsk | 48 | 10.31% | 10.24% | 13.81% |
| Spansk | 12 | 12.56% | 13.19% | 16.33% |
| Mandarin | 12 | 10.00% | 9.68% | 9.95% |
| AzerjaniName | 12 | 2.53% | 2.55% | 5.25% |
| schweizisk tysk | 12 | 15.72% | 15.69% | 21.59% |
| Russisk | 12 | 4.47% | 4.44% | 5.35% |
| Alle | 132 | 10.98% | 11.20% | — |
Tidligere kildemodelresultater efter sprog
Virkelig samtale
Broadcast, telefon og mødelyd. 96 optagelser, 12.63 timer.
| System | Arabisk | Tysk | Engelsk | Spansk | Mandarin |
|---|---|---|---|---|---|
| Mere, lavere er bedre. | |||||
| Tale Cloud API | 21.02% | 7.62% | 13.21% | 15.92% | 9.63% |
| Sorterer streaming | 22.32% | 8.38% | 13.81% | 16.33% | 9.95% |
| Sortformer offline | 17.92% | 8.13% | 14.34% | 16.43% | 10.52% |
| pyannote Community-1 | 15.57% | 20.22% | 15.22% | 22.78% | 16.19% |
Syntetiske skinner
Konkateret læsektale med turn- tage prøver fra distributioner målt på CallHome skiver. Disse detektere gross domæne fejl og intet mere. Sammenlign ikke disse tal med ovenstående tabel.
| System | AzerjaniName | schweizisk tysk | Russisk |
|---|---|---|---|
| Mere, lavere er bedre. | |||
| Tale Cloud API | 4.74% | 19.33% | 8.15% |
| Sorterer streaming | 5.25% | 21.59% | 5.35% |
| Sortformer offline | 5.16% | 28.03% | 8.20% |
| pyannote Community-1 | 35.23% | 45.21% | 35.26% |
Metode og grænser
- En scorer, et sæt. Hver celle kommer fra den samme sele og de samme fæstninger, så to systemer bliver aldrig sammenlignet med to forskellige herskere.
- Ingen højttaler er leveret til enhver bagende.
- Anonyme højttaler tidslinjer kun. Disse er diarization resultater, ikke navngivet højttaler tildeling.
- Syntetiske skinner er ikke ægte samtale. Den
az,gswogruskinner blev genopbygget på turn- tage distributioner målt fra CallHome. Tidligere skinner brugt en fast mellemrum mønster, der producerede en 100% højttaler- ændre sats, hvor reel samtale gentager en højttaler om 16% af tiden. Det belønnede enhver diarizer, der blot skifter, og det beordrede feltet forkert på to sprog. - Sortererhætter ved fire højttalere; 22 af de oprindelige 96 filer overstiger denne kapacitet.
Datafunktion
De tyske, spanske og mandarin skiver kommer fra talkbank / callhome ved revision 17c8a153 under CC BY- NC- SA 4.0. Reference drejninger er corpus 's egne tidsstempler: ingen VAD, klynger eller indlejrede-afledt identitet er involveret, og overlap er bevaret som offentliggjort. Fordi denne licens forbyder kommerciel brug, disse skiver er evalueringsbeviser og ikke uddannelse-godkendt.
Kør det selv
Resultaterne bruger samme benchmark datasæt og scorer. højttaler diarization guide for motorvalg, DER scoring og RTTM output på Apple Silicon, eller Fuldt benchmark-indeks for rækken ASR og TTS målt på samme måde.