Traduzione automatica · Originale inglese
Diarizzazione dei diffusori: Nemotron 3 e Sortformer
Nemotron 3 MLX e CoreML unire i sistemi di diarizzazione precedenti sullo stesso insieme interno di 132 registrazioni in otto lingue. Ogni sistema riceve l'audio senza un numero di altoparlanti di riferimento. Nemotron 3 coprifuoco 12.82 ore di audio senza file falliti.
Ogni cella è DER (tasso di errore di di diarizzazione), riferimento-altoparlante-tempo ponderato con un colletto 0.25 s. Più basso è meglio. La conversazione e le guide sintetiche sono diversi livelli di prova e non devono essere letti attraverso.
Nemotron 3 INT8 esportazioni
I runtime Apple Silicon spediti utilizzano la finale Diarizzazione NVIDIA Nemotron 3 checkpoint. Entrambe le funzioni utilizzate per il conteggio automatico dei diffusori e per il postprocessing predefinito del pacchetto. DER è raggruppato con il tempo di riferimento dell'altoparlante all'interno della mappa di valutazione di ogni registrazione, inclusa la sovrapposizione. 85.6% per MLX e 84.8% per CoreML.
| Lingua | File | Nemotron 3 MLX | Nemotron 3 CoreML | Fonte di Sortformer |
|---|---|---|---|---|
| Arabo | 12 | 16.54% | 18.16% | 22.32% |
| Germania | 12 | 7.32% | 7.21% | 8.38% |
| Inglese | 48 | 10.31% | 10.24% | 13.81% |
| Spagnolo | 12 | 12.56% | 13.19% | 16.33% |
| Mandarino | 12 | 10.00% | 9.68% | 9.95% |
| Azero | 12 | 2.53% | 2.55% | 5.25% |
| Svizzera tedesca | 12 | 15.72% | 15.69% | 21.59% |
| Russo | 12 | 4.47% | 4.44% | 5.35% |
| Tutti | 132 | 10.98% | 11.20% | — |
Risultati iniziali del modello sorgente per lingua
Conversazione reale
Telefonia, telefono e audio di riunione. 96 registrazioni, 12.63 ore.
| Sistema | Arabo | Germania | Inglese | Spagnolo | Mandarino |
|---|---|---|---|---|---|
| DER, più basso è meglio | |||||
| Speech Cloud API | 21.02% | 7.62% | 13.21% | 15.92% | 9.63% |
| Sortformer in streaming | 22.32% | 8.38% | 13.81% | 16.33% | 9.95% |
| Sortformer offline | 17.92% | 8.13% | 14.34% | 16.43% | 10.52% |
| pyannote Community-1 | 15.57% | 20.22% | 15.22% | 22.78% | 16.19% |
Ringhiere sintetiche
Discorso di lettura concatenato con turn-taking campionato da distribuzioni misurate sulle fette CallHome. Questi rilevano guasti di dominio lordo e niente di più. Non confrontare questi numeri con la tabella sopra.
| Sistema | Azero | Svizzera tedesca | Russo |
|---|---|---|---|
| DER, più basso è meglio | |||
| Speech Cloud API | 4.74% | 19.33% | 8.15% |
| Sortformer in streaming | 5.25% | 21.59% | 5.35% |
| Sortformer offline | 5.16% | 28.03% | 8.20% |
| pyannote Community-1 | 35.23% | 45.21% | 35.26% |
Metodologia e limiti
- Un segnapunti, un set di articoli. Ogni cellula proviene dalla stessa imbracatura e dalle stesse espressioni a spillo, quindi due sistemi non sono mai confrontati con due righelli diversi.
- Nessun contatore viene fornito a qualsiasi backend.
- Solo i tempi anonimi dell'altoparlante.
- I binari sintetici non sono una vera conversazione. Il
az,gsweruLe ferrovie sono state ricostruite sulle distribuzioni di turn-taking misurate da CallHome. Le ferrovie precedenti hanno usato un modello di gap fisso che ha prodotto un tasso di cambio dell'altoparlante 100%, dove la conversazione reale ripete un altoparlante su 16% dell'epoca. - Cappucci sortformer a quattro diffusori ; 22 dei 96 file originali superano tale capacità.
Provenienza dei dati
Le parti tedesche, spagnole e mandarini provengono da talkbank/callhome a revisione 17c8a153 sotto CC BY-NC-SA 4.0 . I giri di riferimento sono i tempi di riferimento del corpus: no VAD, clustering o embedding-derive.
Corri da solo.
I risultati utilizzano lo stesso dataset e scorer di riferimento. guida di diarizzazione del diffusore per la selezione del motore, il punteggio DER e l'uscita RTTM su Apple Silicon, o la indice di riferimento completo per le righe ASR e TTS misuravano lo stesso modo.