Traducere automată · Originalul în engleză
Valori de referință pentru diarizarea speakerului: Nemotron 3 și Sortformer
Nemotron 3 MLX şi CoreML să se alăture sistemelor de diarizare anterioare pe același set intern de 132 înregistrări în opt limbi. Fiecare sistem primește audio fără un vorbitor de referință conta. Nemotron 3 Capace de rulare 12.82 ore de audio fără fișiere eșuate.
Fiecare celulă este DER (rata de eroare de diarizare), ponderată cu timpul de referință cu un guler de 0,25 s. Mai jos este mai bine. Conversația reală și șinele sintetice sunt niveluri diferite de probă și nu trebuie citite peste.
Nemotron 3 INT8 exporturi
Expediat Apple Silicon runtimes folosi finala Diarizarea NVIDIA Nemotron 3 punctul de control. Ambele ruleaza automata de numărare a speaker-ului și a pachetului implicit de postprocesare. DER este adunată prin ora de referință difuzor în interiorul hărții de evaluare a fiecărei înregistrări, inclusiv suprapunerea. Acordul exact-număr de difuzor a fost 85.6% pentru MLX și 84.8% în CoreML.
| Limba | Fișiere | Nemotron 3 MLX | Nemotron 3 CoreML | Sortare sursă |
|---|---|---|---|---|
| Arabă | 12 | 16.54% | 18.16% | 22.32% |
| Germană | 12 | 7.32% | 7.21% | 8.38% |
| Engleză | 48 | 10.31% | 10.24% | 13.81% |
| Spaniolă | 12 | 12.56% | 13.19% | 16.33% |
| Mandarină | 12 | 10.00% | 9.68% | 9.95% |
| Azerbaidjan | 12 | 2.53% | 2.55% | 5.25% |
| Germană elvețiană | 12 | 15.72% | 15.69% | 21.59% |
| Rusoaică | 12 | 4.47% | 4.44% | 5.35% |
| All | 132 | 10.98% | 11.20% | — |
Rezultate anterioare ale modelului sursă în funcție de limbă
Conversație reală
Transmisie, telefon si intalnire audio. 96 de inregistrari, 12.63 ore.
| Sistem | Arabă | Germană | Engleză | Spaniolă | Mandarină |
|---|---|---|---|---|---|
| DER, mai jos e mai bine. | |||||
| Speech Cloud API | 21.02% | 7.62% | 13.21% | 15.92% | 9.63% |
| Sortare flux | 22.32% | 8.38% | 13.81% | 16.33% | 9.95% |
| Sortare offline | 17.92% | 8.13% | 14.34% | 16.43% | 10.52% |
| pyannote Community-1 | 15.57% | 20.22% | 15.22% | 22.78% | 16.19% |
Sine sintetice
Discursul de citire concatenat cu entorsatura prelevata din distributiile masurate pe feliile CallHome. Acestea detecteaza esecuri de domeniu brut si nimic mai mult. Nu comparati aceste numere cu tabelul de mai sus.
| Sistem | Azerbaidjan | Germană elvețiană | Rusoaică |
|---|---|---|---|
| DER, mai jos e mai bine. | |||
| Speech Cloud API | 4.74% | 19.33% | 8.15% |
| Sortare flux | 5.25% | 21.59% | 5.35% |
| Sortare offline | 5.16% | 28.03% | 8.20% |
| pyannote Community-1 | 35.23% | 45.21% | 35.26% |
Metodologie și limite
- Un singur marcator, un set de elemente. Fiecare celulă provine din același ham și din aceleași expresii fixate, astfel încât două sisteme nu sunt niciodată comparate cu doi conducători diferiți.
- Nici un număr de vorbitori nu este furnizat oricărui suport.
- Doar cronologie difuzor anonim. Acestea sunt rezultate de diarizare, neatribuirea difuzorului.
- Synthetic sine nu sunt reale conversație. The
az,gswșineruau fost reconstruite pe distribuții turn-taking măsurate de la CallHome. Sinele anterioare au folosit un model fix de decalaj care a produs o rată de 100% de schimbare a vorbitorului, în cazul în care conversația reală repetă un vorbitor aproximativ 16% din timp. Care a recompensat orice diarizer care pur și simplu alternează, și a comandat câmpul în mod greșit pe două limbi. - Sortformers caps at four speakers; 22 of the 96 original files over that capacity.
Originea datelor
Feliile germane, spaniole și mandarine provin de la talkbank/callhome la revizuirea 17c8a153 sub CC BY-NC-SA 4.0. Rotirile de referință sunt propriile ștampile temporale ale corpului: nu este implicată VAD, este implicată gruparea sau încorporarea identității derivate, iar suprapunerea se păstrează așa cum este publicată. Deoarece licența interzice utilizarea comercială, aceste felii sunt probe de evaluare și nu sunt aprobate.
Rulați-l singur
Rezultatele utilizează același set de date de referință și scorer. A se vedea ghidul de diarizare a difuzorului pentru selectarea motorului, scorul DER și producția RTTM pe Apple Silicon sau indicele de referință complet pentru rândurile ASR și TTS măsurate în același mod.