Automatische vertaling · Engels origineel
Parameters voor luidsprekerdiarisatie: Nemotron 3 en Sortformer
Nemotron 3 MLX en CoreML voegen zich bij eerdere diarizatiesystemen op dezelfde interne set van 132 opnames in acht talen. Elk systeem ontvangt de audio zonder een referentieluidsprekertelling. De Nemotron 3 run beslaat 12,82 uur audio zonder defecte bestanden.
Elke cel is DER (diarisatiefoutpercentage), referentie-luidspreker-tijd gewogen met een kraag van 0,25 s. Lager is beter. Echte gesprekken en synthetische rails zijn verschillende bewijsniveaus en mogen niet worden gelezen over.
Nemotron 3 INT8 export
De verzonden Apple Silicon runtimes maken gebruik van de definitieve NVIDIA Nemotron 3 Diarization checkpoint. Beide wordt gebruikt voor automatische luidsprekertelling en de standaard postverwerking van het pakket. DER wordt samengevoegd door referentie-speakertijd in de evaluatiekaart van elke opname, inclusief overlapping. Exacte luidspreker-count overeenkomst was 85,6% voor MLX en 84,8% voor CoreML.
| Taal | Bestanden | Nemotron 3 MLX | Nemotron 3 CoreML | Sortvormerbron |
|---|---|---|---|---|
| Arabisch | 12 | 16.54% | 18.16% | 22.32% |
| Duits | 12 | 7.32% | 7.21% | 8.38% |
| Engels | 48 | 10.31% | 10.24% | 13.81% |
| Spaans | 12 | 12.56% | 13.19% | 16.33% |
| Mandarijn | 12 | 10.00% | 9.68% | 9.95% |
| Azerbeidzjan | 12 | 2.53% | 2.55% | 5.25% |
| Zwitsers Duits | 12 | 15.72% | 15.69% | 21.59% |
| Russisch | 12 | 4.47% | 4.44% | 5.35% |
| Alle | 132 | 10.98% | 11.20% | — |
Eerdere bron-modelresultaten per taal
Echt gesprek
Uitzending, telefoon en vergadering audio. 96 opnames, 12.63 uur.
| Systeem | Arabisch | Duits | Engels | Spaans | Mandarijn |
|---|---|---|---|---|---|
| DER, lager is beter | |||||
| Spraakwolk API | 21.02% | 7.62% | 13.21% | 15.92% | 9.63% |
| Sortformer-streaming | 22.32% | 8.38% | 13.81% | 16.33% | 9.95% |
| Sortformer offline | 17.92% | 8.13% | 14.34% | 16.43% | 10.52% |
| pyannote Community-1 | 15.57% | 20.22% | 15.22% | 22.78% | 16.19% |
Synthetische rails
Samengevoegde leesspeech met turn-taking gesampled uit distributies gemeten op de CallHome-slices. Deze detecteren bruto domeinfouten en niets meer. Vergelijk deze nummers niet met de tabel hierboven.
| Systeem | Azerbeidzjan | Zwitsers Duits | Russisch |
|---|---|---|---|
| DER, lager is beter | |||
| Spraakwolk API | 4.74% | 19.33% | 8.15% |
| Sortformer-streaming | 5.25% | 21.59% | 5.35% |
| Sortformer offline | 5.16% | 28.03% | 8.20% |
| pyannote Community-1 | 35.23% | 45.21% | 35.26% |
Methode en grenzen
- Eén scorer, één item ingesteld. Elke cel komt uit hetzelfde harnas en dezelfde gepinde uitingen, dus twee systemen worden nooit vergeleken met twee verschillende liniaals.
- Er wordt geen luidsprekeraantal aan een backend geleverd.
- Alleen anonieme luidsprekertijdlijnen. Dit zijn diarisatieresultaten, niet de naam van de spreker.
- Synthetische rails zijn geen echte conversatie. De
az,gswenrurails werden herbouwd op turn-taking distributies gemeten vanuit CallHome. Eerdere rails gebruikten een vaste kloof patroon dat een 100% luidspreker-change rate produceerde, waar echte conversaties herhalen een spreker ongeveer 16% van de tijd. Dat beloonde elke diarizer die gewoon afwisselt, en het bestelde het veld verkeerd op twee talen. - Sortformer caps op vier speakers; 22 van de 96 originele bestanden overschrijden die capaciteit.
Oorsprong van gegevens
De Duitse, Spaanse en Mandarijnschijfjes zijn afkomstig van talkbank/callhome bij herziening 17c8a153 onder CC BY-NC-SA 4.0. De referentiedraaiingen zijn de eigen tijdstempels van het corpus: geen VAD, er is sprake van clustering of embedding-afgeleide identiteit, en overlapping wordt bewaard zoals gepubliceerd. Omdat die licentie commercieel gebruik verbiedt, zijn deze schijfjes evaluatiebewijs en zijn niet goedgekeurd voor training.
Doe het zelf maar.
De resultaten maken gebruik van dezelfde benchmarkset en scorer. Zie de speakerdiarization guide voor motorselectie, DER scoren en RTTM output op Apple Silicon, of de volledige benchmark index voor de ASR en TTS rijen gemeten op dezelfde manier.