Strojový překlad · Anglický originál
Referenční hodnoty pro diarizaci reproduktorů: Nemotron 3 a Sortformer
Nemotron 3 MLX a CoreML připojit se k dřívějším diarizačním systémům na stejném vnitřním souboru 132 nahrávky v osmi jazycích. Každý systém přijímá zvuk bez referenčního počtu reproduktorů. Nemotron 3 Pokrývky hlavy 12.82 hodiny audio bez neúspěšných souborů.
Každá buňka je DER (diarizační chybovost), reference-speaker- time vážená límcem 0.25. Nižší je lepší. Skutečný rozhovor a syntetické kolejnice jsou různé důkazní úrovně a nesmí být čteny napříč.
Nemotron 3 INT8 vývoz
Odeslané runtimes Apple Silicon používají finální NVIDIA Nemotron 3 Diarizace checkpoint. Oba poběží pomocí automatického počtu reproduktorů a výchozího postprocesoru balíku. DER je sloučen referenční čas reproduktoru v každé hodnotící mapě záznamu, včetně překrývání. Přesná dohoda o přepočítání mluvčích byla 85.6% pro MLX a 84.8% i CoreML.
| Jazyk | Soubory | Nemotron 3 MLX | Nemotron 3 CoreML | Zdroje z Sortformer |
|---|---|---|---|---|
| Arabština | 12 | 16.54% | 18.16% | 22.32% |
| Němčina | 12 | 7.32% | 7.21% | 8.38% |
| English | 48 | 10.31% | 10.24% | 13.81% |
| Španělština | 12 | 12.56% | 13.19% | 16.33% |
| Mandarinky | 12 | 10.00% | 9.68% | 9.95% |
| Azerbaijan. kgm | 12 | 2.53% | 2.55% | 5.25% |
| Švýcarská němčina | 12 | 15.72% | 15.69% | 21.59% |
| Ruský | 12 | 4.47% | 4.44% | 5.35% |
| Všechny | 132 | 10.98% | 11.20% | — |
Výsledky dřívějšího zdrojového modelu podle jazyka
Skutečný rozhovor
Vysílání, telefon a setkání audio. 96 nahrávek, 12.63 hodin.
| Systém | Arabština | Němčina | English | Španělština | Mandarinky |
|---|---|---|---|---|---|
| DER, nižší je lepší. | |||||
| Projev Cloud API | 21.02% | 7.62% | 13.21% | 15.92% | 9.63% |
| Streaming z Sortformeru | 22.32% | 8.38% | 13.81% | 16.33% | 9.95% |
| Sortformer offline | 17.92% | 8.13% | 14.34% | 16.43% | 10.52% |
| pyannote Community-1 | 15.57% | 20.22% | 15.22% | 22.78% | 16.19% |
Syntetické kolejnice
Koncentrovaný čtení řeč s turn-beroucí vzorkování z distribucí měřených na plátky CallHome. To detekuje hrubé domény selhání a nic víc. Nesrovnávejte tato čísla s výše uvedenou tabulkou.
| Systém | Azerbaijan. kgm | Švýcarská němčina | Ruský |
|---|---|---|---|
| DER, nižší je lepší. | |||
| Projev Cloud API | 4.74% | 19.33% | 8.15% |
| Streaming z Sortformeru | 5.25% | 21.59% | 5.35% |
| Sortformer offline | 5.16% | 28.03% | 8.20% |
| pyannote Community-1 | 35.23% | 45.21% | 35.26% |
Metodika a limity
- Jeden střelec, jedna sada položek. Každá buňka pochází ze stejného postroje a stejného přišpendleného proslovu, takže dva systémy se nikdy nesrovnávají se dvěma různými vládci.
- Není dodáván žádný počet reproduktorů na každou backend.
- Anonymní řečnická časová linie pouze. To jsou výsledky diarizace, ne jmenované řečnické přiřazení.
- Syntetické kolejnice nejsou skutečná konverzace. V
az,gswarukoleje byly přestavěny na turn-taking distributions měřeno od CallHome. Starší kolejnice používají pevný mezera vzor, který produkoval 100% speaker-change rate, kde skutečný rozhovor opakuje reproduktor o 16% času. To odměnilo každý diarizer, který jednoduše střídá, a to objednala pole špatně na dvou jazycích. - Sortformer čepice na čtyři reproduktory; 22 původních souborů 96 tuto kapacitu překračuje.
Provedení údajů
Německé, španělské a mandarínské plátky pocházejí z talkbank / callhome při revizi 17c8a153 v rámci CC BY-NC- SA 4.0. Referenční otáčky jsou corpus vlastní časové razítka: no VAD, clustering nebo embedding- odvozená identita je zapojena, a překrývání je zachováno, jak bylo zveřejněno. Vzhledem k tomu, že licence zakazuje komerční použití, tyto plátky jsou hodnotící důkazy a nejsou školení-schválené.
Projeď si to sám.
Výsledky používají stejný referenční datový soubor a hodnotitel. Diarizační příručka reproduktoru pro výběr motoru, skóre DER a výstup RTM na Apple Silicon, nebo úplný referenční index pro řady ASR a TTS měřeno stejným způsobem.