Tłumaczenie automatyczne · Oryginał angielski
Wskaźniki diaryzacji głośnika: Nemotron 3 i Sortformer
Nemotron 3 MLX oraz CoreML połączyć wcześniejsze systemy diaryzacji na tym samym wewnętrznym zestawie 132 nagrania w ośmiu językach. Każdy system otrzymuje dźwięk bez liczby głośników odniesienia. Nemotron 3 Pokrywy do biegania 12.82 godziny audio bez nieudanych plików.
Każda komórka jest DER (wskaźnik błędu diarizacji), czas odniesienia-speaker ważony obrożą 0.25. Niższy jest lepszy. Prawdziwe rozmowy i syntetyczne szyny są różnymi poziomami dowodów i nie mogą być odczytywane na wszystkich poziomach.
Nemotron 3 Wywóz INT8
Przesyłka Apple Silicon runtimes korzystać z końcowego Diaryzacja NVIDIA Nemotron 3 punkt kontrolny. Obie operacje były wykorzystywane do automatycznego liczenia głośników i domyślnego przetwarzania po zakończeniu przetwarzania pakietu. DER jest łączony przez czas głośnika odniesienia na mapie oceny każdego nagrania, w tym pokrywanie się. Dokładne porozumienie dotyczące liczby głośników było 85.6% dla MLX i 84.8% na CoreML.
| Język | Pliki | Nemotron 3 MLX | Nemotron 3 CoreML | Źródło Sortformer |
|---|---|---|---|---|
| Arabski | 12 | 16.54% | 18.16% | 22.32% |
| Niemiecki | 12 | 7.32% | 7.21% | 8.38% |
| Angielski | 48 | 10.31% | 10.24% | 13.81% |
| Hiszpański | 12 | 12.56% | 13.19% | 16.33% |
| Mandarynka | 12 | 10.00% | 9.68% | 9.95% |
| Azerbejdżani | 12 | 2.53% | 2.55% | 5.25% |
| Niemiecki szwajcarski | 12 | 15.72% | 15.69% | 21.59% |
| Rosyjski | 12 | 4.47% | 4.44% | 5.35% |
| Wszystkie | 132 | 10.98% | 11.20% | — |
Wcześniejsze wyniki modelu źródłowego według języka
Prawdziwa rozmowa
Transmisja, telefon i spotkanie audio. 96 nagrań, 12.63 godziny.
| System | Arabski | Niemiecki | Angielski | Hiszpański | Mandarynka |
|---|---|---|---|---|---|
| DER, niżej jest lepiej | |||||
| Mowa o chmurze API | 21.02% | 7.62% | 13.21% | 15.92% | 9.63% |
| Strumieniowanie sortformerów | 22.32% | 8.38% | 13.81% | 16.33% | 9.95% |
| Sortformer offline | 17.92% | 8.13% | 14.34% | 16.43% | 10.52% |
| piannote Community-1 | 15.57% | 20.22% | 15.22% | 22.78% | 16.19% |
Szyny syntetyczne
Konkatenacja mowy odczytu z próbkami z dystrybucji mierzonych na plastrach CallHome. Wykrywają one rażące niepowodzenia domeny i nic więcej. Nie porównuj tych liczb z powyższą tabelą.
| System | Azerbejdżani | Niemiecki szwajcarski | Rosyjski |
|---|---|---|---|
| DER, niżej jest lepiej | |||
| Mowa o chmurze API | 4.74% | 19.33% | 8.15% |
| Strumieniowanie sortformerów | 5.25% | 21.59% | 5.35% |
| Sortformer offline | 5.16% | 28.03% | 8.20% |
| piannote Community-1 | 35.23% | 45.21% | 35.26% |
Metodologia i ograniczenia
- Jeden zdobywca, jeden element. Każda komórka pochodzi z tej samej uprzęży i tej samej przypinanej wypowiedzi, więc dwa systemy nigdy nie są porównywane z dwoma różnymi władcami.
- Nie podano liczby głośników do każdego oparcia.
- Wyłącznie anonimowe linie czasowe głośników. Są to wyniki diaryzacji, nie nazwane przydziałem głośnika.
- Syntetyczne szyny nie są prawdziwą rozmową. W
az,gsworazruSzyny zostały przebudowane na dystrybucjach odmiennych mierzonych od CallHome. Wcześniej szyny używały stałego wzoru szczeliny, który produkował wskaźnik zmiany głośników 100%, gdzie prawdziwa rozmowa powtarza głośnik o 16% czasu. To nagradzało każdy dializator, który po prostu naprzemiennie, i zamówił pole błędnie na dwóch językach. - Korpusy sortformerowe przy czterech głośnikach; 22 oryginalnych plików 96 przekracza tę pojemność.
Źródło danych
Niemieckie, hiszpańskie i mandaryńskie plastry pochodzą z talkbank / callhome przy przeglądzie 17c8a153 poniżej CC BY- NC- SA 4.0. Referencyjne obroty są własne znaczniki czasu korpusu: nie ma VAD, klasterowanie lub osadzanie-pochodnej tożsamości jest zaangażowany, i pokrywanie się jest zachowane w sposób opublikowany. Ponieważ licencja zabrania komercyjnego wykorzystania, te plastry są dowodem oceny i nie są zatwierdzone szkolenia.
Sam go uruchom.
Wyniki wykorzystują ten sam zestaw danych odniesienia i wynik. przewodnik diaryzacji głośników do wyboru silnika, punktacji DER i wyjścia RTTM na Apple Silicon, lub pełny wskaźnik referencyjny dla wierszy ASR i TTS mierzone w ten sam sposób.