Awtomatikong salin · Orihinal sa Ingles
Mga benkmark ng Speaker diarization: Nemotron 3 at Urinew impormante
Nemotron 3 MLX at CoreML sumali sa mga naunang diarisasyon sa parehong panloob na set ng 132 Bawat sistema ay nakatatanggap ng audio nang walang reperensiyang tagapagsalita. Nemotron 3 tumakbo ng mga takip 12.82 oras ng audio na walang bigong files.
Bawat selula ay MATAAS (diarization error rate), ang reference-speaker-time na timbang na may isang 0.25 s collar. Lower ay mas mabuti. Ang tunay na pag - uusap at sintetikong mga riles ay iba't ibang katibayan at hindi dapat basahin.
Nemotron 3 INT8 na iniluluwas
Ang mga runtime na Apple Silicon ay gumagamit ng final na final NVIDIA Nemotron 3 Diarization Checkpoint. Ang parehong run ay gumamit ng awtomatikong councer count at ang default postprocessing ng pakete. Ang preader ay binabaybay ng reference speaker time sa loob ng bawat mapa ng pagtatala, kabilang ang complex. Exact speaker-count concordment ay 85.6% para sa MLX at 84.8% for CoreML.
| Wika | Mga Bukâ | Nemotron 3 MLX | Nemotron 3 CoreML | Dati - rating reperensiya |
|---|---|---|---|---|
| Arabe | 12 | 16.54% | 18.16% | 22.32% |
| Aleman | 12 | 7.32% | 7.21% | 8.38% |
| Tagalog | 48 | 10.31% | 10.24% | 13.81% |
| Kastila | 12 | 12.56% | 13.19% | 16.33% |
| Mandarin | 12 | 10.00% | 9.68% | 9.95% |
| Azerbaijani | 12 | 2.53% | 2.55% | 5.25% |
| Swiss Aleman | 12 | 15.72% | 15.69% | 21.59% |
| Ruso | 12 | 4.47% | 4.44% | 5.35% |
| Lahat | 132 | 10.98% | 11.20% | — |
Naunang mga resulta ng source-model sa pamamagitan ng wika
Tunay na pag - uusap
Broadcast, telepono at pulong audio. 96 rekording, 12.63 oras.
| Sistema | Arabe | Aleman | Tagalog | Kastila | Mandarin |
|---|---|---|---|---|---|
| MATASA, mas mabuti ang mas mababa | |||||
| Pagsasalita ng Cloud API | 21.02% | 7.62% | 13.21% | 15.92% | 9.63% |
| Ang Iba't Ibang Uri ay humuhugos | 22.32% | 8.38% | 13.81% | 16.33% | 9.95% |
| Ang karaniwang outline | 17.92% | 8.13% | 14.34% | 16.43% | 10.52% |
| pyannote Community-1 | 15.57% | 20.22% | 15.22% | 22.78% | 16.19% |
Mga barangay na synthetic
Ang konkretong pagbasa ng talumpati na may turn-coming na sampol mula sa mga distribusyon na sinusukat sa mga hiwa ng CalHome.Ang mga ito ay nakakapansin ng mga malubhang pagkabigo ng domain at wala nang iba pa. Huwag ihambing ang mga numerong ito sa mesa sa itaas.
| Sistema | Azerbaijani | Swiss Aleman | Ruso |
|---|---|---|---|
| MATASA, mas mabuti ang mas mababa | |||
| Pagsasalita ng Cloud API | 4.74% | 19.33% | 8.15% |
| Ang Iba't Ibang Uri ay humuhugos | 5.25% | 21.59% | 5.35% |
| Ang karaniwang outline | 5.16% | 28.03% | 8.20% |
| pyannote Community-1 | 35.23% | 45.21% | 35.26% |
Pamamaraan at mga hangganan
- Isang iskor, isang set ng bagay. Ang bawat selula ay galing sa iisang gurnament at parehong pindutan na mga pananalita, kaya ang dalawang sistema ay hindi kailanman maihahambing sa dalawang magkaibang pinuno.
- Walang ibinibigay na bilang ng tagapagsalita sa anumang bakas ng paa.
- Walang - sawang mga timeline lamang ng tagapagsalita. Ang mga ito ay resulta ng diarisasyon, hindi pinangalanang pahayag.
- Ang mga sintetikong barangay ay hindi tunay na usapan. Ang
az,gswatruMuling itinayo ang mga barangay sa mga turn-coming distributions na sinusukat mula sa CalHome. Ang mga naunang barangay ay gumamit ng isang nakatakdang pattern ng puwang na lumilikha ng isang tiyak na pattern 100% speaker-change rate, kung saan ang tunay na usapan ay umuulit sa isang speaker tungkol sa 16% Ginantimpalaan niyan ang sinumang diarizer na basta nagpapalit, at ito'y may kamaliang nag - uutos sa larangan sa dalawang wika. - Ang iba't ibang anyo ng gora ay apat na tagapagsalita; 22 ng 96 orihinal na files ay lumagpas sa kapasidad na iyon.
Pinatutunayan ang mga Katotohanan ng Data
Ang mga hiwa ng Aleman, Kastila at Mandarin ay galing sa usap - usapan/Tumawag na bahay sa rebisyon 17c8a153 sa ilalim ng CC BY-NC-SA 4.0. Reference turns ang mga sariling timestamp ng corpus: walang VAD, ang mga partikulong o embelding-derived identity ay nasasangkot, at ang pagsasanib ay naingatan ayon sa pagkakalathala. dahil ang lisensiya ay nagbabawal sa komersyal na paggamit, ang mga hiwa na ito ay ang mga ebidensiya sa pagtatasa at hindi ang pagsasanay-sa-sa-na-sang-ayon.
Habulin mo ito mismo
Ang mga resulta ay gumagamit ng parehong benmark dataset at scored. Tingnan ang scoremart tagapagsalitang giya sa diarisasyon para sa pagpili ng makina, ang DERD EPS at RTM output sa Apple Silicon, o ang ZXQXZ buong indise ng mga benkmark para sa mga hanay ng ASR at TTS ay pareho ang sukat.