Terjemahan mesin · Versi asli bahasa Inggris
Speaker diarisasi benchmarks: Nemotron 3 dan Sortformer
Nemotron 3 MLX dan CoreML bergabung dengan sistem diarisasi sebelumnya pada set internal yang sama 132 Rekaman melalui delapan bahasa. Setiap sistem menerima audio tanpa hitungan pembicara referensi. Nemotron 3 jalankan cover 12.82 jam audio tanpa berkas gagal.
Setiap sel adalah DER (laras kesalahan diarisasi), referensikan - speaker- waktu ditimbang dengan kerah 0.25 's. Percakapan nyata dan jalur sintetis adalah bukti yang berbeda penghitung dan tidak boleh dibaca di seluruh.
Nemotron 3 INT8 ekspor
Yang dikirim Apple Silicon runtimes menggunakan final NVIDIA Nemotron 3 Diarization Checkpoint. Keduanya menggunakan hitungan speaker otomatis dan proses postingan bawaan paket. DER terpooled oleh waktu acuan speaker didalam peta evaluasi setiap rekaman, termasuk tumpang tindih. Kesepakatan speaker- count yang tepat adalah 85.6% untuk MLX dan 84.8% untuk CoreML.
| Bahasa | Berkas | Nemotron 3 MLX | Nemotron 3 CoreML | Sumber singkat |
|---|---|---|---|---|
| Arab | 12 | 16.54% | 18.16% | 22.32% |
| Jerman | 12 | 7.32% | 7.21% | 8.38% |
| Inggris | 48 | 10.31% | 10.24% | 13.81% |
| Spanyol | 12 | 12.56% | 13.19% | 16.33% |
| Mandarin | 12 | 10.00% | 9.68% | 9.95% |
| Azerbaijan | 12 | 2.53% | 2.55% | 5.25% |
| Jerman Swiss | 12 | 15.72% | 15.69% | 21.59% |
| Rusia | 12 | 4.47% | 4.44% | 5.35% |
| Semua | 132 | 10.98% | 11.20% | — |
Hasil awal model oleh bahasa
Percakapan nyata
Siaran, telepon dan audio pertemuan 96 rekaman, 12.63 jam.
| Sistem | Arab | Jerman | Inggris | Spanyol | Mandarin |
|---|---|---|---|---|---|
| DER, lebih baik lebih rendah. | |||||
| Speech Cloud API | 21.02% | 7.62% | 13.21% | 15.92% | 9.63% |
| Streaming singkat | 22.32% | 8.38% | 13.81% | 16.33% | 9.95% |
| Sortformer offline | 17.92% | 8.13% | 14.34% | 16.43% | 10.52% |
| plannote Community-1 | 15.57% | 20.22% | 15.22% | 22.78% | 16.19% |
Rel sintetis
Konkatentasi pidato dibaca dengan mengubah sampel dari distribusi diukur pada irisan CallHome. Ini mendeteksi kegagalan domain kotor dan tidak lebih. Jangan bandingkan angka-angka ini dengan meja di atas.
| Sistem | Azerbaijan | Jerman Swiss | Rusia |
|---|---|---|---|
| DER, lebih baik lebih rendah. | |||
| Speech Cloud API | 4.74% | 19.33% | 8.15% |
| Streaming singkat | 5.25% | 21.59% | 5.35% |
| Sortformer offline | 5.16% | 28.03% | 8.20% |
| plannote Community-1 | 35.23% | 45.21% | 35.26% |
Metodologi dan batas
- Satu skor, satu hal yang ditetapkan. Setiap sel berasal dari harness yang sama dan ucapan yang sama, sehingga dua sistem tidak pernah dibandingkan dengan dua penguasa yang berbeda.
- Tak ada jumlah pembicara yang diberikan untuk setiap backend.
- Hanya speaker anonymous saja. Ini adalah hasil diarisasi, tidak disebutkan nama penutup pembicara.
- Jalur sintetis bukan percakapan nyata. The
az,gswdanruRel dibangun kembali saat memutar ulang distribusi yang diukur dari CallHome. Sebelumnya rel tersebut menggunakan pola kesenjangan tetap yang menghasilkan tingkat tukar 100%, dimana percakapan nyata terulang kembali seorang pembicara tentang 16% pada waktu itu. - Sortmer caps at four speakers; 22 dari file asli 96 melebihi kapasitas tersebut.
Provenansi data
Jerman, Spanyol dan Mandarin iris berasal dari talkbank / callhome di revisi 17c8a153 di bawah CC BY- NC-SA 4.0Referensi berubah adalah penanda waktu corpus sendiri: tidak VAD, clustering atau penggelapan-identitas yang berasal terlibat, dan tumpang tindih diawetkan sebagai diterbitkan. Karena lisensi itu melarang penggunaan komersial, irisan ini adalah bukti evaluasi dan tidak disetujui.
Jalankan sendiri
Hasilnya menggunakan data dan scorer yang sama dengan benchmark. Panduan dialog pembicara untuk seleksi mesin, DER mencetak gol dan keluaran RTTM pada Apple Silicon, atau indeks benchmark lengkap untuk ASR dan TTS baris diukur dengan cara yang sama.