Bản dịch máy · Bản gốc tiếng Anh
Đánh giá phân tách người nói: Nemotron 3 và Sortformer
Nemotron 3 MLX và CoreML kết hợp các hệ thống phân tách người nói ban đầu trên cùng một bộ 132 bản ghi âm nội bộ qua tám ngôn ngữ. Mỗi hệ thống nhận âm thanh mà không có số lượng người nói tham chiếu. Chạy Nemotron 3 bao phủ 12,82 giờ âm thanh mà không có tệp nào thất bại.
Mỗi ô là DER (tỷ lệ lỗi phân tách), được trọng số theo thời gian người nói tham chiếu với vùng đệm 0,25 s. Giá trị thấp hơn là tốt hơn. Trò chuyện thực và đường ray tổng hợp là các cấp bằng chứng khác nhau và không được phép đọc chéo.
Xuất Nemotron 3 INT8
Các runtime Apple Silicon được phát hành sử dụng checkpoint cuối cùng NVIDIA Nemotron 3 Diarization. Cả hai lần chạy đều sử dụng số lượng người nói tự động và xử lý hậu kỳ mặc định của gói. DER được gộp theo thời gian người nói tham chiếu bên trong bản đồ đánh giá của mỗi bản ghi âm, bao gồm cả phần chồng lấn. Sự phù hợp chính xác về số lượng người nói là 85,6% cho MLX và 84,8% cho CoreML.
| Ngôn ngữ | Tệp | Nemotron 3 MLX | Nemotron 3 CoreML | Mã nguồn Sortformer |
|---|---|---|---|---|
| Tiếng Ả Rập | 12 | 16.54% | 18.16% | 22.32% |
| Đức | 12 | 7.32% | 7.21% | 8.38% |
| Tiếng Anh | 48 | 10.31% | 10.24% | 13.81% |
| Tiếng Tây Ban Nha | 12 | 12.56% | 13.19% | 16.33% |
| Tiếng Trung | 12 | 10.00% | 9.68% | 9.95% |
| Azerbaijan | 12 | 2.53% | 2.55% | 5.25% |
| Tiếng Đức Thụy Sĩ | 12 | 15.72% | 15.69% | 21.59% |
| Tiếng Nga | 12 | 4.47% | 4.44% | 5.35% |
| Tất cả | 132 | 10.98% | 11.20% | — |
Kết quả mô hình nguồn trước đó theo ngôn ngữ
Cuộc trò chuyện thực
Âm thanh phát thanh, điện thoại và cuộc họp. 96 bản ghi âm, 12,63 giờ.
| Hệ thống | Tiếng Ả Rập | Đức | Tiếng Anh | Tiếng Tây Ban Nha | Tiếng Trung |
|---|---|---|---|---|---|
| DER, càng thấp càng tốt | |||||
| Speech Cloud API | 21.02% | 7.62% | 13.21% | 15.92% | 9.63% |
| Dòng chảy Sortformer | 22.32% | 8.38% | 13.81% | 16.33% | 9.95% |
| Sortformer ngoại tuyến | 17.92% | 8.13% | 14.34% | 16.43% | 10.52% |
| pyannote Community-1 | 15.57% | 20.22% | 15.22% | 22.78% | 16.19% |
Đường ray tổng hợp
Đọc giọng nói được nối tiếp với lượt nói được lấy mẫu từ các phân phối được đo trên các lát CallHome. Những điều này phát hiện các lỗi miền thô và không có gì thêm. Không so sánh các số này với bảng ở trên.
| Hệ thống | Azerbaijan | Tiếng Đức Thụy Sĩ | Tiếng Nga |
|---|---|---|---|
| DER, càng thấp càng tốt | |||
| Speech Cloud API | 4.74% | 19.33% | 8.15% |
| Dòng chảy Sortformer | 5.25% | 21.59% | 5.35% |
| Sortformer ngoại tuyến | 5.16% | 28.03% | 8.20% |
| pyannote Community-1 | 35.23% | 45.21% | 35.26% |
Phương pháp luận và giới hạn
- Chỉ một bộ đánh giá, một tập dữ liệu. Mỗi ô đều đến từ cùng một bộ khung và cùng các phát âm được ghim chặt, vì vậy hai hệ thống không bao giờ được so sánh với hai bộ quy tắc khác nhau.
- Không có số lượng người nói được cung cấp cho bất kỳ backend nào.
- Chỉ hiển thị dòng thời gian của người nói ẩn danh. Đây là kết quả phân tách người nói, không phải quy thuộc người nói có tên.
- Ray tổng hợp không phải là hội thoại thực. Các ray
az,gswvàruđã được xây dựng lại trên các phân phối lượt nói được đo từ CallHome. Các ray trước đó sử dụng mẫu khoảng cách cố định tạo ra tỷ lệ thay đổi người nói 100%, trong khi hội thoại thực lặp lại một người nói khoảng 16% thời gian. Điều đó phần thưởng cho bất kỳ hệ thống phân tách người nói nào chỉ đơn giản luân phiên, và nó sắp xếp lĩnh vực sai trên hai ngôn ngữ. - Sortformer giới hạn ở bốn người nói; 22 trong số 96 tệp gốc vượt quá khả năng này.
Nguồn gốc dữ liệu
Các phần tiếng Đức, tiếng Tây Ban Nha và tiếng Trung đến từ talkbank/callhome tại phiên bản 17c8a153 dưới CC BY-NC-SA 4.0. Các lượt tham chiếu là các thời gian của chính bộ sưu tập: không có VAD, phân cụm hoặc danh tính được suy ra từ nhúng được tham gia, và sự chồng chéo được giữ nguyên như đã công bố. Vì giấy phép đó cấm sử dụng thương mại, các phần này là bằng chứng đánh giá và không được phê duyệt để huấn luyện.
Chạy nó chính bạn
Kết quả sử dụng cùng bộ dữ liệu đánh giá và bộ chấm điểm. Xem hướng dẫn phân biệt người nói để chọn động cơ, chấm điểm DER và đầu ra RTTM trên Apple Silicon, hoặc chỉ mục đánh giá đầy đủ cho các hàng ASR và TTS được đo theo cùng một cách.