Bản dịch máy · Bản gốc tiếng Anh

Đánh giá phân tách người nói: Nemotron 3 và Sortformer

Nemotron 3 MLX và CoreML kết hợp các hệ thống phân tách người nói ban đầu trên cùng một bộ 132 bản ghi âm nội bộ qua tám ngôn ngữ. Mỗi hệ thống nhận âm thanh mà không có số lượng người nói tham chiếu. Chạy Nemotron 3 bao phủ 12,82 giờ âm thanh mà không có tệp nào thất bại.

Cách đọc các con số này

Mỗi ô là DER (tỷ lệ lỗi phân tách), được trọng số theo thời gian người nói tham chiếu với vùng đệm 0,25 s. Giá trị thấp hơn là tốt hơn. Trò chuyện thực và đường ray tổng hợp là các cấp bằng chứng khác nhau và không được phép đọc chéo.

Xuất Nemotron 3 INT8

Các runtime Apple Silicon được phát hành sử dụng checkpoint cuối cùng NVIDIA Nemotron 3 Diarization. Cả hai lần chạy đều sử dụng số lượng người nói tự động và xử lý hậu kỳ mặc định của gói. DER được gộp theo thời gian người nói tham chiếu bên trong bản đồ đánh giá của mỗi bản ghi âm, bao gồm cả phần chồng lấn. Sự phù hợp chính xác về số lượng người nói là 85,6% cho MLX và 84,8% cho CoreML.

Ngôn ngữTệpNemotron 3 MLXNemotron 3 CoreMLMã nguồn Sortformer
Tiếng Ả Rập1216.54%18.16%22.32%
Đức127.32%7.21%8.38%
Tiếng Anh4810.31%10.24%13.81%
Tiếng Tây Ban Nha1212.56%13.19%16.33%
Tiếng Trung1210.00%9.68%9.95%
Azerbaijan122.53%2.55%5.25%
Tiếng Đức Thụy Sĩ1215.72%15.69%21.59%
Tiếng Nga124.47%4.44%5.35%
Tất cả13210.98%11.20%—

Kết quả mô hình nguồn trước đó theo ngôn ngữ

Cuộc trò chuyện thực

Âm thanh phát thanh, điện thoại và cuộc họp. 96 bản ghi âm, 12,63 giờ.

Hệ thốngTiếng Ả RậpĐứcTiếng AnhTiếng Tây Ban NhaTiếng Trung
DER, càng thấp càng tốt
Speech Cloud API21.02%7.62%13.21%15.92%9.63%
Dòng chảy Sortformer22.32%8.38%13.81%16.33%9.95%
Sortformer ngoại tuyến17.92%8.13%14.34%16.43%10.52%
pyannote Community-115.57%20.22%15.22%22.78%16.19%

Đường ray tổng hợp

Đọc giọng nói được nối tiếp với lượt nói được lấy mẫu từ các phân phối được đo trên các lát CallHome. Những điều này phát hiện các lỗi miền thô và không có gì thêm. Không so sánh các số này với bảng ở trên.

Hệ thốngAzerbaijanTiếng Đức Thụy SĩTiếng Nga
DER, càng thấp càng tốt
Speech Cloud API4.74%19.33%8.15%
Dòng chảy Sortformer5.25%21.59%5.35%
Sortformer ngoại tuyến5.16%28.03%8.20%
pyannote Community-135.23%45.21%35.26%

Phương pháp luận và giới hạn

Nguồn gốc dữ liệu

Các phần tiếng Đức, tiếng Tây Ban Nha và tiếng Trung đến từ talkbank/callhome tại phiên bản 17c8a153 dưới CC BY-NC-SA 4.0. Các lượt tham chiếu là các thời gian của chính bộ sưu tập: không có VAD, phân cụm hoặc danh tính được suy ra từ nhúng được tham gia, và sự chồng chéo được giữ nguyên như đã công bố. Vì giấy phép đó cấm sử dụng thương mại, các phần này là bằng chứng đánh giá và không được phê duyệt để huấn luyện.

Chạy nó chính bạn

Kết quả sử dụng cùng bộ dữ liệu đánh giá và bộ chấm điểm. Xem hướng dẫn phân biệt người nói để chọn động cơ, chấm điểm DER và đầu ra RTTM trên Apple Silicon, hoặc chỉ mục đánh giá đầy đủ cho các hàng ASR và TTS được đo theo cùng một cách.