Makine çevirisi · İngilizce aslı

Konuşmacı ayrıştırma benchmarkları: Nemotron 3 ve Sortformer

Nemotron 3 MLX ve CoreML, daha önceki konuşmacı ayırtlama sistemlerini aynı içsel 132 kayıttan oluşan sette birleştirir. Her sistem referans konuşmacı sayısı olmadan ses alır. Nemotron 3 çalışması, başarısız dosya olmadan 12.82 saatlik ses içerir.

Bu sayıları nasıl okumalısınız

Her hücre DER (diarizasyon hatırlama oranı), 0.25 s yaka ile referans konuşmacı süresine göre ağırlıklandırılmıştır. Daha düşük daha iyidir. Gerçek konuşma ve sentetik raylar farklı kanıt seviyeleridir ve birbirinden okunmamalıdır.

Nemotron 3 INT8 dışa aktarmaları

Yüklenen Apple Silicon zamanlamaları son NVIDIA Nemotron 3 Diarization kontrol noktasını kullanır. Her iki çalışmada da otomatik konuşmacı sayısı ve paket varsayılan son işleme kullanıldı. DER, her kaydındaki değerlendirme haritası içinde referans konuşmacı süresine göre havuzlanmıştır, üstünlük dahil. Tam konuşmacı sayısı uyumu, MLX için %85.6 ve CoreML için %84.8 idi.

DilDosyalarNemotron 3 MLXNemotron 3 CoreMLSortformer kaynağı
Arapça1216.54%18.16%22.32%
Almanca127.32%7.21%8.38%
İngilizce4810.31%10.24%13.81%
İspanyolca1212.56%13.19%16.33%
Mandarin1210.00%9.68%9.95%
Azerbaycanca122.53%2.55%5.25%
İsviçre Almancası1215.72%15.69%21.59%
Rusça124.47%4.44%5.35%
Tümü13210.98%11.20%—

Dilce daha önceki kaynak-model sonuçları

Gerçek konuşma

Bilgisayara yayımlanma, telefon ve toplantı sesleri. 96 kayıt, 12,63 saat.

SistemArapçaAlmancaİngilizceİspanyolcaMandarin
DER, ne kadar düşükse o kadar iyi
Speech Cloud API21.02%7.62%13.21%15.92%9.63%
Sortformer akışkan22.32%8.38%13.81%16.33%9.95%
Sortformer çevrimdışı17.92%8.13%14.34%16.43%10.52%
pyannote Community-115.57%20.22%15.22%22.78%16.19%

Yapay demiryolları

CallHome kesitlerinden ölçülen dağılımlardan örneklelenmiş dönümlü okuma konuşması birleştirildi. Bunlar ham alan başarısızlıklarını ve sadece bunları algılar. Bu sayıları yukarıdaki tablo ile karşılaştırma.

SistemAzerbaycancaİsviçre AlmancasıRusça
DER, ne kadar düşükse o kadar iyi
Speech Cloud API4.74%19.33%8.15%
Sortformer akışkan5.25%21.59%5.35%
Sortformer çevrimdışı5.16%28.03%8.20%
pyannote Community-135.23%45.21%35.26%

Yöntem ve sınırlar

Veri kaynağı

Alman, İspanyolca ve Mandarin kesitleri, talkbank/callhome kaynaklıdır, 17c8a153 revizyonu altında ve CC BY-NC-SA 4.0 lisansı ile. Referans döndürüşler, korpusun kendi zaman damgalarıdır: VAD, kümeleme veya gömme türevli kimlik dahil değildir ve örtüşme yayımlanan haliyle korunur. Bu lisans ticari kullanımı yasakladığı için, bu kesitler değerlendirme kanıtıdır ve eğitim onaylı değildir.

Kendi başına çalıştırın

Sonuçlar aynı benchmark veri seti ve skorlayıcıyı kullanır. Motor seçimi, DER skorlaması ve RTTM çıktısı için Apple Silicon'da konuşmacı ayrıştırma kılavuzu'na bakın veya ASR ve TTS satırlarının aynı şekilde ölçüldüğü tam benchmark dizini'ne bakın.