Makine çevirisi · İngilizce aslı
Konuşmacı ayrıştırma benchmarkları: Nemotron 3 ve Sortformer
Nemotron 3 MLX ve CoreML, daha önceki konuşmacı ayırtlama sistemlerini aynı içsel 132 kayıttan oluşan sette birleştirir. Her sistem referans konuşmacı sayısı olmadan ses alır. Nemotron 3 çalışması, başarısız dosya olmadan 12.82 saatlik ses içerir.
Her hücre DER (diarizasyon hatırlama oranı), 0.25 s yaka ile referans konuşmacı süresine göre ağırlıklandırılmıştır. Daha düşük daha iyidir. Gerçek konuşma ve sentetik raylar farklı kanıt seviyeleridir ve birbirinden okunmamalıdır.
Nemotron 3 INT8 dışa aktarmaları
Yüklenen Apple Silicon zamanlamaları son NVIDIA Nemotron 3 Diarization kontrol noktasını kullanır. Her iki çalışmada da otomatik konuşmacı sayısı ve paket varsayılan son işleme kullanıldı. DER, her kaydındaki değerlendirme haritası içinde referans konuşmacı süresine göre havuzlanmıştır, üstünlük dahil. Tam konuşmacı sayısı uyumu, MLX için %85.6 ve CoreML için %84.8 idi.
| Dil | Dosyalar | Nemotron 3 MLX | Nemotron 3 CoreML | Sortformer kaynağı |
|---|---|---|---|---|
| Arapça | 12 | 16.54% | 18.16% | 22.32% |
| Almanca | 12 | 7.32% | 7.21% | 8.38% |
| İngilizce | 48 | 10.31% | 10.24% | 13.81% |
| İspanyolca | 12 | 12.56% | 13.19% | 16.33% |
| Mandarin | 12 | 10.00% | 9.68% | 9.95% |
| Azerbaycanca | 12 | 2.53% | 2.55% | 5.25% |
| İsviçre Almancası | 12 | 15.72% | 15.69% | 21.59% |
| Rusça | 12 | 4.47% | 4.44% | 5.35% |
| Tümü | 132 | 10.98% | 11.20% | — |
Dilce daha önceki kaynak-model sonuçları
Gerçek konuşma
Bilgisayara yayımlanma, telefon ve toplantı sesleri. 96 kayıt, 12,63 saat.
| Sistem | Arapça | Almanca | İngilizce | İspanyolca | Mandarin |
|---|---|---|---|---|---|
| DER, ne kadar düşükse o kadar iyi | |||||
| Speech Cloud API | 21.02% | 7.62% | 13.21% | 15.92% | 9.63% |
| Sortformer akışkan | 22.32% | 8.38% | 13.81% | 16.33% | 9.95% |
| Sortformer çevrimdışı | 17.92% | 8.13% | 14.34% | 16.43% | 10.52% |
| pyannote Community-1 | 15.57% | 20.22% | 15.22% | 22.78% | 16.19% |
Yapay demiryolları
CallHome kesitlerinden ölçülen dağılımlardan örneklelenmiş dönümlü okuma konuşması birleştirildi. Bunlar ham alan başarısızlıklarını ve sadece bunları algılar. Bu sayıları yukarıdaki tablo ile karşılaştırma.
| Sistem | Azerbaycanca | İsviçre Almancası | Rusça |
|---|---|---|---|
| DER, ne kadar düşükse o kadar iyi | |||
| Speech Cloud API | 4.74% | 19.33% | 8.15% |
| Sortformer akışkan | 5.25% | 21.59% | 5.35% |
| Sortformer çevrimdışı | 5.16% | 28.03% | 8.20% |
| pyannote Community-1 | 35.23% | 45.21% | 35.26% |
Yöntem ve sınırlar
- Yalnızca bir skorlayıcı, yalnızca bir öğe kümesi. Her hücre aynı iskeletten ve aynı sabitlenmiş ifadelerden gelir, bu yüzden iki sistem asla iki farklı ölçütle karşılaştırılmaz.
- Herhangi bir arka plana konuşmacı sayısı sağlanmadı
- Sadece anonim konuşucu zaman çizelgeleri. Bunlar diarizasyon sonuçlarıdır, isimlendirilmiş konuşucu atfedilimi değil.
- Sentetik raylar gerçek konuşma değildir.
az,gswverurayları, CallHome'dan ölçülen dönümlü dağılımlara göre yeniden inşa edildi. Daha önceki raylar, gerçek konuşmanın bir konuşmacıyı yaklaşık %16'sı kadar tekrar ettiği yerde, konuşmacı değişim oranını %100 üreten sabit bir aralık deseni kullanıyordu. Bu, konuşmacıyı basitçe değiştiren herhangi bir diyarizatörü ödüllendirdi ve alanı iki dilde yanlış sıraladı. - Sortformer dört konuşmacı ile sınırlıdır; 96 orijinal dosyadan 22'si bu kapasiteyi aşar.
Veri kaynağı
Alman, İspanyolca ve Mandarin kesitleri, talkbank/callhome kaynaklıdır, 17c8a153 revizyonu altında ve CC BY-NC-SA 4.0 lisansı ile. Referans döndürüşler, korpusun kendi zaman damgalarıdır: VAD, kümeleme veya gömme türevli kimlik dahil değildir ve örtüşme yayımlanan haliyle korunur. Bu lisans ticari kullanımı yasakladığı için, bu kesitler değerlendirme kanıtıdır ve eğitim onaylı değildir.
Kendi başına çalıştırın
Sonuçlar aynı benchmark veri seti ve skorlayıcıyı kullanır. Motor seçimi, DER skorlaması ve RTTM çıktısı için Apple Silicon'da konuşmacı ayrıştırma kılavuzu'na bakın veya ASR ve TTS satırlarının aynı şekilde ölçüldüğü tam benchmark dizini'ne bakın.