Konuşmacı ayrıştırma kıyaslamaları: pyannote, Sortformer, MOSS, Speech Cloud
Beş ayrıştırma sistemi, aynı 132 kayıt üzerinde tek bir cetvelle puanlandı: sekiz dil, 12,9 saat. Her sisteme yalnızca ses verilir. Hiçbir arka uca kaç konuşmacı bekleneceği söylenmez; gerçek bir ayrıştırıcıyı, cevabı elinde tutan bir kümeleme betiğinden ayıran koşul budur.
Her hücre DER / konuşmacı sayısı uyumu değeridir. DER, referans konuşmacı süresine göre ağırlıklandırılır ve collar 0,25 sn'dir; uyum ise çıkarılan konuşmacı sayısının UEM içinde referansla tam olarak eşleştiği dosyaların oranıdır. Düşük DER iyidir, yüksek uyum iyidir. Gerçek konuşma ile sentetik raylar farklı kanıt düzeyleridir ve birbirleriyle karşılaştırılmamalıdır.
Dile göre sonuçlar
Gerçek konuşma
Yayın, telefon ve toplantı sesi. 96 kayıt, 12,63 saat.
| Sistem | Arapça | Almanca | İngilizce | İspanyolca | Mandarin |
|---|---|---|---|---|---|
| Speech Cloud API | 21.02% / 33.3% | 7.62% / 91.7% | 13.21% / 66.7% | 15.92% / 58.3% | 9.63% / 58.3% |
| Sortformer streaming | 22.32% / 33.3% | 8.38% / 83.3% | 13.81% / 66.7% | 16.33% / 58.3% | 9.95% / 58.3% |
| Sortformer offline | 17.92% / 33.3% | 8.13% / 83.3% | 14.34% / 66.7% | 16.43% / 58.3% | 10.52% / 41.7% |
| MOSS | 14.57% / 41.7% | 16.95% / 83.3% | 16.35% / 72.9% | 22.51% / 75.0% | 10.12% / 83.3% |
| pyannote Community-1 | 15.57% / 58.3% | 20.22% / 83.3% | 15.22% / 77.1% | 22.78% / 91.7% | 16.19% / 83.3% |
Sentetik raylar
Birleştirilmiş okuma konuşması; sıra alma, CallHome dilimlerinde ölçülen dağılımlardan örneklendi. Yalnızca ciddi alan hatalarını yakalar. Bu sayıları yukarıdaki tabloyla karşılaştırmayın.
| Sistem | Azerice | İsviçre Almancası | Rusça |
|---|---|---|---|
| Speech Cloud API | 4.74% / 83.3% | 19.33% / 41.7% | 8.15% / 75.0% |
| Sortformer streaming | 5.25% / 75.0% | 21.59% / 58.3% | 5.35% / 91.7% |
| Sortformer offline | 5.16% / 75.0% | 28.03% / 50.0% | 8.20% / 100.0% |
| MOSS | 11.30% / 58.3% | 26.59% / 41.7% | 15.14% / 50.0% |
| pyannote Community-1 | 35.23% / 16.7% | 45.21% / 0.0% | 35.26% / 8.3% |
Kendiniz çalıştırın
Yöntem ve sınırlar · Dile göre sonuçlar
soniqo/speech-bench-data
(9c91223) · talkbank/callhome
(17c8a153, CC BY-NC-SA 4.0)