मशीन अनुवाद · अंग्रेज़ी मूल पाठ

स्पीकर डायराइजेशन बेंचमार्क्स: Nemotron 3 और Sortformer

Nemotron 3 MLX और CoreML पहले डायराइजेशन प्रणालियों को एक ही आंतरिक समूह में 132 रिकॉर्डिंगों पर जोड़ते हैं आठ भाषाओं में। हर प्रणाली को बिना संदर्भ स्पीकर गिनती के ऑडियो मिलता है। Nemotron 3 रन 12.82 घंटे के ऑडियो को कवर करता है बिना विफल फ़ाइलों के।

In numbers ko kaise padhein

प्रत्येक सेल DER (डाइराइज़ेशन त्रुटि दर) है, जो 0.25 s कलर के साथ संदर्भ-बोलने-वाले-समय के भारित है। कम बेहतर है। वास्तविक संवाद और संश्लिष्ट रेल अलग-अलग सबूत स्तर हैं और एक-दूसरे को पढ़ा नहीं जाना चाहिए।

Nemotron 3 INT8 एक्सपोर्ट्स

शिप किए गए Apple Silicon रनटाइम अंतिम NVIDIA Nemotron 3 Diarization चेकपॉइंट का उपयोग करते हैं। दोनों रन में स्वचालित बोलने वाले व्यक्ति की संख्या और पैकेज के डिफ़ॉल्ट पोस्ट-प्रोसेसिंग का उपयोग किया गया। DER प्रत्येक रिकॉर्डिंग के मूल्यांकन मानचित्र के भीतर संदर्जित बोलने वाले व्यक्ति के समय के अनुसार पूल किया जाता है, जिसमें ओवरलैप शामिल है। सटीक बोलने वाले व्यक्ति की संख्या सहमति MLX के लिए 85.6% और CoreML के लिए 84.8% थी।

BhashaFilesNemotron 3 MLXNemotron 3 CoreMLSortformer स्रोत
अरबी1216.54%18.16%22.32%
German127.32%7.21%8.38%
इंग्लिश4810.31%10.24%13.81%
स्पैनिश1212.56%13.19%16.33%
मैंडारिन1210.00%9.68%9.95%
अज़रबैजानी122.53%2.55%5.25%
स्विट्जरलैंड जर्मन1215.72%15.69%21.59%
Russian124.47%4.44%5.35%
Sab13210.98%11.20%—

भाषा के अनुसार पहले स्रोत-मॉडल परिणाम

Real conversation

Broadcast, telephone aur meeting audio. 96 recordings, 12.63 ghante.

SystemअरबीGermanइंग्लिशस्पैनिशमैंडारिन
DER, jitna kam utna accha
Speech Cloud API21.02%7.62%13.21%15.92%9.63%
Sortformer streaming22.32%8.38%13.81%16.33%9.95%
Sortformer offline17.92%8.13%14.34%16.43%10.52%
pyannote Community-115.57%20.22%15.22%22.78%16.19%

Synthetic rails

CallHome स्लाइसों से मापे गए वितरणों से नमूना किए गए संयुक्त पाठन बोलचाल। ये केवल गंभीर डोमेन विफलताओं का पता लगाते हैं और कुछ और नहीं। इन संख्याओं को ऊपर दी गई तालिका के साथ तुलना न करें।

Systemअज़रबैजानीस्विट्जरलैंड जर्मनRussian
DER, jitna kam utna accha
Speech Cloud API4.74%19.33%8.15%
Sortformer streaming5.25%21.59%5.35%
Sortformer offline5.16%28.03%8.20%
pyannote Community-135.23%45.21%35.26%

Methodology aur limits

डेटा मूल

talkbank/callhome से आने वाले जर्मन, स्पैनिश और मंडारिन स्लाइस 17c8a153 संशोधन के तहत CC BY-NC-SA 4.0 लाइसेंस के अधीन हैं। संदर्भ टर्न कोरपस के अपने समय-चिह्न हैं: इसमें कोई VAD, क्लस्टरिंग या एम्बेडिंग-उत्पन्न पहचान शामिल नहीं है, और ओवरलैप प्रकाशित रूप में बनाए रखा जाता है। चूंकि उस लाइसेंस पर वाणिज्यिक उपयोग की मनाही है, इसलिए ये स्लाइस मूल्यांकन प्रमाण हैं और प्रशिक्षण-अनुमोदित नहीं हैं।

Khud chalaayein

परिणाम एक ही मानक डेटासेट और स्कोरर का उपयोग करते हैं। स्पीकर डायराइजेशन गाइड में इंजन चयन, DER स्कोरिंग और Apple Silicon पर RTTM आउटपुट के लिए देखें, या पूरी मानक सूचकांक में ASR और TTS पंक्तियों को एक ही तरीके से मापा गया है।