मशीन अनुवाद · अंग्रेज़ी मूल पाठ
स्पीकर डायराइजेशन बेंचमार्क्स: Nemotron 3 और Sortformer
Nemotron 3 MLX और CoreML पहले डायराइजेशन प्रणालियों को एक ही आंतरिक समूह में 132 रिकॉर्डिंगों पर जोड़ते हैं आठ भाषाओं में। हर प्रणाली को बिना संदर्भ स्पीकर गिनती के ऑडियो मिलता है। Nemotron 3 रन 12.82 घंटे के ऑडियो को कवर करता है बिना विफल फ़ाइलों के।
प्रत्येक सेल DER (डाइराइज़ेशन त्रुटि दर) है, जो 0.25 s कलर के साथ संदर्भ-बोलने-वाले-समय के भारित है। कम बेहतर है। वास्तविक संवाद और संश्लिष्ट रेल अलग-अलग सबूत स्तर हैं और एक-दूसरे को पढ़ा नहीं जाना चाहिए।
Nemotron 3 INT8 एक्सपोर्ट्स
शिप किए गए Apple Silicon रनटाइम अंतिम NVIDIA Nemotron 3 Diarization चेकपॉइंट का उपयोग करते हैं। दोनों रन में स्वचालित बोलने वाले व्यक्ति की संख्या और पैकेज के डिफ़ॉल्ट पोस्ट-प्रोसेसिंग का उपयोग किया गया। DER प्रत्येक रिकॉर्डिंग के मूल्यांकन मानचित्र के भीतर संदर्जित बोलने वाले व्यक्ति के समय के अनुसार पूल किया जाता है, जिसमें ओवरलैप शामिल है। सटीक बोलने वाले व्यक्ति की संख्या सहमति MLX के लिए 85.6% और CoreML के लिए 84.8% थी।
| Bhasha | Files | Nemotron 3 MLX | Nemotron 3 CoreML | Sortformer स्रोत |
|---|---|---|---|---|
| अरबी | 12 | 16.54% | 18.16% | 22.32% |
| German | 12 | 7.32% | 7.21% | 8.38% |
| इंग्लिश | 48 | 10.31% | 10.24% | 13.81% |
| स्पैनिश | 12 | 12.56% | 13.19% | 16.33% |
| मैंडारिन | 12 | 10.00% | 9.68% | 9.95% |
| अज़रबैजानी | 12 | 2.53% | 2.55% | 5.25% |
| स्विट्जरलैंड जर्मन | 12 | 15.72% | 15.69% | 21.59% |
| Russian | 12 | 4.47% | 4.44% | 5.35% |
| Sab | 132 | 10.98% | 11.20% | — |
भाषा के अनुसार पहले स्रोत-मॉडल परिणाम
Real conversation
Broadcast, telephone aur meeting audio. 96 recordings, 12.63 ghante.
| System | अरबी | German | इंग्लिश | स्पैनिश | मैंडारिन |
|---|---|---|---|---|---|
| DER, jitna kam utna accha | |||||
| Speech Cloud API | 21.02% | 7.62% | 13.21% | 15.92% | 9.63% |
| Sortformer streaming | 22.32% | 8.38% | 13.81% | 16.33% | 9.95% |
| Sortformer offline | 17.92% | 8.13% | 14.34% | 16.43% | 10.52% |
| pyannote Community-1 | 15.57% | 20.22% | 15.22% | 22.78% | 16.19% |
Synthetic rails
CallHome स्लाइसों से मापे गए वितरणों से नमूना किए गए संयुक्त पाठन बोलचाल। ये केवल गंभीर डोमेन विफलताओं का पता लगाते हैं और कुछ और नहीं। इन संख्याओं को ऊपर दी गई तालिका के साथ तुलना न करें।
| System | अज़रबैजानी | स्विट्जरलैंड जर्मन | Russian |
|---|---|---|---|
| DER, jitna kam utna accha | |||
| Speech Cloud API | 4.74% | 19.33% | 8.15% |
| Sortformer streaming | 5.25% | 21.59% | 5.35% |
| Sortformer offline | 5.16% | 28.03% | 8.20% |
| pyannote Community-1 | 35.23% | 45.21% | 35.26% |
Methodology aur limits
- एक स्कोरर, एक आइटम सेट। प्रत्येक सेल एक ही हारनेस और एक ही पिन किए गए उटरेन्सेस से आता है, इसलिए दो सिस्टम कभी दो अलग-अलग रूलर्स के साथ तुलना नहीं किए जाते।
- कोई स्पीकर गिनती किसी भी बैकएंड में सप्लाई नहीं की गई
- अनोनाइमस स्पीकर टाइमलाइन केवल। ये डायराइजेशन परिणाम हैं, नामित स्पीकर एट्रिब्यूशन नहीं।
- कृत्रिम रेलियां असली बातचीत नहीं हैं।
az,gswऔरruरेलियां CallHome से मापे गए टर्न-टैकिंग वितरणों पर फिर से बनाई गईं। पहले की रेलियां एक निश्चित अंतर पैटर्न का उपयोग करती थीं जो 100% बोलने वाले बदलाव दर पैदा करती थीं, जबकि असली बातचीत में एक बोलने वाला लगभग 16% समय दोहराता है। इसने किसी भी डायराइज़र को प्रोत्साहित किया जो बस बदलता रहता है, और इसने दो भाषाओं पर क्षेत्र को गलत क्रम में रखा। - Sortformer अधिकतम चार बोलने वालों (speakers) तक सीमित है; मूल 96 फाइलों में से 22 उस क्षमता से अधिक हैं।
डेटा मूल
talkbank/callhome से आने वाले जर्मन, स्पैनिश और मंडारिन स्लाइस 17c8a153 संशोधन के तहत CC BY-NC-SA 4.0 लाइसेंस के अधीन हैं। संदर्भ टर्न कोरपस के अपने समय-चिह्न हैं: इसमें कोई VAD, क्लस्टरिंग या एम्बेडिंग-उत्पन्न पहचान शामिल नहीं है, और ओवरलैप प्रकाशित रूप में बनाए रखा जाता है। चूंकि उस लाइसेंस पर वाणिज्यिक उपयोग की मनाही है, इसलिए ये स्लाइस मूल्यांकन प्रमाण हैं और प्रशिक्षण-अनुमोदित नहीं हैं।
Khud chalaayein
परिणाम एक ही मानक डेटासेट और स्कोरर का उपयोग करते हैं। स्पीकर डायराइजेशन गाइड में इंजन चयन, DER स्कोरिंग और Apple Silicon पर RTTM आउटपुट के लिए देखें, या पूरी मानक सूचकांक में ASR और TTS पंक्तियों को एक ही तरीके से मापा गया है।