ترجمة آلية · النص الأصلي بالإنجليزية
معايير تحديد المتحدثين: Nemotron 3 و Sortformer
تتحد Nemotron 3 CoreML و MLX مع أنظمة التمييز السابقة على نفس المجموعة الداخلية من 132 تسجيل عبر ثمانية لغات. كل نظام يستقبل الصوت بدون عدد المتحدثين المرجعيين. تغطي جولة Nemotron 3 12.82 ساعة من الصوت بدون ملفات فاشلة.
يتم تمثيل كل خلية بـ DER (معدل خطأ التمييز)، مرجحًا بوقت المتحدث المرجعي مع حزام 0.25 ثانية. كلما كان أقل كان أفضل. المحادثات الحقيقية وسكك الصوت الاصطناعية هي مستويات أدلة مختلفة ولا يجب قراءتها عبر بعضها البعض.
تصدير Nemotron 3 بصيغة INT8
تستخدم أوقات التشغيل المرسلة على Apple Silicon نقطة التفتيش النهائية NVIDIA Nemotron 3 Diarization. استخدمت كلا التشغيلين عدد المتحدثين تلقائيًا ومعالجة ما بعد الحزمة الافتراضية. يتم تجميع DER بناءً على وقت المتحدث المرجعي داخل خريطة تقييم كل تسجيل، بما في ذلك التداخل. كان تطابق عدد المتحدثين بدقة 85.6% لـ MLX و 84.8% لـ CoreML.
| اللغة | الملفات | Nemotron 3 MLX | Nemotron 3 CoreML | مصدر Sortformer |
|---|---|---|---|---|
| العربية | 12 | 16.54% | 18.16% | 22.32% |
| الألمانية | 12 | 7.32% | 7.21% | 8.38% |
| الإنجليزية | 48 | 10.31% | 10.24% | 13.81% |
| الإسبانية | 12 | 12.56% | 13.19% | 16.33% |
| الماندارين | 12 | 10.00% | 9.68% | 9.95% |
| الأذربيجاني | 12 | 2.53% | 2.55% | 5.25% |
| الألماني السويسري | 12 | 15.72% | 15.69% | 21.59% |
| الروسية | 12 | 4.47% | 4.44% | 5.35% |
| الكل | 132 | 10.98% | 11.20% | — |
نتائج نموذج المصدر السابقة حسب اللغة
محادثة حقيقية
الصوت الإذاعي، والهاتفي، وفي الاجتماعات. 96 مسجلة، 12.63 ساعة.
| النظام | العربية | الألمانية | الإنجليزية | الإسبانية | الماندارين |
|---|---|---|---|---|---|
| DER، كلما انخفض كان أفضل | |||||
| API سحابة النطق | 21.02% | 7.62% | 13.21% | 15.92% | 9.63% |
| Sortformer التدفقي | 22.32% | 8.38% | 13.81% | 16.33% | 9.95% |
| Sortformer خارج الخط | 17.92% | 8.13% | 14.34% | 16.43% | 10.52% |
| pyannote Community-1 | 15.57% | 20.22% | 15.22% | 22.78% | 16.19% |
قضبان اصطناعية
نطق مقروء مجمع مع تبادل الأدوار مأخوذ من التوزيعات المقاسة على شظايا CallHome. هذه تكتشف إخفاقات المجال الخشنة ولا أكثر. لا تقارن هذه الأرقام مع الجدول أعلاه.
| النظام | الأذربيجاني | الألماني السويسري | الروسية |
|---|---|---|---|
| DER، كلما انخفض كان أفضل | |||
| API سحابة النطق | 4.74% | 19.33% | 8.15% |
| Sortformer التدفقي | 5.25% | 21.59% | 5.35% |
| Sortformer خارج الخط | 5.16% | 28.03% | 8.20% |
| pyannote Community-1 | 35.23% | 45.21% | 35.26% |
المنهجية والحدود
- مقيّز واحد، مجموعة عناصر واحدة. كل خلية تأتي من نفس الهيكل ونفس العبارات المثبتة، لذا لا يتم مقارنة نظامين أبداً مع قاضيين مختلفين.
- لم يتم تزويد عدد المتحدثين لأي خلفية.
- خطوط زمنية للمتحدثين مجهولي الهوية فقط. هذه هي نتائج التمييز، وليس إسناد المتحدثين المسميين.
- الخطوط الاصطناعية ليست محادثة حقيقية. تم إعادة بناء الخطوط
az،gswوruعلى توزيعات تبادل الأدوار المقاسة من شظايا CallHome. استخدمت الخطوط السابقة نمط فجوة ثابت أنتج معدل تغيير متحدث 100%، حيث تتكرر المحادثة الحقيقية مع المتحدث حوالي 16% من الوقت. ذلك مكّن أي مقيس تجزئة ببساطة يتبادل، ورتب المجال بشكل خاطئ على لغتين. - يحد Sortformer إلى أربعة متحدثين؛ 22 من أصل 96 ملفًا الأصلي تتجاوز هذه السعة.
أصل البيانات
تأتي الشرائح الألمانية والإسبانية والماندرينية من talkbank/callhome في المراجعة 17c8a153 تحت ترخيص CC BY-NC-SA 4.0. تمثل العناوين المرجعية أوقات الزمنية الخاصة بمجموعة البيانات: لا يتم استخدام VAD أو التجميع أو الهوية المشتقة من التضمين، ويتم الحفاظ على التداخل كما تم نشره. وبما أن هذا الترخيص يحظر الاستخدام التجاري، فإن هذه الشرائح تُعد أدلة تقييم ولا تتم الموافقة عليها للتدريب.
قم بتشغيله بنفسك
تستخدم النتائج نفس مجموعة بيانات الاختبار ونفس المُقيّم. انظر إلى دليل تحديد المتحدث لاختيار المحرك، وتقييم DER، ومخرجات RTTM على Apple Silicon، أو مؤشر الاختبار الكامل لصفوف ASR و TTS التي تم قياسها بنفس الطريقة.