ترجمة آلية · النص الأصلي بالإنجليزية

معايير تحديد المتحدثين: Nemotron 3 و Sortformer

تتحد Nemotron 3 CoreML و MLX مع أنظمة التمييز السابقة على نفس المجموعة الداخلية من 132 تسجيل عبر ثمانية لغات. كل نظام يستقبل الصوت بدون عدد المتحدثين المرجعيين. تغطي جولة Nemotron 3 12.82 ساعة من الصوت بدون ملفات فاشلة.

كيف تقرأ هذه الأرقام

يتم تمثيل كل خلية بـ DER (معدل خطأ التمييز)، مرجحًا بوقت المتحدث المرجعي مع حزام 0.25 ثانية. كلما كان أقل كان أفضل. المحادثات الحقيقية وسكك الصوت الاصطناعية هي مستويات أدلة مختلفة ولا يجب قراءتها عبر بعضها البعض.

تصدير Nemotron 3 بصيغة INT8

تستخدم أوقات التشغيل المرسلة على Apple Silicon نقطة التفتيش النهائية NVIDIA Nemotron 3 Diarization. استخدمت كلا التشغيلين عدد المتحدثين تلقائيًا ومعالجة ما بعد الحزمة الافتراضية. يتم تجميع DER بناءً على وقت المتحدث المرجعي داخل خريطة تقييم كل تسجيل، بما في ذلك التداخل. كان تطابق عدد المتحدثين بدقة 85.6% لـ MLX و 84.8% لـ CoreML.

اللغةالملفاتNemotron 3 MLXNemotron 3 CoreMLمصدر Sortformer
العربية1216.54%18.16%22.32%
الألمانية127.32%7.21%8.38%
الإنجليزية4810.31%10.24%13.81%
الإسبانية1212.56%13.19%16.33%
الماندارين1210.00%9.68%9.95%
الأذربيجاني122.53%2.55%5.25%
الألماني السويسري1215.72%15.69%21.59%
الروسية124.47%4.44%5.35%
الكل13210.98%11.20%—

نتائج نموذج المصدر السابقة حسب اللغة

محادثة حقيقية

الصوت الإذاعي، والهاتفي، وفي الاجتماعات. 96 مسجلة، 12.63 ساعة.

النظامالعربيةالألمانيةالإنجليزيةالإسبانيةالماندارين
DER، كلما انخفض كان أفضل
API سحابة النطق21.02%7.62%13.21%15.92%9.63%
Sortformer التدفقي22.32%8.38%13.81%16.33%9.95%
Sortformer خارج الخط17.92%8.13%14.34%16.43%10.52%
pyannote Community-115.57%20.22%15.22%22.78%16.19%

قضبان اصطناعية

نطق مقروء مجمع مع تبادل الأدوار مأخوذ من التوزيعات المقاسة على شظايا CallHome. هذه تكتشف إخفاقات المجال الخشنة ولا أكثر. لا تقارن هذه الأرقام مع الجدول أعلاه.

النظامالأذربيجانيالألماني السويسريالروسية
DER، كلما انخفض كان أفضل
API سحابة النطق4.74%19.33%8.15%
Sortformer التدفقي5.25%21.59%5.35%
Sortformer خارج الخط5.16%28.03%8.20%
pyannote Community-135.23%45.21%35.26%

المنهجية والحدود

أصل البيانات

تأتي الشرائح الألمانية والإسبانية والماندرينية من talkbank/callhome في المراجعة 17c8a153 تحت ترخيص CC BY-NC-SA 4.0. تمثل العناوين المرجعية أوقات الزمنية الخاصة بمجموعة البيانات: لا يتم استخدام VAD أو التجميع أو الهوية المشتقة من التضمين، ويتم الحفاظ على التداخل كما تم نشره. وبما أن هذا الترخيص يحظر الاستخدام التجاري، فإن هذه الشرائح تُعد أدلة تقييم ولا تتم الموافقة عليها للتدريب.

قم بتشغيله بنفسك

تستخدم النتائج نفس مجموعة بيانات الاختبار ونفس المُقيّم. انظر إلى دليل تحديد المتحدث لاختيار المحرك، وتقييم DER، ومخرجات RTTM على Apple Silicon، أو مؤشر الاختبار الكامل لصفوف ASR و TTS التي تم قياسها بنفس الطريقة.