แปลด้วยเครื่อง · ต้นฉบับภาษาอังกฤษ

เกณฑ์การประเมินการระบุผู้พูด: Nemotron 3 และ Sortformer

Nemotron 3 MLX และ CoreML รวมกับระบบระบุผู้พูดก่อนหน้านี้บนชุดข้อมูลภายในเดียวกันจำนวน 132 รายการบันทึกเสียงในแปดภาษา ระบบทุกตัวได้รับเสียงโดยไม่มีจำนวนผู้พูดอ้างอิง การรันของ Nemotron 3 ครอบคลุมเสียง 12.82 ชั่วโมงโดยไม่มีไฟล์ที่ล้มเหลว

วิธีอ่านตัวเลขเหล่านี้

แต่ละเซลล์คือ DER (อัตราความผิดพลาดในการระบุผู้พูด) ซึ่งถ่วงน้ำหนักตามเวลาของผู้พูดอ้างอิงพร้อมขอบเขต 0.25 วินาที ยิ่งต่ำยิ่งดี บทสนทนาจริงและรางสังเคราะห์เป็นชั้นหลักฐานที่แตกต่างกันและต้องไม่อ่านข้ามกัน

การส่งออก Nemotron 3 INT8

รันเวลาสำหรับ Apple Silicon ที่จัดส่งใช้จุดตรวจสอบ NVIDIA Nemotron 3 Diarization สุดท้าย ทั้งสองรันใช้จำนวนผู้พูดอัตโนมัติและการประมวลผลหลังของแพ็กเกจ DER จะรวมตามเวลาผู้พูดอ้างอิงภายในแผนที่ประเมินผลของแต่ละรายการบันทึกเสียง รวมถึงส่วนที่ทับซ้อนกัน ความตรงกันของจำนวนผู้พูดที่แน่นอนคือ 85.6% สำหรับ MLX และ 84.8% สำหรับ CoreML

ภาษาไฟล์Nemotron 3 MLXNemotron 3 CoreMLแหล่งที่มา Sortformer
ภาษาอาหรับ1216.54%18.16%22.32%
เยอรมัน127.32%7.21%8.38%
ภาษาอังกฤษ4810.31%10.24%13.81%
สเปน1212.56%13.19%16.33%
ภาษาจีนกลาง1210.00%9.68%9.95%
อาเซอร์ไบจาน122.53%2.55%5.25%
เยอรมันสวิตเซอร์แลนด์1215.72%15.69%21.59%
รัสเซีย124.47%4.44%5.35%
ทั้งหมด13210.98%11.20%—

ผลลัพธ์จากโมเดลต้นทางก่อนหน้านี้ตามภาษา

บทสนทนาจริง

เสียงบันทึกการออกเสียงทางวิทยุ โทรศัพท์ และการประชุม 96 รายการ ระยะเวลา 12.63 ชั่วโมง

ระบบภาษาอาหรับเยอรมันภาษาอังกฤษสเปนภาษาจีนกลาง
DER ยิ่งต่ำยิ่งดี
API ของ Speech Cloud21.02%7.62%13.21%15.92%9.63%
Sortformer แบบสตรีมมิ่ง22.32%8.38%13.81%16.33%9.95%
Sortformer แบบออฟไลน์17.92%8.13%14.34%16.43%10.52%
pyannote Community-115.57%20.22%15.22%22.78%16.19%

รางสังเคราะห์

เสียงอ่านที่ต่อกันพร้อมการเปลี่ยนรอบที่สุ่มมาจากการกระจายที่วัดได้จากสไลซ์ CallHome สิ่งเหล่านี้ตรวจจับความล้มเหลวของโดเมนอย่างหยาบและไม่มีอะไรเพิ่มเติม อย่าเปรียบเทียบตัวเลขเหล่านี้กับตารางด้านบน

ระบบอาเซอร์ไบจานเยอรมันสวิตเซอร์แลนด์รัสเซีย
DER ยิ่งต่ำยิ่งดี
API ของ Speech Cloud4.74%19.33%8.15%
Sortformer แบบสตรีมมิ่ง5.25%21.59%5.35%
Sortformer แบบออฟไลน์5.16%28.03%8.20%
pyannote Community-135.23%45.21%35.26%

ระเบียบวิธีและข้อจำกัด

ที่มาของข้อมูล

ส่วนสไลซ์ภาษาเยอรมัน สเปน และแมนดารินมาจาก talkbank/callhome ที่การแก้ไข 17c8a153 ภายใต้ CC BY-NC-SA 4.0 รอบการอ้างอิงคือเวลาประทับของคอร์ปัสเอง: ไม่มี VAD การจัดกลุ่ม หรือตัวตนที่ได้จากการฝังเกี่ยวข้อง และมีการทับซ้อนตามที่เผยแพร่ไว้ เนื่องจากใบอนุญาตดังกล่าวห้ามการใช้งานเชิงพาณิชย์ สไลซ์เหล่านี้จึงเป็นหลักฐานการประเมินและไม่ได้ผ่านการอนุมัติสำหรับการฝึกสอน

รันด้วยตัวเอง

ผลลัพธ์ใช้ชุดข้อมูลมาตรฐานเดียวกันและตัวให้คะแนน ดู คู่มือการระบุผู้พูด สำหรับการเลือกเครื่องยนต์ การให้คะแนน DER และผลลัพธ์ RTTM บน Apple Silicon หรือดู ดัชนีมาตรฐานที่สมบูรณ์ สำหรับแถว ASR และ TTS ที่วัดด้วยวิธีเดียวกัน