แปลด้วยเครื่อง · ต้นฉบับภาษาอังกฤษ
เกณฑ์การประเมินการระบุผู้พูด: Nemotron 3 และ Sortformer
Nemotron 3 MLX และ CoreML รวมกับระบบระบุผู้พูดก่อนหน้านี้บนชุดข้อมูลภายในเดียวกันจำนวน 132 รายการบันทึกเสียงในแปดภาษา ระบบทุกตัวได้รับเสียงโดยไม่มีจำนวนผู้พูดอ้างอิง การรันของ Nemotron 3 ครอบคลุมเสียง 12.82 ชั่วโมงโดยไม่มีไฟล์ที่ล้มเหลว
แต่ละเซลล์คือ DER (อัตราความผิดพลาดในการระบุผู้พูด) ซึ่งถ่วงน้ำหนักตามเวลาของผู้พูดอ้างอิงพร้อมขอบเขต 0.25 วินาที ยิ่งต่ำยิ่งดี บทสนทนาจริงและรางสังเคราะห์เป็นชั้นหลักฐานที่แตกต่างกันและต้องไม่อ่านข้ามกัน
การส่งออก Nemotron 3 INT8
รันเวลาสำหรับ Apple Silicon ที่จัดส่งใช้จุดตรวจสอบ NVIDIA Nemotron 3 Diarization สุดท้าย ทั้งสองรันใช้จำนวนผู้พูดอัตโนมัติและการประมวลผลหลังของแพ็กเกจ DER จะรวมตามเวลาผู้พูดอ้างอิงภายในแผนที่ประเมินผลของแต่ละรายการบันทึกเสียง รวมถึงส่วนที่ทับซ้อนกัน ความตรงกันของจำนวนผู้พูดที่แน่นอนคือ 85.6% สำหรับ MLX และ 84.8% สำหรับ CoreML
| ภาษา | ไฟล์ | Nemotron 3 MLX | Nemotron 3 CoreML | แหล่งที่มา Sortformer |
|---|---|---|---|---|
| ภาษาอาหรับ | 12 | 16.54% | 18.16% | 22.32% |
| เยอรมัน | 12 | 7.32% | 7.21% | 8.38% |
| ภาษาอังกฤษ | 48 | 10.31% | 10.24% | 13.81% |
| สเปน | 12 | 12.56% | 13.19% | 16.33% |
| ภาษาจีนกลาง | 12 | 10.00% | 9.68% | 9.95% |
| อาเซอร์ไบจาน | 12 | 2.53% | 2.55% | 5.25% |
| เยอรมันสวิตเซอร์แลนด์ | 12 | 15.72% | 15.69% | 21.59% |
| รัสเซีย | 12 | 4.47% | 4.44% | 5.35% |
| ทั้งหมด | 132 | 10.98% | 11.20% | — |
ผลลัพธ์จากโมเดลต้นทางก่อนหน้านี้ตามภาษา
บทสนทนาจริง
เสียงบันทึกการออกเสียงทางวิทยุ โทรศัพท์ และการประชุม 96 รายการ ระยะเวลา 12.63 ชั่วโมง
| ระบบ | ภาษาอาหรับ | เยอรมัน | ภาษาอังกฤษ | สเปน | ภาษาจีนกลาง |
|---|---|---|---|---|---|
| DER ยิ่งต่ำยิ่งดี | |||||
| API ของ Speech Cloud | 21.02% | 7.62% | 13.21% | 15.92% | 9.63% |
| Sortformer แบบสตรีมมิ่ง | 22.32% | 8.38% | 13.81% | 16.33% | 9.95% |
| Sortformer แบบออฟไลน์ | 17.92% | 8.13% | 14.34% | 16.43% | 10.52% |
| pyannote Community-1 | 15.57% | 20.22% | 15.22% | 22.78% | 16.19% |
รางสังเคราะห์
เสียงอ่านที่ต่อกันพร้อมการเปลี่ยนรอบที่สุ่มมาจากการกระจายที่วัดได้จากสไลซ์ CallHome สิ่งเหล่านี้ตรวจจับความล้มเหลวของโดเมนอย่างหยาบและไม่มีอะไรเพิ่มเติม อย่าเปรียบเทียบตัวเลขเหล่านี้กับตารางด้านบน
| ระบบ | อาเซอร์ไบจาน | เยอรมันสวิตเซอร์แลนด์ | รัสเซีย |
|---|---|---|---|
| DER ยิ่งต่ำยิ่งดี | |||
| API ของ Speech Cloud | 4.74% | 19.33% | 8.15% |
| Sortformer แบบสตรีมมิ่ง | 5.25% | 21.59% | 5.35% |
| Sortformer แบบออฟไลน์ | 5.16% | 28.03% | 8.20% |
| pyannote Community-1 | 35.23% | 45.21% | 35.26% |
ระเบียบวิธีและข้อจำกัด
- One scorer, one item set. แต่ละช่องมาจาก harness เดียวกันและ utterances ที่ถูก pin ไว้เหมือนกัน ดังนั้นจึงไม่มีระบบใดถูกเปรียบเทียบด้วยกฎเกณฑ์ที่แตกต่างกันสองชุด.
- ไม่ระบุจำนวนผู้พูดให้ระบบหลังบ้านใดๆ
- เส้นเวลาผู้พูดแบบไม่ระบุตัวตนเท่านั้น นี่คือผลลัพธ์การระบุตัวตนผู้พูด ไม่ใช่การกำหนดชื่อผู้พูด
- รางจำลองสังเคราะห์ไม่ใช่บทสนทนาจริง ราง
az,gswและruได้รับการสร้างใหม่บนการกระจายตัวของผลตอบรับที่วัดจาก CallHome รางก่อนหน้านี้ใช้รูปแบบช่องว่างคงที่ซึ่งสร้างอัตราการเปลี่ยนผู้พูด 100% ในขณะที่บทสนทนาจริงมีการซ้ำผู้พูดประมาณ 16% ของเวลา สิ่งนี้ให้รางวัลกับระบบระบุผู้พูดใดๆ ที่เพียงแค่สลับไปมา และจัดลำดับฟิลด์อย่างไม่ถูกต้องในสองภาษา - Sortformer จำกัดที่สี่ผู้พูด; ไฟล์ดั้งเดิม 22 จาก 96 ไฟล์เกินขีดความสามารถนี้
ที่มาของข้อมูล
ส่วนสไลซ์ภาษาเยอรมัน สเปน และแมนดารินมาจาก talkbank/callhome ที่การแก้ไข 17c8a153 ภายใต้ CC BY-NC-SA 4.0 รอบการอ้างอิงคือเวลาประทับของคอร์ปัสเอง: ไม่มี VAD การจัดกลุ่ม หรือตัวตนที่ได้จากการฝังเกี่ยวข้อง และมีการทับซ้อนตามที่เผยแพร่ไว้ เนื่องจากใบอนุญาตดังกล่าวห้ามการใช้งานเชิงพาณิชย์ สไลซ์เหล่านี้จึงเป็นหลักฐานการประเมินและไม่ได้ผ่านการอนุมัติสำหรับการฝึกสอน
รันด้วยตัวเอง
ผลลัพธ์ใช้ชุดข้อมูลมาตรฐานเดียวกันและตัวให้คะแนน ดู คู่มือการระบุผู้พูด สำหรับการเลือกเครื่องยนต์ การให้คะแนน DER และผลลัพธ์ RTTM บน Apple Silicon หรือดู ดัชนีมาตรฐานที่สมบูรณ์ สำหรับแถว ASR และ TTS ที่วัดด้วยวิธีเดียวกัน