기계 번역 · 영어 원문
화자 분리 벤치마크: Nemotron 3 과 Sortformer
Nemotron 3 MLX 와 CoreML 은 동일한 내부 132 개 녹음 파일에 대해 이전 화자 구분 시스템을 통합합니다. 모든 시스템은 참조 화자 수 없이 오디오를 받습니다. Nemotron 3 실행은 실패한 파일 없이 12.82 시간의 오디오를 다룹니다.
각 셀은 DER (다이어라이제이션 오차율) 이며, 0.25 초 코라를 적용한 참조 화자 시간에 따라 가중됩니다. 낮을수록 좋습니다. 실제 대화와 합성 레일은 다른 증거 계층이며 서로 읽어서는 안 됩니다.
Nemotron 3 INT8 내보내기
배치된 Apple Silicon 런타임은 최종 NVIDIA Nemotron 3 Diarization 체크포인트를 사용합니다. 두 실행 모두 자동 화자 수와 패키지의 기본 사후 처리를 사용했습니다. DER 는 각 녹음의 평가 맵 내에서 참조 화자 시간에 따라 풀링되며, 중첩을 포함합니다. 정확한 화자 수 일치율은 MLX 가 85.6 %, CoreML 이 84.8 % 였습니다.
| 언어 | 파일 | Nemotron 3 MLX | Nemotron 3 CoreML | Sortformer 소스 |
|---|---|---|---|---|
| 아랍어 | 12 | 16.54% | 18.16% | 22.32% |
| 독일어 | 12 | 7.32% | 7.21% | 8.38% |
| 영어 | 48 | 10.31% | 10.24% | 13.81% |
| 스페인어 | 12 | 12.56% | 13.19% | 16.33% |
| 중국어 | 12 | 10.00% | 9.68% | 9.95% |
| 아제르바이잔어 | 12 | 2.53% | 2.55% | 5.25% |
| 스위스 독일어 | 12 | 15.72% | 15.69% | 21.59% |
| 러시아어 | 12 | 4.47% | 4.44% | 5.35% |
| 모두 | 132 | 10.98% | 11.20% | — |
언어별 이전 소스 모델 결과
실제 대화
방송, 전화 및 회의 오디오. 96 개 녹음 파일, 총 12.63 시간.
| 시스템 | 아랍어 | 독일어 | 영어 | 스페인어 | 중국어 |
|---|---|---|---|---|---|
| DER, 낮을수록 좋습니다 | |||||
| Speech Cloud API | 21.02% | 7.62% | 13.21% | 15.92% | 9.63% |
| Sortformer 스트리밍 | 22.32% | 8.38% | 13.81% | 16.33% | 9.95% |
| Sortformer 오프라인 | 17.92% | 8.13% | 14.34% | 16.43% | 10.52% |
| pyannote Community-1 | 15.57% | 20.22% | 15.22% | 22.78% | 16.19% |
합성 레일
CallHome 슬라이스에서 측정된 분포에서 턴-테이킹이 포함된 연결된 읽음 음성을 샘플링합니다. 이는 대역의 심각한 실패를 감지할 뿐입니다. 이 숫자를 위의 표와 비교하지 마십시오.
| 시스템 | 아제르바이잔어 | 스위스 독일어 | 러시아어 |
|---|---|---|---|
| DER, 낮을수록 좋습니다 | |||
| Speech Cloud API | 4.74% | 19.33% | 8.15% |
| Sortformer 스트리밍 | 5.25% | 21.59% | 5.35% |
| Sortformer 오프라인 | 5.16% | 28.03% | 8.20% |
| pyannote Community-1 | 35.23% | 45.21% | 35.26% |
방법론 및 제한 사항
- 한 점수자, 한 항목 집합입니다. 모든 셀은 동일한 하네스와 동일한 고정 발화에서 비롯되므로, 두 시스템은 서로 다른 기준과 비교될 수 없습니다.
- 어떤 백엔드에도 화자 수가 제공되지 않았습니다
- 익명 발화자 타임라인만. 이는 발화자 분리 결과이며, 이름이 지정된 발화자 귀속이 아닙니다.
- 합성 레일은 실제 대화가 아닙니다.
az,gsw및ru레일은 CallHome 에서 측정된 턴-테이킹 분포를 기반으로 재구성되었습니다. 이전 레일은 고정된 간격 패턴을 사용하여 화자 변경률이 100% 였는데, 실제 대화에서는 화자가 약 16% 의 시간을 반복합니다. 이는 단순히 번갈아 가며 화자를 구분하는 모든 화자 구분기를 장려했고, 두 언어에서 필드를 잘못 정렬했습니다. - Sortformer 는 최대 4 명의 화자로 제한됩니다. 원래 파일 96 개 중 22 개가 이 용량을 초과합니다.
데이터 출처
독일어, 스페인어 및 만다린어 슬라이스는 talkbank/callhome의 17c8a153 리비전에서 가져왔으며, CC BY-NC-SA 4.0 라이선스에 따릅니다. 참조 턴은 코퍼스의 자체 타임스탬프이며, VAD, 클러스터링 또는 임베딩 유래의 식별자가 관여하지 않고, 오버랩은 출판된 대로 유지됩니다. 해당 라이선스가 상업적 사용을 금지하므로, 이러한 슬라이스는 평가 증거이며 훈련 승인되지 않았습니다.
직접 실행
결과에는 동일한 벤치마크 데이터세트와 스코어가 사용됩니다. 엔진 선택, DER 점수 및 RTTM 출력을 위해 Apple Silicon 에서 스피커 분리 가이드를 참조하거나, ASR 및 TTS 행을 동일한 방식으로 측정한 전체 벤치마크 인덱스를 참조하십시오.