기계 번역 · 영어 원문

화자 분리 벤치마크: Nemotron 3 과 Sortformer

Nemotron 3 MLX 와 CoreML 은 동일한 내부 132 개 녹음 파일에 대해 이전 화자 구분 시스템을 통합합니다. 모든 시스템은 참조 화자 수 없이 오디오를 받습니다. Nemotron 3 실행은 실패한 파일 없이 12.82 시간의 오디오를 다룹니다.

이 숫자 읽기 방법

각 셀은 DER (다이어라이제이션 오차율) 이며, 0.25 초 코라를 적용한 참조 화자 시간에 따라 가중됩니다. 낮을수록 좋습니다. 실제 대화와 합성 레일은 다른 증거 계층이며 서로 읽어서는 안 됩니다.

Nemotron 3 INT8 내보내기

배치된 Apple Silicon 런타임은 최종 NVIDIA Nemotron 3 Diarization 체크포인트를 사용합니다. 두 실행 모두 자동 화자 수와 패키지의 기본 사후 처리를 사용했습니다. DER 는 각 녹음의 평가 맵 내에서 참조 화자 시간에 따라 풀링되며, 중첩을 포함합니다. 정확한 화자 수 일치율은 MLX 가 85.6 %, CoreML 이 84.8 % 였습니다.

언어파일Nemotron 3 MLXNemotron 3 CoreMLSortformer 소스
아랍어1216.54%18.16%22.32%
독일어127.32%7.21%8.38%
영어4810.31%10.24%13.81%
스페인어1212.56%13.19%16.33%
중국어1210.00%9.68%9.95%
아제르바이잔어122.53%2.55%5.25%
스위스 독일어1215.72%15.69%21.59%
러시아어124.47%4.44%5.35%
모두13210.98%11.20%—

언어별 이전 소스 모델 결과

실제 대화

방송, 전화 및 회의 오디오. 96 개 녹음 파일, 총 12.63 시간.

시스템아랍어독일어영어스페인어중국어
DER, 낮을수록 좋습니다
Speech Cloud API21.02%7.62%13.21%15.92%9.63%
Sortformer 스트리밍22.32%8.38%13.81%16.33%9.95%
Sortformer 오프라인17.92%8.13%14.34%16.43%10.52%
pyannote Community-115.57%20.22%15.22%22.78%16.19%

합성 레일

CallHome 슬라이스에서 측정된 분포에서 턴-테이킹이 포함된 연결된 읽음 음성을 샘플링합니다. 이는 대역의 심각한 실패를 감지할 뿐입니다. 이 숫자를 위의 표와 비교하지 마십시오.

시스템아제르바이잔어스위스 독일어러시아어
DER, 낮을수록 좋습니다
Speech Cloud API4.74%19.33%8.15%
Sortformer 스트리밍5.25%21.59%5.35%
Sortformer 오프라인5.16%28.03%8.20%
pyannote Community-135.23%45.21%35.26%

방법론 및 제한 사항

데이터 출처

독일어, 스페인어 및 만다린어 슬라이스는 talkbank/callhome의 17c8a153 리비전에서 가져왔으며, CC BY-NC-SA 4.0 라이선스에 따릅니다. 참조 턴은 코퍼스의 자체 타임스탬프이며, VAD, 클러스터링 또는 임베딩 유래의 식별자가 관여하지 않고, 오버랩은 출판된 대로 유지됩니다. 해당 라이선스가 상업적 사용을 금지하므로, 이러한 슬라이스는 평가 증거이며 훈련 승인되지 않았습니다.

직접 실행

결과에는 동일한 벤치마크 데이터세트와 스코어가 사용됩니다. 엔진 선택, DER 점수 및 RTTM 출력을 위해 Apple Silicon 에서 스피커 분리 가이드를 참조하거나, ASR 및 TTS 행을 동일한 방식으로 측정한 전체 벤치마크 인덱스를 참조하십시오.