Tradução automática · Original em inglês

Benchmarks de diarização de falantes: Nemotron 3 e Sortformer

Nemotron 3 MLX e CoreML se juntam a sistemas de diarização anteriores no mesmo conjunto interno de 132 gravações em oito idiomas. Cada sistema recebe o áudio sem uma contagem de falantes de referência. A execução do Nemotron 3 cobre 12,82 horas de áudio sem arquivos falhos.

Como ler esses números

Cada célula é DER (taxa de erro de diarização), ponderada por tempo do locutor de referência com uma colar de 0,25 s. Quanto menor, melhor. Conversas reais e trilhas sintéticas são níveis de evidência diferentes e não devem ser lidos entre si.

Exportações Nemotron 3 INT8

As runtimes de Apple Silicon incluídas usam o checkpoint final NVIDIA Nemotron 3 Diarization. Ambas as execuções usaram contagem automática de falantes e o pós-processamento padrão do pacote. O DER é agrupado pelo tempo do falante de referência dentro do mapa de avaliação de cada gravação, incluindo sobreposição. O acordo exato de contagem de falantes foi de 85,6% para MLX e 84,8% para CoreML.

IdiomaArquivosNemotron 3 MLXNemotron 3 CoreMLFonte Sortformer
Árabe1216.54%18.16%22.32%
Alemão127.32%7.21%8.38%
Inglês4810.31%10.24%13.81%
Espanhol1212.56%13.19%16.33%
Mandarim1210.00%9.68%9.95%
Azeri122.53%2.55%5.25%
Alemão Suíço1215.72%15.69%21.59%
Russo124.47%4.44%5.35%
Todos13210.98%11.20%—

Resultados anteriores do modelo-fonte por idioma

Conversa real

Áudio de emissão, telefone e reuniões. 96 gravações, 12,63 horas.

SistemaÁrabeAlemãoInglêsEspanholMandarim
DER, quanto menor, melhor
API Speech Cloud21.02%7.62%13.21%15.92%9.63%
Sortformer em tempo real22.32%8.38%13.81%16.33%9.95%
Sortformer offline17.92%8.13%14.34%16.43%10.52%
pyannote Community-115.57%20.22%15.22%22.78%16.19%

Trilhos sintéticos

Síntese de fala concatenada com alternância de turnos amostrada de distribuições medidas nos slices do CallHome. Estes detectam falhas grosseiras de domínio e nada mais. Não compare esses números com a tabela acima.

SistemaAzeriAlemão SuíçoRusso
DER, quanto menor, melhor
API Speech Cloud4.74%19.33%8.15%
Sortformer em tempo real5.25%21.59%5.35%
Sortformer offline5.16%28.03%8.20%
pyannote Community-135.23%45.21%35.26%

Metodologia e limites

Proveniência dos dados

Os trechos em alemão, espanhol e mandarim vêm de talkbank/callhome na revisão 17c8a153 sob a licença CC BY-NC-SA 4.0. As voltas de referência são os timestamps próprios do corpus: não há envolvimento de VAD, agrupamento ou identidade derivada de embeddings, e a sobreposição é preservada conforme publicado. Como essa licença proíbe o uso comercial, esses trechos servem como evidência de avaliação e não estão aprovados para treinamento.

Execute por conta própria

Os resultados usam o mesmo conjunto de dados de benchmark e pontuador. Consulte o guia de diarização de falante para seleção de motor, pontuação DER e saída RTTM no Apple Silicon, ou o índice de benchmark completo para as linhas ASR e TTS medidas da mesma forma.