Tradução automática · Original em inglês
Benchmarks de diarização de falantes: Nemotron 3 e Sortformer
Nemotron 3 MLX e CoreML se juntam a sistemas de diarização anteriores no mesmo conjunto interno de 132 gravações em oito idiomas. Cada sistema recebe o áudio sem uma contagem de falantes de referência. A execução do Nemotron 3 cobre 12,82 horas de áudio sem arquivos falhos.
Cada célula é DER (taxa de erro de diarização), ponderada por tempo do locutor de referência com uma colar de 0,25 s. Quanto menor, melhor. Conversas reais e trilhas sintéticas são níveis de evidência diferentes e não devem ser lidos entre si.
Exportações Nemotron 3 INT8
As runtimes de Apple Silicon incluídas usam o checkpoint final NVIDIA Nemotron 3 Diarization. Ambas as execuções usaram contagem automática de falantes e o pós-processamento padrão do pacote. O DER é agrupado pelo tempo do falante de referência dentro do mapa de avaliação de cada gravação, incluindo sobreposição. O acordo exato de contagem de falantes foi de 85,6% para MLX e 84,8% para CoreML.
| Idioma | Arquivos | Nemotron 3 MLX | Nemotron 3 CoreML | Fonte Sortformer |
|---|---|---|---|---|
| Árabe | 12 | 16.54% | 18.16% | 22.32% |
| Alemão | 12 | 7.32% | 7.21% | 8.38% |
| Inglês | 48 | 10.31% | 10.24% | 13.81% |
| Espanhol | 12 | 12.56% | 13.19% | 16.33% |
| Mandarim | 12 | 10.00% | 9.68% | 9.95% |
| Azeri | 12 | 2.53% | 2.55% | 5.25% |
| Alemão Suíço | 12 | 15.72% | 15.69% | 21.59% |
| Russo | 12 | 4.47% | 4.44% | 5.35% |
| Todos | 132 | 10.98% | 11.20% | — |
Resultados anteriores do modelo-fonte por idioma
Conversa real
Áudio de emissão, telefone e reuniões. 96 gravações, 12,63 horas.
| Sistema | Árabe | Alemão | Inglês | Espanhol | Mandarim |
|---|---|---|---|---|---|
| DER, quanto menor, melhor | |||||
| API Speech Cloud | 21.02% | 7.62% | 13.21% | 15.92% | 9.63% |
| Sortformer em tempo real | 22.32% | 8.38% | 13.81% | 16.33% | 9.95% |
| Sortformer offline | 17.92% | 8.13% | 14.34% | 16.43% | 10.52% |
| pyannote Community-1 | 15.57% | 20.22% | 15.22% | 22.78% | 16.19% |
Trilhos sintéticos
Síntese de fala concatenada com alternância de turnos amostrada de distribuições medidas nos slices do CallHome. Estes detectam falhas grosseiras de domínio e nada mais. Não compare esses números com a tabela acima.
| Sistema | Azeri | Alemão Suíço | Russo |
|---|---|---|---|
| DER, quanto menor, melhor | |||
| API Speech Cloud | 4.74% | 19.33% | 8.15% |
| Sortformer em tempo real | 5.25% | 21.59% | 5.35% |
| Sortformer offline | 5.16% | 28.03% | 8.20% |
| pyannote Community-1 | 35.23% | 45.21% | 35.26% |
Metodologia e limites
- Um avaliador, um conjunto de itens. Cada célula vem da mesma estrutura e das mesmas falas fixas, portanto dois sistemas nunca são comparados com duas regras diferentes.
- Nenhum número de falantes é fornecido para qualquer backend.
- Apenas cronogramas de locutores anônimos. Estes são resultados de diarização, não atribuição de locutores nomeados.
- Os trilhos sintéticos não são conversas reais. Os trilhos
az,gsweruforam reconstruídos com distribuições de alternância de turnos medidas a partir do CallHome. Trilhos anteriores usaram um padrão de intervalo fixo que produzia uma taxa de mudança de falante de 100%, enquanto a conversa real repete um falante cerca de 16% das vezes. Isso recompensava qualquer diarizador que simplesmente alternasse, e ordenou o campo incorretamente em duas línguas. - O Sortformer limita-se a quatro falantes; 22 dos 96 ficheiros originais excedem essa capacidade.
Proveniência dos dados
Os trechos em alemão, espanhol e mandarim vêm de talkbank/callhome na revisão 17c8a153 sob a licença CC BY-NC-SA 4.0. As voltas de referência são os timestamps próprios do corpus: não há envolvimento de VAD, agrupamento ou identidade derivada de embeddings, e a sobreposição é preservada conforme publicado. Como essa licença proíbe o uso comercial, esses trechos servem como evidência de avaliação e não estão aprovados para treinamento.
Execute por conta própria
Os resultados usam o mesmo conjunto de dados de benchmark e pontuador. Consulte o guia de diarização de falante para seleção de motor, pontuação DER e saída RTTM no Apple Silicon, ou o índice de benchmark completo para as linhas ASR e TTS medidas da mesma forma.