Benchmarks de diarização: pyannote, Sortformer, MOSS, Speech Cloud
Cinco sistemas de diarização pontuados com a mesma régua nas mesmas 132 gravações: oito idiomas, 12,9 horas. Cada sistema recebe o áudio e mais nada. Nenhum backend é informado de quantos falantes esperar, que é a condição que separa um diarizador de um script de clustering com a resposta em mãos.
Cada célula é DER / concordância na contagem de falantes. O DER é ponderado pelo tempo de fala de referência com collar de 0,25 s; a concordância é a proporção de ficheiros cuja contagem inferida corresponde exactamente à referência dentro do UEM. Menor DER é melhor, maior concordância é melhor. Conversa real e trilhos sintéticos são níveis de evidência distintos e não devem ser comparados entre si.
Resultados por idioma
Conversa real
Áudio de radiodifusão, telefonia e reuniões. 96 gravações, 12,63 horas.
| Sistema | Árabe | Alemão | Inglês | Espanhol | Mandarim |
|---|---|---|---|---|---|
| Speech Cloud API | 21.02% / 33.3% | 7.62% / 91.7% | 13.21% / 66.7% | 15.92% / 58.3% | 9.63% / 58.3% |
| Sortformer streaming | 22.32% / 33.3% | 8.38% / 83.3% | 13.81% / 66.7% | 16.33% / 58.3% | 9.95% / 58.3% |
| Sortformer offline | 17.92% / 33.3% | 8.13% / 83.3% | 14.34% / 66.7% | 16.43% / 58.3% | 10.52% / 41.7% |
| MOSS | 14.57% / 41.7% | 16.95% / 83.3% | 16.35% / 72.9% | 22.51% / 75.0% | 10.12% / 83.3% |
| pyannote Community-1 | 15.57% / 58.3% | 20.22% / 83.3% | 15.22% / 77.1% | 22.78% / 91.7% | 16.19% / 83.3% |
Trilhos sintéticos
Fala lida concatenada, com turnos amostrados de distribuições medidas nas fatias do CallHome. Detectam apenas falhas graves de domínio. Não compare estes números com a tabela acima.
| Sistema | Azerbaijano | Alemão suíço | Russo |
|---|---|---|---|
| Speech Cloud API | 4.74% / 83.3% | 19.33% / 41.7% | 8.15% / 75.0% |
| Sortformer streaming | 5.25% / 75.0% | 21.59% / 58.3% | 5.35% / 91.7% |
| Sortformer offline | 5.16% / 75.0% | 28.03% / 50.0% | 8.20% / 100.0% |
| MOSS | 11.30% / 58.3% | 26.59% / 41.7% | 15.14% / 50.0% |
| pyannote Community-1 | 35.23% / 16.7% | 45.21% / 0.0% | 35.26% / 8.3% |
Execute você mesmo
Metodologia e limites · Resultados por idioma
soniqo/speech-bench-data
(9c91223) · talkbank/callhome
(17c8a153, CC BY-NC-SA 4.0)