Traducción automática · Original en inglés

Benchmarks de diarización de hablantes: Nemotron 3 y Sortformer

Nemotron 3 MLX y CoreML se unen a los sistemas de diarización anteriores en el mismo conjunto interno de 132 grabaciones en ocho idiomas. Cada sistema recibe el audio sin un número de referencia de hablantes. La ejecución de Nemotron 3 cubre 12.82 horas de audio sin archivos fallidos.

Cómo leer estos números

Cada celda es DER (tasa de error de diarización), ponderada por el tiempo del orador de referencia con un collar de 0.25 s. Menor es mejor. Las conversaciones reales y las vías sintéticas son niveles de evidencia diferentes y no deben leerse entre sí.

Exportaciones Nemotron 3 INT8

Los entornos ejecutables de Apple Silicon incluidos utilizan el punto de control final NVIDIA Nemotron 3 Diarization. Ambas ejecuciones utilizaron el número automático de hablantes y el postprocesamiento predeterminado del paquete. DER se agrupa por tiempo del hablante de referencia dentro del mapa de evaluación de cada grabación, incluida la superposición. El acuerdo exacto del número de hablantes fue del 85,6% para MLX y del 84,8% para CoreML.

IdiomaArchivosNemotron 3 MLXNemotron 3 CoreMLFuente Sortformer
Árabe1216.54%18.16%22.32%
Alemán127.32%7.21%8.38%
Inglés4810.31%10.24%13.81%
Español1212.56%13.19%16.33%
Mandarín1210.00%9.68%9.95%
Azerí122.53%2.55%5.25%
Alemán suizo1215.72%15.69%21.59%
Ruso124.47%4.44%5.35%
Todo13210.98%11.20%—

Resultados previos del modelo fuente por idioma

Conversación real

Audio de difusión, telefónico y de reuniones. 96 grabaciones, 12.63 horas.

SistemaÁrabeAlemánInglésEspañolMandarín
DER, cuanto menor, mejor
API de la Nube de Habla21.02%7.62%13.21%15.92%9.63%
Sortformer en tiempo real22.32%8.38%13.81%16.33%9.95%
Sortformer en línea17.92%8.13%14.34%16.43%10.52%
pyannote Community-115.57%20.22%15.22%22.78%16.19%

Rutas sintéticas

Lectura concatenada con intercambio de turnos muestreada de distribuciones medidas en los cortes de CallHome. Estas detectan fallos de dominio brutos y nada más. No compare estos números con la tabla anterior.

SistemaAzeríAlemán suizoRuso
DER, cuanto menor, mejor
API de la Nube de Habla4.74%19.33%8.15%
Sortformer en tiempo real5.25%21.59%5.35%
Sortformer en línea5.16%28.03%8.20%
pyannote Community-135.23%45.21%35.26%

Metodología y límites

Procedencia de los datos

Los fragmentos en alemán, español y mandarín provienen de talkbank/callhome en la revisión 17c8a153 bajo la licencia CC BY-NC-SA 4.0. Los giros de referencia son las marcas de tiempo propias del corpus: no se utiliza VAD, clústering ni identidad derivada de embeddings, y se preserva el solapamiento tal como se publicó. Dado que dicha licencia prohíbe el uso comercial, estos fragmentos son evidencia de evaluación y no están aprobados para entrenamiento.

Ejecútelo usted mismo

Los resultados utilizan el mismo conjunto de datos de referencia y el mismo evaluador. Consulte la guía de diarización de hablantes para la selección del motor, puntuación DER y salida RTTM en Apple Silicon, o el índice completo de pruebas para las filas de ASR y TTS medidas de la misma manera.