Traducción automática · Original en inglés
Benchmarks de diarización de hablantes: Nemotron 3 y Sortformer
Nemotron 3 MLX y CoreML se unen a los sistemas de diarización anteriores en el mismo conjunto interno de 132 grabaciones en ocho idiomas. Cada sistema recibe el audio sin un número de referencia de hablantes. La ejecución de Nemotron 3 cubre 12.82 horas de audio sin archivos fallidos.
Cada celda es DER (tasa de error de diarización), ponderada por el tiempo del orador de referencia con un collar de 0.25 s. Menor es mejor. Las conversaciones reales y las vías sintéticas son niveles de evidencia diferentes y no deben leerse entre sí.
Exportaciones Nemotron 3 INT8
Los entornos ejecutables de Apple Silicon incluidos utilizan el punto de control final NVIDIA Nemotron 3 Diarization. Ambas ejecuciones utilizaron el número automático de hablantes y el postprocesamiento predeterminado del paquete. DER se agrupa por tiempo del hablante de referencia dentro del mapa de evaluación de cada grabación, incluida la superposición. El acuerdo exacto del número de hablantes fue del 85,6% para MLX y del 84,8% para CoreML.
| Idioma | Archivos | Nemotron 3 MLX | Nemotron 3 CoreML | Fuente Sortformer |
|---|---|---|---|---|
| Árabe | 12 | 16.54% | 18.16% | 22.32% |
| Alemán | 12 | 7.32% | 7.21% | 8.38% |
| Inglés | 48 | 10.31% | 10.24% | 13.81% |
| Español | 12 | 12.56% | 13.19% | 16.33% |
| Mandarín | 12 | 10.00% | 9.68% | 9.95% |
| Azerí | 12 | 2.53% | 2.55% | 5.25% |
| Alemán suizo | 12 | 15.72% | 15.69% | 21.59% |
| Ruso | 12 | 4.47% | 4.44% | 5.35% |
| Todo | 132 | 10.98% | 11.20% | — |
Resultados previos del modelo fuente por idioma
Conversación real
Audio de difusión, telefónico y de reuniones. 96 grabaciones, 12.63 horas.
| Sistema | Árabe | Alemán | Inglés | Español | Mandarín |
|---|---|---|---|---|---|
| DER, cuanto menor, mejor | |||||
| API de la Nube de Habla | 21.02% | 7.62% | 13.21% | 15.92% | 9.63% |
| Sortformer en tiempo real | 22.32% | 8.38% | 13.81% | 16.33% | 9.95% |
| Sortformer en línea | 17.92% | 8.13% | 14.34% | 16.43% | 10.52% |
| pyannote Community-1 | 15.57% | 20.22% | 15.22% | 22.78% | 16.19% |
Rutas sintéticas
Lectura concatenada con intercambio de turnos muestreada de distribuciones medidas en los cortes de CallHome. Estas detectan fallos de dominio brutos y nada más. No compare estos números con la tabla anterior.
| Sistema | Azerí | Alemán suizo | Ruso |
|---|---|---|---|
| DER, cuanto menor, mejor | |||
| API de la Nube de Habla | 4.74% | 19.33% | 8.15% |
| Sortformer en tiempo real | 5.25% | 21.59% | 5.35% |
| Sortformer en línea | 5.16% | 28.03% | 8.20% |
| pyannote Community-1 | 35.23% | 45.21% | 35.26% |
Metodología y límites
- Un evaluador, un conjunto de ítems. Cada celda proviene del mismo marco y de las mismas emisiones fijadas, por lo que nunca se comparan dos sistemas con dos reglas diferentes.
- No se proporciona el número de hablantes a ningún backend.
- Timelines de oradores anónimos únicamente. Estos son resultados de diarización, no atribución de oradores con nombre.
- Las vías sintéticas no son una conversación real. Las vías
az,gswyruse reconstruyeron basándose en distribuciones de turnos de palabra medidos desde CallHome. Las vías anteriores usaban un patrón de intervalo fijo que producía una tasa de cambio de hablante del 100%, mientras que en la conversación real un hablante repite su turno aproximadamente el 16% de las veces. Eso recompensaba a cualquier diarizador que simplemente alternara, y ordenaba incorrectamente el campo en dos idiomas. - Sortformer se limita a cuatro hablantes; 22 de los 96 archivos originales exceden esa capacidad.
Procedencia de los datos
Los fragmentos en alemán, español y mandarín provienen de talkbank/callhome en la revisión 17c8a153 bajo la licencia CC BY-NC-SA 4.0. Los giros de referencia son las marcas de tiempo propias del corpus: no se utiliza VAD, clústering ni identidad derivada de embeddings, y se preserva el solapamiento tal como se publicó. Dado que dicha licencia prohíbe el uso comercial, estos fragmentos son evidencia de evaluación y no están aprobados para entrenamiento.
Ejecútelo usted mismo
Los resultados utilizan el mismo conjunto de datos de referencia y el mismo evaluador. Consulte la guía de diarización de hablantes para la selección del motor, puntuación DER y salida RTTM en Apple Silicon, o el índice completo de pruebas para las filas de ASR y TTS medidas de la misma manera.