Traducción automática · Original en inglés
Voxtral Mini 3B 2507
Esta página de Soniqo documenta Voxtral Mini 3B 2507 tal como está implementado en speech-swift / speech-core. Los enlaces a Hugging Face aparecen debajo de las notas de integración.
Las tarjetas y menús apuntan primero aquí; los enlaces al modelo fuente y a los bundles siguen disponibles en esta página.
Resumen
| Modelo | Voxtral Mini 3B 2507 |
|---|---|
| Rol | Alta precisión multilingüe de transcripción de voz a texto en línea |
| Backend | MLX nativo en Apple Silicon |
| Salida | Transcripción de texto plano |
| Idiomas | Inglés, Francés, Alemán, Español, Italiano, Portugués, Neerlandés y Hindi |
| Licencia | Apache-2.0 |
| Estado | Se publicaron los bundles FP16, INT5 e INT8; INT5 es el predeterminado |
| Fuente | Mistral Voxtral Mini 3B 2507 |
| Producto Swift | VoxtralASR |
| CLI / tiempo de ejecución | speech transcribe --engine voxtral |
Uso
El fragmento siguiente refleja la API o el comando actual expuesto por speech-swift.
# INT5 is the default.
speech transcribe recording.wav --engine voxtral
# Select another published precision and pass a language hint.
speech transcribe recording.wav --engine voxtral --model int8 --language fr
# --model also accepts a Hugging Face model ID or a local directory.
speech transcribe recording.wav --engine voxtral --model /models/voxtral/int5
Benchmarks
Medido el 2026-07-22 sobre 80 enunciados de habla leída en inglés de FLEURS (759,56 segundos en total), en un Apple M5 Pro con 48 GB de memoria y macOS 26.5.2. Cada variante se ejecutó en su propio proceso desde una compilación release.
| Variante | Bundle | WER | Δ WER | RTF medio | ×RT global | Huella |
|---|---|---|---|---|---|---|
| FP16 | 8.71 GiB | 4.633% | — | 0.1305 | 8.05× | 10,568 MiB |
| INT5 | 3.77 GiB | 4.744% | +0.110 pp | 0.0739 | 14.47× | 6.012 MiB |
| INT8 | 5.18 GiB | 4.578% | -0.055 pp | 0.0906 | 11.79× | 7,233 MiB |
La huella física es la cifra de memoria unificada relevante para el despliegue, porque MLX puede mapear en memoria los archivos de pesos. FLEURS es habla leída en inglés: estas cifras no afirman paridad en audio conversacional, telefónico, ruidoso o con muchos hablantes.
Enlaces del modelo
- Paquete FP16
- Paquete INT5
- Paquete INT8
- Documentación de los modelos de Swift
- Documentación de inferencia de Swift
Notas de implementación
- El frontend de audio remuestrea PCM Float32 mono a 16 kHz y empaqueta hasta 30 segundos de audio por solicitud.
- INT5 es el predeterminado: en la ejecución validada en inglés de FLEURS utilizó un paquete de 3.77 GiB, una huella física de 6,012 MiB y un RTF medio de 0.0739.
- El decodificador proyecta solo el estado final del prompt a través de la cabeza del modelo de lenguaje de 131.072 tokens, reduciendo el RTF del modelo cuantizado sin cambiar los transcripciones.
- MLX no tiene kernel afín INT7; use INT8 como la opción de mayor calidad compatible.
- El audio se rellena hasta trozos completos de 30 segundos y se concatena en un solo prompt, por lo que la memoria del prompt y la caché del decodificador crece con el número de trozos. Divida grabaciones muy largas hasta que exista una ruta de fusión de trozos.
- Este es un motor no en tiempo real.