Voxtral Mini 3B 2507

Esta página de Soniqo documenta Voxtral Mini 3B 2507 tal como está implementado en speech-swift / speech-core. Los enlaces a Hugging Face aparecen debajo de las notas de integración.

Primero página interna

Las tarjetas y menús apuntan primero aquí; los enlaces al modelo fuente y a los bundles siguen disponibles en esta página.

Resumen

Modelo	Voxtral Mini 3B 2507
Rol	High-accuracy multilingual offline speech-to-text
Backend	Native MLX on Apple Silicon
Salida	Plain-text transcription
Idiomas	English, French, German, Spanish, Italian, Portuguese, Dutch, and Hindi
Licencia	Apache-2.0
Estado	Published FP16, INT5, and INT8 bundles; INT5 is the default
Fuente	Mistral Voxtral Mini 3B 2507
Producto Swift	`VoxtralASR`
CLI / runtime	`speech transcribe --engine voxtral`

Uso

El fragmento siguiente refleja la API o el comando actual expuesto por speech-swift.

# INT5 is the default.
speech transcribe recording.wav --engine voxtral

# Select another published precision and pass a language hint.
speech transcribe recording.wav --engine voxtral --model int8 --language fr

# --model also accepts a Hugging Face model ID or a local directory.
speech transcribe recording.wav --engine voxtral --model /models/voxtral/int5

Benchmark

Medido el 2026-07-22 sobre 80 enunciados de habla leída en inglés de FLEURS (759,56 segundos en total), en un Apple M5 Pro con 48 GB de memoria y macOS 26.5.2. Cada variante se ejecutó en su propio proceso desde una compilación release.

Variant	Bundle	WER	Δ WER	Mean RTF	Overall ×RT	Footprint
FP16	8.71 GiB	4.633%	—	0.1305	8.05×	10,568 MiB
INT5	3.77 GiB	4.744%	+0.110 pp	0.0739	14.47×	6,012 MiB
INT8	5.18 GiB	4.578%	-0.055 pp	0.0906	11.79×	7,233 MiB

La huella física es la cifra de memoria unificada relevante para el despliegue, porque MLX puede mapear en memoria los archivos de pesos. FLEURS es habla leída en inglés: estas cifras no afirman paridad en audio conversacional, telefónico, ruidoso o con muchos hablantes.

Enlaces del modelo

Notas de implementación

The audio frontend resamples mono Float32 PCM to 16 kHz and packs up to 30 seconds of audio per request.
INT5 is the default: on the validated English FLEURS run it used a 3.77 GiB bundle, 6,012 MiB physical footprint, and 0.0739 mean RTF.
The decoder projects only the final prompt state through the 131,072-token language-model head, reducing quantized-model RTF without changing transcripts.
MLX has no INT7 affine kernel; use INT8 as the supported higher-quality option.
Audio is padded to whole 30-second chunks and concatenated into one prompt, so prompt and decoder-cache memory grow with the number of chunks. Segment very long recordings until a chunk-merge path exists.
This is a non-streaming engine.