Voxtral Mini 3B 2507

Cette page Soniqo documente Voxtral Mini 3B 2507 tel qu'il est implémenté dans speech-swift / speech-core. Les liens Hugging Face sont placés après les notes d'intégration.

Page interne d'abord

Les cartes et menus pointent d'abord ici; les liens vers le modèle source et les bundles restent disponibles sur cette page.

Aperçu

Modèle	Voxtral Mini 3B 2507
Rôle	High-accuracy multilingual offline speech-to-text
Backend	Native MLX on Apple Silicon
Sortie	Plain-text transcription
Langues	English, French, German, Spanish, Italian, Portuguese, Dutch, and Hindi
Licence	Apache-2.0
État	Published FP16, INT5, and INT8 bundles; INT5 is the default
Source	Mistral Voxtral Mini 3B 2507
Produit Swift	`VoxtralASR`
CLI / runtime	`speech transcribe --engine voxtral`

Utilisation

L'extrait ci-dessous suit l'API ou la commande actuellement exposée par speech-swift.

# INT5 is the default.
speech transcribe recording.wav --engine voxtral

# Select another published precision and pass a language hint.
speech transcribe recording.wav --engine voxtral --model int8 --language fr

# --model also accepts a Hugging Face model ID or a local directory.
speech transcribe recording.wav --engine voxtral --model /models/voxtral/int5

Benchmark

Mesuré le 2026-07-22 sur 80 énoncés de parole lue en anglais issus de FLEURS (759,56 secondes au total), sur un Apple M5 Pro doté de 48 Go de mémoire sous macOS 26.5.2. Chaque variante s'est exécutée dans son propre processus à partir d'une compilation release.

Variant	Bundle	WER	Δ WER	Mean RTF	Overall ×RT	Footprint
FP16	8.71 GiB	4.633%	—	0.1305	8.05×	10,568 MiB
INT5	3.77 GiB	4.744%	+0.110 pp	0.0739	14.47×	6,012 MiB
INT8	5.18 GiB	4.578%	-0.055 pp	0.0906	11.79×	7,233 MiB

L'empreinte physique est la mesure de mémoire unifiée pertinente pour le déploiement, car MLX peut mapper les fichiers de poids en mémoire. FLEURS est de la parole lue en anglais : ces chiffres ne prétendent pas à la parité sur de l'audio conversationnel, téléphonique, bruité ou à nombreux locuteurs.

Liens du modèle

Notes d'implémentation

The audio frontend resamples mono Float32 PCM to 16 kHz and packs up to 30 seconds of audio per request.
INT5 is the default: on the validated English FLEURS run it used a 3.77 GiB bundle, 6,012 MiB physical footprint, and 0.0739 mean RTF.
The decoder projects only the final prompt state through the 131,072-token language-model head, reducing quantized-model RTF without changing transcripts.
MLX has no INT7 affine kernel; use INT8 as the supported higher-quality option.
Audio is padded to whole 30-second chunks and concatenated into one prompt, so prompt and decoder-cache memory grow with the number of chunks. Segment very long recordings until a chunk-merge path exists.
This is a non-streaming engine.