Voxtral Mini 3B 2507

Diese Soniqo-Seite dokumentiert Voxtral Mini 3B 2507 aus der lokalen speech-swift / speech-core-Implementierung. Hugging-Face-Bundles sind nach den Integrationshinweisen verlinkt.

Zuerst interne Seite

Landing-Karten und Docs-Menüs führen zuerst hierher; Quellen- und Bundle-Links bleiben auf dieser Seite verfügbar.

Überblick

Modell	Voxtral Mini 3B 2507
Rolle	High-accuracy multilingual offline speech-to-text
Backend	Native MLX on Apple Silicon
Ausgabe	Plain-text transcription
Sprachen	English, French, German, Spanish, Italian, Portuguese, Dutch, and Hindi
Lizenz	Apache-2.0
Status	Published FP16, INT5, and INT8 bundles; INT5 is the default
Quelle	Mistral Voxtral Mini 3B 2507
Swift-Produkt	`VoxtralASR`
CLI / Laufzeit	`speech transcribe --engine voxtral`

Verwendung

Das folgende Snippet entspricht der aktuellen API oder dem aktuellen Befehl aus speech-swift.

# INT5 is the default.
speech transcribe recording.wav --engine voxtral

# Select another published precision and pass a language hint.
speech transcribe recording.wav --engine voxtral --model int8 --language fr

# --model also accepts a Hugging Face model ID or a local directory.
speech transcribe recording.wav --engine voxtral --model /models/voxtral/int5

Benchmark

Gemessen am 2026-07-22 über 80 englische FLEURS-Lesesprachäußerungen (insgesamt 759,56 Sekunden) auf einem Apple M5 Pro mit 48 GB Speicher unter macOS 26.5.2. Jede Variante lief in einem eigenen Prozess aus einem Release-Build.

Variant	Bundle	WER	Δ WER	Mean RTF	Overall ×RT	Footprint
FP16	8.71 GiB	4.633%	—	0.1305	8.05×	10,568 MiB
INT5	3.77 GiB	4.744%	+0.110 pp	0.0739	14.47×	6,012 MiB
INT8	5.18 GiB	4.578%	-0.055 pp	0.0906	11.79×	7,233 MiB

Der physische Speicherbedarf ist die für den Einsatz relevante Unified-Memory-Kennzahl, da MLX Gewichtsdateien per Memory-Mapping einbinden kann. FLEURS ist englische Lesesprache: Diese Zahlen behaupten keine Parität bei Gesprächs-, Telefon-, verrauschtem oder sprecherreichem Audio.

Modelllinks

Implementierungsnotizen

The audio frontend resamples mono Float32 PCM to 16 kHz and packs up to 30 seconds of audio per request.
INT5 is the default: on the validated English FLEURS run it used a 3.77 GiB bundle, 6,012 MiB physical footprint, and 0.0739 mean RTF.
The decoder projects only the final prompt state through the 131,072-token language-model head, reducing quantized-model RTF without changing transcripts.
MLX has no INT7 affine kernel; use INT8 as the supported higher-quality option.
Audio is padded to whole 30-second chunks and concatenated into one prompt, so prompt and decoder-cache memory grow with the number of chunks. Segment very long recordings until a chunk-merge path exists.
This is a non-streaming engine.