Voxtral Mini 3B 2507

Esta página da Soniqo documenta Voxtral Mini 3B 2507 conforme a implementação local em speech-swift / speech-core. Os links do Hugging Face ficam abaixo das notas de integração.

Página interna primeiro

Cards e menus apontam primeiro para cá; os links do modelo fonte e dos bundles continuam disponíveis nesta página.

Visão geral

Modelo	Voxtral Mini 3B 2507
Papel	High-accuracy multilingual offline speech-to-text
Backend	Native MLX on Apple Silicon
Saída	Plain-text transcription
Idiomas	English, French, German, Spanish, Italian, Portuguese, Dutch, and Hindi
Licença	Apache-2.0
Status	Published FP16, INT5, and INT8 bundles; INT5 is the default
Fonte	Mistral Voxtral Mini 3B 2507
Produto Swift	`VoxtralASR`
CLI / runtime	`speech transcribe --engine voxtral`

Uso

O trecho abaixo reflete a API ou comando atual exposto por speech-swift.

# INT5 is the default.
speech transcribe recording.wav --engine voxtral

# Select another published precision and pass a language hint.
speech transcribe recording.wav --engine voxtral --model int8 --language fr

# --model also accepts a Hugging Face model ID or a local directory.
speech transcribe recording.wav --engine voxtral --model /models/voxtral/int5

Benchmark

Medido em 2026-07-22 sobre 80 enunciados de fala lida em inglês do FLEURS (759,56 segundos no total), num Apple M5 Pro com 48 GB de memória e macOS 26.5.2. Cada variante rodou no próprio processo a partir de uma compilação release.

Variant	Bundle	WER	Δ WER	Mean RTF	Overall ×RT	Footprint
FP16	8.71 GiB	4.633%	—	0.1305	8.05×	10,568 MiB
INT5	3.77 GiB	4.744%	+0.110 pp	0.0739	14.47×	6,012 MiB
INT8	5.18 GiB	4.578%	-0.055 pp	0.0906	11.79×	7,233 MiB

A pegada física é a métrica de memória unificada relevante para implantação, porque o MLX pode mapear em memória os arquivos de pesos. FLEURS é fala lida em inglês: estes números não afirmam paridade em áudio conversacional, telefônico, ruidoso ou com muitos falantes.

Links do modelo

Notas de implementação

The audio frontend resamples mono Float32 PCM to 16 kHz and packs up to 30 seconds of audio per request.
INT5 is the default: on the validated English FLEURS run it used a 3.77 GiB bundle, 6,012 MiB physical footprint, and 0.0739 mean RTF.
The decoder projects only the final prompt state through the 131,072-token language-model head, reducing quantized-model RTF without changing transcripts.
MLX has no INT7 affine kernel; use INT8 as the supported higher-quality option.
Audio is padded to whole 30-second chunks and concatenated into one prompt, so prompt and decoder-cache memory grow with the number of chunks. Segment very long recordings until a chunk-merge path exists.
This is a non-streaming engine.