Voxtral Mini 3B 2507

Bu Soniqo sayfası, yerel speech-swift / speech-core uygulamasındaki Voxtral Mini 3B 2507 modelini belgeler. Hugging Face bundle bağlantıları entegrasyon notlarından sonra yer alır.

Önce dahili sayfa

Açılış kartları ve belge menüleri önce buraya yönlenir; kaynak model ve bundle bağlantıları bu sayfada kalır.

Özet

Model	Voxtral Mini 3B 2507
Rol	High-accuracy multilingual offline speech-to-text
Backend	Native MLX on Apple Silicon
Çıktı	Plain-text transcription
Diller	English, French, German, Spanish, Italian, Portuguese, Dutch, and Hindi
Lisans	Apache-2.0
Durum	Published FP16, INT5, and INT8 bundles; INT5 is the default
Kaynak	Mistral Voxtral Mini 3B 2507
Swift ürünü	`VoxtralASR`
CLI / runtime	`speech transcribe --engine voxtral`

Kullanım

Aşağıdaki parça, speech-swift deposundaki güncel API veya komutla eşleşir.

# INT5 is the default.
speech transcribe recording.wav --engine voxtral

# Select another published precision and pass a language hint.
speech transcribe recording.wav --engine voxtral --model int8 --language fr

# --model also accepts a Hugging Face model ID or a local directory.
speech transcribe recording.wav --engine voxtral --model /models/voxtral/int5

Benchmark

2026-07-22'de 80 İngilizce FLEURS okuma konuşması (toplam 759,56 saniye) üzerinde, 48 GB belleğe sahip Apple M5 Pro ve macOS 26.5.2 üzerinde ölçüldü. Her varyant release derlemesinden kendi sürecinde çalıştı.

Variant	Bundle	WER	Δ WER	Mean RTF	Overall ×RT	Footprint
FP16	8.71 GiB	4.633%	—	0.1305	8.05×	10,568 MiB
INT5	3.77 GiB	4.744%	+0.110 pp	0.0739	14.47×	6,012 MiB
INT8	5.18 GiB	4.578%	-0.055 pp	0.0906	11.79×	7,233 MiB

Fiziksel ayak izi, dağıtım açısından anlamlı birleşik bellek ölçüsüdür; çünkü MLX ağırlık dosyalarını belleğe eşleyebilir. FLEURS İngilizce okuma konuşmasıdır: bu sayılar sohbet, telefon, gürültülü veya çok konuşmacılı seste eşitlik iddia etmez.

Model bağlantıları

Uygulama notları

The audio frontend resamples mono Float32 PCM to 16 kHz and packs up to 30 seconds of audio per request.
INT5 is the default: on the validated English FLEURS run it used a 3.77 GiB bundle, 6,012 MiB physical footprint, and 0.0739 mean RTF.
The decoder projects only the final prompt state through the 131,072-token language-model head, reducing quantized-model RTF without changing transcripts.
MLX has no INT7 affine kernel; use INT8 as the supported higher-quality option.
Audio is padded to whole 30-second chunks and concatenated into one prompt, so prompt and decoder-cache memory grow with the number of chunks. Segment very long recordings until a chunk-merge path exists.
This is a non-streaming engine.