Voxtral Mini 3B 2507
यह Soniqo पेज स्थानीय speech-swift / speech-core implementation में Voxtral Mini 3B 2507 को दस्तावेज़ करता है। Hugging Face bundle links integration notes के बाद दिए गए हैं।
Landing cards और docs menus पहले इसी पेज पर आते हैं; source model और bundle links यहीं उपलब्ध रहते हैं।
सारांश
| मॉडल | Voxtral Mini 3B 2507 |
|---|---|
| भूमिका | High-accuracy multilingual offline speech-to-text |
| Backend | Native MLX on Apple Silicon |
| Output | Plain-text transcription |
| भाषाएँ | English, French, German, Spanish, Italian, Portuguese, Dutch, and Hindi |
| लाइसेंस | Apache-2.0 |
| स्थिति | Published FP16, INT5, and INT8 bundles; INT5 is the default |
| Source | Mistral Voxtral Mini 3B 2507 |
| Swift product | VoxtralASR |
| CLI / runtime | speech transcribe --engine voxtral |
उपयोग
नीचे का snippet मौजूदा speech-swift API या command से मेल खाता है।
# INT5 is the default.
speech transcribe recording.wav --engine voxtral
# Select another published precision and pass a language hint.
speech transcribe recording.wav --engine voxtral --model int8 --language fr
# --model also accepts a Hugging Face model ID or a local directory.
speech transcribe recording.wav --engine voxtral --model /models/voxtral/int5बेंचमार्क
2026-07-22 को 80 अंग्रेज़ी FLEURS read-speech utterances (कुल 759.56 सेकंड) पर, 48 GB मेमोरी वाले Apple M5 Pro और macOS 26.5.2 पर मापा गया। हर variant release build से अपनी अलग process में चला।
| Variant | Bundle | WER | Δ WER | Mean RTF | Overall ×RT | Footprint |
|---|---|---|---|---|---|---|
| FP16 | 8.71 GiB | 4.633% | — | 0.1305 | 8.05× | 10,568 MiB |
| INT5 | 3.77 GiB | 4.744% | +0.110 pp | 0.0739 | 14.47× | 6,012 MiB |
| INT8 | 5.18 GiB | 4.578% | -0.055 pp | 0.0906 | 11.79× | 7,233 MiB |
Physical footprint deployment के लिए प्रासंगिक unified-memory आंकड़ा है, क्योंकि MLX weight files को memory-map कर सकता है। FLEURS अंग्रेज़ी read speech है: ये आंकड़े conversational, telephone, noisy या speaker-heavy audio पर समानता का दावा नहीं करते।
मॉडल लिंक
implementation notes
- The audio frontend resamples mono Float32 PCM to 16 kHz and packs up to 30 seconds of audio per request.
- INT5 is the default: on the validated English FLEURS run it used a 3.77 GiB bundle, 6,012 MiB physical footprint, and 0.0739 mean RTF.
- The decoder projects only the final prompt state through the 131,072-token language-model head, reducing quantized-model RTF without changing transcripts.
- MLX has no INT7 affine kernel; use INT8 as the supported higher-quality option.
- Audio is padded to whole 30-second chunks and concatenated into one prompt, so prompt and decoder-cache memory grow with the number of chunks. Segment very long recordings until a chunk-merge path exists.
- This is a non-streaming engine.