Voxtral Mini 3B 2507

Trang Soniqo này ghi lại Voxtral Mini 3B 2507 theo triển khai hiện có trong speech-swift / speech-core. Liên kết Hugging Face nằm bên dưới phần ghi chú tích hợp.

Ưu tiên trang nội bộ

Thẻ trên trang chính và menu tài liệu trỏ vào đây trước; liên kết model nguồn và bundle vẫn có trong trang này.

Tổng quan

Model	Voxtral Mini 3B 2507
Vai trò	High-accuracy multilingual offline speech-to-text
Backend	Native MLX on Apple Silicon
Đầu ra	Plain-text transcription
Ngôn ngữ	English, French, German, Spanish, Italian, Portuguese, Dutch, and Hindi
Giấy phép	Apache-2.0
Trạng thái	Published FP16, INT5, and INT8 bundles; INT5 is the default
Nguồn	Mistral Voxtral Mini 3B 2507
Sản phẩm Swift	`VoxtralASR`
CLI / runtime	`speech transcribe --engine voxtral`

Cách dùng

Đoạn dưới đây khớp với API hoặc lệnh hiện tại do speech-swift cung cấp.

# INT5 is the default.
speech transcribe recording.wav --engine voxtral

# Select another published precision and pass a language hint.
speech transcribe recording.wav --engine voxtral --model int8 --language fr

# --model also accepts a Hugging Face model ID or a local directory.
speech transcribe recording.wav --engine voxtral --model /models/voxtral/int5

Benchmark

Đo ngày 2026-07-22 trên 80 câu đọc tiếng Anh từ FLEURS (tổng 759,56 giây), trên Apple M5 Pro với 48 GB bộ nhớ chạy macOS 26.5.2. Mỗi biến thể chạy trong tiến trình riêng từ bản build release.

Variant	Bundle	WER	Δ WER	Mean RTF	Overall ×RT	Footprint
FP16	8.71 GiB	4.633%	—	0.1305	8.05×	10,568 MiB
INT5	3.77 GiB	4.744%	+0.110 pp	0.0739	14.47×	6,012 MiB
INT8	5.18 GiB	4.578%	-0.055 pp	0.0906	11.79×	7,233 MiB

Dung lượng vật lý là con số bộ nhớ hợp nhất có ý nghĩa khi triển khai, vì MLX có thể memory-map các tệp trọng số. FLEURS là giọng đọc tiếng Anh: các số liệu này không khẳng định tương đương trên âm thanh hội thoại, điện thoại, ồn hoặc nhiều người nói.

Liên kết model

Ghi chú triển khai

The audio frontend resamples mono Float32 PCM to 16 kHz and packs up to 30 seconds of audio per request.
INT5 is the default: on the validated English FLEURS run it used a 3.77 GiB bundle, 6,012 MiB physical footprint, and 0.0739 mean RTF.
The decoder projects only the final prompt state through the 131,072-token language-model head, reducing quantized-model RTF without changing transcripts.
MLX has no INT7 affine kernel; use INT8 as the supported higher-quality option.
Audio is padded to whole 30-second chunks and concatenated into one prompt, so prompt and decoder-cache memory grow with the number of chunks. Segment very long recordings until a chunk-merge path exists.
This is a non-streaming engine.