Voxtral Mini 3B 2507

Эта страница Soniqo описывает Voxtral Mini 3B 2507 из локальной реализации speech-swift / speech-core. Ссылки на Hugging Face находятся ниже после заметок по интеграции.

Сначала внутренняя страница

Карточки и меню документации сначала ведут сюда; ссылки на исходную модель и бандлы остаются на этой странице.

Кратко

Модель	Voxtral Mini 3B 2507
Роль	High-accuracy multilingual offline speech-to-text
Backend	Native MLX on Apple Silicon
Вывод	Plain-text transcription
Языки	English, French, German, Spanish, Italian, Portuguese, Dutch, and Hindi
Лицензия	Apache-2.0
Статус	Published FP16, INT5, and INT8 bundles; INT5 is the default
Источник	Mistral Voxtral Mini 3B 2507
Swift-продукт	`VoxtralASR`
CLI / runtime	`speech transcribe --engine voxtral`

Использование

Фрагмент ниже соответствует текущему API или команде из speech-swift.

# INT5 is the default.
speech transcribe recording.wav --engine voxtral

# Select another published precision and pass a language hint.
speech transcribe recording.wav --engine voxtral --model int8 --language fr

# --model also accepts a Hugging Face model ID or a local directory.
speech transcribe recording.wav --engine voxtral --model /models/voxtral/int5

Бенчмарк

Измерено 2026-07-22 на 80 англоязычных высказываниях FLEURS с чтением вслух (всего 759,56 секунды), на Apple M5 Pro с 48 ГБ памяти под macOS 26.5.2. Каждый вариант выполнялся в отдельном процессе из release-сборки.

Variant	Bundle	WER	Δ WER	Mean RTF	Overall ×RT	Footprint
FP16	8.71 GiB	4.633%	—	0.1305	8.05×	10,568 MiB
INT5	3.77 GiB	4.744%	+0.110 pp	0.0739	14.47×	6,012 MiB
INT8	5.18 GiB	4.578%	-0.055 pp	0.0906	11.79×	7,233 MiB

Физический объём — релевантный для развёртывания показатель унифицированной памяти, поскольку MLX может отображать файлы весов в память. FLEURS — английская читаемая речь: эти числа не утверждают паритет на разговорном, телефонном, шумном или многоголосом аудио.

Ссылки модели

Заметки реализации

The audio frontend resamples mono Float32 PCM to 16 kHz and packs up to 30 seconds of audio per request.
INT5 is the default: on the validated English FLEURS run it used a 3.77 GiB bundle, 6,012 MiB physical footprint, and 0.0739 mean RTF.
The decoder projects only the final prompt state through the 131,072-token language-model head, reducing quantized-model RTF without changing transcripts.
MLX has no INT7 affine kernel; use INT8 as the supported higher-quality option.
Audio is padded to whole 30-second chunks and concatenated into one prompt, so prompt and decoder-cache memory grow with the number of chunks. Segment very long recordings until a chunk-merge path exists.
This is a non-streaming engine.