Voxtral Mini 3B 2507
この Soniqo ページは、ローカルの speech-swift / speech-core 実装にある Voxtral Mini 3B 2507 を説明します。Hugging Face バンドルへのリンクは統合メモの後にあります。
まずサイト内ページへ
ランディングカードとドキュメントメニューは先にこのページへ向け、ソースモデルとバンドルのリンクは本ページ内に残します。
概要
| モデル | Voxtral Mini 3B 2507 |
|---|---|
| 役割 | High-accuracy multilingual offline speech-to-text |
| バックエンド | Native MLX on Apple Silicon |
| 出力 | Plain-text transcription |
| 言語 | English, French, German, Spanish, Italian, Portuguese, Dutch, and Hindi |
| ライセンス | Apache-2.0 |
| 状態 | Published FP16, INT5, and INT8 bundles; INT5 is the default |
| ソース | Mistral Voxtral Mini 3B 2507 |
| Swift プロダクト | VoxtralASR |
| CLI / ランタイム | speech transcribe --engine voxtral |
使い方
以下のスニペットは、現在の speech-swift リポジトリが公開している API またはコマンドに合わせています。
# INT5 is the default.
speech transcribe recording.wav --engine voxtral
# Select another published precision and pass a language hint.
speech transcribe recording.wav --engine voxtral --model int8 --language fr
# --model also accepts a Hugging Face model ID or a local directory.
speech transcribe recording.wav --engine voxtral --model /models/voxtral/int5ベンチマーク
2026-07-22 に、英語 FLEURS の朗読音声 80 発話（合計 759.56 秒）を、48 GB メモリの Apple M5 Pro（macOS 26.5.2）で測定しました。各バリアントは release ビルドの独立したプロセスで実行しています。
| Variant | Bundle | WER | Δ WER | Mean RTF | Overall ×RT | Footprint |
|---|---|---|---|---|---|---|
| FP16 | 8.71 GiB | 4.633% | — | 0.1305 | 8.05× | 10,568 MiB |
| INT5 | 3.77 GiB | 4.744% | +0.110 pp | 0.0739 | 14.47× | 6,012 MiB |
| INT8 | 5.18 GiB | 4.578% | -0.055 pp | 0.0906 | 11.79× | 7,233 MiB |
物理フットプリントは配備上意味を持つユニファイドメモリの指標です。MLX が重みファイルをメモリマップする場合があるためです。FLEURS は英語の朗読音声であり、これらの数値は会話音声、電話音声、雑音環境、話者の多い音声での同等性を主張するものではありません。
モデルリンク
実装メモ
- The audio frontend resamples mono Float32 PCM to 16 kHz and packs up to 30 seconds of audio per request.
- INT5 is the default: on the validated English FLEURS run it used a 3.77 GiB bundle, 6,012 MiB physical footprint, and 0.0739 mean RTF.
- The decoder projects only the final prompt state through the 131,072-token language-model head, reducing quantized-model RTF without changing transcripts.
- MLX has no INT7 affine kernel; use INT8 as the supported higher-quality option.
- Audio is padded to whole 30-second chunks and concatenated into one prompt, so prompt and decoder-cache memory grow with the number of chunks. Segment very long recordings until a chunk-merge path exists.
- This is a non-streaming engine.