Voxtral Mini 3B 2507
이 Soniqo 페이지는 로컬 speech-swift / speech-core 구현의 Voxtral Mini 3B 2507을 설명합니다. Hugging Face 번들 링크는 통합 메모 뒤에 있습니다.
내부 페이지 우선
랜딩 카드와 문서 메뉴는 먼저 이 페이지로 이동하고, 원본 모델과 번들 링크는 이 페이지 안에 둡니다.
개요
| 모델 | Voxtral Mini 3B 2507 |
|---|---|
| 역할 | High-accuracy multilingual offline speech-to-text |
| 백엔드 | Native MLX on Apple Silicon |
| 출력 | Plain-text transcription |
| 언어 | English, French, German, Spanish, Italian, Portuguese, Dutch, and Hindi |
| 라이선스 | Apache-2.0 |
| 상태 | Published FP16, INT5, and INT8 bundles; INT5 is the default |
| 소스 | Mistral Voxtral Mini 3B 2507 |
| Swift 제품 | VoxtralASR |
| CLI / 런타임 | speech transcribe --engine voxtral |
사용
아래 스니펫은 현재 speech-swift 저장소의 API 또는 명령과 일치합니다.
# INT5 is the default.
speech transcribe recording.wav --engine voxtral
# Select another published precision and pass a language hint.
speech transcribe recording.wav --engine voxtral --model int8 --language fr
# --model also accepts a Hugging Face model ID or a local directory.
speech transcribe recording.wav --engine voxtral --model /models/voxtral/int5벤치마크
2026-07-22에 영어 FLEURS 낭독 음성 80개 발화(총 759.56초)를 48GB 메모리의 Apple M5 Pro, macOS 26.5.2에서 측정했습니다. 각 변형은 release 빌드의 별도 프로세스에서 실행했습니다.
| Variant | Bundle | WER | Δ WER | Mean RTF | Overall ×RT | Footprint |
|---|---|---|---|---|---|---|
| FP16 | 8.71 GiB | 4.633% | — | 0.1305 | 8.05× | 10,568 MiB |
| INT5 | 3.77 GiB | 4.744% | +0.110 pp | 0.0739 | 14.47× | 6,012 MiB |
| INT8 | 5.18 GiB | 4.578% | -0.055 pp | 0.0906 | 11.79× | 7,233 MiB |
물리 사용량은 배포 관점에서 의미 있는 통합 메모리 지표입니다. MLX가 가중치 파일을 메모리 매핑할 수 있기 때문입니다. FLEURS는 영어 낭독 음성이므로 이 수치는 대화, 전화, 잡음, 다화자 오디오에서의 동등성을 주장하지 않습니다.
모델 링크
구현 메모
- The audio frontend resamples mono Float32 PCM to 16 kHz and packs up to 30 seconds of audio per request.
- INT5 is the default: on the validated English FLEURS run it used a 3.77 GiB bundle, 6,012 MiB physical footprint, and 0.0739 mean RTF.
- The decoder projects only the final prompt state through the 131,072-token language-model head, reducing quantized-model RTF without changing transcripts.
- MLX has no INT7 affine kernel; use INT8 as the supported higher-quality option.
- Audio is padded to whole 30-second chunks and concatenated into one prompt, so prompt and decoder-cache memory grow with the number of chunks. Segment very long recordings until a chunk-merge path exists.
- This is a non-streaming engine.