Strojový překlad · Anglický originál
Voxtral Mini 3B 2507
Tato první strana Soniqo stránka dokumenty Voxtral Mini 3B 2507 z místní speech-swift / speech-core. Hugging Face balíky jsou spojeny níže po integraci poznámky.
Přistávací karty a docs menu nyní ukázat zde první; zdrojový model a svazky odkazy zůstávají k dispozici z této stránky.
V Glance
| Vzor | Voxtral Mini 3B 2507 |
|---|---|
| Úloha | Vysokojazyčná vícejazyčná offline slova-to-text |
| Backend | Původní MLX na Apple Silicon |
| Výstup | Transkripce na prostý text |
| Jazyky | angličtina, francouzština, němčina, španělština, italština, portugalština, holandština a hindština |
| Licence | Apache-2.0 |
| Stav | Zveřejněné soubory FP16, INT5 a INT8; INT5 je výchozí |
| Zdroj | Mistral Voxtral Mini 3B 2507 |
| Swift produkt | VoxtralASR |
| CLI / runtime | speech transcribe --engine voxtral |
Použití
Snippet níže odráží aktuální speech-swift API nebo příkaz vystavený repo.
# INT5 is the default.
speech transcribe recording.wav --engine voxtral
# Select another published precision and pass a language hint.
speech transcribe recording.wav --engine voxtral --model int8 --language fr
# --model also accepts a Hugging Face model ID or a local directory.
speech transcribe recording.wav --engine voxtral --model /models/voxtral/int5
Referenční hodnota
Měřeno na 2026-07-22 více 80 English FLEURS read- speak talterances total 759.56 sekund, na Apple M5 Pro s 48 GB běžící paměť macOS 26.5.2. Každá varianta běžel ve svém vlastním procesu z uvolnění stavět.
| Varianta | BundCity in New York USA | WER | Δ WER | Střední hodnota RTF | Celkově × RT | Stopy |
|---|---|---|---|---|---|---|
| FP16 | 8.71 GiB | 4.633% | — | 0.1305 | 8.05× | 10,568 MiB |
| INT5 | 3.77 GiB | 4.744% | + 0.110 pp | 0.0739 | 14.47× | 6,012 MiB |
| INT8 | 5.18 GiB | 4.578% | - 0.055 pp | 0.0906 | 11.79× | 7,233 MiB |
Fyzická stopa je rozmístění-relevantní unified- paměť figurka, protože MLX si může zapamatovat-mapových váhových souborů. FLEURS je anglický čtení řeč: tato čísla nemají nárok na paritu na konverzní, telefon, hlučný, nebo speaker-těžký zvuk.
Modelové odkazy
Poznámky k provádění
- Audio frontend resamples mono Float32 PCM na 16 kHz a pakety až 30 sekund zvuku na vyžádání.
- INT5 je výchozí: na validované anglické FLEURS spustit použil 3.77 GiB svazek, 6,012 MiB fyzické stopy, a 0.0739 průměr RTF.
- Dekodér promítne pouze poslední rychlý stav prostřednictvím 131,072-token langage- model hlava, snížení kvantized- model RTF bez změny přepisů.
- MLX nemá žádné afinové jádro INT7; jako podporovanou volbu vysoké kvality použijte INT8.
- Audio je polstrován na celých 30sekundových úlomků a konkatetován do jednoho příhodu, takže rychlé a dekodér-cache paměť roste s počtem úlomků. Segment velmi dlouhé nahrávky, dokud Chunk- sloučení cesta existuje.
- Tohle je nestreamingový motor.