Maskinöversättning · Engelskt original

Voxtral Mini 3B 2507

Denna första part Soniqo siddokument Voxtral Mini 3B 2507 från den lokala speech-swift / speech-core implementering. Hugging Face buntar är länkade nedan efter integrationsanteckningarna.

Intern sida först

Landningskort och docs-menyer pekar nu här först; källmodell och buntlänkar förblir tillgängliga från denna sida.

På en Glance

Modell	Voxtral Mini 3B 2507
Rollen	Hög noggrannhet flerspråkig offline tal till text
Backend	Native MLX på Apple Silicon
Output	Plain-text transkription
Språk	engelska, franska, tyska, spanska, italienska, portugisiska, nederländska och hindi
Licens	Apache-2.0
Status	Publicerad FP16, INT5 och INT8 buntar; INT5 är standarden
Källa	Mistral Voxtral Mini 3B 2507
Swift produkt	`VoxtralASR`
CLI / runtime	`speech transcribe --engine voxtral`

Användning

Nyckeln nedan speglar den nuvarande speech-swift API eller kommandot exponerat av repan.

# INT5 is the default.
speech transcribe recording.wav --engine voxtral

# Select another published precision and pass a language hint.
speech transcribe recording.wav --engine voxtral --model int8 --language fr

# --model also accepts a Hugging Face model ID or a local directory.
speech transcribe recording.wav --engine voxtral --model /models/voxtral/int5

Benchmark

Mäts på 2026-07-22 över 80 engelska FLEURS läs-tal yttranden totalt 759,56 sekunder, på en Apple M5 Pro med 48 GB minne som kör macOS 26,5.2. Varje variant sprang i sin egen process från en release build.

Variant	Bundle	WER	Δ WER	Mean RTF	Totalt × RT	Footprint
FP16	8,71 GiB	4.633%	—	0.1305	8.05×	10,568 MiB
INT5	3.77 GiB	4.744%	+0.110 pp	0.0739	14.47×	6,012 MiB
INT8	5.18 GiB	4.578%	-0.055 pp	0.0906	11.79×	7,233 MiB

Fysisk fotavtryck är den distribueringsrelevanta unified-memory-figuren, eftersom MLX kan minne-karta viktfiler. FLEURS är engelska lästal: dessa siffror inte hävdar paritet på konversation, telefon, bullriga eller högtalare-tung ljud.

Modelllänkar

Implementeringsmeddelanden

Audio frontend återförsäljning mono Float32 PCM till 16 kHz och packar upp till 30 sekunder ljud per förfrågan.
INT5 är standarden: på den validerade engelska FLEURS kör den använde en 3,77 GiB-bunt, 6,012 MiB fysiskt fotavtryck och 0,0739 betyder RTF.
Avkodaren projekterar endast det slutliga snabbtillståndet genom 131,072-token språkmodellhuvudet, vilket minskar kvantiserad modell RTF utan att ändra transkript.
MLX har ingen INT7 affinkärna; använd INT8 som det stödda alternativet med högre kvalitet.
Audio är vadderad till hela 30-sekunders bitar och konkateneras till en snabb, så snabb och dekoder-cache minne växer med antalet bitar. Segment mycket långa inspelningar tills en chunk-merge väg existerar.
Detta är en icke-streaming motor.