Maskinoversettelse · Engelsk original

Voxtral Mini 3B 2507

Denne førsteparts Soniqo sidedokumenter Voxtral Mini 3B 2507 fra den lokale speech-swift / speech-core implementasjon. Hugging Face bundter er koblet under etter integrasjonsnotasjonene.

Innenrikssiden først

Landingskort og docs-menyer nå peker her først; kildemodell og pakkelenker er tilgjengelige fra denne siden.

På en glanse

Modell	Voxtral Mini 3B 2507
Rolle	Høy-nøyaktig flerspråklig frakoblet tale-til-tekst
Motor	Native MLX på Apple Silicon
Utgang	Klarteksttranskripsjon
Språk	Engelsk, fransk, tysk, spansk, italiensk, portugisisk, nederlandsk og hindi
Lisens	Apache-2.0
Status	Publisert FP16, INT5, og INT8 bundter; INT5 er standard
Kilde	Mistral Voxtral Mini 3B 2507
Swift produkt	`VoxtralASR`
CLI/kjøretid	`speech transcribe --engine voxtral`

Bruk

Den snutten nedenfor speiler gjeldende speech-swift API eller kommando som eksponeres av repoen.

# INT5 is the default.
speech transcribe recording.wav --engine voxtral

# Select another published precision and pass a language hint.
speech transcribe recording.wav --engine voxtral --model int8 --language fr

# --model also accepts a Hugging Face model ID or a local directory.
speech transcribe recording.wav --engine voxtral --model /models/voxtral/int5

Benchmark

Målt på 2026-07-22 over 80 English FLEURS read-speech uttalelser i alt 759.56 sekunder, på en Apple M5 Pro med 48 GB minne som kjører macOS 26.5.2. Hver variant kjørte i sin egen prosess fra en utgivelsesbygging.

Variant	Bundle	WER	Δ WER	Gjennomsnittlig RTF	Samlet xRT	Fotavtrykk
FP16	8.71 GiB	4.633%	—	0.1305	8.05×	10,568 MiB
INT5	3.77 GiB	4.744%	+0.110 pp	0.0739	14.47×	6,012 MiB
INT8	5.18 GiB	4.578%	-0.055 pp	0.0906	11.79×	7.233 MiB

Fysisk fotavtrykk er den utplasseringsrelevante enhets-minnefiguren, fordi MLX kan minne-kart vektfiler. FLEURS er engelsk lesetale: disse tallene gjør ikke krav på paritet på samtale, telefon, støyende eller høyttaler-tung lyd.

Modelllenker

Implementasjonsnotater

Lydfronten resamples mono Float32 PCM til 16 kHz og pakker opp til 30 sekunder lyd per forespørsel.
INT5 er standard: på den validerte engelske FLEURS kjøre den brukte en 3,77 GiB-bunt, 6,012 MiB fysisk fotavtrykk, og 0,0739 gjennomsnittlig RTF.
Dekoderen prosjekterer bare den endelige hurtigtilstanden gjennom det 131.072-token Language-modelhodet, noe som reduserer kvantisert-model RTF uten å endre transkripsjoner.
MLX har ingen INT7 affinkjerne; bruk INT8 som det støttede alternativet for høyere kvalitet.
Lyden er polstret til hele 30 sekunders biter og konkatenert i én rask, så hurtig og dekoder-kache-minnet vokser med antall biter. Segment svært lange opptak inntil en bitmerge bane eksisterer.
Dette er en ikke-strømningsmotor.