Maskinoversettelse · Engelsk original

Qwen3-ASR

MLX og CoreML bruker de samme inngangsfunksjonene i Whisper-stil: 128 Slaney-normaliserte mel-biner fra en nøyaktig 400-punkt STFT ved 16 kHz, med 160-prøvehopp og et periodisk Hann-vindu.

Qwen3-ASR er en state-of-the-art flerspråklig automatisk talegjenkjennelsesmodell. Den kjører på enhet ved hjelp av Metal GPU akselerasjon via MLX, med 4-bit, 5-bit eller 8-bits kvantisering for effektiv minnebruk. Tilgjengelig i 0,6B og 1,7B parameter varianter. 5-biter er den nye nøyaktighet/minne søt spot — se benchmarks.

Pipeline

Qwen3-ASR inferensrørledning behandler lyd gjennom fire stadier:

Ytelse

Apple M5 Pro, 48 GB. Libri speed test-clean n=200, isolert per-motor. RTF < 1.0 = raskere enn sanntid.

Modell Varianter

CLI bruk

Overskriv en lydfil med standard Qwen3-ASR modell:

.build/release/speech transcribe recording.wav

Alternativer

# Use the larger 1.7B model
.build/release/speech transcribe recording.wav --model 1.7b

# Specify language
.build/release/speech transcribe recording.wav --language en

# Streaming mode with partial results
.build/release/speech transcribe recording.wav --stream --partial

Swift API

Bruk Qwen3ASR-modulen til å transskribere lydprogrammatisk:

import Qwen3ASR

// Load the model (downloads from HuggingFace on first use)
let model = try await Qwen3ASRModel.fromPretrained()

// Transcribe audio samples (16 kHz mono Float)
let text = model.transcribe(audio: audioSamples, sampleRate: 16000)
print(text)

CoreML Encoder (Neural Engine)

Kjør lydkoderen på Neural Engine via CoreML, med tekstdekoderen på GPU via MLX Denne hybridtilnærmingen reduserer strømforbruket og frigjør det GPU for samtidige arbeidsbelastninger.

import Qwen3ASR

let encoder = try await CoreMLASREncoder.fromPretrained()
let model = try await Qwen3ASRModel.fromPretrained()
let text = try model.transcribe(
    audio: samples, sampleRate: 16000,
    coremlEncoder: encoder
)

# CLI
.build/release/speech transcribe recording.wav --engine qwen3-coreml

INT8 palettisert (180 MB, cosinuslikhet > 0.999) er standard. INT4 variant (90 MB) er også tilgjengelig for størrelsesbegrensede distribusjoner.

Strømmingsmodus

Streamingmodus bruker VAD (voice aktivitet deteksjon) til segment lyd i biter og transcriber dem gradvis. Dette er nyttig for lange opptak eller sanntidsbehandling.

# Stream with default segment size
.build/release/speech transcribe recording.wav --stream

# Control maximum segment duration
.build/release/speech transcribe recording.wav --stream --max-segment 15

# Show partial (in-progress) results as they arrive
.build/release/speech transcribe recording.wav --stream --partial

--max-segment flagget kontrollerer maksimal bit varighet i sekunder. --partial flagg muliggjør delvis resultatutgang, som viser ord som dekodes.

Støttede formater

Qwen3-ASR godtar følgende lydformater. Alle innganger blir automatisk omdøplet til 16 kHz-mono internt.

• WAV - ukomprimert PCM
• M4A - AAC-kodet lyd
• MP3 - MPEG lag III
• CAF - Apple Core Audio Format

Samarbeidsavbestilling

For MLX transkripsjon, Qwen3ASRModel.transcribeCheckingCancellation(audio:sampleRate:options:) kaster CancellationError når oppgaveavbestilling observeres før utvinning av funksjon, koding, dekoder forhåndsfylling eller et dekodingstrinn. GPU arbeider allerede sendt kan avsluttes. Synkronen transcribe og transcribeBatch APIs beholder sin ikke-strekkende oppførsel og ignorerer oppgaveavbelysning. speech-server bruker avbestillingsvare-oppføringspunktet for Qwen3-ASR.

MLX cache budsjett

Laster Qwen3-ASR begrenser den prosessen-videre MLX bassenget med gjenbrukbare Metal buffere: min(1 GiB, RAM / 8) for 0,6B og min(4 GiB, RAM / 4) for 1,7B. Andre MLX modeller deler dette bassenget. Takene gjelder for cached ripe buffere, ikke aktive vekter eller den totale prosessen fotavtrykk.

Den effektive grensen er den laveste av anroperens eksisterende MLX.Memory.cacheLimit og hver lastet ASR instansens tak. Instanser kan losses i enhver rekkefølge; den siste lossing eller ødeleggelse gjenoppretter samtalers budsjett. En tettere grense satt av samtaleren mens modeller lastes er bevart.

Enkeltinput trankripsjon fjerner gjenbrukbare buffere når dekoderen returnerer eller kaster, inkludert kansellering inne i dekoderen. Aktive tabeller og modellvekter forblir lastet. Den grådige transcribeBatch dekoderen beholder det avgrensede bassenget mellom batcher. Nei API alternativer eller CLI flagg endres.

Å rydde bufferbassenget senker det beholdte minnet, men krever nye tildelinger på senere forespørsler, så korte forespørseler kan ta lengre tid. Venter på innsendt dekoderarbeid for å fullføre gjør rengjøring deterministisk, inkludert kansellering. Faktisk latens og prosessminnet avhenger av maskinvaren, modellen og lyden.