Automatische vertaling · Engels origineel

Qwen3-ASR

MLX en CoreML gebruiken dezelfde Whisper-stijl inputfuncties: 128 Slaney-genormaliseerde melbins van een exact 400-punts STFT op 16 kHz, met een 160-steekproef hop en een periodiek Hann venster.

Qwen3-ASR is een ultramoderne meertalige automatische spraakherkenning model. Het draait op het apparaat met behulp van Metal GPU versnelling via MLX, met 4-bit, 5-bit, of 8-bit quantization voor efficiënt geheugengebruik. Beschikbaar in 0.6B en 1.7B parametervarianten. 5-bit is de nieuwe nauwkeurigheid/herinnerlijke zoete plek benchmarks.

Pijpleiding

De Qwen3-ASR-inferentiepijplijn verwerkt audio via vier fasen:

Prestaties

Apple M5 Pro, 48 GB. LibriSpeech test-clean n=200, geïsoleerd per motor. RTF < 1,0 = sneller dan real-time.

Model Varianten

CLI-gebruik

Een audiobestand met het standaard Qwen3-ASR model overschrijven:

.build/release/speech transcribe recording.wav

Opties

# Use the larger 1.7B model
.build/release/speech transcribe recording.wav --model 1.7b

# Specify language
.build/release/speech transcribe recording.wav --language en

# Streaming mode with partial results
.build/release/speech transcribe recording.wav --stream --partial

Swift API

Gebruik de Qwen3ASR module om audio programmamatisch te transcriberen:

import Qwen3ASR

// Load the model (downloads from HuggingFace on first use)
let model = try await Qwen3ASRModel.fromPretrained()

// Transcribe audio samples (16 kHz mono Float)
let text = model.transcribe(audio: audioSamples, sampleRate: 16000)
print(text)

CoreML Encoder (Neural Engine)

Voer de audio-encoder op de Neural Engine via CoreML, met de tekst decoder op GPU via MLX. Deze hybride aanpak verlaagt het energieverbruik en bevrijdt de GPU voor gelijktijdige workloads.

import Qwen3ASR

let encoder = try await CoreMLASREncoder.fromPretrained()
let model = try await Qwen3ASRModel.fromPretrained()
let text = try model.transcribe(
    audio: samples, sampleRate: 16000,
    coremlEncoder: encoder
)

# CLI
.build/release/speech transcribe recording.wav --engine qwen3-coreml

INT8 gepaletteerd (180 MB, cosinus overeenkomst > 0,999) is de standaard. Een INT4 variant (90 MB) is ook beschikbaar voor toepassingen met beperkte afmetingen.

Streaming-modus

Streaming-modus gebruikt VAD (voice activity detection) om audio in brokken te segmenteren en ze geleidelijk over te schrijven. Dit is handig voor lange opnames of real-time verwerking.

# Stream with default segment size
.build/release/speech transcribe recording.wav --stream

# Control maximum segment duration
.build/release/speech transcribe recording.wav --stream --max-segment 15

# Show partial (in-progress) results as they arrive
.build/release/speech transcribe recording.wav --stream --partial

De --max-segment vlag regelt de maximale brok duur in seconden. De --partial vlag maakt gedeeltelijke resultaatuitvoer mogelijk, waarbij woorden worden weergegeven zoals ze gedecodeerd zijn.

Ondersteunde formaten

Qwen3-ASR accepteert de volgende audioformaten. Alle invoer wordt automatisch intern herberekend naar 16 kHz mono.

• WAV
• M4A
• MP3
• CAF andere Apple Core Audio Format

Coöperatieve annulering

Voor MLX transcriptie, Qwen3ASRModel.transcribeCheckingCancellation(audio:sampleRate:options:) gooit CancellationError wanneer taakannulering wordt waargenomen voordat functie extractie, codering, decodering voorvulling of een decoderingstap. GPU werk reeds ingediend kan worden voltooid. De synchrone transcribe en transcribeBatch API's behouden hun niet-throwing-behavior en negeren taakannulatie. speech-server maakt gebruik van het annulerings-aware ingangspunt voor Qwen3-ASR.

MLX cachebudget

Het laden van Qwen3-ASR verbindt de procesbreed MLX pool van herbruikbare Metal buffers: min(1 GiB, RAM / 8) voor 0,6B en min(4 GiB, RAM / 4) voor 1,7B. Andere MLX modellen delen deze pool. De plafonds gelden voor gecachede krasbuffers, niet actieve gewichten of de totale procesvoetafdruk.

De effectieve limiet is de laagste van de bestaande beller... MLX.Memory.cacheLimit en elke geladen ASR instances plafond.Instanties kunnen in elke volgorde uitladen; de laatste uitladen of instantie vernietiging herstelt het budget van de beller. Een strakkere limiet die door de beller is ingesteld terwijl de modellen worden geladen, wordt behouden.

Single-input transcriptie clears herbruikbare buffers wanneer de decoder terugkeert of gooit, inclusief annulering in de decodeur. Actieve arrays en modelgewichten blijven geladen. De hebzuchtige transcribeBatch decoder behoudt de begrensde pool tussen batches. No API opties of CLI-vlaggen wijzigen.

Het wissen van de buffer pool verlaagt het bewaarde geheugen, maar vereist nieuwe toewijzingen op latere verzoeken, zodat korte verzoeken langer kunnen duren. Wachten op ingediende decoder werk om te voltooien maakt opruimen deterministisch, inclusief annulering. Werkelijke latentie en procesgeheugen zijn afhankelijk van de hardware, model en audio.