Maskinoversettelse · Engelsk original

Ytelsestester

RTF (real-time faktor) under 1,0 betyr raskere enn sanntid.

Apple Silicon (MLX + CoreML)

Alle referanser på Apple M5 Pro, 48 GB, macOS 25.5 med utgivelsesbygg og kompilert metalllib. Hver motor kjører i en separat barneprosess (asr-bench --isolated) så Peak RSS-kolonnen er den virkelige per-motorkostnaden, ikke et sekvensielt høyvannsmerke.

ASR — Ordfeilrate

Evaluert på Libri tale test-clean, første 200 uttalelser (~30 min engelsk lese tale). WER beregnet via en Whisper-stil normalizer + Levenshtein over tomme symboler. Qwen3-ASR 5-bit rader ble målt på en 100-utterance undergruppe av den samme fixtur på M-serien (tilsatt når 5-bit variant land); samme normalizer, samme datasett.

Hovedvalg: Qwen3-ASR MLX 1.7B 5-bit er den nye nøyaktighetslederen på 1.32% WER — beats WhisperKit Large-v3 Turbo (1.71%) og vår egen 1.7B 8-bit (1.52%) mens du bruker ~600 MB mindre topp RSS enn 8-bit og løper 23% raskere. Parakeet TDT v3 er den raskeste for engelsk-bare (117× sanntid, 25 Europeiske språk). Omnilingual CTC 300M MLX 4-bit er flerspråklig gjennomstrømsleder: 222× sanntid, 384 MB topp, 1 672 Språk.

Qwen3-ASR 0,6B CoreML raden reflekterer den gjenoppbygde blokkeringskoderen (aufklarer/Qwen3-ASR-CoreML) - den tidligere eksporten kjørte umasket global selvtillit over null-fyllt mel og sendte <|im_end|> rett etter den første setningssluttperioden (24.88% WER

Trenger du en fokusert beslutningsguide? Se Qwen3-ASR vs Whisper: nøyaktighet, hastighet og minne.

Diarisering måles separat på åtte språk: se speaker diarization benchmarks for DER og høyttaler-count-avtale over pyannote Community-1, NVIDIA Sortformer, MOSS og tale Cloud API.

Langformet stabilitet (frivillig Neural Engine belastning)

200 Libri taletale uttrykk behandlet sekvensiell (~30 min lyd, M5 Pro). Tester om WER eller latens nedgradering under vedvarende transkripsjon.

Ingen nedbrytning detektert. WER er stabil over hele sesjonen. RTF forbedres faktisk som CoreML varmer opp sin utførelsesplan cache. Ingen termisk trottling etter 42 minutter kontinuerlig Neural Engine inferens. Parakeet prosessererer hver bunt uavhengig av hverandre - ingen kryss-chunk tilstand akkumulering.

Flerspråklige resultater (FLEURS)

CER som brukes for CJK-språk (ingen ordgrenser). Parakeet støtter ~25 Europeiske språk (ingen CJK).

Kompresjonsdelta

Nøyaktighetstap fra kvantisering til lavere bitbredder.

TTS — Rund-Trip Intelligitet

Synthesize-tekst, deretter overføre lyden tilbake med Qwen3-ASR 0.6B og beregne WER mot den opprinnelige teksten. Evaluert på 30 innebygde engelske samtalesetninger.

Stemmekloning (null-shot)

Null-shot stemmekloning fra det samme 12-s referanseklippet; rundtrip = Qwen3-ASR transkripsjon av utgangen i forhold til inngangsteksten. Apple M5 Pro, 48 GB; RTF er veggtid ® lyd sekunder (lavere er raskere).

Latenthet nedbrytning (Qwen3-TTS)

VAD — Deteksjonsnøyaktighet

FLEURS evaluering (10 språk, 250 filer)

Evaluert mot Python FireRedVAD referansejord sannhet på samme terskel.

VoxConverse evaluering (multi-speaker)

5 multi-speaker konversasjonsfiler evaluert ved 10 ms rammeoppløsning.

Sammenligning med publiserte tall

Påvisning av aktiveringsord / nøkkelord

KWS Zipformer (Gigaspeech fine-tune)

Streaming Zipformer2 transducer (3.49M params, Apache-2.0) med INT8 palettisering på CoreML. Evaluert mot 12 nøkkelord på libri taleprøve-rensing (158 positive uttalelser, 60 negative). Terskeler som er avgrenset: acThreshold = 0.15, contextScore = 0.5, numTrailingBlanks = 1.

Tunerte standarder forbedret tilbakekalling fra 62% til 88% (og kutt FP/utt fra 0,43 til 0,27) vs. oppstrøms isfallsstandarder (acThreshold = 0.25, contextScore = 2.0). Se wake-word guide for søkeord-filformat og per-frase terskeljustering.

Talerrepresentasjoner

Utvinnings latens

20 sekunders lydklipp, 10 iterasjoner etter oppvarming.

Innbyggingskvalitet (VoxConverse)

Kosinuslikhet mellom segment-nivå innbygginger fra 5 multi-høyttalere innspillinger. høyere separasjon = bedre høyttaler diskriminering.

Kildeseparering — SDR

Signal-til-forvrengningsforhold (SDR) på MUSDB18-HQ (50 full-lengde testspor, stereo 44,1kHz). høyere er bedre. To modellstørrelser: HQ (8,9M params/stem) og L (28,3M param/stem).

Android - on-device (Galaxy S23)

Målt på en VEGN galax S23 (SM-S918B), arm64, CPUkun, INT8 hvor det er nevnt. RTF er veggen (lavere er raskere enn sanntid; <1.0 er sanntid); Peak RSS er det residente settet til den løpende modellen. STT-rader bruker et 20 s klip; TTS rapporter RTF eller tid-til-første-audio (TTFA).

Headline: Parakeet-EOU-120M er den letteste STT her på ~232 MB — flerspråklig (25 Europeisk), streaming, med inline end-of-utterance deteksjon, omtrent 5-6× lettere enn 0,6B Parakeet. Disabling av ONNX CPU minnearena (nå standard) kutt Parakeet-TDTDTTD fra ~1.34 GB til ~1.15 GB.

Reproduksjon

# ASR benchmarks (LibriSpeech test-clean)
make build
python scripts/benchmark_asr.py --batch --engine qwen3 --model 0.6B
python scripts/benchmark_asr.py --batch --engine qwen3 --model 0.6B-8bit
python scripts/benchmark_asr.py --batch --engine parakeet
python scripts/benchmark_asr.py --batch --engine parakeet --model int8

# ASR multilingual (FLEURS, auto-download)
python scripts/benchmark_asr.py --dataset fleurs --language en_us --batch

# TTS round-trip
python scripts/benchmark_tts.py --compare

# VAD comparison
python scripts/benchmark_vad.py --compare

# Speaker embeddings comparison
python scripts/benchmark_speaker.py --compare

# Source separation (MUSDB18-HQ, download from Zenodo)
python scripts/benchmark_separation.py --data-dir benchmarks/data/musdb18-hq