Maskinoversættelse · Engelsk original

Ydelsestests

RTF (realtidsfaktor) under 1.0 betyder hurtigere end realtid.

Apple Silicon (MLX + CoreML)

Alle benchmarks Apple M5 Pro, 48 GB macOS 25.5 med slipopbygning og kompileret metallib. Hver motor kører i en separat børneproces (asr-bench --isolated) så Peak RSS kolonne er den reelle per- motor omkostninger, ikke en sekventiel høj-vand mærke.

ASR - ordfejlrate

Evalueret den LibriSpeech test- clean, første 200 Udtryk (~30 ), som er en del af den engelske tale. WER beregnet via en Whisper-stil normalizer + Levenshtein over whitespace tokens. Qwen3-ASR 5- bit rækker blev målt på en 100- uterance delmængde af samme stativ på M- serien (tilføjet, når 5-bit variant landede); samme normalizer, samme datasæt.

Hovedvalg: Qwen3-ASR MLX 1.7B 5- bit er den nye nøjagtighed leder på 1.32% WER - slår WhisperKit Large-v3 Turbo (1.71%) og vores egen 1.7B 8- bit (1.52%), mens du bruger ~600 MB minus spidsværdi RSS end 8- bit and run 23% Hurtigere. Parakeet TDT v3 er den hurtigste for engelsk- kun (117× realtid 25 Europæiske sprog). 300Læ MLX 4-bit er den flersprogede gennemløbsleder: 222× realtid 384 MB-top 1 672 sprog.

Qwen3-ASR 0.6B CoreML rækken afspejler den genopbyggede blokerings- opmærksomhed encoder (aufklarer / Qwen3-ASR-CoreML) - den tidligere eksport kørte umaskeret global selvopmærksomhed over nulpolstret mel og udledt <|im_end|> lige efter den første dom-sidste periode (24.88% WER på samme stativ før genopbygningen).

Har du brug for en fokuseret beslutningsvejledning? Se Qwen3-ASR vs Whisper: nøjagtighed, hastighed og hukommelse.

Diarisering måles separat på otte sprog: se højttaler-diariseringsbenchmarks for DER og specter- count aftale på tværs af pyannote Community-1, NVIDIA Sortformer MOSS og tale Cloud API.

Stabilitet i lang form (vedvarende belastning af Neural Engine)

200 LibriSpeech udtaler behandlet sekventielt (~ 30 min audio, M5 Pro). Test om WER eller latency degraderes under vedvarende transskription.

Ingen nedbrydning detekteret. WER er stabil på tværs af sessionen. RTF faktisk forbedres som CoreML varmer op for dens udførelsesplan cache. Ingen termisk væltning efter 42 minutter af kontinuerlig Neural Engine Inferens. Parakeet processer hver klump uafhængigt - ingen cross-chunk tilstand akkumulation.

Flersprogede resultater (FLEURS)

CER bruges til CJK sprog (ingen ord grænser). Parakeet understøtter ~ 25 europæiske sprog (ingen CJK).

Kompressionsdelta

Nøjagtighed tab fra kvantisering til lavere bit bredder.

TTS - Round- Trip Intelligens

Synthesize tekst, derefter transcribe audio tilbage med Qwen3-ASR 0.6B og beregne WER mod den oprindelige tekst. Evalueret på 30 build- i engelske konversationstimer.

Stemmekloning (nulstillingsskud)

Zero- shot voice kloning fra det samme 12 s referenceklip; rundtur = Qwen3-ASR transskription af output sammenlignet med input tekst. Apple M5 Pro, 48 GB; RTF er vægtid af lyd sekunder (lavere er hurtigere).

Opdeling efter late (Qwen3-TTS)

VAD - Detektionsnøjagtighed

FLEURS evaluering (10 sprog, 250 filer)

Evalueret mod Python FireRedVAD referencejord sandhed på samme tærskel.

VoxConverse-evaluering (multihøjttaler)

5 multi-højttaler samtale filer evalueret på 10 ms frame opløsning.

Sammenligning med offentliggjorte numre

Registrering af aktiveringsord / nøgleord

KWS Zipformer (gigaspeech fine- tune)

Streaming Zipformer2 transducer (3.49M-params Apache-2.0) med INT8 palætisering den CoreML. Vurderet imod 12 søgeord på LibriSpeech test- clean (158 positive udtalelser 60 Negativ). Tærskelværdier tunet: acThreshold = 0.15, contextScore = 0.5, numTrailingBlanks = 1.

Tunerede standardværdier forbedret tilbagekaldelse fra 62% til 88% (og skære FP / utt fra 0.43 til 0.27) vs. de opstrøms icefal default (acThreshold = 0.25, contextScore = 2.0). wake- ordguide for keyword- file format og per- frase tærskel tuning.

Talerrepræsentationer

Ekstraktionslatens

20-andet lydklip, 10 iterationer efter opvarmning.

Indlejringskvalitet (VoxConverse)

Kosinlighed mellem segment- niveau indlejringer fra 5 multihøjttaleroptagelser. Højere adskillelse = bedre højttalerdiskrimination.

Kildeseparation - SDR

Signal- to- forvrængningsforhold (SDR) på MUSDB18-HQ (50 fuld længde testspor, stereo 44.1kHz). Højere er bedre. To modelstørrelser: HQ (8.9M params / stem) og L (28.3M paramer / stængel).

Android - on- device (Galaxy S23)

Målt på a Samsung Galaxy S23 (SM-S918B), arm64, CPU Kun til, INT8, hvor bemærket. RTF er væg clip (lavere er hurtigere end real time; < 1.0 is real time); Peak RSS er det residente sæt af den kørende model. STT rækker bruge en 20 s klip; TTS rapporter RTF eller time- to- first-audio (TTFA).

Hovedlinje: Parakeet-EOU-120M er den letteste STT her på ~ 232 MB - flersproget (25 Europæiske), streaming, med inline end- of-utterance detektering, omtrent 5–6× lysere end 0.6B Parakeet. Deaktivering af ONNX CPU hukommelse arena (nu standard) skære Parakeet- TDT fra ~1.34 GB to ~1.15 GB.

Reproduktion

# ASR benchmarks (LibriSpeech test-clean)
make build
python scripts/benchmark_asr.py --batch --engine qwen3 --model 0.6B
python scripts/benchmark_asr.py --batch --engine qwen3 --model 0.6B-8bit
python scripts/benchmark_asr.py --batch --engine parakeet
python scripts/benchmark_asr.py --batch --engine parakeet --model int8

# ASR multilingual (FLEURS, auto-download)
python scripts/benchmark_asr.py --dataset fleurs --language en_us --batch

# TTS round-trip
python scripts/benchmark_tts.py --compare

# VAD comparison
python scripts/benchmark_vad.py --compare

# Speaker embeddings comparison
python scripts/benchmark_speaker.py --compare

# Source separation (MUSDB18-HQ, download from Zenodo)
python scripts/benchmark_separation.py --data-dir benchmarks/data/musdb18-hq