Automatische vertaling · Engels origineel

Prestatiemetingen

RTF (real-time factor) onder 1,0 betekent sneller dan real-time.

Apple Silicon (MLX + CoreML)

Alle benchmarks op Apple M5 Pro, 48 GB, macOS 25.5 met release builds en gecompileerde metallib. Elke motor draait in een afzonderlijk kindproces (asr-bench --isolated) zodat de Peak RSS-kolom de werkelijke kosten per motor is, niet een sequentiële hoogwatermarkering.

ASR

Geëvalueerd op LibriSpraaktestreiniger, eerste 200 uitingen (~30 min van Engels gelezen toespraak). WER berekend via een Whisper-style normalizer + Levenshtein over whitespace tokens. De Qwen3-ASR 5-bit rijen werden gemeten op een 100-utterance-subset van dezelfde armatuur op M-serie (toegevoegd bij landing van de 5-bitsvariant); dezelfde normalizer, dezelfde dataset.

Hoofdlijn picks: Qwen3-ASR MLX z 1.7B 5-bit is de nieuwe nauwkeurigheid leider op 1.32% WER Verslaat WhisperKit Large-v3 Turbo (1.71%) en onze eigen 1.7B 8-bit (1.52%) tijdens het gebruik van ~600 MB minder piek RSS dan 8-bit en draait 23% Sneller. Parakeet TDT v3 is de snelste voor alleen Engels (117× real time, 25 Niet-linguale CTC 300G MLX 4-bit is de meertalige verwerkingsleider: 222× real time, 384 MB piek, 1 672 talen.

De Qwen3-ASR 0.6B CoreML rij weerspiegelt de herbouwde blok-aandachts-encoder (aufklarer/Qwen3-ASR-CoreML) De vorige uitvoer liep ontmaskerd wereldwijde zelf-aandacht over nul-gewatteerde mel en uitgestoten <|im_end|> direct na de eerste zin-eindperiode (24.88% WER op dezelfde armatuur voor de herbouw).

Heb je een gerichte beslissingsgids nodig? Zie Qwen3-ASR vs Whisper: nauwkeurigheid, snelheid en geheugen.

Diarisatie wordt afzonderlijk gemeten in acht talen: zie diarisatiebenchmarks voor luidsprekers voor DER en afspraak voor luidsprekers Community-1, NVIDIA Sortformer, MOSS en de spraakcloud API.

Long-form stabiliteit (duurzaam Neural Engine belasting)

200 LibriSpraakuitdrukkingen die achtereenvolgens worden verwerkt (~30 min audio, M5 Pro). Testen of WER of latentie afbreken onder aanhoudende transcriptie.

Geen degradatie gedetecteerd. WER is stabiel gedurende de sessie. RTF verbetert eigenlijk als CoreML warmt zijn uitvoeringsplan cache op. Geen thermisch gedwarsboomd na 42 minuten continue Neural Engine gevolggeving. Parakeet verwerkt elke brok afzonderlijk . geen cross-chunk toestand accumulatie.

Meertalige resultaten (FLEURS)

CER gebruikt voor CJK-talen (geen woordgrenzen). Parakeet ondersteunt ~25 Europese talen (geen CJK).

Compressie delta

Nauwkeurigheid verlies van kwantiseren tot lagere bit breedtes.

TTS

Synthesizertekst, transcribeer vervolgens de audio terug met Qwen3-ASR 0,6B en bereken WER tegen de oorspronkelijke tekst. Geëvalueerd op 30 ingebouwde Engelse conversatiezinnen.

Klonen van stemmen (nulschot)

Zero-shot voice cloning van dezelfde 12 s referentie clip; reroundtrip = Qwen3-ASR transcriptie van de uitvoer in vergelijking met de invoertekst. Apple M5 Pro, 48 GB; RTF is wandtijd › audioseconden (lager is sneller).

Afbraak van de gevoeligheid (Qwen3-TTS)

VAD

FLEURS evaluatie (10 talen, 250 bestanden)

Geëvalueerd tegen Python FireRedVAD referentiegrond waarheid op dezelfde drempel.

VoxConverse-evaluatie (multi speaker)

5 gespreksbestanden met meerdere luidsprekers geëvalueerd bij 10 ms frame resolutie.

Vergelijking met gepubliceerde nummers

Detectie van activeringswoorden / trefwoorden

KWS Zipformer (gigaspeech fine-tune)

Streaming Zipformer2 transducer (3.49M-params, Apache-2.0) met INT8 paletvorming op CoreML. Geevalueerd tegen 12 trefwoorden over LibriSpeech test-clean (158 positieve uitingen, 60 negatief). Drempels ingesteld: acThreshold = 0.15, contextScore = 0.5, numTrailingBlanks = 1.

Gestemde standaardinstellingen verbeterden terugroep van 62% naar 88% (en sneden FP/utt van 0,43 naar 0,27) vs. de upstream-ijsvalstandaarden (acThreshold = 0.25, contextScore = 2.0). Zie de wake-word guide voor trefwoordbestandsformaat en per-frase drempelafstemming.

Sprekerembeddings

Extractielatentie

20 seconden audioclip, 10 iteraties na opwarming.

Inbeddingskwaliteit (VoxConverse)

Cosinus overeenkomst tussen segment-niveau inbeddingen van 5 multi-luidsprekers opnames. Hogere scheiding = betere spreker discriminatie.

Bron Scheiding

Signal-to-Distortion Ratio (SDR) on MUSDB18-HQ (50 testsporen met volledige lengte, stereo 44.1kHz). Hoger is beter. Twee modelformaten: HQ (8.9M params/stem) en L (28.3M params / stem).

Android 616/2007 op apparaat (Galaxy S23)

Gemeten op een Alleen Samsung Galaxy S23 (SM-S918B), arm64, CPU, INT8 waar opgemerkt. RTF is wandgeluid (lager is sneller dan real time; <1.0 real time); Peak RSS is de resident set van het lopende model. STT rijen gebruiken een 20 s clip; TTS rapporteert RTF of time-to-first-audio (TTFA).

Hoofdregel: Parakeet-EOU-120M is de lichtste STT hier op 232 MB Meertalig (25 Europees), streaming, met inline end-of-utterance detectie, ruwweg 5–6× lichter dan de 0.6B Parakeet. Het uitschakelen van de ONNX CPU geheugen arena (nu de standaard) knippen Parakeet-TDT van ~1.34 GB tot ~1.15 GB.

Reproductie

# ASR benchmarks (LibriSpeech test-clean)
make build
python scripts/benchmark_asr.py --batch --engine qwen3 --model 0.6B
python scripts/benchmark_asr.py --batch --engine qwen3 --model 0.6B-8bit
python scripts/benchmark_asr.py --batch --engine parakeet
python scripts/benchmark_asr.py --batch --engine parakeet --model int8

# ASR multilingual (FLEURS, auto-download)
python scripts/benchmark_asr.py --dataset fleurs --language en_us --batch

# TTS round-trip
python scripts/benchmark_tts.py --compare

# VAD comparison
python scripts/benchmark_vad.py --compare

# Speaker embeddings comparison
python scripts/benchmark_speaker.py --compare

# Source separation (MUSDB18-HQ, download from Zenodo)
python scripts/benchmark_separation.py --data-dir benchmarks/data/musdb18-hq