Strojový překlad · Anglický originál
Testy výkonu
RTF (faktor reálného času) pod 1.0 znamená rychlejší než reálný čas.
Apple Silicon (MLX + CoreML)
Všechny referenční hodnoty Apple M5 Pro 48 GB, macOS 25.5 s uvolňováním staví a sestavuje metallib. Každý motor běží v samostatném dětském procesu (asr-bench --isolated) takže sloupek "Peak RSS" je skutečná cena motoru, ne sekvenční značka s vysokou vodou.
ASR - Rychlost chyby slov
Vyhodnoceno podle LibriSpeech test-clean, první 200 Výpovědi (~30 min anglického čtení řeč). WER Vypočteno přes Whisper- styl normalizer + Levenshtein přes světlonoše tokens. Qwen3-ASR 5- bit Řádky byly měřeny na podskupině 100-utterance stejného upínacího přípravku na M-series (přidáno při přistání varianty 5- bitu); stejný normalizátor, stejný datový soubor.
| Motor | Quant | WER% | RTF | xRT | Vrchol RSS |
|---|---|---|---|---|---|
| Qwen3-ASR 1.7B MLX | 5- bit | 1.32 | 0.027 | 36.4× | 1.92 GB |
| Qwen3-ASR 1.7B MLX | 8- bit | 1.52 | 0.033 | 30.5× | 2.7 GB |
| Qwen3-ASR 0.6B MLX | 8- bit | 1.82 | 0.015 | 66.0× | 1.3 GB |
| Qwen3-ASR 0.6B MLX | 5- bit | 1.74 | 0.014 | 70.5× | 1.03 GB |
| WhisperKit Large-v3 Turbo | FP16 | 1.71 | 0.084 | 11.9× | 0.4 GB |
| WhisperASR mateřský CoreML | FP16 | 1.40 | 0.089 | 14.0× | 384 MB |
| Qwen3-ASR 0.6B MLX | 4- bit | 2.20 | 0.012 | 85.6× | 1.0 GB |
| Parakeet TDT v3 | INT8 | 2.37 | 0.009 | 117.4× | 0.9 GB |
| Qwen3-ASR 0.6B CoreML | INT8 | 3.02 | 0.098 | 10.2× | 1.4 GB |
| Omilingual CTC 300M MLX | 4- bit | 4.26 | 0.005 | 222.1× | 0.4 GB |
| Omilingual CTC 300M CoreML | INT8 | 5.67 | 0.128 | 7.8× | 0.5 GB |
| Nemotron Streaming | INT8 | 2.82 | 0.058 | 17.1× | 961 MB |
Titulní stránka: Qwen3-ASR MLX 1.7B 5- bit je nový vůdce v oblasti přesnosti 1.32% WER - Beats WhisperKit Large-v3 Turbo (1.71%) a naše vlastní 1.7B 8-bit (1.52%) při užívání ~600 MB méně špičkový RSS než 8-bit and running 23% Rychleji. Parakeet TDT v3 je nejrychlejší pouze pro Angličany (117x reálný čas, 25 Evropské jazyky). Omnilingual CTC 300Př MLX 4-bit je vícejazyčný vůdce: 222x reálný čas, 384 Vrchol MB, 1 672 jazyky.
Řádek Qwen3-ASR 0.6B CoreML odráží přestavěný blocked-attention kodér (aufklarer / Qwen3-ASR-CoreML) - předchozí export byl nemaskovaný globální self-pozornost nad nulo-polded mel a emitoval <|im_end|> bezprostředně po prvním období, kdy je odevzdáno (24.88% WER na stejném zařízení před přestavbou).
Potřebujete cílenou radu pro rozhodování? Qwen3-ASR vs Whisper: přesnost, rychlost a paměť.
Diarizace se měří samostatně v osmi jazycích: viz referenční hodnoty pro diarizaci reproduktoru pro DER a speaker- count dohodu napříč pyannote Community-1, NVIDIA Sortformer, MOSS a oblak řeči API.
Stabilita dlouhé formy (trvalé zatížení Neural Engine)
200 LibriSpeech postupně zpracovávány (~ 30 min audio, M5 Pro). Testy, zda WER nebo degradace latence pod trvalým přepisem.
| Metrické | První 25% | Posledních 25% | Celkem |
|---|---|---|---|
| WER% | 1.30 | 1.23 | 2.43 |
| RTF | 0.672 | 0.400 | 0.539 |
Žádné degradace detekována. WER je stabilní po celou dobu sezení. RTF vlastně zlepšuje jako CoreML Zahřeje svůj plán provedení cache. Žádné tepelné škrcení po 42 minuty nepřetržité Neural Engine důsledek. Parakeet zpracovává každý kus nezávisle - žádná kumulace křížového kusu.
Vícejazyčné výsledky (FLEURS)
CER používá pro CJK jazyky (žádné slovní hranice). Parakeet podporuje ~ 25 evropské jazyky (ne CJK).
| Jazyk | Metrické | Qwen3 4- bit | Qwen3 8- bit | Parakeet INT8 |
|---|---|---|---|---|
| Španělština | WER | 6.44 | 5.06 | 5.18 |
| English | WER | 6.57 | 5.64 | 9.30 |
| Čínština | CER | 8.41 | 7.71 | — |
| Němčina | WER | 9.45 | 6.81 | 12.33 |
| Francouzština | WER | 11.42 | 8.50 | 13.02 |
| japonsky | CER | 16.11 | 8.64 | — |
| Ruský | WER | 16.35 | 10.52 | 11.49 |
| Korejština | WER | 19.95 | 6.89 | — |
| Hindština | WER | 25.93 | 18.57 | — |
| Arabština | WER | 33.47 | 20.31 | — |
Kompresní delta
Přesná ztráta z kvantifikace na nižší šířky bitu.
| Varianta | WER% | Náhrady | Vložení | Vymazání | Celkové chyby | Velikost |
|---|---|---|---|---|---|---|
| Qwen3 0.6B 8- bit | 2.80 | 1111 | 92 | 268 | 1471 | 960 MB |
| Qwen3 0.6B 4- bit | 3.34 | 1323 | 123 | 308 | 1754 | 675 MB |
| Delta | +0.54 | +212 | +31 | +40 | +283 | -30% |
| Parakeet TDT INT8 | 2.74 | 990 | 125 | 308 | 1423 | 634 MB |
Qwen3-ASR 1.7B MLX dosahuje 1.32% WER v 5-bit (1.52% v 8-bit) - bití WhisperKit Large-v3 Turbo (1.71%) při běhu na 30-36× real-time on Apple Silicon.
TTS - Inteligentní okruh
Syntetizovat text, pak přepsat zvuk zpět s Qwen3-ASR 0.6B a vypočítat WER proti původnímu textu. Hodnoceno na 30 built- v angličtině konverzační věty.
| Motor | Vzor | Params | Velikost | WER% | RTF |
|---|---|---|---|---|---|
| CosyVoice3 | 0.5B 4- bit | 500 M | ~ 1.9 GB | 3.25 | 0.59 |
| Qwen3-TTS | 1.7B 4- bit | 1.7B | ~ 2.3 GB | 3.47 | 0.79 |
| Qwen3-TTS | 1.7B 8-bit | 1.7B | ~ 3.5 GB | 3.66 | 0.85 |
| Kokoro-82M | CoreML | 82M | ~ 170 MB | 3.90 | 0.17 |
| Qwen3-TTS | 0.6B 8- bit | 600M | ~ 960 MB | 9.74 | 0.76 |
| Qwen3-TTS | 0.6B 4- bit | 600M | ~ 675 MB | 15.58 | 0.76 |
Hlasové klonování (nula)
Zeroshot hlas klonování ze stejného 12 je referenční klip; round trip = Qwen3-ASR transkripce výstupu ve srovnání se vstupním textem. Apple M5 Pro, 48 GB; RTF is wall time times (nižší je rychlejší).
| Motor | WER% | Vrchol RSS | Audio | SynthGenericName | RTF | Průjezd kolem |
|---|---|---|---|---|---|---|
| Higgs TTS 3 (klon) | 4B bf16 | 8.6 GB | 6.04 | 4.73 | 0.78 | přesný |
| F5-TTS (kroky 16) | 336M fp16 | 0.8 GB | 5.09 | 2.91 | 0.57 | 1- slovní sub |
| F5-TTS (kroky 32) | 336M fp16 | 0.8 GB | 5.09 | 5.75 | 1.13 | 1- slovní sub |
| IndexTTS2 (klon) | 1.5B- class fp16 | 3.0 GB | 5.80 | 5.8 | 1.0 | přesný |
Členění podle zeměpisné polohy (Qwen3-TTS)
| Fáze | Čas | % z celkového počtu | Popis |
|---|---|---|---|
| Zapouzdřené | 1-3 ms | <1% | Textové vložení (TTFT) |
| Generovat | 2- 6 s | ~92% | Autoregresivní kodekové žetony |
| Decode | 244- 457 ms | ~8% | Kodekový dekodér do vlnové délky |
Všechny TTS motory běží rychleji než reálný čas (RTF < 1.0). CosyVoice3 vedení v srozumitelnosti (3.25% WER). Kokoro je nejrychlejší (RTF 0.17) pouze 170 MB.
VAD - Přesnost detekce
FLEURS evaluace (10 jazyky, 250 soubory)
Hodnoceno podle Python FireRedVAD referenční pozemní pravdy na stejném prahu.
| Motor | Params | Backend | F1% | LISTOPAD% | MR% | RTF |
|---|---|---|---|---|---|---|
| FireRedVAD | 588K | CoreML (ANE) | 99.12 | 2.52 | 0.47 | 0.007 |
| Silero v5 | 309K | CoreML (ANE) | 95.13 | 15.76 | 1.89 | 0.022 |
| Silero v5 | 309K | MLX (GPU) | 95.11 | 15.85 | 1.89 | 0.027 |
| Pyannote | 1.5M | MLX (GPU) | 94.86 | 14.71 | 2.92 | 0.358 |
VoxConverse evaluation (multireproduktor)
5 multireprodukčních konverzních souborů vyhodnocených při rozlišení 10 ms.
| Motor | Params | Backend | F1% | LISTOPAD% | MR% | RTF |
|---|---|---|---|---|---|---|
| Pyannote | 1.5M | MLX (GPU) | 98.22 | 50.09 | 0.19 | 0.358 |
| Silero v5 | 309K | CoreML (ANE) | 97.52 | 33.29 | 2.69 | 0.022 |
| Silero v5 | 309K | MLX (GPU) | 95.98 | 21.02 | 5.88 | 0.027 |
| FireRedVAD | 588K | CoreML (ANE) | 94.21 | 40.12 | 5.05 | 0.007 |
Srovnání s zveřejněnými čísly
| Vzor | F1% | LISTOPAD% | MR% | Params | Dataset |
|---|---|---|---|---|---|
| Pyannote (náš) | 98.22 | 50.09 | 0.19 | 1.5M | VoxConversa. kgm |
| FireRedVAD (papír) | 97.57 | 2.69 | 3.62 | 588K | FLEURS-VAD-102 |
| Silero (náš) | 95.98 | 21.02 | 5.88 | 309K | VoxConversa. kgm |
| Silero- VAD (papír) | 95.95 | 9.41 | 3.95 | 309K | FLEURS-VAD-102 |
| FireRedVAD (náš) | 94.21 | 69.33 | 5.05 | 588K | VoxConversa. kgm |
FireRedVAD dosahuje 99.12% F1 zapnuto FLEURS s nejnižší mírou falešného poplachu (2.52%) a běží na 135x real-time. Silero v5 poskytuje nejlepší možnost streamingu na 32 ms na kus.
Detekce aktivačních / klíčových slov
KWS Zipformer (gigaspeech fine- tune)
Streaming Zipformer2 snímač (3.49M params, Apache-2.0) s INT8 palettizace na CoreML. Hodnoceno proti 12 klíčová slova o LibriSpeech test- clean (158 kladná slova, 60 Negativní). Prahové hodnoty: acThreshold = 0.15, contextScore = 0.5, numTrailingBlanks = 1.
| Metrické | Hodnota | Poznámky |
|---|---|---|
| RTF (CPU + Neural Engine) | 0.04 | 26 × reálný čas na M-series |
| Recall (12 klíčových slov) | 88% | Test LibriSpeech - čistý, 158 pozitivních slov |
| Falešná pozitiva / výrok | 0.27 | 60 negativních projevů |
| CoreML INT8 vs PyTorch FP32 | 99% | Dohoda o emisích |
| Velikost složeného modelu | ~ 4 MB | enkodér 3,3 MB + dekodér 525 KB + joiner 160 KB |
| Paměť runtime | ~ 6 MB | Váhy + kódovací stavové cache |
Vyladěné závady zlepšily stahování z 62% do 88% (a odřízněte FP / utt od 0.43 do 0.27) vs proti proudu ledovec selhává (acThreshold = 0.25, contextScore = 2.0). Viz wake- word guide pro nastavení prahových hodnot klíčového slova-souboru a per- fráze.
Vektorové reprezentace mluvčích
Extrakce latence
20- sekundový audio klip, 10 iterací po zahřátí.
| Vzor | DimGenericName | Backend | Trvání |
|---|---|---|---|
| CAM + + (3D- Reproduktor) | 192 | CoreML (ANE) | 12 ms |
| WeSpeaker ResNet34-LM | 256 | MLX (GPU) | 64 ms |
| WeSpeaker ResNet34-LM | 256 | CoreML (ANE) | 143 ms |
Kvalita vkládání (VoxConverse)
Kosinová podobnost mezi segment- level vkládání z 5 multireproduktorových nahrávek. Vyšší oddělení = lepší diskriminace řečníků.
| Vzor | Backend | Intra- reproduktor | Inter- reproduktor | Oddělování |
|---|---|---|---|---|
| WeSpeaker | MLX | 0.726 | 0.142 | 0.584 |
| WeSpeaker | CoreML | 0.726 | 0.143 | 0.582 |
| CAM + + | CoreML | 0.723 | 0.395 | 0.328 |
Všechny tři motory odpovídají Python odkaz na Pyannote (0.577 odloučení, cosinus podobnost >0.96). WeSpeaker Dosažení Oddělování 0.584 na obou MLX i CoreML. CAM + + běží 5x rychleji (12 ms vs 65 ms) s dobrou separací (0.328).
Oddělování zdrojů - SDR
Signal- to- distorční poměr (SDR) zapnut MUSDB18-HQ (50 zkušební dráhy s plnou délkou, stereo 44.1KHz). Vyšší je lepší. Dvě velikosti modelu: HQ (8.9M params / kmen) a L (28.3M params / kmen).
| Cíl | UMX-HQ (MLX) | UMX- L (MLX) | UMX-HQ (zveřejněno) |
|---|---|---|---|
| Vokály | 6.23 dB | ~ 10.5 dB | 6.32 dB |
| Bubny | 6.44 dB | ~ 7.0 dB | 5.73 dB |
| Bass | 4.56 dB | ~ 5.5 dB | 5.23 dB |
| Ostatní | 3.41 dB | ~ 4.5 dB | 4.02 dB |
| Vzor | Pažitka | Velikost | RTF | Rychlost |
|---|---|---|---|---|
| Open-Unmix HQ | 8.9M | 136 MB | 0.23 | 4.3x reálný čas |
| Open- Unmix L | 28.3M | 432 MB | 0.21 | 4.8x reálný čas |
UMX- HQ zápasy publikované SDR na vokálech a bubnech s lehkou 8.9M model. UMX-L poskytuje +2–4 Zdokonalení dB při 3x velikost modelu. Oba zahrnují multikanálový Wiener EM post- filtrování a běží rychleji než reálný čas na Apple Silicon.
Android - on- zařízení (Galaxy S23)
Měřeno na A Samsung Galaxy S23 (SM-S918B), arm64, CPU pouze, INT8, kde je uvedeno. RTF je stěna clarroaudio (nižší je rychlejší než v reálném čase; < 1.0 v reálném čase); Peak RSS je rezidentní sada běžeckého modelu. Řádky STT používají klip 20; TTS hlásí RTF nebo time-to- first-audio (TTFA).
| Vzor | Úkol | Běh | Rychlost | Vrchol RSS |
|---|---|---|---|---|
| Parakeet- EOU 120M | Streaming STT + EOU | ONNX INT8 | 0.21 RTF | 232 MB |
| Omilingual CTC 300M | Vícejazyčné STT | LiteRT | 0.15 RTF | 831 MB |
| Nemotron Streaming 0.6B | Streaming STT | LiteRT | 0.67 RTF | 1,30 GB |
| Parakeet- TDT 0.6B | STT (šarže) | ONNX INT8 | 0.082 RTF | 1.15 GB |
| Supertonic-3 99M | TTS (přednastavený hlas) | LiteRT | 0.34 RTF · ~ 1.1 s TTFA | 832 MB |
| Kokoro-82M | TTS (přednastavený hlas) | ONNX FP32 | 0.53 RTF | 640 MB |
Titulek: Parakeet-EOU-120M je nejlehčí STT zde na ~ 232 MB - mnohojazyčné (25 Evropská unie), streaming, s inline detekce konce-of-uterance, zhruba 5–6× lehčí než 0.6B Parakeet. Vypnutí ONNX CPU paměťová aréna (nyní výchozí) řez Parakeet- TDT od ~1.34 GB až ~1.15 GB.
Reproduction
# ASR benchmarks (LibriSpeech test-clean)
make build
python scripts/benchmark_asr.py --batch --engine qwen3 --model 0.6B
python scripts/benchmark_asr.py --batch --engine qwen3 --model 0.6B-8bit
python scripts/benchmark_asr.py --batch --engine parakeet
python scripts/benchmark_asr.py --batch --engine parakeet --model int8
# ASR multilingual (FLEURS, auto-download)
python scripts/benchmark_asr.py --dataset fleurs --language en_us --batch
# TTS round-trip
python scripts/benchmark_tts.py --compare
# VAD comparison
python scripts/benchmark_vad.py --compare
# Speaker embeddings comparison
python scripts/benchmark_speaker.py --compare
# Source separation (MUSDB18-HQ, download from Zenodo)
python scripts/benchmark_separation.py --data-dir benchmarks/data/musdb18-hq