Awtomatikong salin · Orihinal sa Ingles
Mga pagsukat ng pagganap
Ang RTF (tunay-panahong salik) sa ibaba ng 1.0 ay nangangahulugan ng mas mabilis kaysa sa real-time.
Apple Silicon (MLX + CoreML)
Lahat ng mga benchmark Mansanas M5 Pro, 48 GB, macOS 25.5 na may mga gamit na panglabas at tinipong metal. Bawat makina ay tumatakbo sa hiwalay na prosesong anak (sa Ingles)asr-bench --isolated) kaya ang Peak RSS column ay ang tunay na per-engine na halaga, hindi sequential high-water mark.
ASR — Bilis ng Word Error
Nakatuon ang Pansin LibriSpeech test-malinis, unang 200 na mga kasabihan (°30 mi ng Ingles na binabasang pagsasalita). WER computed sa pamamagitan ng isang Whisper-style normalizer + Levenshtein over deficiation roles. The Qwen3-ASR Z 5-bit Ang mga hanay ay nasukat sa isang subset ng 100-utterance ng parehong standing sa M-series (dinadaglat nang lumapag ang 5 -bit variant); parehong normalizer, parehong dataset.
| Kasangkapan | Mahilig Ka sa Pagkain | WER% | RTF | HURO | Pinakamataas na RS |
|---|---|---|---|---|---|
| Qwen3-ASR 1.7B MLX | 5-bit | 1.32 | 0.027 | 36.4× | 1.92 GB |
| Qwen3-ASR 1.7B MLX | 8-bit | 1.52 | 0.033 | 30.5× | 2.7 GB |
| Qwen3-ASR 0.6B MLX | 8-bit | 1.82 | 0.015 | 66.0× | 1.3 GB |
| Qwen3-ASR 0.6B MLX | 5-bit | 1.74 | 0.014 | 70.5× | 1.03 GB |
| WhisperKit Large-v3 Turbo | FP16 | 1.71 | 0.084 | 11.9× | 0.4 GB |
| Katutubo ng WhisperASR CoreML | FP16 | 1.40 | 0.089 | 14.0× | 384 MB |
| Qwen3-ASR 0.6B MLX | 4-bit | 2.20 | 0.012 | 85.6× | 1.0 GB |
| Parakeet TDT v3 | INT8 | 2.37 | 0.009 | 117.4× | 0.9 GB |
| Qwen3-ASR 0.6B CoreML | INT8 | 3.02 | 0.098 | 10.2× | 1.4 GB |
| Omnilingual CTC 300M MLX | 4-bit | 4.26 | 0.005 | 222.1× | 0.4 GB |
| Omnilingual CTC 300M CoreML | INT8 | 5.67 | 0.128 | 7.8× | 0.5 GB |
| Nemotron Pag - aayos | INT8 | 2.82 | 0.058 | 17.1× | 961 MB |
Mga piko: Qwen3-ASR MLX 1.7B 5-bit ang bagong lider ng katumpakan 1.32% WER — kumpas na WhisperKit Large-v3 Turbo (paglilinaw)1.71%) at ang ating sariling 1.7B 8--bit (1.52%) samantalang gumagamit ng iV600 MB mas kaunting pinakamataas na RSS kaysa 8--bit at tumatakbo 23% mas mabilis. Parakeet TDT v3 ang pinakamabilis para sa Tagalog-lamang (117× totoong-panahon, 25 Wikang Europeo). Omnilingual CTC 300M MLX 4-bit ay ang lider ng byput na may iba't ibang wika: 222× totoong-panahon, 384 Ang peak ng MB, 1 672 wika.
Ang Qwen3-ASR 0.6B CoreML row ay sumasalamin sa itinayong muli na block-tension regulator (sa Ingles) na block-ttention regulater ( Aufklarer/Qwen3-ASR-CoreML) — ang dating iniluluwas na kalakal ay nagbunyag ng pangglobong sariling - totention na mahigit sa sero-podd mel at inilabas <|im_end|> Pagkatapos ng unang pangungusap-final period (pagkaraan ng unang pangungusap24.88% WER sa parehong statified bago ang muling pagtatayo).
Tingnan ang isang gabay sa pagpapasiya. Qwen3-ASR vs Whisper: katumpakan, bilis, at memorya.
Ang diarisasyon ay sinusukat nang hiwalay sa walong wika: tingnan ang mga benkmark ng tagapagpahayag para sa mas lumang at tagapagsalita-bilang na kasunduan sa ibayo ng pyannote Community-1, NVIDIA Dati - rati, MOSS at ang Ulap sa Pagsasalita API.
Long-form na katatagan (pinatatag na Neural Engine na karga)
200 LibriSpeech na mga kasabihan ang nagproseso ng sequentially (°30 min audio, M5 Pro). Mga pagsubok kung WER o latency downclusion sa ilalim ng tuloy-tuloy na transcription.
| Masalimuot | Unang 25% | Huling 25% | Sa pangkalahatan |
|---|---|---|---|
| WER% | 1.30 | 1.23 | 2.43 |
| RTF | 0.672 | 0.400 | 0.539 |
Walang nakitang pagkasira. WER ay matatag sa ibayo ng sesyon. RTF ay aktuwal na bumubuti habang CoreML Walang thermal throttling pagkatapos ng pagpatay dito 42 mga minuto ng patuloy Neural Engine Kapansin - pansin. Parakeet ang bawat tipak — walang cross-chunk na estado na nagtitipon.
Multilingual na mga resulta (FLEURS)
CER na ginagamit para sa mga wikang CJK (walang salitang hangganan). Parakeet ay sumusuporta sa iber25 wikang Europeo (walang CJK).
| Wika | Masalimuot | Qwen3 4-bit | Qwen3 8-bit | Parakeet INT8 |
|---|---|---|---|---|
| Kastila | WER | 6.44 | 5.06 | 5.18 |
| Tagalog | WER | 6.57 | 5.64 | 9.30 |
| Tsino | CER | 8.41 | 7.71 | — |
| Aleman | WER | 9.45 | 6.81 | 12.33 |
| Pranses | WER | 11.42 | 8.50 | 13.02 |
| Hapones | CER | 16.11 | 8.64 | — |
| Ruso | WER | 16.35 | 10.52 | 11.49 |
| Koreano | WER | 19.95 | 6.89 | — |
| Hindi | WER | 25.93 | 18.57 | — |
| Arabe | WER | 33.47 | 20.31 | — |
Ang delta ng Compression
Di - tiyak na kawalan mula sa pagkukuwenta hanggang sa mas mababang lapad ng bit.
| Kaurian | WER% | Mga Susunuran | Mga Insersyon | Mga Pag - aalis | Kabuuang mga Pagkakamali | Laki |
|---|---|---|---|---|---|---|
| Qwen3 0.6B 8-bit | 2.80 | 1111 | 92 | 268 | 1471 | 960 MB |
| Qwen3 0.6B 4-bit | 3.34 | 1323 | 123 | 308 | 1754 | 675 MB |
| Delta | +0.54 | +212 | +31 | +40 | +283 | -30% |
| Parakeet TDT INT8 | 2.74 | 990 | 125 | 308 | 1423 | 634 MB |
Ang Qwen3-ASR 1.7B MLX ay umaabot sa 1.32% WER sa 5--bit (1.52% sa 8-bit) — pambubugbog sa WhisperKit Large-v3 Turbo (paglilinaw)1.71%) habang tumatakbo 30-36× real-time on Apple Silicon.
TTS — Round-Trip Intelligence
Synthesize text, pagkatapos ay i-record ang audio back na may Qwen3-ASR 0.6B at compute WER laban sa orihinal na teksto. Evaluated on 30 binuo-in English chatal pangungusap.
| Kasangkapan | Huwaran | Mga Param | Laki | WER% | RTF |
|---|---|---|---|---|---|
| CosyVoice3 | 0.5B 4-bit | 500M | °1.9 GB | 3.25 | 0.59 |
| Qwen3-TTS | 1.7B 4-bit | 1.7B | °2.3 GB | 3.47 | 0.79 |
| Qwen3-TTS | 1.7B 8-bit | 1.7B | °3.5 GB | 3.66 | 0.85 |
| Kokoro-82M | CoreML | 82M | °170 MB | 3.90 | 0.17 |
| Qwen3-TTS | 0.6B 8-bit | 600M | °960 MB | 9.74 | 0.76 |
| Qwen3-TTS | 0.6B 4-bit | 600M | °675 MB | 15.58 | 0.76 |
Voice cloning (zero-shot)
Zero-shot voice cloning mula sa parehong 12 na reference clip; roundtrip = Qwen3-ASR transcription ng output kumpara sa input text. Apple M5 Pro, 48 GB; RTF ay wall time ¥ audio segundo (mas mabilis anglower).
| Kasangkapan | WER% | Pinakamataas na RS | Audio | Ang Synth | RTF | Sulat - Pasyalan |
|---|---|---|---|---|---|---|
| Higgs TTS 3 (clone) | 4B bf16 | 8.6 GB | 6.04 s | 4.73 s | 0.78 | eksaktong |
| F5-TTS (16 na baitang) | 336M fp16 | 0.8 GB | 5.09 s | 2.91 s | 0.57 | 1-word sub |
| F5-TTS (32 baytang) | 336M fp16 | 0.8 GB | 5.09 s | 5.75 s | 1.13 | 1-word sub |
| IndexTTS2 (clone) | 1.5B-class fp16 | 3.0 GB | 5.80 s | 5.8 s | 1.0 | eksaktong |
Pagkawasak ng Latensiya (Qwen3-TTS)
| Bagsag | Panahon | % ng Kabuuan | Paglalarawan |
|---|---|---|---|
| Dibdiban | 1-3 ms | <1% | Text embeding (TTTT) |
| Pag - anák | 2-6 s | ~92% | Mga paunawa sa kodigong autoregressive |
| Decode | 244-457 ms | ~8% | Idec decoder to waveform |
Lahat TTS Ang mga makina ay mas mabilis tumakbo kaysa sa real-time (RTF < 1.0). CosyVoice3 ay umaakay sa di - wastong pagkatuto (3.25% WER). Kokoro ang pinakamabilis (RTF 0.17) sa panahon lamang 170 MB.
VAD — Pagiging REKSTO
FLEURS pagtatasa (10 wika, 250 file)
Idineklarang laban sa Python fireRedVAD ang katotohanan sa parehong pasukan.
| Kasangkapan | Mga Param | Likod | F1% | FAR% | MR% | RTF |
|---|---|---|---|---|---|---|
| ISINULAT | 588K | CoreML (ANE) | 99.12 | 2.52 | 0.47 | 0.007 |
| Silero v5 | 309K | CoreML (ANE) | 95.13 | 15.76 | 1.89 | 0.022 |
| Silero v5 | 309K | MLX (GPU) | 95.11 | 15.85 | 1.89 | 0.027 |
| Pyannote | 1.5M | MLX (GPU) | 94.86 | 14.71 | 2.92 | 0.358 |
VoxConverse na pagtatasa (factiver-speaker)
5 multi-speaker na mga files ng pag-uusap na sinuri sa 10 ms frame resolution.
| Kasangkapan | Mga Param | Likod | F1% | FAR% | MR% | RTF |
|---|---|---|---|---|---|---|
| Pyannote | 1.5M | MLX (GPU) | 98.22 | 50.09 | 0.19 | 0.358 |
| Silero v5 | 309K | CoreML (ANE) | 97.52 | 33.29 | 2.69 | 0.022 |
| Silero v5 | 309K | MLX (GPU) | 95.98 | 21.02 | 5.88 | 0.027 |
| ISINULAT | 588K | CoreML (ANE) | 94.21 | 40.12 | 5.05 | 0.007 |
Kung ihahambing sa inilathalang mga numero
| Huwaran | F1% | FAR% | MR% | Mga Param | Talaan ng mga Nilalaman |
|---|---|---|---|---|---|
| Pyannote (ating) | 98.22 | 50.09 | 0.19 | 1.5M | Pag - aalis ng VoxConver |
| FireRedVAD (papel) | 97.57 | 2.69 | 3.62 | 588K | FLEURS-VAD-102 |
| Silero (ating) | 95.98 | 21.02 | 5.88 | 309K | Pag - aalis ng VoxConver |
| Silero-VAD (papel) | 95.95 | 9.41 | 3.95 | 309K | FLEURS-VAD-102 |
| FireRedVAD (ating) | 94.21 | 69.33 | 5.05 | 588K | Pag - aalis ng VoxConver |
Ang fireRedVAD ay nagkamit ng 99.12% F1 tungkol sa FLEURS na may pinakamababang maling antas ng alarma (na may pinakamababang maling alarma2.52%) at tumakbo sa 135x real-time. Silero v5 ay nagbibigay ng pinakamabuting mapagpipilian sa pag - agos 32 mga m sa bawat tipak.
Pagtukoy sa mga salitang pampagana / keyword
KWS Zipparner (gagapeech pinong-tune)
Pag - aaksaya Zipformer2 transducer (3.49 Mga M param, Apache-2.0) kasama INT8 Pagpapagaan ng damdamin CoreML. Nag-iimbestiga laban sa 12 Mga susing salita sa pagsusulit ng LibriSpeech-malinis (marumal)158 positibong mga pananalita, 60 negative). acThreshold = 0.15, contextScore = 0.5, numTrailingBlanks = 1.
| Masalimuot | Halaga | Mga Noble |
|---|---|---|
| RTF (CPU + Neural Engine) | 0.04 | 26× real-time sa M-series |
| Gunitain (12 mga susing salita) | 88% | LibriSpeech test-malinis, 158 positibong mga kasabihan |
| Huwad na mga Positibo / Sabi | 0.27 | 60 negatibong mga kasabihan |
| CoreML INT8 vs PyTorch FP32 | 99% | Kasunduan sa Pagmimisyon |
| Sinang - ayunan na sukat ng modelo | °4 MB | EXPOr 3.3 MB + decoder 525 KB + sumali 160 KB |
| Pag - alaala sa Oras | °6 MB | Timbang + Mga cache ng estado |
Napasulong ng mga hindi pagtupad sa mga pangako ang alaala mula sa 62% hanggang sa 88% (at pinutol ang FP/ Susunod mula sa 0.43 hanggang sa 0.27) vs. ang mga cythilefall defaults (mga fall default sa itaas ng ilogacThreshold = 0.25, contextScore = 2.0). lear-word guide para sa keyword-file format at per-phrase circulation.
Mga embedding ng tagapagsalita
Pagka - huli ng Pag - aalis
20-second audio clip, 10 iserations pagkatapos ng heat-up.
| Huwaran | Dim | Likod | Pagiging Latente |
|---|---|---|---|
| CAM++ (3D-sperger) | 192 | CoreML (ANE) | 12 ms |
| WeSpeaker ResNet34-LM | 256 | MLX (GPU) | 64 ms |
| WeSpeaker ResNet34-LM | 256 | CoreML (ANE) | 143 ms |
Pag - aalis ng kalidad (VoxConverse)
Cosine pagkakatulad sa pagitan ng mga segment-level embedings mula sa 5 multi-speaker recordings. Higher separation = mas mabuting pagtatangi ng tagapagsalita.
| Huwaran | Likod | Intra-Salita | Inter-Salita | Paghihiwalay |
|---|---|---|---|---|
| WeSpeaker | MLX | 0.726 | 0.142 | 0.584 |
| WeSpeaker | CoreML | 0.726 | 0.143 | 0.582 |
| CAM++ | CoreML | 0.723 | 0.395 | 0.328 |
Ang lahat ng tatlong makina ay tumutugma sa reperensiyang Python pyannote (0.577 separation, cosine pagkakatulad >0.96). WeSpeaker ay nakamit. Paghihiwalay ng 0.584 sa parehong MLX at CoreML. CAM+++ ay tumatakbo 5x nang mas mabilis (12 ms vs 65 mga m) na may mabuting paghihiwalay (mga m)0.328).
Pinagmulan ng Paghihiwalay — SDR
Tandag-to-Distorsyon Ratio (SDR) sa MUSDB18-HQ (50 full-long test tracks, stereo 44.1kHz). Mas mainam. dalawang modelong sukat: HQ (Ingles: HQ)8.9M params/stem) at L (28.3M params/stem).
| Target | UMX-HQ (MLX) | UMX-L (MLX) | UMX-HQ (inilathala) |
|---|---|---|---|
| Bocals | 6.23 dB | EX10.5 dB | 6.32 dB |
| Mga Tambol | 6.44 dB | EX7.0 dB | 5.73 dB |
| Bass | 4.56 dB | EX5.5 dB | 5.23 dB |
| Iba Pa | 3.41 dB | EX4.5 dB | 4.02 dB |
| Huwaran | Params/stem | Laki | RTF | Bilis |
|---|---|---|---|---|
| Open-Unmix HQ | 8.9M | 136 MB | 0.23 | 4.3x real-time |
| Open-Unmix L | 28.3M | 432 MB | 0.21 | 4.8x real-time |
Ang UMX-HQ matchs ay naglathala ng SDR on vocals at drums na may magaang na 8.9M model. Ang UMx-L ay nagbibigay ng +2–4 dB na pagpapabuti sa 3x ang modelong sukat. Ang parehong ito ay kinabibilangan ng multichannel Wiener EM post-fittering at tumatakbo ng mas mabilis kaysa sa real-time sa Apple Silicon.
Android — on-device (Galaxy S23)
Sinusukat sa Isang Samsung Galaxy S23 (SM-S918B), arm64, CPU lamang., INT8 kung saan nabanggit. RTF ay pader × audio (mas mababa kaysa sa tunay na panahon; <1.0 ay tunay na panahon); Peak RSS ang residenteng set ng running model. Ang mga hanay ng STT ay gumagamit ng isang runnity 20 clip; TTS ulat RTF o time-to-first-audio (TTFA).
| Huwaran | Task | Oras ng Pagtakbo | Bilis | Pinakamataas na RS |
|---|---|---|---|---|
| Parakeet-EOU 120M | SSTT + EOUO | ONNX INT8 | 0.21 RTF | 232 MB |
| Omnilingual CTC 300M | Masalimuot na STA | LiteRT | 0.15 RTF | 831 MB |
| Nemotron Streaming 0.6B | SSTENTANG Nakapagpapahirap | LiteRT | 0.67 RTF | 1.30 GB |
| Parakeet-TDT 0.6B | STA (batch) | ONNX INT8 | 0.082 RTF | 1.15 GB |
| Supertonic-3 99M | TTS (nakalarawang tinig) | LiteRT | 0.34 RTF · °1.1 s TTFA | 832 MB |
| Kokoro-82M | TTS (nakalarawang tinig) | ONNX FP32 | 0.53 RTF | 640 MB |
Ulo: Ang Parakeet-EOU-120M ang pinakamagaang STT dito sa EX232 MB — Maraming - wika (Republika25 Europeo), dinadagsa, na may inline end-of-bigkasan detection, halos hindi sinasadya 5–6× mas magaan kaysa sa 0.6B Parakeet. Itapon ang ONNX CPU arena ng memorya (ngayon ay default) ang nag-cut ng Parakeet-TDT mula sa Ōt.1.34 GB to Eij.1.15 GB.
Muling Produksiyon
# ASR benchmarks (LibriSpeech test-clean)
make build
python scripts/benchmark_asr.py --batch --engine qwen3 --model 0.6B
python scripts/benchmark_asr.py --batch --engine qwen3 --model 0.6B-8bit
python scripts/benchmark_asr.py --batch --engine parakeet
python scripts/benchmark_asr.py --batch --engine parakeet --model int8
# ASR multilingual (FLEURS, auto-download)
python scripts/benchmark_asr.py --dataset fleurs --language en_us --batch
# TTS round-trip
python scripts/benchmark_tts.py --compare
# VAD comparison
python scripts/benchmark_vad.py --compare
# Speaker embeddings comparison
python scripts/benchmark_speaker.py --compare
# Source separation (MUSDB18-HQ, download from Zenodo)
python scripts/benchmark_separation.py --data-dir benchmarks/data/musdb18-hq