Maskinoversettelse · Engelsk original
Qwen3-ASR vs Whisper på Apple Silicon
Qwen3-ASR og Whisper er begge sterke lokale tale-identifiserbare valg, men de optimaliserer for ulike begrensninger. Denne sammenligningen isolerer Qwen og Whisper rader fra Soniqo's bredere benchmark så nøyaktighet, hastighet, minne og implementering av avleveringer er lettere å vurdere.
Both motorer støttes: speech-swift skip Qwen3-ASR gjennom MLX og Whisper Large-v3 Turbo gjennom innfødt Core ML. Whisper Kit vises nedenfor bare som en ekstern referanse til referanse.
Over alle rader, Qwen3-ASR 1.7B 5-bit har den laveste målte WER på 1.32%, mens Qwen3-ASR 0.6B 5-bit har den laveste RTF i 0.014. I den matchede 200-utterance Whisper Sammenligning, innfødte Whisper ASR er raskere: RTF 0.077 vs 0.084 og cached belastning 1.3 s versus 7.2 S. Nøyaktighet er ett ord feil fra hverandre (1.73% vs 1.71% WER), og topp RSS forskjeller bare ved 18 MB (445 vs 427 MB)
Målte resultater
RTF er veggtid delt etter lydvarighet, så lavere er raskere. Alle rader bruker Libri-snitt test-rens og den samme tekst normalizer; se metoden groet under for fixturstørrelser.
| Motoren | Quant. | WER% | RTF | Peak RSS |
|---|---|---|---|---|
| Qwen3-ASR 1.7B MLX | 5-biters | 1.32 | 0.027 | 1.92 GB |
| Qwen3-ASR 1.7B MLX | 8-bits | 1.52 | 0.033 | 2.7 GB |
| Qwen3-ASR 0.6B MLX | 5-biters | 1.74 | 0.014 | 1.03 GB |
| Qwen3-ASR 0.6B MLX | 8-bits | 1.82 | 0.015 | 1.3 GB |
| WhisperKit Large-v3 Turbo | FP16 | 1.71 | 0.084 | 427 MB |
| WhisperASR native CoreML | FP16 | 1.73 | 0.077 | 445 MB |
Hvilken bør du velge?
- Qwen3-ASR 1.7B 5-bit: Velg det for den beste nøyaktigheten/hastigheten resultatet her når en 1.92 GB topp fotavtrykk er akseptabelt.
- Qwen3-ASR 0.6B 5-bit: Velg det for den raskeste balanserte Qwen alternativet -RTF 0,014 med et 1.03 GB toppfotavtrykk.
- Native Whisper CoreML: Velg det for den raskeste støttede Whisper stien, en 1,3 s cached last, en fast CoreML bunten, eller en eksisterende Whisper arbeidsflyt.
- WhisperKit: velger det når programmet allerede er avhengig av WhisperKitt og dens modellhåndtering og dekoding APIer.
Metodologi og grenser
Benchmarket bruker Libri Speech test-ren engelsk lesetale på en Apple M5 Pro med utgivelsesbygg. 8-bit Qwen og Whisper rekkene bruker de første 200 uttalelsene (ca. 30 minutter). Qwen 5-bits rekkene bruker en 100-biters undergruppe av den samme fixturen, lagt til når disse variantene landet.
Disse tallene sammenligner disse implementasjonene på denne fixturen; de er ikke en universell flerspråklig rangering. Accent, støy, langformssegmentering, språkmiks, dekodingsinnstillinger og maskinvare kan endre resultatet. WER er lavere is-better, og topp RSS måles med hver motor i en separat prosess.