Apple Silicon पर Qwen3-ASR vs Whisper
Qwen3-ASR और Whisper दोनों मजबूत local speech-recognition विकल्प हैं, लेकिन अलग सीमाओं के लिए optimize किए गए हैं। यह पेज व्यापक benchmark से उनकी rows अलग कर सटीकता, गति, मेमोरी और integration की तुलना आसान बनाता है।
दोनों इंजन समर्थित हैं: speech-swift में MLX के माध्यम से Qwen3-ASR और native Core ML के माध्यम से Whisper Large-v3 Turbo शामिल हैं। नीचे WhisperKit केवल बाहरी benchmark reference के रूप में दिया गया है।
सभी rows में Qwen3-ASR 1.7B 5-bit का measured WER सबसे कम 1.32% है, जबकि Qwen3-ASR 0.6B 5-bit का RTF सबसे कम 0.014 है। समान 200 utterances वाले Whisper comparison में native WhisperASR तेज़ है: RTF 0.077 बनाम 0.084 और cached load 1.3 सेकंड बनाम 7.2 सेकंड। Accuracy में केवल एक word error का अंतर है (WER 1.73% बनाम 1.71%) और peak RSS में सिर्फ़ 18 MB (445 बनाम 427 MB)।
मापे गए परिणाम
RTF runtime को audio duration से भाग देता है, इसलिए कम बेहतर है। सभी rows LibriSpeech test-clean और एक ही text normalizer उपयोग करती हैं; sample-size अंतर नीचे दिया है।
| Engine | Quant. | WER% | RTF | Peak RSS |
|---|---|---|---|---|
| Qwen3-ASR 1.7B MLX | 5-bit | 1.32 | 0.027 | 1.92 GB |
| Qwen3-ASR 1.7B MLX | 8-bit | 1.52 | 0.033 | 2.7 GB |
| Qwen3-ASR 0.6B MLX | 5-bit | 1.74 | 0.014 | 1.03 GB |
| Qwen3-ASR 0.6B MLX | 8-bit | 1.82 | 0.015 | 1.3 GB |
| WhisperKit Large-v3 Turbo | FP16 | 1.71 | 0.084 | 427 MB |
| WhisperASR native CoreML | FP16 | 1.73 | 0.077 | 445 MB |
कौन-सा चुनें?
- Qwen3-ASR 1.7B 5-bit: 1.92 GB peak स्वीकार्य हो और यहाँ सर्वोत्तम accuracy/speed चाहिए।
- Qwen3-ASR 0.6B 5-bit: RTF 0.014 और 1.03 GB peak वाला सबसे तेज़ संतुलित Qwen।
- Native Whisper CoreML: सबसे तेज़ supported Whisper path, 1.3 सेकंड cached load, fixed CoreML bundle या मौजूदा Whisper workflow के लिए।
- WhisperKit: app पहले से उसके model-management और decoding APIs उपयोग करती हो।
विधि और सीमाएँ
Apple M5 Pro release builds पर LibriSpeech test-clean English read speech उपयोग हुआ। 8-bit Qwen और Whisper में पहले 200 utterances (~30 मिनट), Qwen 5-bit में उसी fixture का 100-utterance subset है।
ये इसी fixture पर इन implementations के परिणाम हैं, सार्वभौमिक multilingual ranking नहीं। Accent, noise, segmentation, language, decoding और hardware परिणाम बदल सकते हैं। कम WER बेहतर है; peak RSS हर engine को अलग process में मापता है।