Apple Silicon'da Qwen3-ASR vs Whisper
Qwen3-ASR ve Whisper güçlü yerel konuşma tanıma seçenekleridir ancak farklı kısıtları optimize eder. Bu sayfa doğruluk, hız, bellek ve entegrasyonu kolay karşılaştırmak için sonuçlarını genel benchmark'tan ayırır.
Her iki motor da desteklenir: speech-swift, MLX üzerinden Qwen3-ASR ve yerel Core ML üzerinden Whisper Large-v3 Turbo sunar. Aşağıdaki WhisperKit yalnızca harici benchmark referansıdır.
Tüm satırlarda Qwen3-ASR 1.7B 5-bit %1,32 ile ölçülen en düşük WER'i, Qwen3-ASR 0.6B 5-bit ise 0,014 ile en düşük RTF'yi verir. Aynı 200 utterance üzerindeki Whisper karşılaştırmasında native WhisperASR daha hızlıdır: RTF 0,077'ye karşı 0,084, cache yükleme süresi 1,3 saniyeye karşı 7,2 saniye. Doğruluk yalnızca bir word error farklıdır (WER %1,73'e karşı %1,71); peak RSS farkı da yalnızca 18 MB'dir (445'e karşı 427 MB).
Ölçülen sonuçlar
RTF çalışma süresinin ses süresine oranıdır; düşük daha hızlıdır. Tüm satırlar LibriSpeech test-clean ve aynı normalizer'ı kullanır; örnek sayısı farkı aşağıdadır.
| Engine | Quant. | WER% | RTF | Peak RSS |
|---|---|---|---|---|
| Qwen3-ASR 1.7B MLX | 5-bit | 1.32 | 0.027 | 1.92 GB |
| Qwen3-ASR 1.7B MLX | 8-bit | 1.52 | 0.033 | 2.7 GB |
| Qwen3-ASR 0.6B MLX | 5-bit | 1.74 | 0.014 | 1.03 GB |
| Qwen3-ASR 0.6B MLX | 8-bit | 1.82 | 0.015 | 1.3 GB |
| WhisperKit Large-v3 Turbo | FP16 | 1.71 | 0.084 | 427 MB |
| WhisperASR native CoreML | FP16 | 1.73 | 0.077 | 445 MB |
Hangisini seçmeli?
- Qwen3-ASR 1.7B 5-bit: 1,92 GB peak kabul edilebiliyorsa buradaki en iyi doğruluk/hız sonucu.
- Qwen3-ASR 0.6B 5-bit: RTF 0,014 ve 1,03 GB peak ile en hızlı dengeli Qwen.
- Native Whisper CoreML: desteklenen en hızlı Whisper yolu, 1,3 saniyelik cache yüklemesi, sabit CoreML bundle veya mevcut Whisper akışı için.
- WhisperKit: uygulama model yönetimi ve decoding API'lerini zaten kullanıyorsa.
Yöntem ve sınırlar
Apple M5 Pro release build'lerinde LibriSpeech test-clean İngilizce okuma sesi kullanılır. Qwen 8-bit ve Whisper ilk 200 utterance'ı (~30 dk), Qwen 5-bit aynı fixture'ın 100 utterance alt kümesini kullanır.
Bunlar bu fixture'daki uygulamaların karşılaştırmasıdır, evrensel çok dilli sıralama değildir. Aksan, gürültü, segmentasyon, dil, decoding ve donanım sonucu değiştirir. Düşük WER iyidir; peak RSS motor başına ayrı process'te ölçülür.