Qwen3-ASR vs Whisper sur Apple Silicon
Qwen3-ASR et Whisper sont deux solides solutions de reconnaissance locale, mais n’optimisent pas les mêmes contraintes. Cette page extrait leurs lignes du benchmark général pour comparer précision, vitesse, mémoire et intégration.
Les deux moteurs sont pris en charge : speech-swift fournit Qwen3-ASR via MLX et Whisper Large-v3 Turbo via Core ML natif. WhisperKit figure ci-dessous uniquement comme référence de benchmark externe.
Toutes lignes confondues, Qwen3-ASR 1.7B 5-bit obtient le meilleur WER mesuré, 1,32%, tandis que Qwen3-ASR 0.6B 5-bit atteint le RTF le plus bas, 0,014. Dans la comparaison Whisper appariée sur 200 énoncés, WhisperASR natif est plus rapide : RTF 0,077 contre 0,084 et chargement en cache de 1,3 s contre 7,2 s. La précision ne diffère que d'un mot (WER 1,73% contre 1,71%) et le pic RSS de 18 Mo (445 contre 427 Mo).
Résultats mesurés
Le RTF est le temps de calcul divisé par la durée audio : plus bas est plus rapide. Toutes les lignes utilisent LibriSpeech test-clean et le même normaliseur ; voir ci-dessous pour la taille des échantillons.
| Engine | Quant. | WER% | RTF | Peak RSS |
|---|---|---|---|---|
| Qwen3-ASR 1.7B MLX | 5-bit | 1.32 | 0.027 | 1.92 GB |
| Qwen3-ASR 1.7B MLX | 8-bit | 1.52 | 0.033 | 2.7 GB |
| Qwen3-ASR 0.6B MLX | 5-bit | 1.74 | 0.014 | 1.03 GB |
| Qwen3-ASR 0.6B MLX | 8-bit | 1.82 | 0.015 | 1.3 GB |
| WhisperKit Large-v3 Turbo | FP16 | 1.71 | 0.084 | 427 MB |
| WhisperASR native CoreML | FP16 | 1.73 | 0.077 | 445 MB |
Lequel choisir ?
- Qwen3-ASR 1.7B 5-bit : meilleur résultat précision/vitesse ici si un pic de 1,92 Go convient.
- Qwen3-ASR 0.6B 5-bit : Qwen équilibré le plus rapide, RTF 0,014 et pic de 1,03 Go.
- Whisper CoreML natif : pour le chemin Whisper pris en charge le plus rapide, un chargement en cache de 1,3 s, un bundle CoreML fixe ou un flux Whisper existant.
- WhisperKit : si l’application utilise déjà ses API de gestion des modèles et de décodage.
Méthode et limites
Le test utilise la parole anglaise lue de LibriSpeech test-clean sur Apple M5 Pro en build release. Qwen 8-bit et Whisper utilisent 200 énoncés (~30 min) ; Qwen 5-bit, un sous-ensemble de 100 du même jeu.
Ces chiffres comparent ces implémentations sur ce test, pas toutes les langues. Accent, bruit, segmentation, langue, décodage et matériel peuvent modifier le résultat. Un WER bas est meilleur ; le RSS maximal est mesuré dans un processus séparé par moteur.