Qwen3-ASR vs Whisper en Apple Silicon
Qwen3-ASR y Whisper son buenas opciones de reconocimiento local, pero optimizan restricciones distintas. Esta página separa sus filas del benchmark general para comparar precisión, velocidad, memoria e integración.
Ambos motores están soportados: speech-swift incluye Qwen3-ASR mediante MLX y Whisper Large-v3 Turbo mediante Core ML nativo. WhisperKit aparece abajo solo como referencia externa del benchmark.
Entre todas las filas, Qwen3-ASR 1.7B 5-bit obtiene el WER medido más bajo: 1.32%, mientras Qwen3-ASR 0.6B 5-bit logra el menor RTF, 0.014. En la comparación Whisper de 200 frases emparejadas, WhisperASR nativo es más rápido: RTF 0.077 frente a 0.084 y carga desde caché de 1.3 s frente a 7.2 s. La precisión difiere en una sola palabra (WER 1.73% frente a 1.71%) y el RSS máximo solo en 18 MB (445 frente a 427 MB).
Resultados medidos
RTF es tiempo de ejecución dividido por duración del audio: menor es más rápido. Todas las filas usan LibriSpeech test-clean y el mismo normalizador; consulta la diferencia de tamaños abajo.
| Engine | Quant. | WER% | RTF | Peak RSS |
|---|---|---|---|---|
| Qwen3-ASR 1.7B MLX | 5-bit | 1.32 | 0.027 | 1.92 GB |
| Qwen3-ASR 1.7B MLX | 8-bit | 1.52 | 0.033 | 2.7 GB |
| Qwen3-ASR 0.6B MLX | 5-bit | 1.74 | 0.014 | 1.03 GB |
| Qwen3-ASR 0.6B MLX | 8-bit | 1.82 | 0.015 | 1.3 GB |
| WhisperKit Large-v3 Turbo | FP16 | 1.71 | 0.084 | 427 MB |
| WhisperASR native CoreML | FP16 | 1.73 | 0.077 | 445 MB |
¿Cuál conviene elegir?
- Qwen3-ASR 1.7B 5-bit: para la mejor combinación de precisión y velocidad aquí si 1.92 GB de pico son aceptables.
- Qwen3-ASR 0.6B 5-bit: la opción Qwen equilibrada más rápida, RTF 0.014 y 1.03 GB de pico.
- Whisper CoreML nativo: para la ruta Whisper compatible más rápida, una carga desde caché de 1.3 s, un bundle CoreML fijo o un flujo Whisper existente.
- WhisperKit: cuando la app ya usa sus APIs de gestión de modelos y decodificación.
Metodología y límites
Se usa habla inglesa leída de LibriSpeech test-clean en un Apple M5 Pro con builds release. Qwen 8-bit y Whisper usan 200 frases (unos 30 minutos); Qwen 5-bit usa un subconjunto de 100 de la misma prueba.
Son resultados de estas implementaciones en esta prueba, no una clasificación multilingüe universal. Acento, ruido, segmentación, idioma, decodificación y hardware pueden cambiar el resultado. Menor WER es mejor y el RSS pico se mide por proceso separado.