Qwen3-ASR vs Whisper no Apple Silicon
Qwen3-ASR e Whisper são boas opções de reconhecimento local, mas otimizam restrições diferentes. Esta página separa suas linhas do benchmark geral para comparar precisão, velocidade, memória e integração.
Ambos os motores são suportados: o speech-swift inclui Qwen3-ASR através de MLX e Whisper Large-v3 Turbo através de Core ML nativo. O WhisperKit aparece abaixo apenas como referência externa do benchmark.
Entre todas as linhas, Qwen3-ASR 1.7B 5-bit tem o menor WER medido, 1,32%, enquanto Qwen3-ASR 0.6B 5-bit tem o menor RTF, 0,014. Na comparação Whisper pareada de 200 trechos, WhisperASR nativo é mais rápido: RTF 0,077 contra 0,084 e carregamento em cache de 1,3 s contra 7,2 s. A precisão difere por apenas um erro de palavra (WER 1,73% contra 1,71%) e o pico de RSS por só 18 MB (445 contra 427 MB).
Resultados medidos
RTF é tempo de execução dividido pela duração do áudio; menor é mais rápido. Todas as linhas usam LibriSpeech test-clean e o mesmo normalizador; veja abaixo a diferença de amostras.
| Engine | Quant. | WER% | RTF | Peak RSS |
|---|---|---|---|---|
| Qwen3-ASR 1.7B MLX | 5-bit | 1.32 | 0.027 | 1.92 GB |
| Qwen3-ASR 1.7B MLX | 8-bit | 1.52 | 0.033 | 2.7 GB |
| Qwen3-ASR 0.6B MLX | 5-bit | 1.74 | 0.014 | 1.03 GB |
| Qwen3-ASR 0.6B MLX | 8-bit | 1.82 | 0.015 | 1.3 GB |
| WhisperKit Large-v3 Turbo | FP16 | 1.71 | 0.084 | 427 MB |
| WhisperASR native CoreML | FP16 | 1.73 | 0.077 | 445 MB |
Qual escolher?
- Qwen3-ASR 1.7B 5-bit: melhor resultado de precisão/velocidade aqui se pico de 1,92 GB for aceitável.
- Qwen3-ASR 0.6B 5-bit: Qwen equilibrado mais rápido, RTF 0,014 e pico de 1,03 GB.
- Whisper CoreML nativo: para o caminho Whisper suportado mais rápido, carregamento em cache de 1,3 s, bundle CoreML fixo ou fluxo Whisper existente.
- WhisperKit: quando o app já usa suas APIs de modelos e decodificação.
Metodologia e limites
O teste usa fala inglesa lida do LibriSpeech test-clean em Apple M5 Pro com builds release. Qwen 8-bit e Whisper usam 200 trechos (~30 min); Qwen 5-bit usa um subconjunto de 100 do mesmo conjunto.
São resultados dessas implementações neste teste, não uma classificação multilíngue universal. Sotaque, ruído, segmentação, idioma, decoding e hardware podem mudar tudo. WER menor é melhor; RSS máximo é medido por processo separado.