Qwen3-ASR vs Whisper trên Apple Silicon
Qwen3-ASR và Whisper đều là lựa chọn nhận dạng cục bộ mạnh nhưng tối ưu cho các ràng buộc khác nhau. Trang này tách các kết quả khỏi benchmark tổng để dễ so sánh độ chính xác, tốc độ, bộ nhớ và tích hợp.
Cả hai engine đều được hỗ trợ: speech-swift cung cấp Qwen3-ASR qua MLX và Whisper Large-v3 Turbo qua Core ML native. WhisperKit bên dưới chỉ là tham chiếu benchmark bên ngoài.
Trong tất cả các hàng, Qwen3-ASR 1.7B 5-bit có WER đo được thấp nhất, 1,32%, còn Qwen3-ASR 0.6B 5-bit có RTF thấp nhất, 0,014. Trong phép so sánh Whisper trên cùng 200 câu, WhisperASR native nhanh hơn: RTF 0,077 so với 0,084 và tải từ cache 1,3 giây so với 7,2 giây. Độ chính xác chỉ chênh một lỗi từ (WER 1,73% so với 1,71%) và peak RSS chỉ chênh 18 MB (445 so với 427 MB).
Kết quả đo
RTF là thời gian chạy chia cho thời lượng audio, nên càng thấp càng nhanh. Tất cả dùng LibriSpeech test-clean và cùng bộ chuẩn hóa; xem khác biệt số mẫu bên dưới.
| Engine | Quant. | WER% | RTF | Peak RSS |
|---|---|---|---|---|
| Qwen3-ASR 1.7B MLX | 5-bit | 1.32 | 0.027 | 1.92 GB |
| Qwen3-ASR 1.7B MLX | 8-bit | 1.52 | 0.033 | 2.7 GB |
| Qwen3-ASR 0.6B MLX | 5-bit | 1.74 | 0.014 | 1.03 GB |
| Qwen3-ASR 0.6B MLX | 8-bit | 1.82 | 0.015 | 1.3 GB |
| WhisperKit Large-v3 Turbo | FP16 | 1.71 | 0.084 | 427 MB |
| WhisperASR native CoreML | FP16 | 1.73 | 0.077 | 445 MB |
Nên chọn bản nào?
- Qwen3-ASR 1.7B 5-bit: kết quả accuracy/speed tốt nhất ở đây nếu chấp nhận đỉnh 1,92 GB.
- Qwen3-ASR 0.6B 5-bit: Qwen cân bằng nhanh nhất, RTF 0,014 và đỉnh 1,03 GB.
- Whisper CoreML native: cho đường Whisper được hỗ trợ nhanh nhất, tải cache 1,3 giây, bundle CoreML cố định hoặc workflow Whisper sẵn có.
- WhisperKit: khi ứng dụng đã dùng API quản lý model và giải mã của WhisperKit.
Phương pháp và giới hạn
Benchmark dùng tiếng Anh đọc LibriSpeech test-clean trên Apple M5 Pro với build release. Qwen 8-bit và Whisper dùng 200 câu đầu (~30 phút); Qwen 5-bit dùng tập con 100 câu của cùng fixture.
Đây là so sánh các implementation trên fixture này, không phải xếp hạng đa ngôn ngữ phổ quát. Giọng, nhiễu, chia đoạn, ngôn ngữ, giải mã và phần cứng có thể đổi kết quả. WER thấp hơn tốt hơn; peak RSS đo từng engine trong process riêng.