Qwen3-ASR vs Whisper บน Apple Silicon
Qwen3-ASR และ Whisper ต่างเป็นตัวเลือก speech recognition ในเครื่องที่แข็งแรง แต่เน้นข้อจำกัดต่างกัน หน้านี้แยกผลจาก benchmark รวมเพื่อให้เทียบความแม่นยำ ความเร็ว หน่วยความจำ และการเชื่อมต่อได้ง่าย
รองรับทั้งสองเอนจิน: speech-swift มี Qwen3-ASR ผ่าน MLX และ Whisper Large-v3 Turbo ผ่าน Core ML แบบ native ส่วน WhisperKit ด้านล่างใช้เป็นข้อมูลอ้างอิง benchmark ภายนอกเท่านั้น
เมื่อเทียบทุกแถว Qwen3-ASR 1.7B 5-bit มี WER ที่วัดได้ต่ำสุด 1.32% ส่วน Qwen3-ASR 0.6B 5-bit มี RTF ต่ำสุด 0.014 ในการเปรียบเทียบ Whisper ด้วย 200 utterances ชุดเดียวกัน WhisperASR native เร็วกว่า: RTF 0.077 เทียบกับ 0.084 และโหลดจากแคช 1.3 วินาทีเทียบกับ 7.2 วินาที ความแม่นยำต่างกันเพียงหนึ่ง word error (WER 1.73% เทียบกับ 1.71%) และ peak RSS ต่างเพียง 18 MB (445 เทียบกับ 427 MB)
ผลการวัด
RTF คือเวลารันหารด้วยความยาวเสียง ดังนั้นยิ่งต่ำยิ่งเร็ว ทุกแถวใช้ LibriSpeech test-clean และ normalizer เดียวกัน; ดูความต่างของจำนวนตัวอย่างด้านล่าง
| Engine | Quant. | WER% | RTF | Peak RSS |
|---|---|---|---|---|
| Qwen3-ASR 1.7B MLX | 5-bit | 1.32 | 0.027 | 1.92 GB |
| Qwen3-ASR 1.7B MLX | 8-bit | 1.52 | 0.033 | 2.7 GB |
| Qwen3-ASR 0.6B MLX | 5-bit | 1.74 | 0.014 | 1.03 GB |
| Qwen3-ASR 0.6B MLX | 8-bit | 1.82 | 0.015 | 1.3 GB |
| WhisperKit Large-v3 Turbo | FP16 | 1.71 | 0.084 | 427 MB |
| WhisperASR native CoreML | FP16 | 1.73 | 0.077 | 445 MB |
ควรเลือกตัวใด?
- Qwen3-ASR 1.7B 5-bit: ผลความแม่นยำ/ความเร็วดีที่สุดที่นี่ หากรับ peak 1.92 GB ได้
- Qwen3-ASR 0.6B 5-bit: Qwen แบบสมดุลที่เร็วสุด RTF 0.014 และ peak 1.03 GB
- Whisper CoreML native: เมื่อเน้นเส้นทาง Whisper ที่รองรับและเร็วที่สุด โหลดจากแคช 1.3 วินาที bundle CoreML คงที่ หรือ workflow Whisper เดิม
- WhisperKit: เมื่อแอปใช้ API จัดการโมเดลและถอดรหัสของ WhisperKit อยู่แล้ว
วิธีทดสอบและข้อจำกัด
ทดสอบเสียงอ่านภาษาอังกฤษ LibriSpeech test-clean บน Apple M5 Pro ด้วย release build แถว Qwen 8-bit และ Whisper ใช้ 200 utterances แรก (~30 นาที) ส่วน Qwen 5-bit ใช้ชุดย่อย 100 utterances จาก fixture เดียวกัน
ตัวเลขนี้เปรียบเทียบ implementation เหล่านี้บน fixture นี้ ไม่ใช่อันดับหลายภาษาสากล สำเนียง เสียงรบกวน การแบ่งช่วง ภาษา decoding และฮาร์ดแวร์เปลี่ยนผลได้ WER ต่ำดีกว่า และวัด peak RSS แยก process ต่อ engine