Apple Silicon의 Qwen3-ASR vs Whisper
Qwen3-ASR와 Whisper는 모두 강력한 로컬 음성 인식 선택지지만 최적화 목표가 다릅니다. 종합 벤치마크에서 두 계열만 분리해 정확도, 속도, 메모리와 통합상의 절충을 쉽게 비교합니다.
두 엔진을 모두 지원합니다: speech-swift는 MLX 기반 Qwen3-ASR와 네이티브 Core ML 기반 Whisper Large-v3 Turbo를 제공합니다. 아래 WhisperKit 행은 외부 벤치마크 참고용입니다.
전체 행에서는 Qwen3-ASR 1.7B 5-bit가 실측 WER 1.32%로 가장 낮고, Qwen3-ASR 0.6B 5-bit가 RTF 0.014로 가장 빠릅니다. 동일한 200개 발화를 사용한 Whisper 비교에서는 네이티브 WhisperASR이 더 빠릅니다. RTF는 0.077 대 0.084, 캐시 로드는 1.3초 대 7.2초입니다. 정확도 차이는 단어 오류 1개뿐이며(WER 1.73% 대 1.71%), peak RSS 차이도 18 MB(445 대 427 MB)에 불과합니다.
측정 결과
RTF는 실행 시간÷오디오 길이이므로 낮을수록 빠릅니다. 모두 LibriSpeech test-clean과 같은 텍스트 정규화를 사용하며 샘플 수 차이는 아래 방법론에 설명합니다.
| Engine | Quant. | WER% | RTF | Peak RSS |
|---|---|---|---|---|
| Qwen3-ASR 1.7B MLX | 5-bit | 1.32 | 0.027 | 1.92 GB |
| Qwen3-ASR 1.7B MLX | 8-bit | 1.52 | 0.033 | 2.7 GB |
| Qwen3-ASR 0.6B MLX | 5-bit | 1.74 | 0.014 | 1.03 GB |
| Qwen3-ASR 0.6B MLX | 8-bit | 1.82 | 0.015 | 1.3 GB |
| WhisperKit Large-v3 Turbo | FP16 | 1.71 | 0.084 | 427 MB |
| WhisperASR native CoreML | FP16 | 1.73 | 0.077 | 445 MB |
무엇을 선택할까?
- Qwen3-ASR 1.7B 5-bit: 피크 1.92 GB를 허용하면서 여기서 가장 좋은 정확도와 속도를 원할 때.
- Qwen3-ASR 0.6B 5-bit: RTF 0.014, 피크 1.03 GB의 가장 빠른 균형형 Qwen.
- 네이티브 Whisper CoreML: 지원되는 가장 빠른 Whisper 경로, 1.3초 캐시 로드, 고정 CoreML 번들 또는 기존 Whisper 워크플로가 우선일 때.
- WhisperKit: 앱이 이미 WhisperKit의 모델 관리 및 디코딩 API를 사용할 때.
방법론과 한계
Apple M5 Pro release 빌드에서 LibriSpeech test-clean 영어 낭독 음성을 사용했습니다. 8-bit Qwen과 Whisper는 처음 200개 발화(약 30분), Qwen 5-bit는 같은 데이터의 100개 발화 하위 집합입니다.
이 수치는 해당 구현과 조건의 비교이며 보편적인 다국어 순위가 아닙니다. 억양, 소음, 장문 분할, 언어, 디코딩 설정과 하드웨어에 따라 달라집니다. WER은 낮을수록 좋고 피크 RSS는 엔진별 독립 프로세스에서 측정했습니다.