Apple Silicon で Qwen3-ASR vs Whisper
Qwen3-ASR と Whisper はどちらも優れたローカル音声認識ですが、重視する制約が異なります。本ページでは総合ベンチマークから両者の行を抜き出し、精度、速度、メモリ、実装上の選択を比較しやすくしました。
両方のエンジンをサポートしています:speech-swift には、MLX 版 Qwen3-ASRとネイティブ Core ML 版 Whisper Large-v3 Turboが含まれます。以下の WhisperKit は外部ベンチマークの参照実装です。
全行では、Qwen3-ASR 1.7B 5-bit が実測 WER 1.32% で最小、Qwen3-ASR 0.6B 5-bit が RTF 0.014 で最速です。同じ200発話を使った Whisper 比較では、ネイティブ WhisperASR の方が高速です。RTF は 0.077 対 0.084、キャッシュ済みロードは 1.3 秒対 7.2 秒でした。精度差は1単語エラーのみ(WER 1.73% 対 1.71%)、ピーク RSS 差も18 MB(445 対 427 MB)です。
測定結果
RTF は処理時間÷音声時間で、低いほど高速です。全行で LibriSpeech test-clean と同じ正規化処理を使用しています。サンプル数の違いは方法欄を参照してください。
| Engine | Quant. | WER% | RTF | Peak RSS |
|---|---|---|---|---|
| Qwen3-ASR 1.7B MLX | 5-bit | 1.32 | 0.027 | 1.92 GB |
| Qwen3-ASR 1.7B MLX | 8-bit | 1.52 | 0.033 | 2.7 GB |
| Qwen3-ASR 0.6B MLX | 5-bit | 1.74 | 0.014 | 1.03 GB |
| Qwen3-ASR 0.6B MLX | 8-bit | 1.82 | 0.015 | 1.3 GB |
| WhisperKit Large-v3 Turbo | FP16 | 1.71 | 0.084 | 427 MB |
| WhisperASR native CoreML | FP16 | 1.73 | 0.077 | 445 MB |
どれを選ぶべきか
- Qwen3-ASR 1.7B 5-bit:ピーク 1.92 GB を許容でき、ここで最良の精度と速度を求める場合。
- Qwen3-ASR 0.6B 5-bit:RTF 0.014、ピーク 1.03 GB の最速バランス型 Qwen。
- ネイティブ Whisper CoreML:サポート対象で最速の Whisper パス、1.3秒のキャッシュ済みロード、固定 CoreML バンドル、または既存 Whisper フローを優先する場合。
- WhisperKit:アプリがすでに WhisperKit のモデル管理・デコード API を利用している場合。
方法と制約
Apple M5 Pro の release ビルドで LibriSpeech test-clean の英語朗読音声を使用しました。8-bit Qwen と Whisper は先頭 200 発話(約30分)、Qwen 5-bit は同じデータの100発話サブセットです。
これはこの実装とテスト条件の比較であり、普遍的な多言語順位ではありません。訛り、雑音、長尺分割、言語、デコード設定、ハードウェアで結果は変わります。WER は低いほど良く、ピーク RSS は各エンジンを別プロセスで測定しています。