Apple Silicon 上的 Qwen3-ASR vs Whisper
Qwen3-ASR 与 Whisper 都是优秀的本地语音识别方案,但优化目标不同。本页从 Soniqo 的综合基准中单独整理 Qwen 与 Whisper 数据,便于比较准确率、速度、内存和集成取舍。
两种引擎均受支持:speech-swift 提供通过 MLX 运行的 Qwen3-ASR和通过原生 Core ML 运行的 Whisper Large-v3 Turbo。下表中的 WhisperKit 仅作为外部基准参考。
在全部结果中,Qwen3-ASR 1.7B 5-bit 的实测 WER 最低,为 1.32%;Qwen3-ASR 0.6B 5-bit 的 RTF 最低,为 0.014。在使用相同 200 条语音的 Whisper 对比中,原生 WhisperASR 更快:RTF 为 0.077 对 0.084,缓存加载为 1.3 秒对 7.2 秒。两者准确率仅相差一个词错误(WER 1.73% 对 1.71%),峰值 RSS 也仅相差 18 MB(445 对 427 MB)。
实测结果
RTF 是运行时间除以音频时长,越低越快。所有行都使用 LibriSpeech test-clean 与同一文本归一化器;样本数量差异见下方方法说明。
| Engine | Quant. | WER% | RTF | Peak RSS |
|---|---|---|---|---|
| Qwen3-ASR 1.7B MLX | 5-bit | 1.32 | 0.027 | 1.92 GB |
| Qwen3-ASR 1.7B MLX | 8-bit | 1.52 | 0.033 | 2.7 GB |
| Qwen3-ASR 0.6B MLX | 5-bit | 1.74 | 0.014 | 1.03 GB |
| Qwen3-ASR 0.6B MLX | 8-bit | 1.82 | 0.015 | 1.3 GB |
| WhisperKit Large-v3 Turbo | FP16 | 1.71 | 0.084 | 427 MB |
| WhisperASR native CoreML | FP16 | 1.73 | 0.077 | 445 MB |
应该选择哪一个?
- Qwen3-ASR 1.7B 5-bit:在可接受 1.92 GB 峰值内存时,选择本页准确率与速度综合表现最佳的方案。
- Qwen3-ASR 0.6B 5-bit:选择速度最快且较均衡的 Qwen 方案——RTF 0.014,峰值内存 1.03 GB。
- 原生 Whisper CoreML:需要最快的受支持 Whisper 路径、1.3 秒缓存加载、固定 CoreML 模型包或既有 Whisper 工作流时选择。
- WhisperKit:应用已使用 WhisperKit 的模型管理与解码 API 时选择。
测试方法与限制
基准在 Apple M5 Pro 上以 release 构建运行,使用 LibriSpeech test-clean 英文朗读语音。8-bit Qwen 与 Whisper 行使用前 200 条语音(约 30 分钟);Qwen 5-bit 行是在这些变体推出时加入的同一数据集 100 条子集。
这些数字只比较本页实现在该测试集上的表现,并非通用的多语言排名。口音、噪声、长音频分段、语言、解码设置和硬件都会改变结果。WER 越低越好;每个引擎在独立进程中测量峰值 RSS。