Qwen3-ASR vs Whisper auf Apple Silicon
Qwen3-ASR und Whisper sind starke lokale Spracherkenner, optimieren aber unterschiedliche Randbedingungen. Diese Seite isoliert beide Reihen aus dem Gesamtbenchmark, damit Genauigkeit, Tempo, Speicher und Integration leichter vergleichbar sind.
Beide Engines werden unterstützt: speech-swift liefert Qwen3-ASR über MLX und Whisper Large-v3 Turbo über natives Core ML. WhisperKit erscheint unten nur als externe Benchmark-Referenz.
Über alle Zeilen erreicht Qwen3-ASR 1.7B 5-bit mit 1,32% die niedrigste gemessene WER, während Qwen3-ASR 0.6B 5-bit mit 0,014 den niedrigsten RTF erzielt. Im abgeglichenen Whisper-Vergleich mit 200 Äußerungen ist natives WhisperASR schneller: RTF 0,077 statt 0,084 und 1,3 s statt 7,2 s Ladezeit aus dem Cache. Die Genauigkeit liegt nur einen Wortfehler auseinander (1,73% statt 1,71% WER), der Peak-RSS nur 18 MB (445 statt 427 MB).
Gemessene Ergebnisse
RTF ist Laufzeit geteilt durch Audiodauer; niedriger ist schneller. Alle Zeilen nutzen LibriSpeech test-clean und denselben Normalisierer. Die unterschiedlichen Testgrößen stehen unten.
| Engine | Quant. | WER% | RTF | Peak RSS |
|---|---|---|---|---|
| Qwen3-ASR 1.7B MLX | 5-bit | 1.32 | 0.027 | 1.92 GB |
| Qwen3-ASR 1.7B MLX | 8-bit | 1.52 | 0.033 | 2.7 GB |
| Qwen3-ASR 0.6B MLX | 5-bit | 1.74 | 0.014 | 1.03 GB |
| Qwen3-ASR 0.6B MLX | 8-bit | 1.82 | 0.015 | 1.3 GB |
| WhisperKit Large-v3 Turbo | FP16 | 1.71 | 0.084 | 427 MB |
| WhisperASR native CoreML | FP16 | 1.73 | 0.077 | 445 MB |
Welche Variante passt?
- Qwen3-ASR 1.7B 5-bit: für das beste Genauigkeits-/Tempo-Ergebnis hier, wenn 1,92 GB Peak akzeptabel sind.
- Qwen3-ASR 0.6B 5-bit: schnellste ausgewogene Qwen-Option mit RTF 0,014 und 1,03 GB Peak.
- Natives Whisper CoreML: für den schnellsten unterstützten Whisper-Pfad, 1,3 s Cache-Ladezeit, ein festes CoreML-Bundle oder einen bestehenden Whisper-Workflow.
- WhisperKit: wenn die App bereits dessen Modellverwaltung und Decoder-APIs nutzt.
Methodik und Grenzen
Der Test nutzt englische Lesesprache aus LibriSpeech test-clean auf einem Apple M5 Pro mit Release-Builds. Qwen 8-bit und Whisper verwenden 200 Äußerungen (~30 Minuten); Qwen 5-bit eine Teilmenge von 100 aus demselben Datensatz.
Die Werte vergleichen diese Implementierungen unter diesen Bedingungen, nicht allgemein alle Sprachen. Akzent, Rauschen, Segmentierung, Sprache, Decoder und Hardware können Ergebnisse ändern. Niedrigere WER ist besser; Peak RSS wird pro Engine in einem eigenen Prozess gemessen.