Terjemahan mesin · Versi asli bahasa Inggris
Qwen3-ASR vs Whisper pada Apple Silicon
Qwen3-ASR dan Whisper keduanya pilihan cepat-cepat lokal yang kuat, tetapi mereka mengoptimasi untuk batasan yang berbeda. Perbandingan ini mengisolasi Qwen dan Whisper baris dari Soniqo's broader benchmark begitu akurasi, kecepatan, memori, dan perdagangan implementasi-off lebih mudah untuk mengevaluasi.
Kedua mesin didukung: Kapal speech-swift Qwen3-ASR melalui MLX dan Whisper Large-v3 Turbo melalui asli Core MLWhisper Kit muncul di bawah ini hanya sebagai referensi benchmark eksternal.
(Dan demi angin yang menyebarkan rahmat) yaitu angin yang menyebarkan hujan. Qwen3-ASR 1.7B 5-bit memiliki ukuran terendah WER di 1.32%, sementara Qwen3-ASR 0.6B 5-bit memiliki terendah RTF di 0.014Dalam pertandingan 200-Kata-kata Whisper perbandingan, Whisper ASR asli lebih cepat: RTF 0.077 versus 0.084 dan kapal-kapal yang berlayar dengan mudah. 1.3 s versus 7.2 Keakuratan adalah satu kata kesalahan terpisah (1.73% versus 1.71% WER), dan puncak RSS berbeda hanya dengan 18 MB (445 versus 427 MB).
Hasil terukur
RTF adalah waktu dinding yang dibagi dengan durasi audio, jadi lebih rendah lebih cepat. Semua baris menggunakan tes LibriSpecs -clean dan normalzer teks yang sama; lihat metodologi caveat di bawah untuk ukuran fixture.
| Mesin | Quant. | WER% | RTF | Puncak RSS |
|---|---|---|---|---|
| Qwen3-ASR 1.7B MLX | 5-bit | 1.32 | 0.027 | 1.92 GB |
| Qwen3-ASR 1.7B MLX | 8-bit | 1.52 | 0.033 | 2.7 GB |
| Qwen3-ASR 0.6B MLX | 5-bit | 1.74 | 0.014 | 1.03 GB |
| Qwen3-ASR 0.6B MLX | 8-bit | 1.82 | 0.015 | 1.3 GB |
| WhisperKit Large-v3 Turbo | FP16 | 1.71 | 0.084 | 427 MB |
| WhisperASR native CoreML | FP16 | 1.73 | 0.077 | 445 MB |
Yang mana yang harus kau pilih?
- Qwen3-ASR 1.7B 5-bit: pilih untuk hasil akurasi / kecepatan terbaik di sini ketika jejak puncak 1.92 GB dapat diterima.
- Qwen3-ASR 0.6B 5-bit: Pilih untuk keseimbangan tercepat Qwen pilihan -RTF 0.014 dengan 1.03 GB puncak jejak.
- Asli Whisper CoreML: Pilih untuk yang tercepat yang didukung Whisper path, a 1.3 s cached load, a fixed CoreML bundel, atau ada Whisper alur kerja.
- WhisperKit: memilihnya ketika aplikasi Anda sudah tergantung pada WhisperKit dan modelnya-manajemen dan decoding APIs.
Metodologi dan batas
The benchmark menggunakan tes LibriSpeech-bahasa Inggris yang bersih membaca pidato pada Apple M5 Pro dengan rilis membangun. 8-bit Qwen dan Whisper baris menggunakan pertama 200 Kata-kata (tentang 30 Menit). Qwen 5-bit baris gunakan sebuah 100-Kata-kata subset dari fixture yang sama, ditambahkan ketika mereka varian mendarat.
Angka-angka ini membandingkan implementasi-implementasi ini pada fixture ini; mereka bukan peringkat multibahasa universal. Accent, noise, long- bentuk segmentasi, campuran bahasa, decoding, dan perangkat keras dapat mengubah hasilnya. WER adalah rendah - lebih baik, dan puncak RSS diukur dengan setiap mesin dalam proses yang terpisah.