Benchmark — Android
RTF (hệ số thời gian thực) dưới 1.0 nghĩa là nhanh hơn thời gian thực.
Android (ONNX Runtime)
Đo trên trình giả lập Android (arm64-v8a, không có NNAPI). Phần cứng thật với NNAPI nhanh hơn đáng kể.
| Mô hình | Tác vụ | Âm thanh | Suy luận | RTF |
|---|---|---|---|---|
| Parakeet TDT v3 | STT (114 ngôn ngữ) | 1.5s | 175ms | 0.12 |
| Kokoro 82M | TTS (7 ngôn ngữ) | 1.9s đầu ra | 1,075ms | 0.58 |
| Silero VAD v5 | VAD | chunk 32ms | <1ms | <0.01 |
| DeepFilterNet3 | Khử nhiễu | chunk 32ms | ~5ms | ~0.15 |
| Nền tảng | Tăng tốc | Chipset |
|---|---|---|
| Android | NNAPI | Snapdragon 8 Gen 1+, Exynos 2200+, Google Tensor G2+ |
| Linux nhúng | QNN (Hexagon DSP) | SA8295P, SA8255P |
| Bất kỳ | CPU (XNNPACK) | Tất cả arm64-v8a / x86_64 |
Ghi chú
Benchmark Android lấy từ trình giả lập không có tăng tốc phần cứng. Trên phần cứng Snapdragon thật với delegation NNAPI, suy luận sẽ nhanh hơn 2–3 lần. Tổng dung lượng mô hình: ~1.2 GB (ONNX lượng tử hoá INT8).