Menjalankan agen suara pada perangkat
satu pipa, tiga anggaran memori.
Seorang agen suara lokal bukan satu model - ini adalah sebuah baris pipa dari empat: deteksi aktivitas suara, speech-to- teks, model bahasa, dan teks-to-speech, terhubung oleh mesin putar negara. Pipa ini sama pada telepon dan di laptop. Apa perubahan yang terjadi pada mesin negara. model yang masuk dalam setiap kotak, dan itu diputuskan oleh dua angka: berapa banyak memori yang Anda miliki, dan akselerator mana yang Anda makan.
Nomor yang dipegang adalah seluruh loop, bukan satu model: speech ception (STT) + answer generation (LLM) + synthesis pidato (TTS) semua cocok di dalamnya - ~1.2 GB on iPhone, ~1.5 GB pada Galaxy S23, dan di bawah ~4 GB pada Mac dengan otak obrolan yang nyata.
Pustaka inti: Jalur pipa adalah bagian yang portabel.
Kapasari tinggal di speech-core sebagai murni C++ state machine yang model -agnostic: empat tahap adalah antarmuka Anda plug setiap backend ke - on-perangkat ONNX, LiteRT, CoreML/MLX, atau bahkan awan API - sehingga jalur pipa yang sama berjalan 270Penelepon M pada telepon dan telepon Gemma 4 otak pada Mac.
Satu lingkaran, empat tahap. Sebuah kata bangun, AEC, dan peningkatan adalah pre- VAD langkah; yang LLM 's alat panggilan adalah apa yang membiarkan hal itu bertindak, bukan hanya menjawab.
The antristrator adalah VoicePipeline in speech-core Ia memiliki deteksi, gangguan, riwayat percakapan, loop panggilan alat, dan antrian pidato - tapi tidak ada model sendiri. Setiap tahap yang ditukar di belakang antar muka (VADInterface, STTInterface, LLMInterface, TTSInterface) bahwa Anda kembali dengan ONNX Runtime, LiteRT, CoreML/MLX (melalui speech-swift Saudara-saudara, atau bahkan awan API. Echo (VAD STAT AFT TTS) dan TranscribeOnly (VAD AFSTT SlSGS).
Mobile: NPU- pertama, dan seluruh loop cocok dalam ~ 1.5 GB.
Di telepon, kendala adalah memori, baterai, dan termal, bukan perhitungan mentah.NPU): Apple Neural Engine nyala iOS, NNAPI / Hexagon on on AndroidIni berjalan transformer kuantisasi pada sebagian kecil dari kekuatan CPU atau GPU dan meninggalkan CPU bebas untuk audio dan UI.
Mengapa NPU dan bukan CPU atau GPU? NPU adalah sebuah mesin datalow fungsi yang difungsikan untuk satu pekerjaan - rendah presisi multiply- akumulasi bahwa jaringan saraf terbuat. Ini menjaga berat di satu chip SRAM tepat di sebelah unit kompute dan melewati instruksi mengambil / decode dan lebar basis data tujuan-tujuan yang membakar sebagian besar CPU's atau GPUMenggerakkan biaya data lebih banyak daripada melakukan matematika, sehingga menjaga kedua lokal adalah menang: mamur yang sama dijalankan pada sebagian kecil dari watts - tidak ada percepatan panas, tidak ada menguras baterai, dan CPU tetap bebas untuk segala sesuatu yang lain.
Jadi jalur pipa ini kecil, diukur, model NPU- ramah: Silero VAD, Parkit-EOU 120M (Streaming ringan STT dengan inline akhir - dari - ucapan), FunctionGemma 270M (tool- memanggil otak), dan Kokoro-82M atau Supertonic-3 untuk suara. Diukur pada perangkat:
| Panggung | iPhone 16 Pro (CoreML / ANE) | Galaxy S23 (LiteRT / ONNX, CPU) |
|---|---|---|
| STT · Parakeet-EOU 120M | 0.04 RTF · 297 MB | 0.21 RTF · 232 MB |
| STT · Omnilingual 300M | 0.28 RTF · 495 MB | 0.15 RTF · 831 MB |
| TTS · Kokoro-82M | 0.08 RTF · 676 MB | 0.53 RTF · 640 MB |
| TTS · Supertonic-3 99M | 0.15 RTF · 956 MB | 0.34 RTF · 832 MB |
| LLM · FunctionGemma 270M | 128 tok/s · 236 MB | 118 tok/s · 611 MB |
RTF = wall-time Iveraudio- detik (lebih cepat = lebih cepat; < 1.0 lebih cepat daripada waktu sebenarnya). puncak memori adalah per- model dalam isolasi.
Setiap tahap membersihkan real time. ~ 1.2 GB di iPhone dan ~ 1.5 GB di Galaxy S23 - kesenjangan hampir semua LLM: FunctionGemma adalah 236 MB on the ANE versus 611 MB pada S23 CPU. iOS sudah berjalan di NPU (itu adalah 0.04 RTF STT dan 128 tok / d LLM); Android adalah CPU-real-waktu hari ini, dengan delegasi NNAPI / Hexagon sebagai terbalik, bukan prasyarat.
Cobalah: Examples/iOSEchoDemo menjalankan Parakeet + Silero ditambah Kokoro sebagai loop gema penuh pada iPhone; sisi Android hidup di speech-android , wrapping the same pipeline. ( Examples/iOSBenchmark adalah harness di belakang nomor iPhone di atas.)
Desktop: LLM asli yang menggerakkan mesin - masih di bawah 4 GB.
Pada Mac batasan relaks: unified memori terbagi antara CPU dan Metal GPUEmpat tahap yang sama, model yang lebih besar, dan yang terpenting adalah otak obrolan sebenarnya, bukan 270M tool- penelepon - dan seluruh loop masih cocok dalam ~4 GB.
LLM adalah otak, dan itu adalah di mana ukuran model berhenti menjadi opsional. Setelah pengujian, dua model mendapatkan pekerjaan: FunctionGemma 270M pada ponsel (cukup untuk memancarkan panggilan alat, semua kebutuhan agen sisi telepon) dan Gemma 4 E2B / E4B (4-bit MLX) pada desktop (percakapan multi- turn asli dan penalaran yang memegang, ketika tetap terang). Yang menggoda tengah - kompak sub-1B chat head - terlihat bebas pada jejak kaki tapi goyah di multi- turn, sehingga tidak membuat cut. lompatan yang penting tidak 0.27B 1f 0.8B; itu FunctionGemma's tools-calls (alat) -tolonge Gemma 4 Percakapan.
Sisa tumpukan tersebut juga meningkat: bertukar desktop dengan Parakeet-EOU yang ringan untuk Parakeet- TDT (multibahasa penuh), dan TTS tetap di Supertonic-3 di mana-mana - cepat, 44.1 KHz, stabil. TTS model sengaja; kloning tidak cukup dapat diandalkan untuk duduk di dalam selalu-on agen.
| Tahap | Mobile | Desktop (Mac / MLX) |
|---|---|---|
| VAD | Silero v6.2.1 | Silero v6.2.1 |
| STT | Parakeet-EOU (streaming) | Parakeet-TDT (multilingual) |
| LLM | FunctionGemma 270M | Gemma 4 E2B/E4B |
| TTS | Kokoro-82M / Supertonic-3 | Supertonic-3 |
| Resident set | iPhone ~1.2 GB · S23 ~1.5 GB | ~3.6 GB |
| Panggung | Mac · M5 Pro (4-bit MLX / CoreML) |
|---|---|
| VAD · Silero v6.2.1 | sub-ms / chunk |
| STT · Parakeet-TDT | 0.04 RTF · 1.3 GB |
| LLM · Gemma 4 E2B | 214 tok/s · 2.9 GB |
| TTS · Supertonic-3 | 0.03 RTF · 0.9 GB |
RTF = dinding terdengar -detik (lebih rendah = lebih cepat); LLM baris adalah decode melalui. memori Peak adalah per model saja - dimuat bersama seluruh loop adalah ko- penduduk di ~3.6 GB (dibawah 4 GB) CoreML STT /TTS/VAD bobot adalah memory-mapped, sehingga mereka tidak menumpuk cara puncak terisolasi akan.
Satu pipa, sesuai dengan anggaran.
VAD AFT LLM TTS identik di mana-mana.
Baterai dan termal memilih model. ANE membuat iOS secara efektif bebas CPU-Wise; Android adalah CPUZ -waktu hari ini dengan NPU headroom yang akan datang.
Seluruh loop cocok dalam ~ 4 GB, dan anggaran yang membeli Gemma 4 alasan yang menggerakkan mesin dengan suara, ditambah multibahasa Parakeet- TDT.
Keadaan audio dan percakapan tidak pernah meninggalkan perangkat - persepsi, penalaran, dan sintesis semua berjalan pada logam di depan Anda.