Pagpatakbo ng voice agent on-device
isang tubo, tatlong badyet sa memorya.
Ang isang lokal na voice agent ay seniket isang modelo – ito ay nagreresulta sa isang pipeline ng apat: voice activity detection detection, speech-to-text, isang model ng wika, at text-to-speech, na naka-tracked sa pamamagitan ng isang turn-coming state machine. Ang tubo ay pareho sa isang telepono at sa isang laptop. kung aling modelo ang nasa bawat kahon, at ang mga taga - Ghana ay nagpasiya sa pamamagitan ng dalawang numero: kung gaano karaming memorya ang taglay mo, at kung aling physier ang kinakain mo.
Ang bilang na dapat hawakan ay ang buong silo, hindi isang modelo: pang - unawa sa pagsasalita (STT) + sumagot sa salinlahi (Talahulugang Tagalog)LLM) + synthesis sa pagsasalita (TTS) lahat ay lapat sa loob nito — iF.1.2 GB sa iPhone, °1.5 Ang GB sa Isang Galaxy S23, at sa ilalim ng Romano4 GB sa Isang Mac na may tunay na utak sa pakikipag - usap.
Aklatan ng Core: Ang tubo ay ang nabibitbit na bahagi.
Nakatira sa loob ng bansa ang mga avestruz speech-core bilang isang dalisay C++ Ang makina ng estado na model-agnostiko: ang apat na yugto ay mga interface na ipinapaloob mo sa anumang backend — on-device ONNX, LiteRT, CoreML/MLX, o kahit isang ulap API — kaya ang tubo ring iyon ang nagpapatakbo ng isang tubo 270M tool-caller sa telepono at a Gemma 4 utak sa isang Mac.
Ang isang prepusyo, apat na yugto. a shoat word, AEC, and enhancement ay opsyonal na mga hakbang na pre-VAD; ang LLM°s na kasangkapan ang siyang nagpapasya rito, hindi lamang sumagot.
Ang orkestra ay ang orkestra VoicePipeline sa loob speech-core . Ito ay nagmamay-ari ng pag-aartista, pag-abala, kasaysayan ng pag-uusap, ang kasangkapang-tawaging loop, at pagsasalita queuing — ngunit walang modelo ng sarili nito.Ang bawat yugto ay palitan sa likod ng isang queuting. interface (VADInterface, STTInterface, LLMInterface, TTSInterface) na muli mong kasama ang ONNX Runtime, LiteRT (via the CoreML/MLX) speech-swift Kapatid), o kahit na ulap API. Ang mga lighter mode ay umiiral din — Echo (VAD → STT → TTS) at TranscribeOnly (VAD → STT → teksto).
Mobile: Ang NPU-first, at ang buong presilya ay umaangkop sa −1.5 GB.
Sa isang telepono, ang limitasyon ay ang memorya, batirya, at thermal — hindi ang hilaw na compute.NPU): Mga mansanas Neural Engine tungkol sa iOS, NNAPI / Hexagon on Android. Ito ay tumatakbo ng mga quanized transformer sa isang praksiyon ng kapangyarihan ng quarters CPU o GPU at iiwan ang CPU libre para sa audio at UI.
Kung Bakit ang NPU at hindi ang CPU o GPU? NPU ay isang nakapirmeng-function dataflow engine na ginawa para sa isang trabaho — ang low-precision na breed-accumulate na ang neural na lambat ay gawa sa. Ito ay nagpapanatili ng mga pabigat sa on-chip SRAM sa tabi mismo ng compute units at nilalampasan ang instruksiyong draft/decode at malawak na general-purposed datapaths na sinusunog ang karamihan sa isang compute yunits CPU Mga pang - ipit o mga pang - aabuso GPU Ang paglilipat ng impormasyon ay nagkakahalaga ng higit kaysa paggawa ng matematika, kaya ang pagpapanatili sa dalawang lokal na tagumpay: ang parehong mga maul ay tumatakbo sa maliit na bahagi ng watt — walang thermal thotling, walang tubo ng batirya, at ang mga watts CPU manatiling malaya para sa lahat ng iba pang bagay.
Kaya ang mobile pipeline ay maliit, quantated, NPU-friendly models: Silero VAD, Parakeet-EOU 120M (lightweight stream STT na may inline end-of-bigkasan), FunctionGemma 270M (ang kasangkapang-tawaging utak), at Kokoro-82M o Supertonic-3 para sa boses. Sinusukat sa aparato:
| Stage · modelo | IPhone 16 Pro (CoreML / ANE) | Galaxy S23 (LiteRT / ONNX, CPU) |
|---|---|---|
| STT · Parakeet-EOU 120M | 0.04 RTF · 297 MB | 0.21 RTF · 232 MB |
| STT · Omnilingual 300M | 0.28 RTF · 495 MB | 0.15 RTF · 831 MB |
| TTS · Kokoro-82M | 0.08 RTF · 676 MB | 0.53 RTF · 640 MB |
| TTS · Supertonic-3 99M | 0.15 RTF · 956 MB | 0.34 RTF · 832 MB |
| LLM · FunctionGemma 270M | 128 tok/s · 236 MB | 118 tok/s · 611 MB |
RTF = pader-panahon ° audio-seconds (mas mababa = mas mabilis; <1.0 ay mas mabilis kaysa sa tunay na panahon). Peak memory ay per-model sa pagbubukod.
Ang bawat yugto ay nag - aalis ng tunay na panahon, at kung pagsasama - samahin para sa isang buháy na ahente, ang residente ay nagtatrabaho EX1.2 GB sa iPhone at EX1.5 GB sa Galaxy S23 — ang agwat ay halos lahat ng bagay LLM: FunctionGemma ay 236 MB on the ANE versus 611 MB on the S23 CPU. iOS tumatakbo na sa NPU (na siyang sumisiguro sa 0.04 RTF ITITITIM at 128 tok/s LLM); Android ay CPU-real-time sa ngayon, na ang mga delegado ng NNAPI/Hexagon bilang baligtad, hindi isang prepektura.
Subukan ito: Examples/iOSEchoDemo tumatakbo Parakeet + Silero + Kokoro bilang isang buong alingawngaw na loop sa isang iPhone; ang Android buhay sa tabi ng speech-android , ibalot ang iisang tubo. Examples/iOSBenchmark ay ang guild sa likod ng iPhone number sa itaas.)
Desktop: Isang tunay na LLM na nagpapatakbo sa makina — wala pa ring 4 GB.
Sa loob ng isang kuwarto Mac ang Paluwag: nagkakaisang alaala na pinagsasaluhan CPU at a Metal GPU. Sa loob lamang ng apat na yugto, mas malalaking modelo, at napakahalagang utak sa pakikipag - usap sa halip na sa utak 270M tool-caller – at ang buong presilya ay nakaakma pa rin sa iV4 GB.
Ang LLM ay ang utak, at ang mga modelian kung saan ang modelong sukat ay humihinto ay hindi sapilitan. Pagkatapos ng pagsubok, dalawang modelo ang nakakuha ng trabaho: FunctionGemma 270M sa mobile (sapat upang maglabas ng isang kagamitan tawag, lahat ng isang telepono-side agent ay nangangailangan) at Gemma 4 E2B/E4B (4-bit MLX) sa desktop (tiyak na multi-turn ang pag-uusap at pangangatwiran na nahahawakan, habang nag-iingat ng liwanag). sub-1B chat head – mukhang libre sa footprint ngunit nangangatog sa tunay na multi-turn, kaya ito ay gumawa ng cut. ang pagtalon na mahalaga ay unilerit 0.27B → 0.8B; ito'y para sa mga taong may sakit FunctionGemma Mga kasangkapang pang-ihipto → Gemma 4 Udyok ng pag - uusap.
Ang iba pa sa salansanan ay pataas rin: Pinapalitan ng desktop ang magaang na Parakeet-EOU Parakeet-TDT ( Kumpleto sa iba't ibang wika), at nananatili ang TTS Supertonic-3 Sa lahat ng dako – mabilis, 44.1 kHz, matatag. inaaksaya natin ang mas mabigat na sero-shot-cloning TTS na mga modelo sa layunin; ang cloning ay district maaasahan sapat upang maupo sa loob ng isang laging-on agent.
| Bagsag | Mobile | Desktop (Mac / MLX) |
|---|---|---|
| VAD | Silero v6.2.1 | Silero v6.2.1 |
| STT | Parakeet-EOU (streaming) | Parakeet-TDT (multilingual) |
| LLM | FunctionGemma 270M | Gemma 4 E2B/E4B |
| TTS | Kokoro-82M / Supertonic-3 | Supertonic-3 |
| Resident set | iPhone ~1.2 GB · S23 ~1.5 GB | ~3.6 GB |
| Stage · modelo | Mac · M5 Pro (4-bit MLX / CoreML) |
|---|---|
| VAD · Silero v6.2.1 | sub-ms / chunk |
| STT · Parakeet-TDT | 0.04 RTF · 1.3 GB |
| LLM · Gemma 4 E2B | 214 tok/s · 2.9 GB |
| TTS · Supertonic-3 | 0.03 RTF · 0.9 GB |
RTF = pader × audio-seconds (mas mababa = mas mabilis); LLM Ang pinakamataas na alaala ay naka-decode sa pamamagitan ngput. ang peak memory ay sa bawat modelo lamang – na nakakarga nang sama-sama ang buong loop ay co-residente sa iV.3.6 GB (Mahusay sa ibaba 4 GB): ang CoreML STAN/TTS/VAD Ang mga pabigat ay memory-mapped, kaya hindi ito nagsalansan na katulad ng pag-iisa ng mga liblib na tuktok.
Isang tubo, na katugma ng badyet.
VAD → STT → LLM →TTS ang magkatulad sa lahat ng dako.Ang lahat ng bagay na interesante ay tumutugma sa bawat yugto sa aparatong EXODO at memorya.
Ang mga modelo ay pinipili ng mga bakterya at thermal. Ang ANE ay gumagawa ng iOS epektibong libreng CPU-wise; Android ay CPU'real-time ngayon na may NPU headroom na darating.
Ang buong presilya ay nakaakma sa iber4 GB, at ang badyet na iyon ay bumibili ng Gemma 4 na pangangatuwiran na nagpapatakbo sa makina sa pamamagitan ng boses, pati na rin ang multilingual Parakeet-TDT.
Hindi kailanman iniiwan ng isangudio at pag - uusap ang aparato — ang pang - unawa, pangangatuwiran, at sintesis ay pawang tumatakbo sa metal sa harap mo.