Spuštění hlasového agenta na zařízení
Jeden plynovod, tři rozpočty na paměť.
Místní hlasový agent není jedním z modelů - je to plynovod čtyř: detekce hlasové aktivity, slova-to- text, jazykový model, a text- to- řeč, spojené dohromady turn-beroucí státní stroj. Plynovod je stejný na telefonu a na notebooku. který model je uveden v každé krabiciO tom rozhodují dvě čísla: kolik máte paměti a kterým urychlovačem krmíte.
Číslo, které se má držet, je celá smyčka, ne jeden model: vnímání řeči (STT) + generace odpovědí (LLM) + syntéza řeči (TTS) všechno se do ní vejde - ~1.2 GB na iPhone, ~1.5 GB na galaxii S23, a pod ~4 GB na Mac s opravdovým chatovacím mozkem.
Základní knihovna: Potrubí je přenosná část.
Orchestrace žije v speech-core jako čistý C++ stavový stroj, který je model- agnostic: čtyři fáze jsou rozhraní, která zapojíte jakýkoli backend do - on- zařízení ONNX, LiteRT, CoreML/MLX, nebo dokonce mrak API - takže stejný ropovod vede 270M tool- volající na telefonu a Gemma 4 mozek na Mac.
Jedna smyčka, čtyři fáze. Probuzení slovo, AEC, a vylepšení jsou volitelné pre-VAD kroky; LLM nástroje volání jsou to, co nechat jednat, ne jen odpovědět.
Ten orchestrátor je... VoicePipeline n speech-core Vlastní detekci otočení, přerušení, historii konverzace, tool- calling smyčku, a řečové fronty - ale žádné vlastní modely. Každá etapa je směnitelné za rozhraní (VADInterface, STTInterface, LLMInterface, TTSInterface), že jste zpět se ONNX Runtime, LiteRT a CoreML / MLX (prostřednictvím speech-swift nebo dokonce mrak API. Existují i lehčí režimy - Echo (VAD → STT → TTS) a TranscribeOnly (VAD → STT → text).
Mobilní: NPU- první, a celá smyčka se vejde do ~ 1.5 GB.
V telefonu je omezení paměť, baterie a termální - ne hrubý výpočet. Správným cílem je nervový procesor (NPU): Apple Neural Engine zapnuto iOS, NNAPI / Hexagon on Android. To běží kvantifikované transformátory na zlomek výkonu CPU nebo GPU a opustí CPU zdarma pro audio a UI.
Proč... NPU a ne CPU nebo GPU? NPU je fixed-funkce dataflow motor postavený pro jednu práci - low-precizní multiply- akumulovat, že neurální sítě jsou vyrobeny z. Udržuje závaží v on- čip SRAM hned vedle počítacích jednotek a přeskočí instrukce fetch / decode a široké obecné-účel datapaths, které spalují většinu CPUnebo GPUPřesouvání dat stojí mnohem víc než matematika, takže udržet obě lokální je výhra: stejné matmuly běží na zlomek wattů - žádné termální škrcení, žádný odtok baterie, a CPU Zůstane volný pro všechno ostatní.
Takže mobilní potrubí je malé, kvantifikované, NPU- přátelské modely: Silero VAD, Parakeet- EOU 120M (lehký streaming STT s inline end- of- uterance), FunctionGemma 270M (tool- calling brain) a Kokoro-82M nebo Supertonic-3 pro hlas. Měřeno na zařízení:
| Fáze · model | iPhone 16 Pro (CoreML / ANE) | Galaxy S23 (LiteRT / ONNX, CPU) |
|---|---|---|
| STT · Parakeet-EOU 120M | 0.04 RTF · 297 MB | 0.21 RTF · 232 MB |
| STT · Omnilingual 300M | 0.28 RTF · 495 MB | 0.15 RTF · 831 MB |
| TTS · Kokoro-82M | 0.08 RTF · 676 MB | 0.53 RTF · 640 MB |
| TTS · Supertonic-3 99M | 0.15 RTF · 956 MB | 0.34 RTF · 832 MB |
| LLM · FunctionGemma 270M | 128 tok/s · 236 MB | 118 tok/s · 611 MB |
RTF = wall- time audio-seconds (nižší = rychlejší; < 1.0 je rychlejší než reálný čas).
Každá etapa se vyjasňuje v reálném čase. Naložené dohromady pro živého agenta, rezidentní pracovní sada je ~ 1.2 GB na iPhone a ~ 1.5 GB na Galaxy S23 - mezera je skoro všechno. LLM: FunctionGemma vá 236 MB na ANE versus 611 MB na S23 CPU. iOS už běží na NPU (to je 0.04 RTF STT a 128 tok / s LLM); Android je CPU- real-time dnes, s NNAPI / Hexagon delegáty jako proinflační, ne předpoklad.
Zkus to. Examples/iOSEchoDemo běží Parakeet + Silero a Kokoro jako plná echo smyčka na iPhone; strana Android žije v speech-android , balení stejné potrubí. ( Examples/iOSBenchmark je postroj za čísla iPhone výše.)
Desktop: Skutečný LLM, který stroj řídí - stále pod 4 GB.
Na Mac se omezení uvolňuje: jednotná paměť sdílená mezi CPU a Metal GPU. Stejné čtyři fáze, větší modely, a hlavně skutečný chat mozek místo 270M tool- volající - a celá smyčka stále pasuje do ~ 4 GB.
LLM je mozek, a to je místo, kde velikost modelu přestane být volitelná. Po testování, dva modely získal práci: FunctionGemma 270M na mobil (dost na to, aby vyzařoval hovor na nástroj, všechny telefonické agent potřebuje) a Gemma 4 E2B / E4B (4- bit MLX) na ploše (skutečný multi- turn konverzace a uvažování, které se drží nahoru, při pobytu na světle). Lákavý střed - kompaktní sub-1B chatovací hlava - vypadá zdarma na stopě, ale houpe se na skutečné multi- turn, takže to nebylo dělat řez. Skok, na kterém záleží není 0.27B → 0.8B; to je FunctionGemma Tool- call → Gemma 4 konverzace.
Zbytek zásobníku také stoupne: stolní swapy lehké Parakeet- EOU pro Parakeet- TDT (plný vícejazyčný), a TTS zůstává na Supertonic-3 všude - rychle, 44.1 kHz, stabilní. Přeskočíme těžší zero-shop-klonování TTS modely na schválně; klonování není dostatečně spolehlivé, aby se usadilo uvnitř vždy-na agenta.
| Fáze | Mobilní | Desktop (Mac / MLX) |
|---|---|---|
| VAD | Silero v6.2.1 | Silero v6.2.1 |
| STT | Parakeet-EOU (streaming) | Parakeet-TDT (multilingual) |
| LLM | FunctionGemma 270M | Gemma 4 E2B/E4B |
| TTS | Kokoro-82M / Supertonic-3 | Supertonic-3 |
| Resident set | iPhone ~1.2 GB · S23 ~1.5 GB | ~3.6 GB |
| Fáze · model | Mac · M5 Pro (4- bit MLX / CoreML) |
|---|---|
| VAD · Silero v6.2.1 | sub-ms / chunk |
| STT · Parakeet-TDT | 0.04 RTF · 1.3 GB |
| LLM · Gemma 4 E2B | 214 tok/s · 2.9 GB |
| TTS · Supertonic-3 | 0.03 RTF · 0.9 GB |
RTF = stěna cca. audio-seconds (nižší = rychlejší); LLM Řádek je dekódována propustnost. Vrcholná paměť je na jeden model sama - načten dohromady celá smyčka je co- rezident v ~3.6 GB (pod 4 GB): CoreML STT /TTS/VAD závaží jsou zapamatovatelné, takže se neskládají tak, jak by izolované vrcholy.
Jeden plynovod, který odpovídá rozpočtu.
VAD → STT → LLM › TTS je všude totožný. Vše zajímavé je sladění každé fáze s akcelerátorem a pamětí zařízení.
Baterie a termosky vybrat modely. ANE dělá iOS efektivně zdarma CPU- wise; Android je CPU-real-čas dnes s NPU hlavní místnosti přijít.
Celá smyčka se vejde do ~ 4 GB, a rozpočet kupuje Gemma 4 uvažování, které řídí stroj hlasem, plus vícejazyčné Parakeet- TDT.
Audio a stav konverzace nikdy opustit zařízení - vnímání, uvažování, a syntéza všechny běží na kov před vámi.