להפעיל סוכן קול על שכפול
צינור אחד, שלושה תקציבי זיכרון.
סוכן קול מקומי הוא לא מודל אחד - זה צינור של ארבעה: זיהוי פעילות קול, דיבור-טקסט, מודל שפה, וטקסט-ל-סטיפה, מחווט יחד על ידי מכונה של המדינה מסתובבת.הצנרת זהה בטלפון ובמחשב נייד.מה שינויים אשר הולך בכל קופסאות, וזה נקבע על ידי שני מספרים: כמה אתה יכול לעשות זיכרון, אשר יש לך הרבה.
המספר על מנת להחזיק הוא הלולאה כולה, לא מודל אחד: ביטוי דיבור (STT) + דור תשובה (LLM( + דיבור סינתזה)TTS) הכל מתאים בתוכו - - -1.2 GB ב-iPhone -1.5 GB על גלקסי S23ותחת - -4 GB על Mac עם מוח צ'אט אמיתי.
ספריית Core: הצינור הוא החלק הנייד.
תזמורת חיה speech-core כמו טהור C++ מכונה המדינה שהיא מודל-אגנוסטית: ארבעת השלבים הם ממשקים שאתה מקעקעים כל חזרה אל - על-יד ONNX, LiteRT, CoreML/MLXאו אפילו ענן API כך גם אותו צינור פועל. 270M כלי-caller בטלפון ו- Gemma 4 המוח על Mac.
לולאה אחת, ארבעה שלבים. מילה מתעוררת, AEC, ושיפור הם צעדים אופציונליים לפני-VAD; ה- LLM הם מה שמאפשר לו לפעול, לא רק לענות.
התזמורת היא VoicePipeline פנימה speech-core הוא עצמו הופך את גילוי, הפרעה, היסטוריה של שיחה, לולאה של כלי, ודיבור queuing - אבל אין מודלים משלה. ממשק ממשק (VADInterface, STTInterface, LLMInterface, TTSInterface• חזרה עם ONNX Runtime LiteRT, CoreML/MLX (באמצעות ה- ZXQ3XZ) speech-swift גם ענן API. Lighter Modes קיים – Echo (VAD STT) TTS TranscribeOnly (VAD STT)
Mobile Mobile Mobile: NPU-ראשון, וכל הלולאה מתאימה -1.5 GB.
בטלפון המגביל הוא זיכרון, סוללה, תרמילים - לא מקבילה גולמית.המטרה הנכונה היא יחידת העיבוד העצבי (Nice compute compute).NPUתגית: Apple's Neural Engine על iOSNNAPI / Hexagon Androidזה פועל מהפךים קוונטיים בשבריר של הכוח של CPU או או GPU ועוזבים את CPU חינם עבור אודיו ו- UI.
מדוע NPU ולא את CPU או או GPU? An An NPU הוא מנוע קבוע של זרימת נתונים מובנה עבור עבודה אחת - את העודף נמוך להכפיל את ההנחה כי רשתות עצביות עשויים.זה שומר משקולות ב-chip SRAM ממש ליד יחידות compute ומדלג על ההוראה Bring /de ו-code ו-Datapaths רחב מטרות כלליות כי לשרוף את רוב של רוב של נתונים מטרה כללית לשרוף את רוב. CPUאו GPUהאנרגיה של העברת נתונים עולה הרבה יותר מאשר מתמטיקה, כך שמירה על שני המקומיים היא הניצחון: אותם הזדומים לרוץ בשבריר של וואט - לא מתיחה תרמית, לא ניקוז סוללות, ואת הסוללה. CPU נשאר חופשי לכל דבר אחר.
אז הצינור הנייד הוא קטן, קוונטי, מודלים ידידותיים NPU: Silero VAD, Parakeet-EOU 120M (זרימת משקל קלה STT עם סיום קו רוחב) FunctionGemma 270M (המוח המכוון של הכלי) Kokoro-82M או Supertonic-3 לקול. Measured על המכשיר:
| מודל | אייפון 16 Pro (CoreML / ANE) | Galaxy S23 (LiteRT / ONNX, CPU) |
|---|---|---|
| STT · Parakeet-EOU 120M | 0.04 RTF · 297 MB | 0.21 RTF · 232 MB |
| STT · Omnilingual 300M | 0.28 RTF · 495 MB | 0.15 RTF · 831 MB |
| TTS · Kokoro-82M | 0.08 RTF · 676 MB | 0.53 RTF · 640 MB |
| TTS · Supertonic-3 99M | 0.15 RTF · 956 MB | 0.34 RTF · 832 MB |
| LLM · FunctionGemma 270M | 128 tok/s · 236 MB | 118 tok/s · 611 MB |
RTF = קיר-שניות אודיו (lower = מהיר יותר; <1.0 הוא מהיר יותר מאשר זמן אמיתי) זיכרון שיא הוא מודל בבידוד.
כל שלב עומד בקצב של זמן אמת. כאשר כל הרכיבים נטענים יחד עבור סוכן קולי פעיל, נפח הזיכרון הפעיל הוא ~1.2 GB ב-iPhone ו-~1.5 GB ב-Galaxy S23 — ההפרש נובע כמעט כולו מה-LLM: מודל FunctionGemma משתמש ב-236 MB על ה-ANE לעומת 611 MB על ה-CPU של ה-S23. ב-iOS העיבוד כבר פועל על ה-NPU (אלה נתוני ה-0.04 RTF של ה-STT וה-128 tok/s של ה-LLM); ב-Android העיבוד כבר פועל בזמן אמת על ה-CPU, ותמיכה ב-NNAPI/Hexagon היא אפשרות לשיפור ולא תנאי מוקדם.
נסה את זה: Examples/iOSEchoDemo Parakeet + Silero+ Kokoro כלאה מלאה באייפון; הצד Android חי ב- ZXQXZ. speech-android עטוף את אותו צינור (.) Examples/iOSBenchmark הוא רתום מאחורי מספרי ה-iPhone לעיל.)
שולחן עבודה: באמת LLM שמניע את המכונה - עדיין תחת 4 GB.
על A On A Mac ההפסקה מרגיעה: זיכרון מאוחד משותף בין CPU ו Metal GPUאותו ארבעה שלבים, מודלים גדולים יותר, ובאופן מכריע מוח צ'אט אמיתי במקום מוח צ'ט אמיתי. 270M כלי-caller - וכל הלולאה עדיין מתאימה -4 GB.
LLM הוא המוח, וזה המקום שבו גודל המודל מפסיק להיות אופציונלי לאחר בדיקות, שני דגמים הרוויחו את העבודה: FunctionGemma 270M בנייד (מספיקה לפלט שיחת כלים, כל סוכן בצד טלפון צריך) ו Gemma 4 E2B/E4B (4-bit MLX) על שולחן העבודה (ג'ין רב-החזרה שיחה והיגיון, אשר מחזיק, תוך שמירה על אור) האמצעי המפתה - קומפקטי sub-1B ראש צ'אט - נראה חופשי על טביעת רגל אבל מתפתל על ריבוי אמיתי, אז זה לא עשה את הקיצוץ. 0.27B 0.8ב: זה FunctionGemma« שיחות כלי Gemma 4"השיחה.
גם שאר הערימה עולה: שולחן העבודה מחליף את ה- Parakeet-EOU הקל משקל Parakeet-TDT (הרב-לשוני מלא), TTS נשאר על Supertonic-3 בכל מקום - מהיר, 44.1 kHz, יציב.אנחנו מדלגים על דגמי ה- Zero-shot-cloning TTS במטרה; השיבוט אינו אמין מספיק לשבת בתוך סוכן תמיד.
| שלב השלב | Mobile Mobile Mobile | שולחן העבודה (Mac / MLX |
|---|---|---|
| VAD | Silero v6.2.1 | Silero v6.2.1 |
| STT | Parakeet-EOU (streaming) | Parakeet-TDT (multilingual) |
| LLM | FunctionGemma 270M | Gemma 4 E2B/E4B |
| TTS | Kokoro-82M / Supertonic-3 | Supertonic-3 |
| Resident set | iPhone ~1.2 GB · S23 ~1.5 GB | ~3.6 GB |
| מודל | Mac M5 Pro (4 סיביות MLX / CoreML) |
|---|---|
| VAD · Silero v6.2.1 | sub-ms / chunk |
| STT · Parakeet-TDT | 0.04 RTF · 1.3 GB |
| LLM · Gemma 4 E2B | 214 tok/s · 2.9 GB |
| TTS · Supertonic-3 | 0.03 RTF · 0.9 GB |
RTF קיר סמן אודיו שניות (lower = fast); LLM השורה היא לפענח באמצעות ספוט.הזיכרון של שיא הוא מודל בלבד - טעון יחד את כל הלולאה הוא קו-סיידנט ב - -3.6 GB (well under 4 GB: CoreML STT /TTS/VAD משקלים הם ממופת זיכרון, כך שהם לא מחסנים את הדרך שבה השיאים המבודדים יהיו.
צינור אחד, מתאים לתקציב.
VAD STT LLM TTS הוא זהה בכל מקום.כל דבר מעניין תואם כל שלב למאגר והזיכרון של המכשיר.
סוללות ותרמיים בוחרים את המודלים.The ANE עושה iOS ביעילות חינם CPU-wise; Android הוא CPU-real-Time היום עם NPU חדר ראש לבוא.
הלולאה כולה מתאימה ב -4 GB, והתקציב הזה קונה Gemma 4 חשיבה שמניעה את המכונה בקול, בתוספת רב לשוני Parakeet-TDT.
מדינת השמע והשיחה לעולם לא תשאיר את המכשיר - תפיסה, חשיבה, וסינטתזות כולן פועלות על המתכת מולך.