Tatlong hugis ng voice-first interfaces – katutubong full-duplex speech-to-speech na mga modelo, isang komposisyonal na shoat → VAD → ASR → LLM → TTS Tugtog ka nang lubos, at i-fread-word compilation para sa hand-free entry. lahat ng on-device, walang ulap APIs, walang audio na nag-iiwan ng aparato.
Drop-in diversion model, compilational pipeline na may per-stage control, o isang manipis na shoat-word trigger. Bawat isa ay tumatakbo ng kabuuang on-device.
Dalawang pamilyang modelo, dalawang disenyong duplex.
Kapuwa sila tumatanggap ng patuloy na pagsasalita at lumilikha ng pananalita nang walang klasikal na pananalita ASR → LLM → TTS Ang teksto ay maaari pa ring umiral sa loob ng modelo bilang isang magkahanay na pangangatuwiran at kontrol sa daloy ng tubig.
SALM-Duplex lineage · asymmetric
VoiceChat 11B
Ang Causal FastConformant perception ay tumuturing sa Nemotron-H text at function channels. Ang pagsasalita ay iginawad ng isang hiwalay na text-conditioned user-TTTS decoder — hindi isang ulo sa modelo ng wika – at isang 22.05 kHz neural codec.
Arkitektura
16 kHz → causal FastConformer
Nemotron-H · text + function
separate EAR-TTS → 22.05 kHz codec
Sinukat sa Lokal na Paraan
RTF 0.92–0.94
M5 Pro · 48 GB · Release · protected-head INT5
44.3–46.7 ms first spoken text token · 74.0–76.4 ms first playable audio
76.2–78.6 ms frame p95 · ~8.70 GB peak RSS
Moshi pamilya · multi-stream
PersonaPlex 7B
Ang PersonaPlex ay nagsisimula mula sa Moshi na mga pabigat at magkasanib na mga modelo na gumagamit ng audio, agent text, at agent audio sa pamamagitan ng Mimi at Depublic na mga sapa. Ito ay sumusuporta sa sabay-sabay na pakikinig at pagsasalita, pag-udyok ng papel, at audio na voice regger.
Arkitektura
Moshi weights
Mimi RVQ + Depformer
user audio ↔ agent text ↔ agent audio
Sinukat sa Lokal na Paraan
RTF ~1.4
M2 Max · 8-bit
~112 ms / step · 18 selectable voices
~9.1 GB bundle · ~11 GB peak RAM
Ang RTF ay wall-clock generation time na hinahati ng output-audio na tagal; sa ibaba 1 ay maaaring tustusan ang pag-agos sa tested device na iyon. Ang mga run na ito ay gumagamit ng iba't ibang Macs, kaya hindi sila isang modelong ranking. Ang unang output at frame sa pamamagitan ngput ay mainit na compute na sukat, hindi pinag-aaralang pagkuha ng latency.
Angkop na pananaliksik
Arkitekturang pinagmulan at duplex na pagtatasa.
Mga huli sa BESTOW NVIDIA Ang mga xip bago ang streamable SpeechLLM lineage, ngunit ito'y gumagawa ng mapa sa pagsasalita sa teksto; hindi ito isang duplex S2S modelo. Moshi at PersonaPlex Ilarawan ang pamilyang multi-stream, habang inilalarawan ng SIM-Duplex ang mahusay na asymmetrikong duplex na pagmomodelo. Full-Duplex-Bench ang mga paghinto, backchanns, turnel, turning, at mga pang-abala – interaksiyong pag-uugali na nagrereresulta sa pag-uuugali RTF ay hindi nakahuli.
Buong duplex sa isang MacBook, tinatawag ang tunay na mga kasangkapan.
Isang tunay na sesyon na tumatakbo NVIDIA' Nemotron VoiceChat 11B lokal: isang binibigkas na pagliko, isang pag-abala sa mid-sentence, at isang kumpletong pag-ikot MCP kailangan ng Apple Reminders. RTF 0.92 sa isang M5 Pro, 7.5 GB residente, walang lumalabas sa makina.
Ang kamakailang paggawa sa tatlong desisyon ay ginagawa ng isang voice agent: kung kailan maghihintay, kailan magsasalita, at kung kailan kikilos. lahat ng ito ay tumatakbo sa aparato.
