Utilizare caz · Conversație

Voce inch
Vocea afară.

Trei forme de interfeţe vocale-primul rând de interfeţe VAD → ASR → LLM → TTS Conducta pe care o controlați pe deplin, și activarea cuvânt de trezire pentru intrare hands-free. Toate on-device, fără API-uri de nor, nici un sunet părăsind dispozitivul.

Primii pași Ghid de vorbire în vorbire

Trei sub-utilizări

Alege forma care se potrivește produsului dumneavoastră.

Model de dialog drop-in, conducta compozitionala cu control pe scena, sau un declansator subtire de cuvinte de trezire. Fiecare ruleaza in intregime pe-dispozitiv.

Discurs-la-discurs complet-duplex

Modele native audio microfon flux la ieșire vorbită fără un clasic ASR → LLM → TTS Întoarce limita. VoiceChatStive asimetrice sau PersonaPlexMoshi-family flows.

Conductă vocală compoziţională

Wake-word → VAD → flux ASR → dispozitiv on- line LLM → TTSControl pe scenă, vizibilitate de transcriere, motoare de schimb liber.

Activare cuvânt de trezire

Declanşator fără mâini pentru orice flux de voce. Cuvinte cheie personalizate cu praguri per-fraza, sub-5 MB on-device, 26× în timp real.

Discurs nativ-la-discurs

Două familii model, două modele duplex.

Ambele acceptă vorbirea continuă și generează vorbirea fără un limbaj clasic ASR → LLM → TTS intoarce limita. Textul poate exista inca in interiorul modelului ca un rational si flux de control aliniat.

SALM-Duplex linie · asimetric

VoiceChat 11B

Cauza FastConform perception feeds Nemotron-H text și canalele de funcționare. Discursul este redat de un separat text-condiționat EAR-TTS decodor 22.05 KHM codec neural.

Arhitectură

16 kHz → causal FastConformer

Nemotron-H · text + function

separate EAR-TTS → 22.05 kHz codec

Măsurată local

RTF 0.92–0.94

M5 Pro · 48 GB · Release · protected-head INT5

44.3–46.7 ms first spoken text token · 74.0–76.4 ms first playable audio

76.2–78.6 ms frame p95 · ~8.70 GB peak RSS

Moshi familia · multi-stream

PersonaPlex 7B

PersonaPlex începe de la Moshi greutăți și modele comune audio de utilizator, text de agent, și agent audio prin Mimi și fluxuri Depformer. Acesta suportă ascultare și vorbire simultană, mesaje de rol text, și semnale de voce audio.

Arhitectură

Moshi weights

Mimi RVQ + Depformer

user audio ↔ agent text ↔ agent audio

Măsurată local

RTF ~1.4

M2 Max · 8-bit

~112 ms / step · 18 selectable voices

~9.1 GB bundle · ~11 GB peak RAM

RTF este timpul de generare de perete-ceas împărțit la durata de ieșire-audio; mai jos 1 poate susține streaming pe acel dispozitiv testat. Aceste ruleaza folosesc diferite Macs, astfel încât acestea nu sunt un model de clasament. Prima ieșire și cadru sunt măsurători la cald calcul, nu învățat turn-taking latență.

Cercetarea relevantă

Architectura si evaluarea duplexului.

BESTOW captează NVIDIA. Desenele anterioare SPECIALLLM, dar prezintă discursul în text; nu este un model duplex S2S . Moshi și PersonaPlex descriu comportamentul de interacțiune multi-stream, în timp ce SALM-Duplex descrie modelarea duplex asimetrică eficientă. Full-Dulex-Bench evaluează pauze, backcannel-uri, turn-taking și întreruperi comportamentul de interacțiune pe care RTF nu îl captează.

Comparați configurarea, API-urile, pachetele și criteriile de referință

speech voice-chat · recorded session

Duplex complet pe o MacBook, numind instrumente reale.

O sesiune reală care rulează NVIDIA's Nemotron VoiceChat 11B la nivel local: un viraj vorbit, o întrerupere la mijlocul sentenței și un apel complet MCP instrument în Apple Reminders. RTF 0,92 pe un M5 Pro, 7.5 GB rezidenți, nimic care să părăsească mașina.

Watch on YouTube Citește ghidul VoiceChat

Nou pe dispozitiv

Stai, vorbeşte şi acţionează, local.

Lucrări recente asupra celor trei decizii pe care le ia un agent vocal: când să aștepte, când să vorbească și când să acționeze. Toate acestea rulează pe dispozitiv.

Duplex complet care solicită instrumente

VoiceChat continuă să asculte în timp ce răspunde, iar capul său de funcție transformă o cerere vorbită într-un apel instrumental MCP. Pe o Mac el listează, creează și actualizează Apple Reminders, fără a părăsi mașina.

Citeşte raportul.

Aşteptând sfârşitul gândului

Smart Turn v3.2 întreabă dacă vorbitorul a terminat înainte de a fi comisă o cerere, astfel încât 23-Modelul de limbă merge mai departe CoreML şi Swift, în speech-core C++ timp de funcționare și pe Android, în câteva milisecunde pe o M5 Pro.

Smart Turn guide

O buclă de comandă în 1,2 GB

La Android, discursul devine o acțiune reală a dispozitivului și un răspuns vorbit pe un singur telefon: Silero VAD, Parakeet STT, FunctionGemma apeluri instrument și Pocket TTS, complet offline în 1,2 GB RAM.

Uita-te la demo

Citire mai profundă