Caso d'uso · Conversazione

Voce.
Voce.

Tre forme di interfacce vocali-first — nativo full-duplex di parole-to-speech modelli, una sveglia compositiva → VAD → ASR → LLM → TTS tutto on-device, nessuna API cloud, nessun audio che lascia il dispositivo.

Per iniziare Guida per la stampa

Tre valigette sottoutilizzate

Scegli la forma che si adatta al tuo prodotto.

Modello di dialogo drop-in, pipeline compositiva con controllo per-stadio, o un semplice trigger di parola-sveglia.

Discussione su tutto il complesso

Modelli nativi flusso audio microfono a uscita parlata senza un classico ASR → LLM → TTS girare il confine. Scegliere VoiceChatpila asimmetrica o PersonaPlexI flussi Moshi-famiglia.

Conduttura vocale compositiva

Wake-word → VAD → streaming ASR → on-device LLM → TTS. Controllo per stadio, visibilità trascrizione, motori di swap liberamente.

Attivazione della parola sveglia

Attivazione senza mani per qualsiasi flusso vocale. Parole chiave personalizzate con soglie per-phrase, sub-5 MB on-device, 26× in tempo reale.

Discorso nativo-speech

Due famiglie modello, due disegni duplex.

Entrambi accettano il discorso continuo e generano il discorso senza un classico ASR → LLM → TTS il testo può ancora esistere all'interno del modello come un ragionamento allineato e un flusso di controllo.

SALM-Duplex lineage · asimmetrico

VoiceChat 11B

La percezione causale FastConformer alimenta i canali di testo e di funzione Nemotron-H. La parola è resa da un decoder EAR-TTS separato, non una testa sul modello di lingua e un codec neurale 22.05 kHz.

Architettura

16 kHz → causal FastConformer

Nemotron-H · text + function

separate EAR-TTS → 22.05 kHz codec

Misura localmente

RTF 0.92–0.94

M5 Pro · 48 GB · Release · protected-head INT5

44.3–46.7 ms first spoken text token · 74.0–76.4 ms first playable audio

76.2–78.6 ms frame p95 · ~8.70 GB peak RSS

Moshi famiglia · multi-stream

PersonaPlex 7B

PersonaPlex parte dai pesi Moshi e modelli congiuntamente audio utente, testo dell'agente e audio dell'agente attraverso Mimi e flussi Depformer. Supporta l'ascolto e la conversazione simultanei, i prompt dei ruoli di testo e i prompt vocali audio.

Architettura

Moshi weights

Mimi RVQ + Depformer

user audio ↔ agent text ↔ agent audio

Misura localmente

RTF ~1.4

M2 Max · 8-bit

~112 ms / step · 18 selectable voices

~9.1 GB bundle · ~11 GB peak RAM

RTF è il tempo di generazione a parete diviso per la durata dell'audio di uscita; sotto 1 può sostenere lo streaming su quel dispositivo testato. Queste funzioni utilizzano diversi Mac, quindi non sono una graduatoria del modello. La prima uscita e il throughput del frame sono misurazioni di calcolo a caldo, non ha imparato la latenza turn-taking.

Ricerca rilevante

Lignaggio di architettura e valutazione duplex.

BESTOW cattura NVIDIA’s precedenti streamable lineage SpeechLLM, ma mappa il discorso al testo; non è un duplex S2S modello. Moshi e PersonaPlex descrivere la famiglia multi-stream, mentre SALM-Duplex descrive l'efficiente modellazione asimmetrica duplex. Full-Duplex-Bench valuta pause, backchannel, turn-taking e interruzioni — comportamento di interazione che RTF non cattura.

Confronta le impostazioni, le API, i pacchetti e i benchmark

speech voice-chat · recorded session

Full duplex su un MacBook, chiamando strumenti reali.

Una vera sessione in esecuzione NVIDIAE'... Nemotron VoiceChat 11B localmente: una svolta parlata, un'interruzione di mezza-sentenza, e una completa MCP strumento di chiamata in Apple Reminders. RTF 0.92 su un M5 Pro, 7.5 residente in GB, niente lasciare la macchina.

Guarda su YouTube Leggi la guida VoiceChat

Nuovo su dispositivo

Aspetta, parla e agisci, a livello locale.

Lavoro recente sulle tre decisioni che un agente vocale fa: quando aspettare, quando parlare, e quando agire. Tutto questo funziona sul dispositivo.

Full duplex che chiama strumenti

VoiceChat continua ad ascoltare mentre risponde, e la sua testa di funzione trasforma una richiesta parlata in una chiamata utensile MCP. Su una Mac elenca, crea e aggiorna Apple Reminders, senza lasciare nulla alla macchina.

Leggi la scrittura

Aspettando la fine del pensiero

Smart Turn v3.2 chiede se l'oratore ha finito prima di una richiesta è impegnata, quindi “uh, venerdì” può ancora sostituire giovedì. 23- modello di lingua funziona CoreML e Swift, nel speech-core C++ runtime e su Android, in pochi millisecondi su M5 Pro.

Smart Turn

Un loop di comando in 1.2 GB

Su Android, il discorso diventa un'azione reale del dispositivo e una risposta parlata su un telefono: Silero VAD, Parakeet STT, FunctionGemma chiamate e Pocket TTS, completamente offline in 1.2 GB di RAM.

Guarda la demo

Lettura più profonda