Brugstilfælde · Konversationssag

Stemme ind.
Stemme ud.

Tre former for voice- første grænseflader - indfødte full- duplex speech- to- tale modeller, en kompositional wake → VAD → ASR → LLM → TTS pipeline du fuldt kontrol, og wake- ord aktivering for håndfri indgang. Alle on- enhed, ingen cloud API 'er, ingen lyd forlader enheden.

Kom i gang Tale- to- taleguide

Tre undersø gelser

Vælg den form, der passer til dit produkt.

Drop-i dialog model, komposition rørledning med per- stage kontrol, eller en tynd wake- ord udløser. Hver kører helt on- enhed.

Full-duplex speech- to- tale

Native modeller stream mikrofon lyd til talt output uden en klassisk ASR → LLM gt TTS turn grænse. Vælg VoiceChat asymmetrisk stak eller PersonaPlex Moshi- familie strømme.

Stemmerettighedsrørledning

Wake- word → VAD → streaming ASR & on- enhed LLM; TTS. Per- stage kontrol, udskrift synlighed, bytte motorer frit. Byg din egen Siri.

Aktivering af wake- ord

Håndfri udløser for enhver stemme flow. Brugerdefinerede søgeord med per- sætning tærskler, sub-5 MB on- device 26× realtid.

Indfødt tale - to- tale

To modelfamilier, to dobbeltdesigns.

Både acceptere kontinuerlig tale og generere tale uden en klassisk ASR → LLM R. TTS turn grænse. Tekst kan stadig eksistere inde i modellen som en justeret ræsonnement og kontrol stream.

SALM- Duplex-lineage · asymmetrisk

VoiceChat 11B

Caausal FastConformer opfattelse feeds Nemotron- H tekst og funktion kanaler. Tale er leveret af en separat tekstbetinget EAR- TTS dekoder - ikke et hoved på sprogmodellen - og en 22.05 kHz neurale codec.

Arkitektur

16 kHz → causal FastConformer

Nemotron-H · text + function

separate EAR-TTS → 22.05 kHz codec

Målt lokalt

RTF 0.92–0.94

M5 Pro · 48 GB · Release · protected-head INT5

44.3–46.7 ms first spoken text token · 74.0–76.4 ms first playable audio

76.2–78.6 ms frame p95 · ~8.70 GB peak RSS

Moshi familie · multi- stream

PersonaPlex 7B

PersonaPlex starter fra Moshi vægte og i fællesskab modeller bruger lyd, agent tekst, og agent lyd gennem Mimi og Depformer streams. Det understøtter samtidig lytte og tale, tekst rolleprompts, og lyd stemme prompts.

Arkitektur

Moshi weights

Mimi RVQ + Depformer

user audio ↔ agent text ↔ agent audio

Målt lokalt

RTF ~1.4

M2 Max · 8-bit

~112 ms / step · 18 selectable voices

~9.1 GB bundle · ~11 GB peak RAM

RTF er væg- clock generering tid divideret med output- audio varighed; nedenfor 1 kan opretholde streaming på den testede enhed. Disse kører bruger forskellige Macs, så de er ikke en model rangering. Første output og frame through er hot computermålinger, ikke lært turn- tage latency.

Relevant forskning

Arkitektur lineage og duplex evaluering.

BESTOW indfanger NVIDIA 's forudgående strømførende SpeechLLM lineage, men det kort tale til tekst; det er ikke en duplex S2S model. Moshi og PersonaPlex beskriver multistream familie, mens SALM-Duplex beskriver effektiv asymmetrisk duplex modellering. Full-Duplex- Bench evaluerer pauser, backanals, turn- take, og afbrydelser - interaktion adfærd, som RTF ikke fanger.

Sammenlign opsætning, API 'er, bundter og benchmarks

speech voice-chat · recorded session

Fuld duplex på en MacBook, kalder rigtige værktøjer.

En rigtig session kører NVIDIA's Nemotron VoiceChat 11B lokalt: en talt drejning, en afbrydelse midt-sætning, og en komplet MCP værktøj call into Apple Reminders. RTF 0.92 på en M5 Pro, 7.5 GB resident, intet forlader maskinen.

Se på YouTube Læs vejledningen VoiceChat

Ny på enheden

Vent, tal og handl lokalt.

Nyligt arbejde på de tre beslutninger en stemme agent gør: hvornår at vente, hvornår at tale, og hvornår at handle. Alt det kører på enheden.

Fuld duplex, der kalder værktøjer

VoiceChat bliver ved med at lytte, mens den svarer, og dens funktion vender hovedet en talt anmodning til et MCP værktøj opkald. På en Mac det lister, skaber og opdaterer Apple Reminders, med intet forlader maskinen.

Læs opskriften

Venter på slutningen af tanken

Smart Turn v3.2 spørger, om taleren er færdig, før en anmodning er fremsat, så "øh, fredag" kan stadig erstatte torsdag. 23-sprogmodel kører på CoreML og Swift, i speech-core C++ runtime og on Android, i et par millisekunder på en M5 Pro.

Smart Turn guide

En kommandorokke i 1,2 GB

Til Android, tale bliver en reel enhed handling og et talt svar på én telefon: Silero VAD, Parakeet STT, FunctionGemma værktøjskald og Pocket TTS, helt offline i 1.2 GB af RAM.

Se demoen

Dybere læsning