Bruke tilfelle · Samtale

Stem inn.
Stem ut.

Tre former for stemme-første grensesnitt - innfødte full-duplex tale-til-speech modeller, en komposisjonell wake → VAD → ASR → LLM →TTS pipeline du fullstendig kontroll, og vekkeord aktivering for håndfri oppføring. Alle on-device, ingen sky-APIer, ingen lyd som forlater enheten.

Kom i gang Speech-to-speech guide

Tre underbrukssaker

Velg den formen som passer produktet ditt.

Drop-in dialogmodell, komposisjonell rørledning med per trinn kontroll, eller en tynn wake-word trigger. Hver kjører helt på-device.

Full-duplex tale-til-speech

Native modeller strøm mikrofon lyd til talt utdata uten en klassisk ASR → LLM→ TTS dreiegrense. Velg VoiceChats asymmetriske stabel eller PersonaPlex moshi-familiestrømmer.

Komposisjonell stemmerørledning

Vekkerord → VAD → streaming ASR → on-device LLM → TTS. Per-stage kontroll, transkripsjonssynlighet, byttemotorer fritt. Bygg din egen Siri.

Aktivering av vektord

Håndfri utløser for enhver talestrøm. Tilpassede nøkkelord med per-frase terskelverdier, sub-5 MB på enhet, 26× sanntid.

Nasjonal tale-til-speech

To modeller familier, to duplex design.

Begge aksepterer kontinuerlig tale og genererer tale uten en klassisk ASR → LLM→ TTS snugrense. Tekst kan fortsatt eksistere inne i modellen som en justert resonnement og styrestrøm.

SALM-Duplex linje · asymmetrisk

VoiceChat 11B

Causal FastConformer perception feeds Nemotron-H tekst- og funksjonskanaler. Tale gjøres av en separat tekst-kondisjonert EAR-TTS dekoder - ikke et hode på språkmodellen - og en 22.05 kHz nevral codec.

Arkitektur

16 kHz → causal FastConformer

Nemotron-H · text + function

separate EAR-TTS → 22.05 kHz codec

Målt lokalt

RTF 0.92–0.94

M5 Pro · 48 GB · Release · protected-head INT5

44.3–46.7 ms first spoken text token · 74.0–76.4 ms first playable audio

76.2–78.6 ms frame p95 · ~8.70 GB peak RSS

Moshi familie · flerstrøms

PersonaPlex 7B

PersonaPlex starter fra Moshi vekter og i fellesskap modeller brukerlyd, agenttekst og agentlyd gjennom Mimi og Depformer-strømmer. Det støtter samtidig lytte og tale, tekstrolle spør og lyd stemme spør.

Arkitektur

Moshi weights

Mimi RVQ + Depformer

user audio ↔ agent text ↔ agent audio

Målt lokalt

RTF ~1.4

M2 Max · 8-bit

~112 ms / step · 18 selectable voices

~9.1 GB bundle · ~11 GB peak RAM

RTF er wall-clock genereringstid delt etter utgangs-audio varighet; under 1 kan opprettholde streaming på den testede enheten. Disse kjørene bruker forskjellige Mac-er, så de er ikke en modellrangering. Første utgang og rammegjennomstrømning er varme beregninger, ikke lært å slå på latens.

Relevant forskning

Arkitektur lineage og duplex evaluering.

BESTOW fanger NVIDIAs tidligere streamingable SpeechLLM-linje, men det kartlegger tale til tekst; det er ikke en duplex S2S-modell. Moshi og PersonaPlex beskriver flerstrømsfamilien, mens SALM-Duplex beskriver effektiv asymmetrisk duplexmodellering. Full-Duplex-Bench evaluerer pauser, tilbakekanaler, tur-taking og avbrudd - interaksjon at RTF ikke fanger.

Sammenlign oppsett, APIer, bunter og referansepunkter

speech voice-chat · recorded session

Full duplex på en MacBook, som kaller ekte verktøy.

En ekte økt kjører NVIDIA«S Nemotron VoiceChat 11B lokalt: en taletur, en avbrudd midt-sentens, og en komplett MCP tool call in Apple Reminders. RTF 0.92 på en M5 Pro, 7.5 GB beboer, ingenting etterlater maskinen.

Se på YouTube Les guiden VoiceChat

Ny på enheten

Vent, snakk og handle lokalt.

Nylig arbeid på de tre avgjørelsene en stemmeagent gjør: når å vente, når å snakke, og når å handle. Alt kjører på enheten.

Full duplex som kaller verktøy

VoiceChat fortsetter å lytte mens det svarer, og dets funksjonshode gjør en taleforespørsel til en MCP verktøysamtale. På en Mac lister den, oppretter og oppdaterer Apple Reminders, uten at noe forlater maskinen.

Les skriveoppskriften

Venter på slutten av tanken

Smart Turn v3.2 spør om høyttaleren er ferdig før en forespørsel er utført, så \"uh, fredag\" kan fortsatt erstatte torsdag. 23-språksmodellen kjører på CoreML og Swift, i speech-core C++ kjøretid og på Android, i noen sekunder på M5 Pro.

Smart Turn guide

En kommandosløyfe i 1,2 GB

På Android blir tale en reell enhetshandling og et talesvar på én telefon: Silero VAD, Parakeet STT, FunctionGemma verktøysamtaler og Pocket TTS, helt frakoblet i 1,2 GB RAM.

Se på demoen

Dypere lesing