Använd fall · Konversationellt

Röst in.
Röst ut.

Tre former av röst-första gränssnitt - infödda full-duplex tal-till-tal-modeller, en kompositionell kölvatten VAD → ASR → LLM → TTS pipeline du fullt kontroll, och väcka-ord aktivering för hands-free ingång. All on-device, inga moln API, ingen ljud lämnar enheten.

Kom igång Tal-till-tal guide

Tre underanvändningsfall

Välj den form som passar din produkt.

Drop-in dialog modell, kompositionell pipeline med per-steg kontroll, eller en tunn väcka-ord trigger. Varje körs helt på-enhet.

Full-duplex tal-till-tal

Native modeller ström mikrofon ljud till talad produktion utan en klassisk ASR → LLM TTS vända gränsen. Välj VoiceChat asymmetrisk stack eller PersonaPlex Moshi-familj strömmar.

Kompositionell röstpipeline

Wake-word → VAD → streaming ASR på-enhet LLM TTS. Per-stegskontroll, transkript synlighet, byta motorer fritt. Bygg din egen Siri.

Wake-word aktivering

Hands-free trigger för alla röstflöden. Anpassade sökord med tröskelvärden per fras, sub-5 MB on-device, 26× realtid.

Native speech-to-speech

Två modellfamiljer, två duplexdesigner.

Båda accepterar kontinuerligt tal och genererar tal utan en klassisk ASR LLM → TTS vända gränsen. Text kan fortfarande existera i modellen som ett anpassat resonemang och kontrollflöde.

SALM-Duplex linjen · asymmetrisk

VoiceChat 11B

Causal FastConformer perception matar Nemotron-H text- och funktionskanaler. Tal görs av en separat text-konditionerad EAR-TTS-avkodare - inte ett huvud på språkmodellen - och en 22,05 kHz neural codec.

Arkitektur

16 kHz → causal FastConformer

Nemotron-H · text + function

separate EAR-TTS → 22.05 kHz codec

Mäts lokalt

RTF 0.92–0.94

M5 Pro · 48 GB · Release · protected-head INT5

44.3–46.7 ms first spoken text token · 74.0–76.4 ms first playable audio

76.2–78.6 ms frame p95 · ~8.70 GB peak RSS

Moshi familj · multi-stream

PersonaPlex 7B

PersonaPlex startar från Moshi vikter och gemensamt modellerar användarljud, agent text och agent ljud genom Mimi och Depformer strömmar. Det stöder samtidig lyssning och tal, text roll uppmanar, och ljud rösta uppmanar.

Arkitektur

Moshi weights

Mimi RVQ + Depformer

user audio ↔ agent text ↔ agent audio

Mäts lokalt

RTF ~1.4

M2 Max · 8-bit

~112 ms / step · 18 selectable voices

~9.1 GB bundle · ~11 GB peak RAM

RTF är vägg-klocka generationstid dividerad med utgång-audio varaktighet; under 1 kan upprätthålla streaming på den testade enheten. Dessa körningar använder olika Macs, så de är inte en modell ranking. Första utgången och ram genomströmning är heta compute mätningar, inte lärt sig vändning latens.

Relevant forskning

Arkitekturlinje och duplex utvärdering.

BESTOW fångar NVIDIA’ s föregående streamable SpeechLLM lineage, men det kartlägger tal till text; det är inte en duplex S2S modell. Moshi och PersonaPlex beskriva den multi-stream familjen, medan SALM-Duplex beskriver effektiv asymmetrisk duplex modellering. Full-Duplexi-Bench utvärderar pauser, bakkanaler, tur-taking och avbrott - interaktionsbeteende som RTF Inte fånga.

Jämför installation, API, buntar och referensvärden

speech voice-chat · recorded session

Full duplex på en MacBook, kalla verkliga verktyg.

En riktig session som kör NVIDIAs. Nemotron VoiceChat 11B lokalt: en talad tur, ett avbrott mitt i tystnad och en komplett MCP Verktygsuppmaning till Apple Reminders. RTF 0.92 på en M5 Pro, 7.5 GB bosatt, inget lämnar maskinen.

Titta på YouTube Läs VoiceChat guide

Nytt på enheten

Vänta, tala och agera lokalt.

Nyligen arbete på de tre besluten en röst agent gör: när man ska vänta, när man ska tala, och när man ska agera. Allt det går på enheten.

Full duplex som kallar verktyg

VoiceChat fortsätter att lyssna medan det svarar, och dess funktionshuvud förvandlar en talad begäran till ett MCP verktyg samtal. På en Mac listar den, skapar och uppdaterar Apple Reminders, med ingenting lämnar maskinen.

Läs uppskrivningen

Väntar på slutet av tanken

Smart Turn v3.2 frågar om talaren har avslutats innan en förfrågan begås, så "uh, Friday" kan fortfarande ersätta torsdagen. 23-språksmodellen körs på CoreML och Swifti den speech-core C++ Runtime och On Androidi några millisekunder på en M5 Pro.

Smart Turn guide

En kommandoloop i 1,2 GB

På Android blir tal en riktig enhetsåtgärd och ett talat svar på en telefon: Silero VAD, Parakeet STT, FunctionGemma verktygssamtal och Pocket TTS, helt offline i 1.2 GB av RAM

Titta på demo

Djupare läsning