Gebruik geval · Conversatie

Stem in.
Stem uit.

Drie vormen van voice-first interfaces, native full-duplex speech-to-speech modellen, een compositorische wake → VAD → ASR → LLM → TTS pijplijn u volledig te controleren, en wake-word activering voor hands-free entry. Alle on-apparaat, geen cloud API's, geen audio verlaten van het apparaat.

Aan de slag Speech-to-speech-gids

Drie sub-gebruik-gevallen

Kies de vorm die past bij uw product.

Drop-in dialoogmodel, compositorische pijplijn met per-trap controle, of een dunne wake-word trigger. Elk draait volledig op-apparaat.

Volledig duplex speech-to-speech

Native modellen stream microfoon audio naar gesproken uitgang zonder een klassieke ASR → LLM → TTS draaigrens. Kies VoiceChatAsymmetrische stapels PersonaPlexMoshi-familie stroomt.

Samenstellingsstempijplijn

Wake-word → VAD → streaming ASR → op-apparaat LLM → TTSPer fase controle, transcript zicht, wissel motoren vrij.

Wake-word activering

Hands-free trigger voor elke spraakstroom. Aangepaste trefwoorden met per-zin drempels, sub-5 MB on-device, 26× real-time.

Native speech-to-speech

Twee modelfamilies, twee duplexontwerpen.

Beiden accepteren continue spraak en genereren spraak zonder een klassieke ASR → LLM →TTS draaigrens. Tekst kan nog steeds bestaan in het model als een uitgelijnde redenerings- en controlestroom.

SALM-Duplex-lijn · asymmetrisch

VoiceChat 11B

Causaal FastConformer perceptie voedt Nemotron-H tekst- en functiekanalen. Speech wordt weergegeven door een aparte tekst-conditioned EAR-TTS decoder, niet een hoofd op het taalmodel en een 22.05 kHz neurale codec.

Architectuur

16 kHz → causal FastConformer

Nemotron-H · text + function

separate EAR-TTS → 22.05 kHz codec

Lokaal gemeten

RTF 0.92–0.94

M5 Pro · 48 GB · Release · protected-head INT5

44.3–46.7 ms first spoken text token · 74.0–76.4 ms first playable audio

76.2–78.6 ms frame p95 · ~8.70 GB peak RSS

Moshi familie · multistream

PersonaPlex 7B

PersonaPlex begint vanaf Moshi gewichten en modelleert gezamenlijk gebruikers audio, agent tekst en agent audio via Mimi en Depformer streams. Het ondersteunt gelijktijdig luisteren en spreken, tekstroleprompts en audiostemprompts.

Architectuur

Moshi weights

Mimi RVQ + Depformer

user audio ↔ agent text ↔ agent audio

Lokaal gemeten

RTF ~1.4

M2 Max · 8-bit

~112 ms / step · 18 selectable voices

~9.1 GB bundle · ~11 GB peak RAM

RTF is wandklok generatie tijd gedeeld door output-audio duur; minder dan 1 kan streaming ondersteunen op dat geteste apparaat. Deze wordt uitgevoerd met verschillende Macs, dus ze zijn geen model rangschikking. Eerste output en frame doorvoer zijn hot compute metingen, niet geleerd turn-taking latency.

Relevant onderzoek

Architectuurlijn en duplex evaluatie.

BESTOW vangt NVIDIA.De preliminaire speechLLM-aflijning, maar het is geen duplex S2S model. Moshi en PersonaPlex beschrijft de multistream-familie, terwijl SALM-Duplex een efficiënte asymmetrische duplex-modellering beschrijft. Full-Dupex-Bench evalueert pauzes, backchannels, turn-taking en onderbrekingen van interactiegedrag dat RTF niet vastlegt.

Vergelijk setup, API's, bundels en benchmarks

speech voice-chat · recorded session

Volledige duplex op een MacBook, bellen echte tools.

Een echte sessie die NVIDIA's Nemotron VoiceChat 11B lokaal: een gesproken beurt, een onderbreking halverwege de zin, en een complete MCP gereedschapsoproep naar Apple Reminders. RTF 0,92 op een M5 Pro, 7,5 GB-bewoner, niets dat de machine verlaat.

Bekijk YouTube Lees de gids VoiceChat

Nieuw op apparaat

Wacht, spreek en handel, lokaal.

Recentelijk werk aan de drie beslissingen die een stemagent maakt: wanneer te wachten, wanneer te spreken, en wanneer te handelen. Alles draait op het apparaat.

Volledige duplex dat tools aanroept

VoiceChat blijft luisteren terwijl het antwoordt, en zijn functiehoofd verandert een gesproken verzoek in een MCP gereedschapsaanroep. Op een Mac wordt Apple Reminders weergegeven, aangemaakt en bijgewerkt, zonder dat er iets uit de machine komt.

Lees het opschrijven

Wachten op het einde van de gedachte

Smart Turn v3.2 vraagt of de spreker klaar is voordat een verzoek wordt gedaan, dus vrijdag kan nog steeds donderdag vervangen worden. Het 23-taalmodel draait op CoreML en Swift, in de speech-core C++ runtime en op Android, in een paar milliseconden op een M5 Pro.

Smart Turn guide

Een commandolus in 1,2 GB

Op Android wordt spraak een echte apparaatactie en een gesproken antwoord op één telefoon: Silero VAD, Parakeet STT, FunctionGemma tool calls en Pocket TTS, volledig offline in 1,2 GB RAM.

Bekijk de demo

Dieper lezen