Použít pouzdro · Konverzační

Hlas zadán.
Hlas ven.

Tři tvary hlasových-prvních rozhraní - nativní full- duplex speech- to- proslovy modely, kompoziční probuzení → VAD → ASR → LLM → TTS plynovod jste plně ovládat, a wake- slovo aktivace pro handsfree vstup. Vše on- zařízení, žádný cloud API, žádný zvuk opouští zařízení.

Začínáme Průvodce řečmi

Tři případy použití

Vyberte si tvar, který odpovídá vašemu produktu.

Drop- in dialog model, kompoziční potrubí s per- stage řízení, nebo tenké wake- slovo spouštěč. Každý běží zcela on-zařízení.

Full- duplex speech- to- speak

Nativní modely stream mikrofon audio mluvit výstup bez klasického ASR → LLM ² TTS otočení hranice. Vyberte si VoiceChat asymetrické stack nebo PersonaPlex Moshi- rodinné proudy.

Kompozitní hlasové potrubí

Wake- word → VAD → streaming ASR › on- device LLM Plaza TTS. Per- stage control, transscript visibility, swap motors volným způsobem.

Aktivace Wake-word

Hands- zdarma spouštění pro jakýkoli hlasový tok. Vlastní klíčová slova s per- fráze prahy, sub-5 MB on-zařízení, 26"Real-time".

Původní řeč-to- řeč

Dvě modelové rodiny, dva duplexní návrhy.

Oba akceptují nepřetržitou řeč a generují řeč bez klasického ASR → LLM › TTS otočná hranice. Text může stále existovat uvnitř modelu jako zarovnaný uvažování a řídící proud.

SALM- duplexní linie · asymetrická

VoiceChat 11B

Příčinou vnímání FastConformer je text a funkční kanály Nemotron- H. Projev je vytvářen samostatným textově-stabilizovaným dekodérem Ear- TTS - nikoli hlavou na jazykovém modelu - a neurálním kodekem o hodnotě 22.05 kHz.

Architektura

16 kHz → causal FastConformer

Nemotron-H · text + function

separate EAR-TTS → 22.05 kHz codec

Měřeno lokálně

RTF 0.92–0.94

M5 Pro · 48 GB · Release · protected-head INT5

44.3–46.7 ms first spoken text token · 74.0–76.4 ms first playable audio

76.2–78.6 ms frame p95 · ~8.70 GB peak RSS

Moshi family · multistream

PersonaPlex 7B

PersonaPlex začíná od Moshi závaží a společně modely uživatelského audio, agent text, a agent audio přes Mimi a Depformer proudy. Podporuje simultánní poslech a mluvení, textová role podněcuje, a audio hlas podněcuje.

Architektura

Moshi weights

Mimi RVQ + Depformer

user audio ↔ agent text ↔ agent audio

Měřeno lokálně

RTF ~1.4

M2 Max · 8-bit

~112 ms / step · 18 selectable voices

~9.1 GB bundle · ~11 GB peak RAM

RTF je doba výroby tapet-hodin dělená délkou výstupu-audio; pod 1 může udržet streaming na tomto testovaném zařízení. Tyto běhy používají různé Macy, takže to není pořadí modelu. První výstup a průchodnost rámu jsou teplá měření výpočtu, nenaučil turn-beroucí latence.

Relevantní výzkum

Architektonický rodokmen a duplexní hodnocení.

BESTOW zachycuje předchozí zefektivní SpeechLLM rodokmen NVIDIA, ale mapuje řeč na text; není to duplex S2S model. Moshi a PersonaPlex popisují multistream rodina, zatímco SALM- Duplex popisuje efektivní asymetrické duplex modelování. Full- Duplex- Bench hodnotí pauzy, backchanges, turn-taking, a přerušení - chování interakce, které RTF nezachycuje.

Porovnat nastavení, API, svazky a referenční hodnoty

speech voice-chat · recorded session

Plný duplex na MacBooku, volá skutečné nástroje.

Skutečný běh sezení NVIDIAJe to tak? Nemotron VoiceChat 11B lokálně: mluvené odbočení, přerušení polověta, a kompletní MCP do nástroje Apple Reminders. RTF 0.92 na M5 Pro, 7.5 GB rezident, nic opouští stroj.

Sledujte YouTube Přečtěte si průvodce VoiceChat

Nové zařízení

Počkej, mluv a jednej, místně.

Nedávná práce na třech rozhodnutích hlasový agent dělá: kdy čekat, kdy mluvit, a kdy jednat. Všechno to běží na zařízení.

Full duplex, který volá nástroje

VoiceChat stále poslouchá, zatímco odpovídá, a jeho hlava funkce přemění promluvený požadavek na volání MCP. Na Mac zobrazuje, vytváří a aktualizuje Apple Reminders, s ničím opouštějící stroj.

Přečtěte si text

Čekání na konec myšlenky

Smart Turn v3.2 se ptá, zda řečník skončil před tím, než byla podána žádost, takže "uh, pátek" může stále nahradit čtvrtek. 23-jazykový model běží na CoreML a Swift, ve speech-core C++ runtime a on Android, za pár milisekund na M5 Pro.

Smart Turn průvodce

Příkazová smyčka v 1,2 GB

Zapnout Android, řeč se stává skutečnou akci zařízení a mluvené odpovědi na jednom telefonu: Silero VAD, Parakeet STT, FunctionGemma volání nástrojů a Pocket TTS, plně offline 1.2 GB RAM.

Sledujte demo.

Hloubkové čtení