Use case · Conversational

Głos.
Wydech.

Trzy kształty interfejsów głośnomówiących - rodzime modele typu full-duplex-to-speaks, stypa kompositional → VAD → ASR → LLM → TTS w pełni sterujesz i aktywacja słów budzących dla wejścia bez obsługi ręcznej. Wszystkie urządzenia, bez API w chmurze, brak audio opuszczania urządzenia.

Pierwsze kroki Przewodnik po przemówieniu

Trzy przypadki podużycia

Wybierz kształt, który pasuje do produktu.

Drop- w modelu dialogu, rurociąg kompozycyjny z per- stopniowym sterowaniem, lub cienkim spustu słowa budzenie. Każdy działa w całości na-urządzeniu.

Pełna przemowa duplex-to-mowa

Native models stream micro audio do mówionego wyjścia bez klasycznego ASR → LLM → TTS obrać granicę. Wybierz VoiceChatAsymetryczny stos lub PersonaPlexStrumienie z rodziny Moshiów.

Gazociąg głośnikowy składowy

Wake- słowo → VAD → strumieniowanie ASR → on- device LLM → TTS. Per- Scena kontroli, widoczność transkrypcji, wymiana silników swobodnie. Zbuduj własne Siri.

Aktywacja słowa budzącego

Bezręczny wyzwalacz dla każdego przepływu głosu. Własne słowa kluczowe z progów per- frazy, sub-5 MB na urządzeniu, 26× czas rzeczywisty.

Rdzenne przemówienie-to- przemówienie

Dwie modelowe rodziny, dwa dwupoziomowe projekty.

Oba akceptują ciągłe mówienie i generują mowę bez klasycznego ASR → LLM.. TTS granice skrętu. Tekst może nadal istnieć wewnątrz modelu jako wyrównane rozumowanie i strumień sterowania.

Linie SALM- Duplex · asymetryczne

VoiceChat 11B

Widmo FastConformer powoduje, że tekst i kanały funkcyjne Nemotron- H są obsługiwane przez oddzielny dekoder EAR- TTS - nie jest głową modelu językowego - i kodek neuronowy 22,05 kHz.

Architektura

16 kHz → causal FastConformer

Nemotron-H · text + function

separate EAR-TTS → 22.05 kHz codec

Mierzone lokalnie

RTF 0.92–0.94

M5 Pro · 48 GB · Release · protected-head INT5

44.3–46.7 ms first spoken text token · 74.0–76.4 ms first playable audio

76.2–78.6 ms frame p95 · ~8.70 GB peak RSS

Rodzina Moshi · multistrumień

PersonaPlex 7B

PersonaPlex rozpoczyna się od ciężarów Moshi i wspólnie modelek audio użytkownika, tekstu agenta i agenta audio poprzez strumienie Mimi oraz Depformer. Obsługuje jednoczesne słuchanie i mówienie, podsuwa rolę tekstową oraz podsuwa głos audio.

Architektura

Moshi weights

Mimi RVQ + Depformer

user audio ↔ agent text ↔ agent audio

Mierzone lokalnie

RTF ~1.4

M2 Max · 8-bit

~112 ms / step · 18 selectable voices

~9.1 GB bundle · ~11 GB peak RAM

RTF to czas generacji wall- clock podzielony przez czas trwania dźwięku; poniżej 1 może utrzymać strumieniowanie na tym badanym urządzeniu. Przebieg ten wykorzystuje różne maki, więc nie są one modelowym rankingiem. Pierwsze wyjście i przepustowość ramki są pomiarami na gorąco obliczeń, a nie uczenia się frekwencji.

Odpowiednie badania

Architektura linii i ocena duplex.

Uchwyty bestowe NVIDIApoprzednia uproszczona linia SpeechLLM, ale odwzorowuje mowę na tekst; nie jest to duplex S2S Model. Moshi oraz PersonaPlex opisz wielostrumieniową rodzinę, podczas gdy SALM- Duplex opisuje skuteczne asymetryczne modelowanie duplex. Full- Duplex- Bench ocenia pauzy, backchannels, freck- biorąc i przerywania - zachowania interakcji, które RTF nie przechwytuje.

Porównaj konfigurację, API, pakiety i wskaźniki

speech voice-chat · recorded session

Pełna duplex na MacBook, wzywanie prawdziwych narzędzi.

Prawdziwa sesja uruchomiona NVIDIAjest Nemotron VoiceChat 11B lokalnie: przemówiony skręt, przerwa w zdaniu środkowym i kompletny MCP wywołanie narzędzia do Apple Reminders. RTF 0.92 w sprawie M5 Pro, 7.5 Mieszkaniec GB, nic nie wychodzi z maszyny.

Patrz na YouTube Przeczytaj przewodnik VoiceChat

Nowy na urządzeniu

Czekaj, mów i działaj, lokalnie.

Ostatnie prace nad trzema decyzjami, jakie podejmuje agent głosowy: kiedy czekać, kiedy mówić, a kiedy działać. Wszystko to działa na urządzeniu.

Full duplex, który wywołuje narzędzia

VoiceChat ciągle słucha, a jego głowa funkcyjna zmienia wymówione żądanie w wywołanie narzędzia MCP. Na Mac wymienia, tworzy i aktualizuje Apple Reminders, bez niczego opuszczającego maszynę.

Przeczytaj write- up

Czekając na koniec myśli

Smart Turn v3.2 pyta, czy mówca skończył przed złożeniem wniosku, więc "uh, piątek" może nadal zastąpić czwartek. 23- uruchomiony model językowy CoreML oraz Swift, w speech-core C++ czas trwania i czas trwania Android, w kilku milisekundach na M5 Pro.

Przewodnik Smart Turn

Pętla poleceń w 1.2 GB

On Android, mowa staje się prawdziwym działaniem urządzenia i odpowiedź mówiona na jeden telefon: Silero VAD, Parakeet STT, FunctionGemma wywołania narzędzi oraz Pocket TTS, w pełni offline 1.2 GB RAM.

Oglądaj demo

Pogłębiony odczyt