Käytä tapaus · Keskustelu

Ääni.
Ääni ulos.

Kolme muotoa ääni-ensimmäinen rajapintoja ... natiivi täysi-duplex puhe-puhe-puhemallit, koostumus wake → VAD → ASR → LLM → TTS Putken voit täysin hallita, ja Wake-word aktivointi hands-free sisäänpääsy. Kaikki on-laite, ei pilvi APIs, ei ääntä jättää laite.

Aloita Puhe-puhe-opas

Kolme alakäyttöä

Valitse tuotemuoto.

Drop-in dialogimalli, koostumus putki per-stage ohjaus, tai ohut Wake-sana laukaisin. Jokainen toimii täysin laitteen.

Täysi-duplex puhe puhe

Omat mallit stream mikrofoni ääni puhuttuun lähtöön ilman klassista ASR → LLM → TTS Käännä raja. Valitse VoiceChatS epäsymmetrinen pino tai PersonaPlexMoshi-perheen purot.

Koostumusääniputki

Herätys → VAD → suoratoisto ASR → On-Device LLM → TTSPer-stage ohjaus, transkripti näkyvyys, vaihtaa moottorit vapaasti. Rakenna oma Siri.

Wake-word-aktivaatio

Hands-free laukaisin tahansa äänen virtausta. Muokkaa avainsanoja per-lause kynnysarvot, sub-5 MB päällä-laite, 26× reaaliaikainen.

Oma puheenaiheena

Kaksi perhettä, kaksi duplex-mallia.

Molemmat hyväksyvät jatkuvan puheen ja tuottavat puheen ilman klassista ASR → LLM →TTS käännä raja. Mallin sisällä voi olla teksti, joka on yhdenmukainen päättely- ja ohjausvirta.

SALM-Duplex-sukupolvi · epäsymmetrinen

VoiceChat 11B

Causus FastConformer havainto syöttää Nemotron-H teksti- ja toimintokanavat. Puheen antaa erillinen teksti-ehdollinen EAR-TSS dekooderi . ei pää kielimallissa . ja 22,05 kHz neurokoodekki.

Arkkitehtuuri

16 kHz → causal FastConformer

Nemotron-H · text + function

separate EAR-TTS → 22.05 kHz codec

Mitattu paikallisesti

RTF 0.92–0.94

M5 Pro · 48 GB · Release · protected-head INT5

44.3–46.7 ms first spoken text token · 74.0–76.4 ms first playable audio

76.2–78.6 ms frame p95 · ~8.70 GB peak RSS

Moshi perhe · monivirta

PersonaPlex 7B

PersonaPlex alkaa Moshi painot ja yhdessä mallit käyttäjän ääni, agentti teksti, ja agentti ääni kautta Mimi ja Depformer streams. Se tukee samanaikaista kuuntelua ja puhumista, tekstirooli kehottaa, ja audioääni kehottaa.

Arkkitehtuuri

Moshi weights

Mimi RVQ + Depformer

user audio ↔ agent text ↔ agent audio

Mitattu paikallisesti

RTF ~1.4

M2 Max · 8-bit

~112 ms / step · 18 selectable voices

~9.1 GB bundle · ~11 GB peak RAM

RTF on seinä-kello-generaattorin aika jaettuna ulostulo-audio-kestolla; alle 1 voi ylläpitää streamaamista kyseisellä testatulla laitteella. Nämä juoksut käyttävät eri Maceja, joten ne eivät ole mallirankingissa. Ensimmäinen lähtö ja ruudun läpimeno ovat kuumalaskumittauksia, eivät oppineita kääntöviiveitä.

Asiaa koskeva tutkimus

Arkkitehtuurilinja ja duplex-arviointi.

BESTOW kaappaa NVIDIA...ja PersonaPlex:t ennen streamable SpeechLLM-linjausta, mutta se kartoittaa puheen tekstiin; se ei ole duplex S2S-malli. Moshi ja RTF kuvaavat monivirtaista perhettä, kun taas SALM-Duplex kuvaa tehokasta epäsymmetristä duplex-mallistoa. Full-Duplex-Bench arvioi taukoja, taustakanavia, kääntymistä ja keskeytyksiä, joita ZXQ 4QXZ ei kaappaa.

Vertaa asetuksia, sovellusrajapintoja, niputuksia ja vertailuarvoja

speech voice-chat · recorded session

Täysi duplex MacBookiin, oikealle työkalulle.

Todellinen istunto, joka kestää NVIDIA's Nemotron VoiceChat 11B paikallisesti: puhuttu kierros, keskeytys sentin puolivälissä ja täydellinen MCP työkalukutsuun Apple Reminders. RTF 0,92 an M5 Pro, 7,5 GB asukas, ei mitään koneesta.

Tarkkaile YouTube Lue VoiceChat opas

Uusi laite

Odota, puhu ja toimi paikallisesti.

Äskettäinen työ kolmen päätöksen osalta ääniagentti tekee: milloin odottaa, milloin puhua ja milloin toimia. Kaikki toimii laitteen.

Täysi duplex, joka kutsuu työkaluja

VoiceChat jatkaa kuuntelemista, kun se vastaa, ja sen toimintopää muuttaa puhutun pyynnön MCP -työkalupuheluksi. Mac -työkalulla se luetteloi, luo ja päivittää Apple Reminders -työkalua, eikä koneesta poistu mitään.

Lue kirjoittaminen

Odottaa ajatusta loppuun

Smart Turn v3.2 kysyy, onko puhuja valmis ennen pyynnön tekemistä, joten Perjantaina. 23-kielinen malli voi silti korvata torstain. 23-kielen malli toimii CoreML ja Swift, speech-core C++ runtimella ja Android muutamassa millisekuntissa an M5 Pro.

Smart Turn opas

Komentosilmukka 1,2 GB:ssä

Puheesta tulee Android todellinen laitteen toiminta ja puhuttu vastaus yhdellä puhelimella: Silero VAD, Parakeet STT, FunctionGemma työkalupuhelut ja Pocket TTS, täysin pois verkosta 1,2 GB:ssä RAM.

Katso demoa

Syvempi lukeminen