Gunakan kasus

Suara masuk
Suara keluar.

Tiga bentuk dari antarmuka suara-pertama - asli fullplex kecepatan -to-speech model, bangun kompoisionally VAD → ASR → LLM → TTS baris pipa yang Anda kontrol, dan aktivasi bangun-kata untuk masukan bebas hands-. Semua on- perangkat, tidak ada APIs awan, tidak ada audio yang meninggalkan perangkat.

Mulai Panduan bicara.

Tiga kasus bawah-penggunaan

Pilih bentuk yang sesuai dengan produk Anda.

Drop-in model dialog, baris pipa komposisi dengan kontrol atas panggung, atau sebuah pemicu kata bangun tipis. Setiap dijalankan sepenuhnya on- perangkat.

All-duplex speech -to-speech

Audio mikropon asli untuk keluaran yang diucapkan tanpa stack asimetris ASR klasik LLM atau aliran keluarga TTS. Pilih VoiceChat yang asimetris atau PersonaPlex

Pipa suara komposisi

Bangun. VAD Streaming ghanbe-modetextattr ASR -perangkat gringo LLM → TTSKontrol perstage, visibilitas transkrip, mesin swap bebas bangun Siri sendiri

Bangun-kata aktivasi

Pemicu bebas hands- untuk aliran suara. Kata kunci gubahan dengan ambang-frasa per-, perangkat MB sub-5, 26 × real-time.

Speech-to-speech native

Dua keluarga model, dua desain duplex.

Keduanya menerima pidato terus menerus dan menghasilkan pidato tanpa klasik ASR → LLM → TTS Teks masih dapat ada di dalam model sebagai sebuah alasan yang selaras dan kontrol arus.

Garis keturunan SALM- Duplex

VoiceChat 11B

Persepsi Causal FastConformer feed Nemotron-H teks dan saluran fungsi. Pidato diberikan oleh teks yang terpisah - dikondisikan decoder EAR- TTS - bukan kepala pada model bahasa - dan kode saraf 22.05 kHz.

Arsitektur

16 kHz → causal FastConformer

Nemotron-H · text + function

separate EAR-TTS → 22.05 kHz codec

Diukur secara lokal

RTF 0.92–0.94

M5 Pro · 48 GB · Release · protected-head INT5

44.3–46.7 ms first spoken text token · 74.0–76.4 ms first playable audio

76.2–78.6 ms frame p95 · ~8.70 GB peak RSS

Moshi keluarga

PersonaPlex 7B

PersonaPlex dimulai dari Moshi bobot dan bersama-sama model audio pengguna, agen teks, dan agen audio melalui Mimi dan aliran Depformer. Ini mendukung secara simultan mendengarkan dan berbicara, teks peran prompt, dan sound prompt.

Arsitektur

Moshi weights

Mimi RVQ + Depformer

user audio ↔ agent text ↔ agent audio

Diukur secara lokal

RTF ~1.4

M2 Max · 8-bit

~112 ms / step · 18 selectable voices

~9.1 GB bundle · ~11 GB peak RAM

RTF adalah waktu pembuatan jam yang dibagi dengan durasi audio output-; di bawah 1 dapat mempertahankan streaming pada perangkat teruji itu. Ini dijalankan menggunakan Mac yang berbeda, sehingga mereka bukan peringkat model. Keluaran pertama dan frame melampauinya adalah pengukuran komputasi panas, tidak belajar latensi.

Relevan penelitian

Arsitektur garis keturunan dan evaluasi duplex.

BESTOW captures NVIDIAGaris keturunan SpeechLM yang sebelumnya dapat diperkecil, tetapi memetakan bahasa ke teks; ini bukan duplex S2S Model. Moshi dan PersonaPlex mendeskripsikan multi- stream family, sedangkan SALM-Duplex mendeskripsiefisien permodelduplex asimetris. Full-Duplex-Bench mengevaluasi pauses, backchances, turn- taking, and interruptions - interaksi perilaku yang RTF tidak menangkap.

Compare setup, APIs, bundles, dan benchmarks

speech voice-chat · recorded session

Duplex penuh pada MacBook, memanggil alat-alat nyata.

Sebuah sesi nyata berjalan NVIDIA's Nemotron VoiceChat 11B lokal: giliran yang diucapkan, gangguan tengah kalimat, dan lengkap MCP panggilan bantuan ke Apple Reminders. RTF 0.92 pada M5 Pro, 7.5 Warga GB, tidak ada yang meninggalkan mesin.

Perhatikan YouTube Baca panduan VoiceChat

Baru pada perangkat

Tunggu, berbicara dan bertindak, lokal.

Pekerjaan baru-baru ini pada tiga keputusan yang dibuat seorang agen suara: kapan harus menunggu, kapan harus berbicara, dan kapan harus bertindak.

Duplex penuh yang memanggil alat

VoiceChat terus mendengarkan ketika menjawab, dan kepala fungsinya mengubah permintaan yang diucapkan ke dalam panggilan alat MCP. Pada daftar Mac, menciptakan dan memperbarui Apple Reminders dengan tanpa meninggalkan mesin.

Baca write- up

Menunggu akhir pemikiran

Smart Turn v3.2 bertanya apakah pembicara telah selesai sebelum permintaan dilakukan, jadi "eh, Jumat" masih dapat menggantikan Kamis. 23-bahasa model berjalan pada CoreML dan Swift, di speech-core C++ runtime and on Android, dalam beberapa milidetik pada M5 Pro.

Smart Turn panduan

Sebuah loop perintah dalam 1.2 GB

Nyala Android, pidato menjadi aksi perangkat nyata dan jawaban yang diucapkan pada satu telepon: Silero VAD, Parakeet STT, FunctionGemma panggilan alat dan Pocket TTS, fully offline in 1.2 GB RAM.

Perhatikan demonya

Membaca lebih dalam