การถอดเสียงพร้อมแยกผู้พูด การโคลนเสียงแบบ zero-shot และการสังเคราะห์เสียงพูดยาว — ทำงานบน Apple Silicon, Android, Windows และ Linux แบบฝังตัว ไม่ต้องใช้ API บนคลาวด์ ไม่มีการคิดเงินรายนาที และไม่มีข้อมูลออกจากอุปกรณ์
ความทรงจำส่วนตัวสำหรับบทสนทนา
brew install speechimplementation("audio.soniqo:speech:0.0.9")Open-weight GLiNER2.5-Decide in MLX Swift against TypeSafe’s hosted Jev: what each offers, what the published benchmark compared, and local measurements: 7.6 ms per request at 0.85 GB with INT8.
ภาพยนตร์แนวคิดที่สำรวจวิสัยทัศน์ของ Stenograf ในการเปลี่ยนบทสนทนาให้เป็นขั้นตอนต่อไปที่มีประโยชน์
จาก Moshi และ PersonaPlex สู่ VoiceChat: เสียงฟูลดูเพล็กซ์จัดการการพูดแทรกและเครื่องมือ MCP อย่างไร และไปป์ไลน์คำสั่งขนาดเล็กบน Android เหมาะกับงานแบบไหน
เซสชันจริงที่รัน NVIDIA Nemotron VoiceChat 11B ในเครื่อง: การพูดหนึ่งเทิร์น การพูดแทรกกลางประโยค และการเรียกใช้เครื่องมือ MCP เข้าสู่ Apple Reminders อย่างสมบูรณ์ RTF 0.92 บน M5 Pro และไม่มีข้อมูลใดออกจากเครื่อง
แต่ละกลุ่มครอบคลุมหลายกรณีย่อยที่ประกอบขึ้นจากคอมโพเนนต์ของ Soniqo ส่งเสียงเข้ามา แล้วได้บทสนทนา ข้อความถอด หรือเสียงที่สร้างขึ้น — แบบโลคัล เรียลไทม์
สร้างอินเตอร์เฟซที่เน้นเสียงเป็นหลัก — ตั้งแต่ speech-to-speech แบบ full-duplex ไปจนถึงไปป์ไลน์ประกอบที่ปลุกด้วยคำสั่งปลุก ทั้งหมดทำงานในเครื่อง
แปลงเสียงเป็นข้อความที่มีโครงสร้าง — สตรีมมิ่งเรียลไทม์สำหรับคำบรรยายสดและการบอกพิมพ์ การประมวลผลแบบแบตช์ความแม่นยำสูงสำหรับคลังเก็บ พร้อมการแยกผู้พูดเพื่อระบุชื่อแต่ละคน
สังเคราะห์เสียงพูดด้วยเสียงใดก็ได้ — โคลนเสียงในไม่กี่วินาที อ่านหนังสือเสียงได้นับชั่วโมง หรือสร้างพอดแคสต์หลายผู้พูด ทำงานออฟไลน์ทั้งหมด
ไปป์ไลน์กรณีใช้งานด้านบนสร้างจากโมเดลเหล่านี้ เลือกคอมโพเนนต์เพื่ออ่านสถาปัตยกรรม CLI Swift API และ benchmark ทั้งหมดทำงานบน Apple Silicon ส่วนใหญ่ทำงานบน Android และ Linux ด้วย
52 langs, RTF 0.06, 4-/8-bit
Native CoreML: 1.40% WER, 6 s model load
MLX INT5: 128K offline context, RTF 0.028
Small, medium, large-v3, and turbo exports
32× real-time on Neural Engine
120M, 25 langs, streaming partials + EOU, ~232 MB on-device
1,672 languages, 300M–7B
14 langs, INT5 default, RTF 0.015
8 langs, INT5 default, RTF 0.074
Word-level timestamps, 80 ms
Streaming with punctuation
9 langs, zero-shot cloning, bf16 / 8-bit
12 Hz codec LM, faster than real-time
48 kHz, 30 langs, voice design + cloning
Zero-shot cloning, emotion + tempo controls, RTF 1.0
99M, 31 langs, 44.1 kHz
CoreML voice cloning, TTFT 0.27s, RTF 0.59
600+ langs, NAR diffusion cloning
Hindi emotion TTS + raw reference cloning
Style markers + zero-shot cloning
Zero-shot cloning in 16 flow steps, RTF 0.57
4B conversational cloning, emotion tags, RTF 0.78
54 voices, iOS-ready, 10 langs
English, ~130 ms streaming TTFA
90-min podcasts / audiobooks
9 langs, 5 baked voices, streaming
IndexTTS2, CosyVoice, Chatterbox Flash, Qwen3-TTS ICL
SpeechBrain ECAPA, 107 languages, 21M
Masked WeSpeaker + native PLDA/VBx, ~32 MB
100M, up to 8 speakers, INT8
Nemotron 3 + Community-1 + Pyannote + Sortformer
WeSpeaker / CAM++ for ID
Silero v6.2.1, Pyannote, FireRedVAD
End-of-turn detection, 23 langs, 3.5 ms per pause
KWS Zipformer, 26× real-time
44.1 kHz stereo, variable-length music
Text → 30 s music, RTF 0.36
Open-Unmix + HTDemucs v4, 4 stems
DeepFilterNet3, 48 kHz real-time
Two-stream echo cancellation, 16 ms latency
Sidon denoise + dereverb → 48 kHz
48 kHz audio super-resolution
MLX Swift · 9B · 4-bit · text decisions · development preview
MLX Swift · INT8, FP16, FP32 · development preview
Streaming on-device LLM
Structured tool / function-call grammar
Many-to-many translation, 400+ languages
Streaming speech translation, FR/ES/PT/DE → EN
Moshi-family full-duplex speech-to-speech
Asymmetric duplex speech-to-speech, INT5 / INT8