Diarisierte Transkription, Zero-Shot-Stimmenklonung, Langform-Sprachsynthese — läuft auf Apple Silicon, Android, Windows und Embedded Linux. Keine Cloud-APIs, keine Minutenpreise, keine Daten verlassen das Gerät.
brew install speechimplementation("audio.soniqo:speech:0.0.9")
Eine echte Sitzung mit NVIDIA Nemotron VoiceChat 11B, lokal ausgeführt: ein gesprochener Zug, eine Unterbrechung mitten im Satz und ein vollständiger MCP-Tool-Aufruf in Apple Erinnerungen. RTF 0,92 auf einem M5 Pro, nichts verlässt den Rechner.
Sag es — Android macht es: die komplette Befehlsschleife von Sprache über eine echte Geräteaktion bis zur gesprochenen Antwort, auf einem Telefon in 1,2 GB RAM. Silero VAD, Parakeet STT, FunctionGemma-Tool-Calls und Pocket TTS.
4-Minuten-Tour durch die Open-Source-Bibliothek: Echtzeit-Transkription mit Nemotron Streaming, lokales Speech-to-Speech mit PersonaPlex, 48-kHz-Cloning mit VoxCPM2 — alles auf dem Laptop.
VAD → STT → LLM → TTS auf Phone und Mac · ~1.2 GB iPhone · ~1.5 GB S23 · <4 GB Desktop
Dieselbe VAD → STT → LLM → TTS-Agent-Pipeline auf iPhone, Galaxy S23 und Mac — mit gemessenem Speicher je Budget.
Jede Gruppe deckt mehrere Sub-Use-Cases ab, die aus Soniqo-Komponenten zusammengesetzt sind. Audio rein — Gespräch, Transkript oder generierte Sprache kommen lokal und in Echtzeit zurück.
Baue Voice-First-Oberflächen — von Full-Duplex Speech-to-Speech bis hin zu Wake-Word-gesteuerten kompositorischen Pipelines, alles lokal ausgeführt.
Wandle Audio in strukturierten Text um — Echtzeit-Streaming für Live-Untertitel und Diktat, Batch-Hochpräzision für Archive, diarisiert um jede sprechende Person zu benennen.
Synthetisiere Sprache in jeder Stimme — klone eine Stimme in Sekunden, narriere stundenlang Hörbücher oder besetze Multi-Sprecher-Podcasts, vollständig offline.
Die obigen Use-Case-Pipelines sind aus diesen Modellen gebaut. Wähle eine Komponente für Architektur, CLI, Swift-API und Benchmarks. Alle laufen auf Apple Silicon, die meisten auch auf Android und Linux.
52 langs, RTF 0.06, 4-/8-bit
Native CoreML: 1.40% WER, 6 s model load
MLX INT5: 128K offline context, RTF 0.028
Small, medium, large-v3, and turbo exports
32× real-time on Neural Engine
120M, 25 langs, streaming partials + EOU, ~232 MB on-device
1,672 languages, 300M–7B
14 langs, INT5 default, RTF 0.015
8 langs, INT5 default, RTF 0.074
Word-level timestamps, 80 ms
Streaming with punctuation
9 langs, zero-shot cloning, bf16 / 8-bit
12 Hz codec LM, faster than real-time
48 kHz, 30 langs, voice design + cloning
Zero-shot cloning, emotion + tempo controls, RTF 1.0
99M, 31 langs, 44.1 kHz
CoreML voice cloning, TTFT 0.27s, RTF 0.59
600+ langs, NAR diffusion cloning
Hindi emotion TTS + raw reference cloning
Style markers + zero-shot cloning
Zero-shot cloning in 16 flow steps, RTF 0.57
4B conversational cloning, emotion tags, RTF 0.78
54 voices, iOS-ready, 10 langs
English, ~130 ms streaming TTFA
90-min podcasts / audiobooks
9 langs, 5 baked voices, streaming
IndexTTS2, CosyVoice, Chatterbox Flash, Qwen3-TTS ICL
SpeechBrain ECAPA, 107 languages, 21M
Masked WeSpeaker + native PLDA/VBx, ~32 MB
Community-1 + Pyannote + Sortformer
WeSpeaker / CAM++ for ID
Silero v6.2.1, Pyannote, FireRedVAD
KWS Zipformer, 26× real-time
44.1 kHz stereo, variable-length music
Text → 30 s music, RTF 0.36
Open-Unmix + HTDemucs v4, 4 stems
DeepFilterNet3, 48 kHz real-time
Two-stream echo cancellation, 16 ms latency
Sidon denoise + dereverb → 48 kHz
48 kHz audio super-resolution
Streaming on-device LLM
Structured tool / function-call grammar
Many-to-many translation, 400+ languages
Streaming speech translation, FR/ES/PT/DE → EN
Moshi-family full-duplex speech-to-speech
Asymmetric duplex speech-to-speech, INT5 / INT8