Transcripción con diarización, clonación de voz zero-shot y síntesis de larga duración — funcionando en Apple Silicon, Android, Windows y Linux embebido. Sin APIs en la nube, sin precios por minuto, sin datos saliendo del dispositivo.
brew install speechimplementation("audio.soniqo:speech:0.0.9")
Una sesión real ejecutando NVIDIA Nemotron VoiceChat 11B en local: un turno hablado, una interrupción a mitad de frase y una llamada de herramienta MCP completa a Recordatorios de Apple. RTF 0,92 en un M5 Pro y nada sale de la máquina.
Dilo y Android lo hace: el bucle completo de comandos — de la voz a una acción real del dispositivo y una respuesta hablada — en un solo teléfono con 1.2 GB de RAM. Silero VAD, Parakeet STT, tool calls de FunctionGemma y Pocket TTS.
Tour de 4 minutos por la librería open source: transcripción en tiempo real con Nemotron Streaming, voz a voz local con PersonaPlex y clonación a 48 kHz con VoxCPM2 — todo en el portátil.
VAD → STT → LLM → TTS en móvil y Mac · ~1.2 GB iPhone · ~1.5 GB S23 · <4 GB escritorio
La misma tubería de agente VAD → STT → LLM → TTS en iPhone, Galaxy S23 y Mac, con memoria medida para cada presupuesto.
Cada grupo abarca varios subcasos de uso construidos con componentes de Soniqo. Carga tu audio y obtén conversación, transcripciones o voz generada — localmente y en tiempo real.
Crea interfaces voice-first — desde speech-to-speech full-duplex hasta pipelines compositivos activados por palabra clave, todo ejecutándose localmente.
Convierte audio en texto estructurado — streaming en tiempo real para subtítulos en vivo y dictado, alta precisión por lotes para archivos, con diarización para nombrar a cada hablante.
Sintetiza voz en cualquier voz — clona una voz en segundos, narra audiolibros durante horas o reparte podcasts multi-locutor, completamente offline.
Los pipelines de uso anteriores se construyen con estos modelos. Elige un componente para ver su arquitectura, CLI, API en Swift y benchmarks. Todos funcionan en Apple Silicon, la mayoría también en Android y Linux.
52 langs, RTF 0.06, 4-/8-bit
Native CoreML: 1.40% WER, 6 s model load
MLX INT5: 128K offline context, RTF 0.028
Small, medium, large-v3, and turbo exports
32× real-time on Neural Engine
120M, 25 langs, streaming partials + EOU, ~232 MB on-device
1,672 languages, 300M–7B
14 langs, INT5 default, RTF 0.015
8 langs, INT5 default, RTF 0.074
Word-level timestamps, 80 ms
Streaming with punctuation
9 langs, zero-shot cloning, bf16 / 8-bit
12 Hz codec LM, faster than real-time
48 kHz, 30 langs, voice design + cloning
Zero-shot cloning, emotion + tempo controls, RTF 1.0
99M, 31 langs, 44.1 kHz
CoreML voice cloning, TTFT 0.27s, RTF 0.59
600+ langs, NAR diffusion cloning
Hindi emotion TTS + raw reference cloning
Style markers + zero-shot cloning
Zero-shot cloning in 16 flow steps, RTF 0.57
4B conversational cloning, emotion tags, RTF 0.78
54 voices, iOS-ready, 10 langs
English, ~130 ms streaming TTFA
90-min podcasts / audiobooks
9 langs, 5 baked voices, streaming
IndexTTS2, CosyVoice, Chatterbox Flash, Qwen3-TTS ICL
SpeechBrain ECAPA, 107 languages, 21M
Masked WeSpeaker + native PLDA/VBx, ~32 MB
Community-1 + Pyannote + Sortformer
WeSpeaker / CAM++ for ID
Silero v6.2.1, Pyannote, FireRedVAD
KWS Zipformer, 26× real-time
44.1 kHz stereo, variable-length music
Text → 30 s music, RTF 0.36
Open-Unmix + HTDemucs v4, 4 stems
DeepFilterNet3, 48 kHz real-time
Two-stream echo cancellation, 16 ms latency
Sidon denoise + dereverb → 48 kHz
48 kHz audio super-resolution
Streaming on-device LLM
Structured tool / function-call grammar
Many-to-many translation, 400+ languages
Streaming speech translation, FR/ES/PT/DE → EN
Moshi-family full-duplex speech-to-speech
Asymmetric duplex speech-to-speech, INT5 / INT8