Speech Core

Motor de fala C++17 open source para agentes de voz — detecção de atividade de voz, fala para texto em lote e em streaming em tempo real, diarização de falantes e texto para fala, tudo rodando no dispositivo em Linux, Windows e Android. Apache 2.0.

O que é

O Speech Core é um núcleo de orquestração compacto — máquina de estados, detecção de turnos, tratamento de interrupções, utilitários de áudio, com zero dependências de ML — mais um conjunto de interfaces abstratas para modelos de fala. A inferência roda localmente na CPU; o áudio nunca sai da máquina, e não há Python em tempo de inferência. A inferência de modelos é opt-in por meio de dois backends intercambiáveis que você pode ativar de forma independente, ou você pode trazer suas próprias implementações das interfaces.

• Orquestração de agentes de voz — o VoicePipeline compõe VAD, STT em streaming, um LLM e TTS em um loop de agente full-duplex com barge-in, detecção de turnos e um loop de chamadas de ferramentas. Veja docs/pipeline.md e a visão geral de agentes de voz.
• Diarização de falantes em C++ puro — o DiarizationPipeline compõe um segmentador e um embedder em segmentos rotulados por falante, sem nenhuma dependência própria de runtime de ML.
• Alimenta o resto do stack — o speech-android é um SDK Kotlin + ponte JNI sobre o Speech Core, e o Speech Studio usa seu motor LiteRT VoxCPM2 no Windows e no Linux. Em plataformas Apple, a biblioteca irmã é o speech-swift.

Plataformas e backends

Ative um dos backends, ambos ou nenhum — o núcleo de orquestração compila sem nenhum runtime de ML.

Modelos suportados

Início rápido

Compile o núcleo mais o backend LiteRT (a biblioteca de runtime é extraída do wheel ai-edge-litert — sem build do TensorFlow):

git clone https://github.com/soniqo/speech-core && cd speech-core
scripts/fetch_litert.sh build/litert
cmake -B build -DCMAKE_BUILD_TYPE=Release \
    -DSPEECH_CORE_WITH_LITERT=ON -DLITERT_DIR=$PWD/build/litert
cmake --build build

Depois, linke os targets de que você precisa:

target_link_libraries(my_app PRIVATE speech_core)                            # orchestration only
target_link_libraries(my_app PRIVATE speech_core speech_core_models)         # + ONNX models
target_link_libraries(my_app PRIVATE speech_core speech_core_models_litert)  # + LiteRT models

Transcrever um buffer de áudio leva poucas linhas:

#include <speech_core/models/litert_parakeet_stt.h>

speech_core::LiteRTParakeetStt stt(
    "parakeet-encoder.tflite", "parakeet-decoder-joint.tflite", "vocab.json");

auto r = stt.transcribe(audio, n_samples, 16000);   // r.text / r.language / r.confidence

Documentação

• docs/ — documentação completa no repositório
• docs/pipeline.md — a máquina de estados do VoicePipeline, integração de AEC e o loop de chamadas de ferramentas
• docs/models.md — inventário completo de modelos
• huggingface.co/soniqo — pesos de modelos convertidos (ONNX, LiteRT)

Feedback

Abra um issue em github.com/soniqo/speech-core/issues ou entre no Discord.