Traduzione automatica · Originale inglese

Speech Core

Open-source C++17 motore vocale per gli agenti vocali — rilevamento delle attività vocali, batch e in tempo reale streaming vocale-to-text, diarizzazione dei diffusori e text-to-speech, tutto in esecuzione on-device su Linux, Windows e Android. Apache 2.0.

Che cosa è

Speech Core è un piccolo nucleo di orchestrazione — macchina statale, rilevamento di turno, gestione di interruzioni, utilità audio, con zero dipendenze ML — più un insieme di interfacce asatte per i modelli di discorso. L'inferenza funziona localmente su CPU; l'audio non lascia mai la macchina, e non c'è Python al tempo di inferenza.

• Orchestrazione vocale — VoicePipeline compone VAD, STT in streaming, LLM e TTS in un loop di agente full-duplex con il rilevamento del barge-in, e un loop di chiamata degli strumenti. docs/pipeline.md e il agenti di voce panoramica.
• Diarizzazione del diffusore in puro C++ — DiarizationPipeline compone un segmentatore e un embedder in segmenti a labello del diffusore, senza dipendenze ML-runtime del proprio.
• Potenzia il resto della pila — speech-android è un ponte Kotlin SDK + JNI sopra Speech Core, e Speech Studio utilizza il suo motore LiteRT VoxCPM2 su Windows e Linux. Su piattaforme Apple, la libreria sibling è speech-swift.

Piattaforme e backend

Abilitare sia backend, sia, o nemmeno — il nucleo di orchestrazione si costruisce senza runtime ML affatto.

Modelli supportati

Avvio rapido

Costruisci il nucleo più il backend LiteRT (la libreria runtime viene estratta dalla ruota ai-edge-litert — no TensorFlow build):

git clone https://github.com/soniqo/speech-core && cd speech-core
scripts/fetch_litert.sh build/litert
cmake -B build -DCMAKE_BUILD_TYPE=Release \
    -DSPEECH_CORE_WITH_LITERT=ON -DLITERT_DIR=$PWD/build/litert
cmake --build build

Quindi collegare gli obiettivi di cui hai bisogno:

target_link_libraries(my_app PRIVATE speech_core)                            # orchestration only
target_link_libraries(my_app PRIVATE speech_core speech_core_models)         # + ONNX models
target_link_libraries(my_app PRIVATE speech_core speech_core_models_litert)  # + LiteRT models

Transcribing un buffer audio è un paio di linee:

#include <speech_core/models/litert_parakeet_stt.h>

speech_core::LiteRTParakeetStt stt(
    "parakeet-encoder.tflite", "parakeet-decoder-joint.tflite", "vocab.json");

auto r = stt.transcribe(audio, n_samples, 16000);   // r.text / r.language / r.confidence

Documentazione

• docs/ — Documentazione completa in risposta
• docs/pipeline.md — la macchina statale VoicePipeline
• docs/models.md — inventario completo del modello
• Collezione Soniqo ONNX — Whisper, Kokoro, DeepFilterNet3, PersonaPlex, e altri ONNX fasci
• huggingface.co/soniqo — pesi modello convertiti (ONNX, LiteRT)

Feedback

Aprire un problema github.com / soniqo/speech-core /problemi, o unisciti al Discordia.