Řečnické jádro

Open- source C + + 17 hlasový motor pro hlasové agenty - detekce hlasové aktivity, dávkové a real-time streaming speech- to- text, diarizace reproduktoru a text- to- řeč, vše běží on- zařízení zapnuto Linux, Windows a Android. Apache 2.0.

github.com /soniqo/speech-core Izolační modely Spor Apache 2.0

Co to je?

Speech Core je malé orchestrální jádro - stavový stroj, detekce otočení, ovládání, audio utility, s nulovou závislostí ML - plus soubor abstraktních rozhraní pro modely řeči. Vliv běží lokálně na CPU; audio nikdy neopustí stroj, a neexistuje žádný Python v inference. Vliv modelu je opt- v prostřednictvím dvou výměnných podkladů můžete povolit nezávisle, nebo si můžete přinést vlastní implementace rozhraní.

Sestavení hlasového agenta — VoicePipeline složí VAD, streaming STT, LLM a TTS do smyčky full- duplex agent s barge- in, Turn Detection, a tool- call smyčka. Viz docs / time.md a Hlasové činitele přehled.
Diarizace reproduktorů v čisté C++ — DiarizationPipeline složí segmenter a embedder do úseků označených speaker, bez vlastní závislosti na runtime.
Pohání zbytek zásobníku — speech-android je Kotlin SDK + JNI most přes Speech Core, a Speech Studio používá svůj LiteRT VoxCPM2 motor na Windows a Linux. Na platformách Apple je sourozenecká knihovna speech-swift.

Nástupiště & amp; backends

Backend	Nástupiště	Zrychlení hardwaru
ONNX Runtime (`SPEECH_CORE_WITH_ONNX`)	Linux, macOS, Windows, Android	NNAPI na Android, QNN na Qualcomm Linux; nepovinné NVIDIA CUDA / TensorRT (`-DSPEECH_CORE_WITH_CUDA=ON`)
LiteRT (`SPEECH_CORE_WITH_LITERT`)	Linux x86_64, Windows x86_64, Android, macOS arm64	CPU dnes

Povolit buď backend, obojí, nebo ani jedno - orchestrální jádro staví bez ML runtime vůbec.

Podporované modely

Vzor	Úkol	ONNX	LiteRT
Silero VAD v5	Detekce hlasové aktivity	✓	✓
Smart Turn v3.2	Detekce konce-of- otočení (23 jazyků)	✓	—
Parakeet TDT v3 (0.6B)	Proslov - to- text (114 jazyků)	✓	✓
Nemotron Projev (0.6B)	Streaming speech- to- text (anglicky)	✓	✓
Nemotron-3.5 ASR Streaming Multilingual (0.6B)	Streaming speech- to- text (vícejazyčný, prompt- podmíněný)	✓	✓
Whisper malé v3	Speech- to- text (vícejazyčný Whisper v3)	✓	—
Whisper střední v3	Speech- to- text (vícejazyčný Whisper v3)	✓	—
Whisper Velké v3	Speech- to- text (vícejazyčný Whisper v3)	✓	—
Whisper Large-v3 Turbo	Speech- to- text (vícejazyčný Whisper v3)	✓	—
Omilingual ASR CTC (300M)	Proslov - to- text (vícejazyčný)	—	✓
FunctionGemma 270M	On- device LLM - strukturované funkce / nástroje volání (LiteRT-LM; CoreML na Apple)	—	✓
Pyannote Segmentace 3.0	Diarizace (segmentace)	—	✓
WeSpeaker ResNet34-LM	Reproduktor vložení	—	✓
VoxCPM2 (2B)	Text- to- řeč (48 kHz, klonování hlasu)	—	✓
Kokoro 82M	Test- to- speak	✓	—
Pocket TTS 100M	Streaming text- to- speak (anglický, fixní hlas Alba)	✓	—
DeepFilterNet3	Vylepšení řeči	✓	—
PersonaPlex 7B	Full- duplex speech- to- speak (CUDA)	✓	—

Rychlý start

Vybudovat jádro plus backend LiteRT (runtime knihovna je extrahována z ai-edge-litert kolo - žádná konstrukce TensorFlow):

git clone https://github.com/soniqo/speech-core && cd speech-core
scripts/fetch_litert.sh build/litert
cmake -B build -DCMAKE_BUILD_TYPE=Release \
    -DSPEECH_CORE_WITH_LITERT=ON -DLITERT_DIR=$PWD/build/litert
cmake --build build

Pak propojit cíle, které potřebujete:

target_link_libraries(my_app PRIVATE speech_core)                            # orchestration only
target_link_libraries(my_app PRIVATE speech_core speech_core_models)         # + ONNX models
target_link_libraries(my_app PRIVATE speech_core speech_core_models_litert)  # + LiteRT models

Přepis audio buffer je několik řádků:

#include <speech_core/models/litert_parakeet_stt.h>

speech_core::LiteRTParakeetStt stt(
    "parakeet-encoder.tflite", "parakeet-decoder-joint.tflite", "vocab.json");

auto r = stt.transcribe(audio, n_samples, 16000);   // r.text / r.language / r.confidence

Vložené a automobilové Linux

Reference Linux build - libspeech.so s malou C ABI, demo ALSA CLI, a přepis / syntetizovat / phonemize nástroje - žije na příklady / linux. Zaměřuje se na vložené ARM64 (Yocto, Qualcomm SA8295P / SA8255P) a jakékoliv Linux dev box. Setup kroky jsou v krabici Linux getting- started guide.

Budova pro Android nebo Apple?

Na Android použijte speech-android - Kotlin SDK, který balí Speech Core za JNI most (implementation("audio.soniqo:speech:0.0.9")). Na macOS a iOS, použití speech-swift, který provozuje modely na CoreML, MLX a Apple Neural Engine.

Dokumentace

Docs / - kompletní dokumentace v rámci programu "In- repo"
docs / time.md - VoicePipeline stavový stroj, integrace AEC a tool- call smyčka
docs / models.md - kompletní model inventury
Soniqo ONNX kolekce — Whisper, Kokoro, DeepFilterNet3, PersonaPlex, a další ONNX svazky
objeggingface.co / soniqo - konvertované hmotnosti modelu (ONNX, LiteRT)

Zpětná vazba

Otevřít problém na github.com /soniqo/speech-core/ otázky, nebo se připojit k Spor.