Talekerner

Open- source C + + 17 talemotor til taleagenter - taleaktivitet detektering, batch og real- tid streaming speech- to- tekst, højttaler diarisering, og text- to- tale, alle kører on- enhed på Linux, Windows, og Android. Apache 2.0.

github.com /soniqo/speech-core Behandlingsmodeller Diskret Apache 2.0

Hvad er det?

Tale Core er en lille orkestreringskerne - state machine, turn detection, afbrydelse håndtering, audio utilities, med nul ML afhængigheder - plus et sæt af abstrakte grænseflader til talemodeller. Inferens kører lokalt på CPU; audio forlader aldrig maskinen, og der er ingen Python på inferens tid. Model inferens er opt- in gennem to udskiftelige backends du kan aktivere uafhængigt, eller du kan bringe dine egne implementeringer af grænsefladerne.

Voice- agent orkestrering — VoicePipeline komponerer VAD, streaming STT, en LLM og TTS i en full-duplex agent loop med barge- in, turn detection, og en tool- call loop. Se docs / md og talemålere oversigt.
Højttaler diarisering i ren C++ — DiarizationPipeline komponerer en segmenter og en indlejret i højttalermærkede segmenter, uden egen ML- runtime afhængighed.
Beføjelser resten af stakken — speech-android er en Kotlin SDK + JNI-bro over talekerne, og Speech Studio bruger sin LiteRT VoxCPM2 motor på Windows og Linux. På Apple platforme, sibling biblioteket er speech-swift.

Platforme & amp; - backends

Backend	Platforme	Hardwareacceleration
ONNX Runtime (`SPEECH_CORE_WITH_ONNX`)	Linux, macOS, Windows, Android	NNAPI på Android, QNN på Qualcomm Linux; valgfrit NVIDIA CUDA / TensorRT (`-DSPEECH_CORE_WITH_CUDA=ON`)
LiteRT (`SPEECH_CORE_WITH_LITERT`)	Linux x86_64, Windows x86_64, Android, macOS arm64	CPU i dag

Aktivér enten backend, begge, eller ingen af dem - orkesterkernen bygger uden ML runtime overhovedet.

Understøttede modeller

Model	Opgave	ONNX	LiteRT
Silero VAD v5	Opdagelse af stemmeaktivitet	✓	✓
Smart Turn v3.2	Ende- Of-turn detection (23 sprog)	✓	—
Parakeet TDT v3 (0.6B)	Speech- to- text (114 sprog)	✓	✓
Nemotron Talestrøm (0.6B)	Streaming af speech- to- text (Danish)	✓	✓
Nemotron-3.5 ASR Streaming Flersproget (0.6B)	Streaming af speech- to- text (flersproget, prompt-condition)	✓	✓
Whisper Small v3	Speech- to- text (flersproget Whisper v3)	✓	—
Whisper Medium v3	Speech- to- text (flersproget Whisper v3)	✓	—
Whisper Large v3	Speech- to- text (flersproget Whisper v3)	✓	—
Whisper Large-v3 Turbo	Speech- to- text (flersproget Whisper v3)	✓	—
Omnilingual ASR CTC (300M)	Speech- to- text (flersproget)	—	✓
FunctionGemma 270M	On- device LLM - struktureret funktion / værktøjskald (LiteRT- LM; CoreML på Apple)	—	✓
Pyannote Segmentering 3.0	Diarisering (segmentering)	—	✓
WeSpeaker ResNet34-LM	Højttalerindlejring	—	✓
VoxCPM2 (2B)	Tekst- to- tale (48 kHz, stemme kloning)	—	✓
Kokoro 82M	Tekst- to- tale	✓	—
Pocket TTS 100M	Streaming text- to- tale (Engelsk, fast Alba stemme)	✓	—
DeepFilterNet3	Ophøjelse af tale	✓	—
PersonaPlex 7B	Full- duplex speech- to- taly (CUDA)	✓	—

Hurtig start

Byg kernen plus LiteRT bagenden (runtime biblioteket er udtrukket fra ai-edge-litert hjul - ingen TensorFlow build):

git clone https://github.com/soniqo/speech-core && cd speech-core
scripts/fetch_litert.sh build/litert
cmake -B build -DCMAKE_BUILD_TYPE=Release \
    -DSPEECH_CORE_WITH_LITERT=ON -DLITERT_DIR=$PWD/build/litert
cmake --build build

Så link de mål, du har brug for:

target_link_libraries(my_app PRIVATE speech_core)                            # orchestration only
target_link_libraries(my_app PRIVATE speech_core speech_core_models)         # + ONNX models
target_link_libraries(my_app PRIVATE speech_core speech_core_models_litert)  # + LiteRT models

Transcribing en lyd buffer er et par linjer:

#include <speech_core/models/litert_parakeet_stt.h>

speech_core::LiteRTParakeetStt stt(
    "parakeet-encoder.tflite", "parakeet-decoder-joint.tflite", "vocab.json");

auto r = stt.transcribe(audio, n_samples, 16000);   // r.text / r.language / r.confidence

Indlejret & automobil Linux

En reference Linux build - libspeech.so med en lille C ABI, en ALSA demo CLI, og transcribe / synthesize / phonemize værktøjer - lever på eksempler / linux. Det mål indlejret ARM64 (Yocto, Qualcomm SA8295P / SA8255P) og enhver Linux dev boks. Opsætning trin er i Linux 'start- guide.

Bygning til Android eller Apple?

På Android, brug speech-android - en Kotlin SDK, der pakker Tale Core bag en JNI bro (implementation("audio.soniqo:speech:0.0.9")). På macOS og iOS, brug speech-swift, som kører modellerne på CoreML, MLX og Apple Neural Engine.

Dokumentation

Docs / - fuld in- repo dokumentation
docs / md - VoicePipeline state machine, AEC integration, og tool- call loop
docs / models.md - Fuldstændigt modellager
Soniqo ONNX samling — Whisper, Kokoro, DeepFilterNet3, PersonaPlex, og andre ONNX bundter
huggingface.co / soniqo - konverterede modelvægte (ONNX, LiteRT)

Feedback

Åbn et nummer på github.com /soniqo/speech-core/ spørgsmål, eller slutte sig til Diskret.