Speech Core

वॉइस एजेंट्स के लिए ओपन-सोर्स C++17 स्पीच इंजन — वॉयस एक्टिविटी डिटेक्शन, बैच और रियल-टाइम स्ट्रीमिंग स्पीच-टू-टेक्स्ट, स्पीकर डायराइज़ेशन, और टेक्स्ट-टू-स्पीच, सब कुछ Linux, Windows और Android पर ऑन-डिवाइस। Apache 2.0।

यह क्या है

Speech Core एक छोटा ऑर्केस्ट्रेशन कोर है — स्टेट मशीन, टर्न डिटेक्शन, इंटरप्शन हैंडलिंग, ऑडियो यूटिलिटीज़, बिना किसी ML निर्भरता के — साथ में स्पीच मॉडलों के लिए ऐब्स्ट्रैक्ट इंटरफ़ेस का एक सेट। इन्फ़रेंस CPU पर लोकल रूप से चलती है; ऑडियो कभी मशीन से बाहर नहीं जाता, और इन्फ़रेंस के समय कोई Python नहीं होता। मॉडल इन्फ़रेंस दो अदला-बदली योग्य बैकएंड के माध्यम से ऑप्ट-इन है, जिन्हें आप स्वतंत्र रूप से सक्षम कर सकते हैं — या इंटरफ़ेस के अपने ख़ुद के इम्प्लीमेंटेशन ला सकते हैं।

• वॉइस-एजेंट ऑर्केस्ट्रेशन — VoicePipeline VAD, स्ट्रीमिंग STT, एक LLM, और TTS को barge-in, टर्न डिटेक्शन और tool-call लूप वाले फ़ुल-डुप्लेक्स एजेंट लूप में जोड़ता है। docs/pipeline.md और वॉइस एजेंट अवलोकन देखें।
• शुद्ध C++ में स्पीकर डायराइज़ेशन — DiarizationPipeline एक सेग्मेंटर और एक एम्बेडर को मिलाकर स्पीकर-लेबल वाले सेग्मेंट देता है, बिना अपनी किसी ML-रनटाइम निर्भरता के।
• बाक़ी स्टैक को शक्ति देता है — speech-android Speech Core के ऊपर एक Kotlin SDK + JNI ब्रिज है, और Speech Studio Windows और Linux पर इसके LiteRT VoxCPM2 इंजन का उपयोग करता है। Apple प्लेटफ़ॉर्म पर समकक्ष लाइब्रेरी speech-swift है।

प्लेटफ़ॉर्म और बैकएंड

चाहे एक बैकएंड सक्षम करें, दोनों, या कोई भी नहीं — ऑर्केस्ट्रेशन कोर बिना किसी ML रनटाइम के भी बिल्ड होता है।

समर्थित मॉडल

क्विक स्टार्ट

कोर और LiteRT बैकएंड बिल्ड करें (रनटाइम लाइब्रेरी ai-edge-litert wheel से निकाली जाती है — कोई TensorFlow बिल्ड नहीं):

git clone https://github.com/soniqo/speech-core && cd speech-core
scripts/fetch_litert.sh build/litert
cmake -B build -DCMAKE_BUILD_TYPE=Release \
    -DSPEECH_CORE_WITH_LITERT=ON -DLITERT_DIR=$PWD/build/litert
cmake --build build

फिर अपनी ज़रूरत के टार्गेट लिंक करें:

target_link_libraries(my_app PRIVATE speech_core)                            # orchestration only
target_link_libraries(my_app PRIVATE speech_core speech_core_models)         # + ONNX models
target_link_libraries(my_app PRIVATE speech_core speech_core_models_litert)  # + LiteRT models

ऑडियो बफ़र ट्रांसक्राइब करना बस कुछ पंक्तियों का काम है:

#include <speech_core/models/litert_parakeet_stt.h>

speech_core::LiteRTParakeetStt stt(
    "parakeet-encoder.tflite", "parakeet-decoder-joint.tflite", "vocab.json");

auto r = stt.transcribe(audio, n_samples, 16000);   // r.text / r.language / r.confidence

दस्तावेज़ीकरण

• docs/ — रेपो के भीतर पूर्ण दस्तावेज़ीकरण
• docs/pipeline.md — VoicePipeline स्टेट मशीन, AEC इंटीग्रेशन, और tool-call लूप
• docs/models.md — पूर्ण मॉडल इन्वेंटरी
• huggingface.co/soniqo — कन्वर्ट किए गए मॉडल वेट्स (ONNX, LiteRT)

फीडबैक

github.com/soniqo/speech-core/issues पर एक issue खोलें, या Discord से जुड़ें।