תרגום מכונה · המקור באנגלית
דיבור Core
קוד פתוח C++17 מנוע הדיבור עבור סוכנים קוליים - זיהוי פעילות קול, אצווה בזמן אמת הזרמת דיבור-לטקסט, דיאריזציה הדוברת, וטקסט-ל-שטיפה, כולם רצים על-ידי מחיקה על הסימון. Linux, Windows ו- Android. Apache 2.0.
מה זה
דיבור הליבה היא הליבה תזמורתית קטנה - מכונה המדינה, להפוך גילוי, טיפול, כלי אודיו, עם אפס ML תלויות - בתוספת קבוצה של ממשקים מופשטים עבור דגמי דיבור. CPUאודיו אף פעם לא עוזב את המכונה, ואין Python בהקצאת הזמן.מודל ההקצאה הוא לבחור באמצעות שני החזרים ניתנים לשינוי שניתן לאפשר באופן עצמאי, או שאתה יכול להביא את המימוש שלך של הממשקים.
- תזמורת קולית —
VoicePipelineVAD, הזרמת STT, LLM ו TTS לתוך לולאה הסוכן המלא עם barge-in, להפוך את הגילוי ואת לולאה לכלי. המונחים: docs/pipeline.md וה סוכנים קוליים סקירה. - Talker diarization in טהור C++
DiarizationPipelineמארגן קטע ומטב לתוך פלחים שכותרתו, ללא תלות ב-ML-runtime של עצמו. - כוחו של שאר הערימה — speech-android גשר Kotlin SDK + JNI על פני Core דיבור, ו Speech Studio השימושים שלה LiteRT VoxCPM2 מנוע Windows ו Linuxב-Apple Platform, ספריית ה-Sambling speech-swift.
סוללות & backends
| חזרה | פלטפורמות | האצת חומרה |
|---|---|---|
ONNX Runtime (SPEECH_CORE_WITH_ONNX) | Linux, macOS, Windows, Android | NNAPI על Android, QNN על Qualcomm Linux, אופציונלי NVIDIA CUDA / TensorRT (-DSPEECH_CORE_WITH_CUDA=ON |
LiteRT (SPEECH_CORE_WITH_LITERT) | Linux x86_64, Windows x86_64, Android, macOS arm64 | CPU היום |
ניתן להחזיר, שניהם, או לא - הליבה של התזמורת בונה ללא ML זמן.
מודלים תומכים
| מודל מודל | משימות | ONNX | LiteRT |
|---|---|---|---|
| Silero VAD v5 | זיהוי פעילות קול | ✓ | ✓ |
| Smart Turn v3.2 | סוף-סוף גילוי (23 שפות) | ✓ | — |
| Parakeet TDT v3 (0.6B) | מילים לשיר (114 שפות) | ✓ | ✓ |
| Nemotron הזרמת דיבור (0.6B) | ביטוי להאזנה (אנגלית) | ✓ | ✓ |
| Nemotron-3.5 ASR הזרמת Multilingual (0.6B) | ביטוי להאזנה (multilingual, Fast-comped) | ✓ | ✓ |
| Whisper Small v3 | דיבור לטקסט (multilingual Whisper v3) | ✓ | — |
| Whisper Medium v3 | דיבור לטקסט (multilingual Whisper v3) | ✓ | — |
| Whisper v3 | דיבור לטקסט (multilingual Whisper v3) | ✓ | — |
| Whisper Large-v3 Turbo | דיבור לטקסט (multilingual Whisper v3) | ✓ | — |
| Omnilingual ASR CTC (300M) | דיבור לטקסט (multilingual) | — | ✓ |
| FunctionGemma 270M | On-device LLM - פונקציות מובנה / שיחות כלי (LiteRT-LM; CoreML על Apple) | — | ✓ |
| Pyannote Segmentation 3.0 | Diarization (בתגובה) | — | ✓ |
| WeSpeaker ResNet34-LM | תגית: Tanking | — | ✓ |
| VoxCPM2 (2B) | טקסט-to-speech (48 kHz, שיבוט קול) | — | ✓ |
| Kokoro 82M | טקסט-to-speech | ✓ | — |
| Pocket TTS 100M | וידאו-to-speech (אנגלית, קול אלבה קבוע) | ✓ | — |
| DeepFilterNet3 | שיפור דיבור | ✓ | — |
| PersonaPlex 7B | דיבור מלא-דופלקס-to-speech (CUDA) | ✓ | — |
התחלה מהירה
בנה את הליבה בתוספת LiteRT backend (ספריית ה- Runtime מופקת מ- ai-edge-litert
git clone https://github.com/soniqo/speech-core && cd speech-core
scripts/fetch_litert.sh build/litert
cmake -B build -DCMAKE_BUILD_TYPE=Release \
-DSPEECH_CORE_WITH_LITERT=ON -DLITERT_DIR=$PWD/build/litert
cmake --build buildואז קישור את המטרות שאתה צריך:
target_link_libraries(my_app PRIVATE speech_core) # orchestration only
target_link_libraries(my_app PRIVATE speech_core speech_core_models) # + ONNX models
target_link_libraries(my_app PRIVATE speech_core speech_core_models_litert) # + LiteRT modelsTranscribing a אודיו buffer הוא כמה שורות:
#include <speech_core/models/litert_parakeet_stt.h>
speech_core::LiteRTParakeetStt stt(
"parakeet-encoder.tflite", "parakeet-decoder-joint.tflite", "vocab.json");
auto r = stt.transcribe(audio, n_samples, 16000); // r.text / r.language / r.confidenceLinux - libspeech.so עם C ABI קטן, הדגמה של ALSA CLI, ו- transcribe/synthe size/phonemize כלים - חיים ב- דוגמאות /linuxזה מטרות מוטבע ARM64 (Yocto, Qualcomm SA8295P / SA8255P) וכל Linux dev Box. Linux מקבל מדריך.
Android, השתמש speech-android - Kotlin SDK אשר חבילות דיבור הליבה מאחורי גשר JNI (implementation("audio.soniqo:speech:0.0.9")macOS ו- iOS speech-swift, אשר מפעיל את המודלים על CoreML, MLX ו- Apple Neural Engine.
מסמך
- docs/ - תיעוד מלא ב-repo
- docs/pipeline.md -
VoicePipelineמכונה המדינה, שילוב AEC, ו-Lowtow - docs / Models.md - מלאי מודל מלא
- Soniqo ONNX — Whisper, Kokoro, DeepFilterNet3, PersonaPlexועוד ONNX חבילות
- חיבוק פנים / soniqo - המרת משקולות מודל (ONNX, LiteRT)
משובץ
פתח נושא ב github.com/soniqo/speech-core/issues, או להצטרף ל Discord.