온디바이스 음성 SDK

시작하기 — Apple 시작하기 — Android

Apple — Homebrew:

brew tap soniqo/speech https://github.com/soniqo/speech-swift && brew install speech

Android — Gradle:

implementation("audio.soniqo:speech:0.0.5")
Speech-to-Text

Qwen3-ASR

다국어 전사, 4-bit/8-bit 양자화, RTF 약 0.06

MLXCoreML

Parakeet TDT

Neural Engine 상의 NVIDIA FastConformer, 실시간의 약 32배

CoreMLONNX

Omnilingual ASR

Meta wav2vec2 + CTC, 1,672개 언어, 300M / 1B / 3B / 7B

CoreMLMLX

강제 정렬

CTC 기반 단어 수준 타임스탬프, 80ms 해상도

MLXCoreML
Text-to-Speech

Qwen3-TTS

12Hz 코덱 LM + Mimi 디코더, 실시간보다 빠름

MLXCoreML

CosyVoice3

9개 언어, DiT flow matching + HiFi-GAN 보코더

MLX

Kokoro-82M

iOS 지원, 50개 음색, 10개 언어, 추론 약 45ms

CoreMLONNX

음성 복제

ECAPA-TDNN을 통해 짧은 샘플로 어떤 음성도 복제

MLX
Language Models

Qwen3.5-0.8B Chat

온디바이스 LLM, 하이브리드 DeltaNet + GatedAttention, INT4 MLX / INT8 CoreML, 스트리밍 토큰

MLXCoreML
Speech-to-Speech

PersonaPlex 7B

전이중 음성 대화, 18개 음색 프리셋, RTF 약 0.87

MLX
오디오 분석

음성 활동 감지

Pyannote(오프라인) + Silero v5(스트리밍, 실시간의 23배)

MLXCoreMLONNX

화자 분리

누가 언제 말했는지 — Pyannote 파이프라인 또는 엔드투엔드 Sortformer

MLXCoreML

화자 임베딩

WeSpeaker ResNet34 — 화자 식별용 256차원 벡터

MLXCoreML

음성 향상

DeepFilterNet3 — 48kHz에서 실시간 노이즈 억제

CoreMLONNX

소스 분리

Open-Unmix — 음악을 보컬, 드럼, 베이스, 기타로 분리. 실시간의 4배

MLX
Android 및 Linux

Parakeet TDT v3

114개 언어, INT8 양자화, TDT greedy 디코더, RTF 0.12

ONNX RuntimeNNAPI

Kokoro-82M

50개 음색, 7개 언어, 사전 기반 phonemizer, 24 kHz 출력

ONNX Runtime

Silero VAD v5

스트리밍 음성 활동 감지, 32ms chunks, 밀리초 미만 지연

ONNX Runtime

DeepFilterNet3

실시간 노이즈 제거, STFT/ERB 처리, RTF 약 0.15

ONNX Runtime