Pocket TTS 100M

Indfødt Apple runtime · PocketTTS

PocketTTS tilføjer indfødt CoreML talesyntesse til speech-swift. Alle trin standard til CPU- kun udførelse. Den engelske Alba forudindstillet streams 1,920- prøvesæt på 24 kHz (80 ms per frame).

Afbestilling, callback fejl, og generering grænser rapportere fejl; vellykket afslutning udsender en tom sidste stykke. Stemme kloning og andre sprog er ikke understøttet af dette bundt.

Download den publicerede bundt aufklarer / Pocket-TTS-100M-CoreML-INT8 ved første brug, eller indlæs en lokal eksport. Tilbageholde tildeling til Kyutai, FluidInference, og Alba MacKenna under CC BY 4.0.

Brug af Swift og CLI

speech speak "Hello world." --engine pocket --stream \
  --pocket-bundle-dir /path/to/bundle --pocket-seed 42 -o hello.wav

import PocketTTS
let model = try PocketTTSModel.fromBundle(URL(fileURLWithPath: "/path/to/bundle"))
try await model.generateStreaming(text: "Hello world.") { chunk in
    await consume(chunk.samples)
}

HTTP og WebSocket

Brug pocket- tts med voice alba. Streaming HTTP kræver PCM; WebSocket udsender audio deltas. De eksisterende standardmodeller er uændrede.

curl http://localhost:8080/v1/audio/speech \
  -H 'Content-Type: application/json' \
  -d '{"model":"pocket-tts","voice":"alba","input":"Hello world.","response_format":"pcm","stream":true}' \
  -o hello.pcm

Apple CPU benchmark

Apple M5 Pro · 48 GiB · cpuOnly · first_audio_ms 78.9 · RTF 0.337 · peak_rss 866.8 MiB · n =5 · frø =42 · 2026-10-17

Pocket TTS 100M er lav- latency, on- enhed Engelsk tekst- to- tale backend i speech-core. Den offentlige ONNX bundt bruger den faste Alba stemme og streams lyd, så snart hver akustisk ramme er klar.

Streaming af første lyd

Inferens er virkelig interleaved: en autoregressiv latent er dekodet og udsendt før generation af den næste latent. Hver ikke-endelige callback bærer 1,920 Float32 prøver - 80 ms på 24 kHz - undgå den faste fuldgrafgulv af buffered TTS eksport.

Offentliggjort bundunit description in lists

Konto	Detaljer
Model	soniqo/Pocket-TTS-100M-ONNX-INT8
Frigivelse	`v1.0.0` · `ad5d3fae3fb2f10024583708597afca8337c094c`
Bunkestørrelse	120.3 MiB
Løbetid	ONNX Runtime · C + +17 · dynamisk INT8 + FP32
Output	24 kHz mono Float32 PCM · 1,920 prøver / 80 ms per frame
Sprog / stemme	English · fixed Alba voice

Download og verificer

speech-core downloaderstifter v1.0.0 og kontrollerer alle offentliggjorte filer af SHA-256.

bash scripts/download_pocket_tts_onnx.sh /models/pocket-tts-onnx

C++ API

#include <speech_core/models/onnx_pocket_tts.h>

speech_core::PocketTtsConfig config;
config.intra_threads = 2;
config.flow_steps = 4;

speech_core::OnnxPocketTts tts("/models/pocket-tts-onnx", config);
tts.synthesize("Hello world.", "en",
    [](const float* samples, size_t length, bool is_final) {
        // Each non-final callback is 1,920 Float32 samples:
        // 80 ms at 24 kHz.
    });

Streaming-kontrakt

Den callback modtager en 80 ms ramme ad gangen; den endelige callback markerer slutningen af stream. last_metrics() rapporter conditioning, first-audio og total latency, ramme og prøve tæller, EOS tilstand, annullering, og den effektive frø. cancel() stopper en aktiv syntese.

Galaxy S23 Ultra benchmark

En ren gentagelse af offentligheden v1.0.0 bundt brugt ONNX Runtime 1.27, to CPU tråde, og en Galaxy S23 Ultra. Disse er direkte motormålinger, ikke UI eller komplet voice- rørledning timings.

Metric	Resultat
TTFA p50 / p95	127.7 / 133.7
Total latency p50 / p95	467,5 / 485,3 ms
Median RTF	0.4495
Peak RSS	373,7 MiB

Rundrejsens forståelighed

Enhedsporten syntetiserede 46 kommandosætninger og assisterende sætninger, omamplede lyden gennem produktionen 24-til-16 kHz sti, og transskriberet den med den indsatte Parakeet- EOU-genkendelsesmaskine.

Metric	Resultat
Corpus	46 sætninger
Eksakt udskrift	31 / 46
WER / CER	8.00% / 3.47%
Tomme audio / udskrift / EOS fejl	0 / 0 / 0

Round- trip ASR måler forståelighed, ikke naturlighed eller lytterpræference; det supplerer lytteprøver.

Integrationsstatus

Hvad der er tilgængeligt i dag

C + +17 ONNX Bagenden er slået sammen i speech-core og bygger til Windows, Linux, og Android. Den nuværende speech-android SDK/ JNI sti stadig vælger Kokoro som standard; valg af Kotlin model, download af ledninger, og SDK eksponering er opfølgende arbejde. ONNX frigivelse; den indfødte Swift CoreML runtime er dokumenteret ovenfor.

Grænser og licenser

Kun engelsk; det offentlige checkpoint bages i den faste Alba stemme og understøtter ikke vilkårlig stemmekloning.
Modellen og stemmen er CC BY 4.0. Hold Alba MacKenna attribution inkluderet i bundt manifest.
De tilbagevendende grafer er CPU- orienterede. Hardware acceleration er opt- in, fordi Android bøde- udbyder support varierer efter enhed og ONNX Runtime bygge.
speech-core kilde er Apache 2.0; modellen bundt bevarer sin egen CC BY 4.0 vilkår.