Strojový překlad · Anglický originál

Pocket TTS 100M

Původní Apple runtime · PocketTTS

PocketTTS přidává nativní syntézu CoreML do speech-swift. Všechny fáze jsou výchozí pouze pro CPU- provedení. Anglické Alba preset streams 1,920-výběrové rámy na 24 kHz (80 ms na snímek).

Očekávaná dodávka se vztahuje na podtlak. Každá žádost vlastní svůj opakující se stav a semínko. Zrušení, selhání volání a omezení výroby hlásí chyby; úspěšné dokončení emituje jeden prázdný poslední kus. Hlasové klonování a další jazyky jsou tímto svazkem nepodporovány.

Stáhněte si publikovaný svazek aufklarer / Pocket-TTS-100M-CoreML-INT8 při prvním použití, nebo načíst místní export. Udržujte přiřazení na Kyutai, FluidInference, a Alba MacKenna pod CC BY 4.0.

Použití Swift a CLI

speech speak "Hello world." --engine pocket --stream \
  --pocket-bundle-dir /path/to/bundle --pocket-seed 42 -o hello.wav
import PocketTTS
let model = try PocketTTSModel.fromBundle(URL(fileURLWithPath: "/path/to/bundle"))
try await model.generateStreaming(text: "Hello world.") { chunk in
    await consume(chunk.samples)
}

HTTP a WebSocket

Použijte pocket-tts s hlasem alba. Streaming HTTP vyžaduje PCM; WebSocket emituje audio deltas. Stávající výchozí modely jsou nezměněny.

curl http://localhost:8080/v1/audio/speech \
  -H 'Content-Type: application/json' \
  -d '{"model":"pocket-tts","voice":"alba","input":"Hello world.","response_format":"pcm","stream":true}' \
  -o hello.pcm

Referenční hodnota pro Apple CPU

Apple M5 Pro · 48 GiB · cpuOnly · first_audio_ms 78.9 · RTF 0.337 · peak_rss 866.8 MiB · n =5 · semeno =42 · 2026-10-17

Pocket TTS 100M je low-latency, on- device anglický text- to- speak backend v speech-core. Veřejný ONNX svazek používá pevné Alba hlas a proudy zvuku, jakmile je každý akustický rám připraven.

Vysílání prvního zvuku

Důvody jsou skutečně prokládané: jeden autoregresivní latent je dekódován a emitován před generací dalšího latentu. Každé non-finální volání nese 1,920 Float32 vzorky - 80 ms na 24 kHz - vyhnout se pevnému plnému grafu podlahy buffered TTS export.

Zveřejněný svazek

PoložkaPodrobnosti
Vzorsoniqo/Pocket-TTS-100M-ONNX-INT8
Uvolnitv1.0.0 · ad5d3fae3fb2f10024583708597afca8337c094c
Velikost poutka120.3 MiB
BěhONNX Runtime · C + +17 · dynamické INT8 + FP32
Výstup24 kHz mono Float32 PCM · 1,920 vzorky / 80 ms na snímek
Jazyk / hlasAngličtina · opravené Alba hlas

Stáhnout a ověřit

speech-core stahovací kolíky v1.0.0 a ověřuje každý publikovaný soubor od SHA-256.

bash scripts/download_pocket_tts_onnx.sh /models/pocket-tts-onnx

C++ API

#include <speech_core/models/onnx_pocket_tts.h>

speech_core::PocketTtsConfig config;
config.intra_threads = 2;
config.flow_steps = 4;

speech_core::OnnxPocketTts tts("/models/pocket-tts-onnx", config);
tts.synthesize("Hello world.", "en",
    [](const float* samples, size_t length, bool is_final) {
        // Each non-final callback is 1,920 Float32 samples:
        // 80 ms at 24 kHz.
    });

Smlouva o streamingu

Zpětný hovor obdrží jeden 80 ms rámec najednou; konečné volání značky konec proudu. last_metrics() hlásí kondicionování, first-audio a celkové latency, rám a vzorek počet, EOS stav, zrušení, a efektivní osivo. cancel() zastavuje aktivní syntézu.

Galaxy S23 Ultra měřítko

Čisté opakování veřejnosti v1.0.0 Pouzdro použité ONNX Runtime 1.27, dva závity CPU a Galaxy S23 Ultra. Jedná se o přímé měření motoru, nikoli UI nebo kompletní měření hlasového potrubí.

MetrickéVýsledek
TTFA p50 / p95127.7 / 133.7 ms
Celková latence p50 / p95467.5 / 485.3 ms
Medián RTF0.4495
Vrchol RSS373.7 MiB

Srozumitelnost kruhové jízdy

Brána zařízení syntetizovala 46 příkazů a příkazů, předělala zvuk přes výrobní cestu 24- až -16 kHz a přepsala jej pomocí nasazeného parakeet- EOU rozpoznávače.

MetrickéVýsledek
Corpus46 frází
Přesné přepisy31 / 46
WER / CER8.00% / 3.47%
Prázdná audio / přepis / EOS selhání0 / 0 / 0

Round- trip ASR měří srozumitelnost, ne přirozenost nebo preference posluchače; doplňuje odposlouchávací testy.

Stav integrace

Co je dnes k dispozici

C + +17 ONNX backend je sloučen v speech-core a staví pro Windows, Linux, a Android. Proud speech-android SDK/ JNI cesta stále vybírá Kokoro standardně; výběr modelu Kotlin, stahování kabeláže, a SDK expozice jsou navazující práce. Tato část popisuje ONNX uvolnění; rodák Swift CoreML Runtime je zdokumentován výše.

Mezní hodnoty a licence

Zdroje