Konekäännös · Englanninkielinen alkuperäinen

Pocket TTS 100M

Native Applen ajoaika · PocketTTS

PocketTTS lisää natiivin CoreML puheen synteesin speech-swift. Kaikki vaiheet oletuksena CPU-yksinomaan suoritukseen. Englanti Alba esiasetetut virrat 1,920-0 näytekehys 24 kHz (80 ms per runko).

Odotettu toimitus on vastapaine. Jokainen pyyntö omistaa sen toistuvan tilan ja siemenet. Peruutus, soittovirheet, ja sukupolven rajat raporttivirheitä; onnistunut viimeistely lähettää yhden tyhjän viimeisen palan. Äänen kloonaus ja muut kielet eivät tue tätä nippua.

Lataa julkaistu nippu aufklarer/Pocket-TTS-100M-CoreML-INT8 ensimmäisestä käyttökerrasta tai lataa paikallinen vienti. Jatka Kyutain, FluidInferencen ja Alba MacKennan valintaa CC BY 4.0:n mukaisesti.

Swift ja CLI-käyttö

speech speak "Hello world." --engine pocket --stream \
  --pocket-bundle-dir /path/to/bundle --pocket-seed 42 -o hello.wav
import PocketTTS
let model = try PocketTTSModel.fromBundle(URL(fileURLWithPath: "/path/to/bundle"))
try await model.generateStreaming(text: "Hello world.") { chunk in
    await consume(chunk.samples)
}

HTTP ja WebSocket

Käytä tasku-tts kanssa ääni alba. Streaming HTTP edellyttää PCM; WebSocket lähettää äänideltaa. Olemassa olevat oletusmallit ovat muuttumattomia.

curl http://localhost:8080/v1/audio/speech \
  -H 'Content-Type: application/json' \
  -d '{"model":"pocket-tts","voice":"alba","input":"Hello world.","response_format":"pcm","stream":true}' \
  -o hello.pcm

Apple CPU vertailuarvo

Apple M5 Pro · 48 GiB · cpuOnly · first_audio_ms 78.9 · RTF 0,337 · peak_rss 866,8 MiB · n=5 · siemen=42 · 2026-10-17

Pocket TTS 100M on pieni latenssi, joka on tarkoitettu instrumenttikielen teksti-puhe-taajuuteen taustaosaksi speech-core. Yleisö ONNX -paketti käyttää kiinteää Alba-ääntä ja streams-ääntä heti, kun jokainen akustinen kehys on valmis.

Virtaa ensimmäinen ääni

Päätelmä on aidosti limitetty: yksi autoregressiivinen latentti puretaan ja lähetetään ennen seuraavan latentin sukupolvea. 1,920 Float32 näytteet ... 80 ms at 24 kHz ... .. puskuroitujen kiinteiden kokokirjoituskerrosten välttäminen TTS vienti.

Julkaistu nippu

Kohta Yksityiskohdat
Mallisoniqo/Pocket-TTS-100M-ONNX-INT8
Julkaisuv1.0.0 · ad5d3fae3fb2f10024583708597afca8337c094c
Syöttökoosta120,3 MiB
SuoritusaikaONNX Runtime · C++17 · dynaaminen INT8 + FP32
Tuotos24 kHz mono Float32 PCM · 1,920 näytettä / 80 ms/runko
Kieli/ääni Englanti · kiinteä Alba ääni

Lataa ja varmista

speech-core downloader nastat v1.0.0 ja tarkastaa jokaisen julkaistun tiedoston SHA-256.

bash scripts/download_pocket_tts_onnx.sh /models/pocket-tts-onnx

C++ API

#include <speech_core/models/onnx_pocket_tts.h>

speech_core::PocketTtsConfig config;
config.intra_threads = 2;
config.flow_steps = 4;

speech_core::OnnxPocketTts tts("/models/pocket-tts-onnx", config);
tts.synthesize("Hello world.", "en",
    [](const float* samples, size_t length, bool is_final) {
        // Each non-final callback is 1,920 Float32 samples:
        // 80 ms at 24 kHz.
    });

Streaming-sopimus

Kutsu vastaanotetaan yksi 80 ms:n runko kerrallaan; lopulliset soittomerkit streamin lopussa. last_metrics() raportit, ensimmäisen audion ja kokonaislatenssin, rungon ja näytteen määrän, EOS-tilan, peruutuksen ja tehokkaan siemenen. cancel() pysäyttää aktiivisen synteesin.

Galaxy S23 Ultra-vertailuarvo

Yleisön puhdas uusinta v1.0.0 käytetty nippu ONNX Runtime 1,27, kaksi CPU -lankaa ja Galaxy S23 Ultra. Nämä ovat suoria moottorin mittauksia, eivät UI:n tai täydellisen ääni-pillin ajoitusta.

Metrinen Tulos
TTFA p50 / p95127,7 / 133,7 ms
Kokonaislatenssi p50 / p95467,5 / 485,3 ms
Mediaani RTF0.4495
RSS-huippu373,7 MiB

Pyöreän matkan ennustettavuus

Laitteen portti syntetisoi 46 komento- ja apulausetta, otti äänen uudelleen käyttöön tuotannossa 24-16 kHz polun kautta ja liitti sen käyttöön otettuun Parakeet-EOU tunnistimeen.

Metrinen Tulos
CorpusCity name (optional, probably does not need a translation)46 lausetta
Tarkat kopiot31 / 46
WER / CER8.00% / 3.47%
Tyhjä ääni / transkripti / EOS-häiriöt0 / 0 / 0

Pyöreällä matkalla ASR mittaamalla ymmärrettävyyttä, ei luonnonmukaisuutta tai kuulijan mieltymystä; se täydentää kuuntelutestejä.

Kotouttaminen

Mitä on saatavilla tänään

C++17 ONNX backend yhdistetään speech-core ja rakentaa Windows, Linux, Android. Nykyinen speech-android SDK/JNI-polku valitsee edelleen Kokoro oletuksena; Kotlin-mallien valinta, latausjohdot ja SDK Altistuminen on seurantatyötä. Tässä osassa kuvataan ONNX vapauttaa; syntyperäinen Swift CoreML Runtime on dokumentoitu edellä.

Rajoitukset ja lisenssit

Lähteet