Strojový překlad · Anglický originál

Kokoro TTS — Android

Kokoro-82M je lehký, non-autoregresivní text- to- speak model běží na Android přes ONNX Runtime. Produkuje přirozenou řeč 24 kHz s 50 přednastavených hlasů napříč jazyky 8

Podporované jazyky

JazykKódPříklad Hlasů
Anglicky (US)naf _ heart, am _ adam, af _ sky
Anglicky (UK)nbf _ emma, bm _ george
Španělštinaeef _ dora
Francouzštinafrff _ siwis
HindštinaAhoj.hf _ alfa, hm _ omega
ItalštinaToif _ sara
japonskyjajf _ alfa, jm _ omega
Portugalštinaptpf _ dora
Čínštinazhzf _ xiaobei, zm _ yunjian
Němčinadedm _ martin, df _ victoria (hlasové balíčky)

50 přednastavené hlasy celkem. [language][gender]_[name] - např., af_heart = Americká žena "Srdce".

Německé hlasové schránky

Němec není hlasem mnohojazyčného svazku výše: dva německé hlasy jsou kikiri- tts fine- melodie Kokoro-82M, každá samostatná sada 162 MB s hmotností cvičená pouze na německých telefonech. Vyberte si jednu s KokoroPack při stahování, pak syntetizovat s language = "de". Každá smečka žije ve své vlastní úschovně, takže angličtina a němčina zůstat nainstalován vedle sebe.

BaleníHlasStáhnout
KokoroPack.GERMAN_MARTINdm_martin (samec)soniqo/Kokoro-82M-German-Martin-ONNX (~ 170 MB)
KokoroPack.GERMAN_VICTORIAdf_victoria (samice)soniqo/Kokoro-82M-German-Victoria-ONNX (~ 170 MB)
val modelDir = ModelManager.ensureTtsModels(
    context,
    ttsModel = TtsModel.KOKORO_SHORT_TURN,
    kokoroPack = KokoroPack.GERMAN_MARTIN, // or GERMAN_VICTORIA
)
val tts = SpeechSynthesizer(SpeechSynthesizerConfig(modelDir = modelDir))
val audio = tts.synthesize("Am 3. Oktober um 18:30 Uhr kostet es 12,80 €.", "de")

Čísla, řády, data, časy, částky měny, jednotky a společné zkratky jsou uvedeny na zařízení; slova pocházejí z 50k-slovo německý slovník s inflexní, složené a rule- based padbacks. Systém TTS motoru (SpeechTextToSpeechService) nabízí Martin hlas jako de-DE vedle en-US.

Vzorové soubory

SouborVelikost
kokoro-e2e.onnx + .onnx.data~ 330 MB
voices.binHlasové vložení
Telefonní slovníkyÚdaje o výslovnosti specifické pro jazyk

HuggingFace: soniqo/Kokoro-82M-ONNX

Výkonnost

MetrickéHodnota
Parametry82M
Výstupní backendONNX Runtime
Výstupní vzorkovací rychlost24 kHz

Fonemizér

Text je převeden na foneme tokens pomocí dictionary-based phonemizer s jazykovou-specifické podpory. Android implementace zahrnuje fonemizéry pro angličtinu, francouzštinu, španělštinu, italštinu, portugalštinu, hindštinu, japonštinu a čínštinu.

Integrace potrubí

Na Android je Kokoro TTS součástí SpeechPipeline. Po STT transkribes řeč, text je phonemized a syntetizován zpět do zvuku. Plynovod řídí plný VAD → STT → TTS tok automaticky.

val modelDir = ModelManager.ensureModels(context)
val pipeline = SpeechPipeline(SpeechConfig(modelDir = modelDir))
pipeline.events.collect { event ->
    when (event) {
        is SpeechEvent.TranscriptionCompleted -> println(event.text)
        else -> {}
    }
}
pipeline.start()
pipeline.pushAudio(samples) // 16kHz mono float32

Zdroj: github.com /soniqo/speech-android