Maskinoversettelse · Engelsk original

Kokoro TTS stemmer og prøver

Kokoro-82M er en lett, ikke-autoregressiv tekst-til-speech-modell basert på StyleTTS 2 med en ISTFTNet vocoder. Den kjører helt på Neural Engine via CoreML og produserer naturlig 24 kHz tale fra tekstinngang i et enkelt framoverpass.

Støttede språk

54 forhåndsinnstilte stemmer totalt. Stemmenavnskonvensjon: [language_prefix][gender]_[name] — f.eks. af_heart = amerikansk kvinnelig -Heart - if_sara = italiensk kvinne -Sara -

Tyske stemmer

Tysk betjenes av to separate enkeltstemmepakker, kiri-tts finpuner på Kokoro-82M med en 313 MB CoreML-modell per stemme, i stedet for av stemmer fra flerspråklig pakke. Last en etter modell ID og syntetisere med language: "de". Tal, datoer, ganger, valuta og forkortelser er stavet ut på enheten, og ord løses gjennom den pakkede 50k-ord tyske ordboka.

let tts = try await KokoroTTSModel.fromPretrained(modelId: KokoroTTSModel.germanMartinModelId)
let audio = try tts.synthesize(text: "Am 3. Oktober um 18:30 Uhr kostet es 12,80 €.",
                               voice: "dm_martin", language: "de")

speech kokoro --model aufklarer/Kokoro-82M-German-Martin-CoreML --language de "Guten Tag, wie geht es Ihnen?" --output guten-tag.wav

Utvalgte stemmeprøver

Korte MP3 klipp som genereres med den lokale speech-swift CLI. Den fulle stemmekodetabellen forblir under for kopiering-paste bruk.

Referanse for stemmekoder

Hvert Kokoro tale-ID følger det samme mønsteret: en én bokstav språkprefiks, en en bokstav gender kode, deretter en understrek og stemmenavn. Bruk tabellen nedenfor for å kartlegge et målspråk til riktig prefiks.

Språkprefikstabell

Alle stemmer etter språk

Engelsk — Amerikansk (af_*, am_*

Kvinne: af_alloy, af_aoede, af_bella, af_heart (standard), af_jessica, af_kore, af_nicole, af_nova, af_river, af_sarah, af_sky
Mann: am_adam, am_echo, am_eric, am_fenrir, am_liam, am_michael, am_onyx, am_puck, am_santa

Engelsk — Britisk (bf_*, bm_*

Kvinne: bf_alice, bf_emma, bf_isabella, bf_lily
Mann: bm_daniel, bm_fable, bm_george, bm_lewis

Spansk (ef_*, em_*

Kvinne: ef_dora
Kvinner: em_alex, em_santa

Fransk (ff_*)

Kvinne: ff_siwis

Hindi (hf_*, hm_*)

Kvinne: hf_alpha, hf_beta
Kvinner: hm_omega, hm_psi

Italiensk (if_*, im_*

Kvinne: if_sara
Mann: im_nicola

Japansk (jf_*, jm_*

Kvinne: jf_alpha, jf_gongitsune, jf_nezumi, jf_tebukuro
Mann: jm_kumo

Portugisisk — Brasiliansk (pf_*, pm_*

Kvinne: pf_dora
Mann: pm_alex, pm_santa

Kinesisk — Mandarin (zf_*, zm_*

Kvinne: zf_xiaobei, zf_xiaoni, zf_xiaoxiao, zf_xiaoyi
Mann: zm_yunjian, zm_yunxi, zm_yunxia, zm_yunyang

Arkitektur

Kokoro bruker et 3-trinns CoreML-rørledning. Ingen prøvetakingssløyfe - alle trinnene er ikke-autoregressive fremover passerer med et Swift-side-justeringstrinn mellom trinn 1 og 2.

3-Stage Pipeline

Phoneme Buckets (Duration Model)

Varighetsmodellen bruker opptimerte inngangsformer. Inngangen er polert til den minste bøtte som passer:

Dehydrering Buckets

Fastformede dekodermodeller for forskjellige lydlengder (hver ramme = 600 prøver ved 24 kHz):

Krever iOS 18+ / macOS 15+.

Phonemizer

Teksten konverteres til fonem-tokens via en tre-tier-rørledning - alle Apache-2.0 lisensiert, ingen GPL-avhengigheter:

1. Dictionary release — Engelsk og Engelsk Uttale ordbøker med heteronym støtte
2. Suffiks ifølge — Morfologisk dekomponering for kjente suffikser (f.eks.
3. BART G2P — Neural grafeme-til-foneme-spalt ved hjelp av en separat CoreML koder-dekoder-modell for ut-av-vocabulære ord

Custom Uttales

Riktige substantiv utenfor de sendte ordbøker faller gjennom til nivå 3, hvor BART gjetter fra Engelsk staveregler - så ikke-Anglo navn kommer ut feil (Tatiana blir tˈitiəniənə). addPronunciations injiserer word -> IPA poster foran nivå 1:

let tts = try await KokoroTTSModel.fromPretrained()
tts.addPronunciations(["tatiana": "tɑtiˈɑnə"])

Nøkkelene er matchet små bokstaver og må være enkeltord - teksten er delt på tommel og tegnsetting før oppløsning, så en nøkkel som inneholder et rom, bindestrek eller apostrofe blir aldri sett opp. IPA må bruke symboler fra modell vokabular; alt annet er lydløst falt ved tokenisering. Elementer gjelder kun den engelske banen - zh, ja, it, fr, es, pt, og hi Velg dedikerte fonemizere som aldri konsulterer ordbøker. Oppslaget er ulåst, så registrere oppføringer før syntese starter samtidig på samme modell.

Modellvekter

Ytelse

CLI bruk

speech kokoro "Hello, world!" --voice af_heart --output hello.wav

Alternativer

Eksempler

# English with default voice
speech kokoro "Hello, how are you today?" --output hello.wav

# French
speech kokoro "Bonjour le monde" --voice ff_siwis --language fr --output bonjour.wav

# Japanese
speech kokoro "こんにちは世界" --voice jf_alpha --language ja --output konnichiwa.wav

# List all 54 voices
speech kokoro --list-voices

Swift API

import KokoroTTS
import AudioCommon

let tts = try await KokoroTTSModel.fromPretrained()
// Downloads ~170 MB on first run

let audio = try tts.synthesize(text: "Hello world", voice: "af_heart")
// audio: [Float] — 24 kHz mono PCM

try WAVWriter.write(samples: audio, sampleRate: 24000, to: outputURL)

Beregn enhetsoverstyring

fromPretrained(computeUnits:) velger hvilken maskinvare som kjører hovedsaken CoreML modell. Standard (.all) lar Core ML foretrekker Neural Engine, som er den raskeste banen på hver støttet enhet. Pass .cpuAndGPU å omgå ANE som en reserve på plattformer der ANE-kompilatoren produserer feil utgang for denne modellen.

import CoreML
import KokoroTTS

// Default: ANE preferred
let tts = try await KokoroTTSModel.fromPretrained()

// Fallback: bypass the Neural Engine
let tts = try await KokoroTTSModel.fromPretrained(computeUnits: .cpuAndGPU)

Når du skal bruke Kokoro

Lisens

• Modellvekter: Apache-2.0 (hexgrad/Kokoro-82M)
• CoreML konvertering: Apache-2.0 (aufklarer/Kokoro-82M-CoreML)
• Ordbøker og G2P: Apache-2.0