Traducere automată · Originalul în engleză

Kokoro TTS voci și eșantioane

Kokoro-82M este un model de text-la-discurs ușor, non-autoregresiv bazat pe StyleTTS 2 cu un VOcodor ISTFTNet. Acesta rulează în întregime pe Neural Engine prin CoreML, producând vorbire naturală 24 kHz de la intrare text într-o singură trecere înainte.

Limbi acceptate

54 voci preset total. Convenție de denumire vocală: [language_prefix][gender]_[name] de ex., af_heart = American Feminin "Heart," if_sara = Italian Female "Sara."

Voci germane

Germana este deservită de două pachete separate cu o singură voce, kikiri-ts fine-tunes de Kokoro-82M cu un model de 313 MB CoreML per voce, mai degrabă decât de vocile grupului multilingv. Încarcă unul după modelul ID și sintetizează cu language: "de". Numere, date, ori, valută și abrevieri sunt scrise pe dispozitiv, iar cuvintele se rezolvă prin dicționarul german de 50k-cuvântul grupat.

let tts = try await KokoroTTSModel.fromPretrained(modelId: KokoroTTSModel.germanMartinModelId)
let audio = try tts.synthesize(text: "Am 3. Oktober um 18:30 Uhr kostet es 12,80 €.",
                               voice: "dm_martin", language: "de")

speech kokoro --model aufklarer/Kokoro-82M-German-Martin-CoreML --language de "Guten Tag, wie geht es Ihnen?" --output guten-tag.wav

Mostre de voce recomandate

Scurtă MP3 clipuri generate cu discoteca locală speech-swift CLI. Tabelul complet cu codul vocal rămâne dedesubt pentru utilizarea pastei de copiere.

Coduri vocale de referință

Fiecare ID de voce Kokoro urmează același model: o singură literă prefix limbă, o singură literă Codul de gen, apoi un accent și numele vocii. Utilizați tabelul de mai jos pentru a cartografia un limbaj țintă pentru prefixul corect.

Tabel prefix limbă

Toate vocile după limbă

Engleză ا American (af_*, am_*

Femeie: af_alloy, af_aoede, af_bella, af_heart (default); af_jessica, af_kore, af_nicole, af_nova, af_river, af_sarah, af_sky
Bărbat: am_adam, am_echo, am_eric, am_fenrir, am_liam, am_michael, am_onyx, am_puck, am_santa

Engleză ا Britanică (bf_*, bm_*

Femeie: bf_alice, bf_emma, bf_isabella, bf_lily
Bărbat: bm_daniel, bm_fable, bm_george, bm_lewis

Spaniolă (ef_*, em_*)

Female: ef_dora
Male: em_alex, em_santa

Franceză (ff_*)

Female: ff_siwis

Hindi (hf_*, hm_*)

Femeie: hf_alpha, hf_beta
Bărbat: hm_omega, hm_psi

Italian (if_*, im_*

Female: if_sara
Male: im_nicola

Japoneză (jf_*, jm_*

Femeie: jf_alpha, jf_gongitsune, jf_nezumi, jf_tebukuro
Bărbat: jm_kumo

Portugheză ا Braziliană (pf_*, pm_*)

Female: pf_dora
Male: pm_alex, pm_santa

Chinezesc bază (zf_*, zm_*

Femeie: zf_xiaobei, zf_xiaoni, zf_xiaoxiao, zf_xiaoyi
Bărbat: zm_yunjian, zm_yunxi, zm_yunxia, zm_yunyang

Arhitectură

Kokoro a 3-stage CoreML conducta. Nici o buclă de prelevare a probelor bază nu sunt permise înainte non-autoregresive cu un pas de aliniere Swift-side între etape 1 şi 2.

Conductă cu 3-stare

Telefonează-mi Buckets (Modelul de Duraţie)

Modelul de durată utilizează forme de intrare enumerate. Intrarea este capitonată la cea mai mică găleată care se potrivește:

Găleți de decodor

Modele de decodor cu model fix pentru lungimi audio maxime diferite (fiecare cadru = 600 de eșantioane la 24 kHz):

Necesită iOS 18+ / macOS 15+.

Telefonizator

Textul este convertit în jetoane foneme prin intermediul unei conducte de trei niveluri, toate Apache-2.0 licențiat, fără dependențe GPL:

1. Acţionare de căutare în limba engleză şi engleză cu suport heteronim
2. Suffix rezultat
3. BART G2P bază de date pentru date neuronale, utilizând un model separat CoreML decodor-decodor pentru cuvinte out-of-vocabular

Pronunții personalizate

Substantivele adecvate din afara dicționarelor expediate cad până la nivelul 3, de unde presupune BART Engleză reguli de ortografie bază astfel încât numele non-Anglo ies greșit (Tatiana devine tˈitiəniənə). addPronunciations injecţii word -> IPA intrările înainte de nivelul 1:

let tts = try await KokoroTTSModel.fromPretrained()
tts.addPronunciations(["tatiana": "tɑtiˈɑnə"])

Cheile sunt egalate cu cele inferioare și trebuie să fie un singur cuvânt textul este împărțit pe whitespace și punctuație înainte de rezoluție, astfel încât o cheie care conține un spațiu, hyphen, sau apostrophe nu este niciodată privit în sus. IPA trebuie să utilizeze simboluri din vocabularul model; orice altceva este scăzut în tăcere la tokenizare. zh, ja, it, fr, es, pt, și hi selectați telefoane dedicate care nu consultă dicționarele. Căutarea este deblocată, astfel încât să înregistreze intrările înainte de sinteză începe să ruleze concomitent pe același model.

Greutatea modelului

Performanță

Utilizarea CLI

speech kokoro "Hello, world!" --voice af_heart --output hello.wav

Opțiuni

Exemple

# English with default voice
speech kokoro "Hello, how are you today?" --output hello.wav

# French
speech kokoro "Bonjour le monde" --voice ff_siwis --language fr --output bonjour.wav

# Japanese
speech kokoro "こんにちは世界" --voice jf_alpha --language ja --output konnichiwa.wav

# List all 54 voices
speech kokoro --list-voices

Swift API

import KokoroTTS
import AudioCommon

let tts = try await KokoroTTSModel.fromPretrained()
// Downloads ~170 MB on first run

let audio = try tts.synthesize(text: "Hello world", voice: "af_heart")
// audio: [Float] — 24 kHz mono PCM

try WAVWriter.write(samples: audio, sampleRate: 24000, to: outputURL)

Suprascrie unitatea de calcul

fromPretrained(computeUnits:) alege care hardware ruleaza modelul principal CoreML. Implicit (.all) permite Core ML preferă Neural Engine, care este cea mai rapidă cale pe fiecare dispozitiv sprijinit. .cpuAndGPU să ocolească ANE ca o rezervă pe platforme în care compilatorul ANE produce o ieșire incorectă pentru acest model.

import CoreML
import KokoroTTS

// Default: ANE preferred
let tts = try await KokoroTTSModel.fromPretrained()

// Fallback: bypass the Neural Engine
let tts = try await KokoroTTSModel.fromPretrained(computeUnits: .cpuAndGPU)

Când se utilizează Kokoro

Licență

• Model de greutate: Apache-2.0 (hexgrad/Kokoro-82M)
• CoreML convertire: Apache-2.0 (aufklater/Kokoro-82M-CoreML)
• Dicționare și G2P: Apache-2.0