Awtomatikong salin · Orihinal sa Ingles

Kokoro TTS mga tinig at sampol

Ang Kokoro-82M ay isang magaang, non-autoregressive text-to-speech model batay sa StyleTTS 2 na may isang ISTTNet na vocoder. Ito ay buong tumatakbo sa Neural Engine sa pamamagitan ng CoreML, na gumagawa ng natural na 24 kHz speech mula sa text input sa isang solong pasulong.

Suportadong mga Wika

54 preset voices overall.[Talaksan: [language_prefix][gender]_[name] — e.g., af_heart = Amerikanong Babaeng "Heart", if_sara = Italian Female "Sara".

Mga tinig ng Aleman

Ang Aleman ay pinagsisilbihan ng dalawang magkahiwalay na solong-voice na bungkos, mga kiikiri-tt Mapinong-tunes ng Kokoro-82M na may isang 313 MB CoreML modelo kada boses, sa halip na sa pamamagitan ng mga tinig ng multilingwal na bungkos. sunungan ang isa sa pamamagitan ng modelong ID at synthestic na may model ID language: "de". Mga numero, petsa, panahon, salapi at mga daglat ay binabaybay sa aparato, at ang mga salita ay nailalapat sa pamamagitan ng nakabigkis na 50k-word na diksyunaryong Aleman.

let tts = try await KokoroTTSModel.fromPretrained(modelId: KokoroTTSModel.germanMartinModelId)
let audio = try tts.synthesize(text: "Am 3. Oktober um 18:30 Uhr kostet es 12,80 €.",
                               voice: "dm_martin", language: "de")

speech kokoro --model aufklarer/Kokoro-82M-German-Martin-CoreML --language de "Guten Tag, wie geht es Ihnen?" --output guten-tag.wav

Mga halimbawa ng boses na may kulay

Maikling MP3 clips na ginawa sa lokal na speech-swift CLI. Ang buong voice-code table ay nananatili sa ibaba para sa copy-passe na gamit.

Binabanggit ng mga Kodigo ng Tinig

Ang bawat Kokoro voice ID ay sumusunod sa parehong pattern: isang one-letter panlapi sa wika, isang one-letter kodigo ng kasarian, pagkatapos ay isang diin at ang pangalan ng boses. Gamitin ang mesa sa ibaba upang i-reserba ang isang puntiryang wika sa tamang unlapi.

Banlapi sa wika

Lahat ng tinig ay sa pamamagitan ng wika

Ingles — American (af_*, am_*

Babae: af_alloy, af_aoede, af_bella, af_heart (Paninirahan), af_jessica, af_kore, af_nicole, af_nova, af_river, af_sarah, af_sky
Lalaki: am_adam, am_echo, am_eric, am_fenrir, am_liam, am_michael, am_onyx, am_puck, am_santa

Ingles — British (bf_*, bm_*

Babae: bf_alice, bf_emma, bf_isabella, bf_lily
Lalaki: bm_daniel, bm_fable, bm_george, bm_lewis

Espanyol (ef_*, em_*

Babae: ef_dora
Lalaki: em_alex, em_santa

Pranses (ff_*)

Babae: ff_siwis

Hindi (hf_*, hm_*

Babae: hf_alpha, hf_beta
Lalaki: hm_omega, hm_psi

Italyano (if_*, im_*

Babae: if_sara
Lalaki: im_nicola

Hapones (jf_*, jm_*

Babae: jf_alpha, jf_gongitsune, jf_nezumi, jf_tebukuro
Lalaki: jm_kumo

Portuges — Brazilian (pf_*, pm_*

Babae: pf_dora
Lalaki: pm_alex, pm_santa

Tsino — Mandarin (zf_*, zm_*

Babae: zf_xiaobei, zf_xiaoni, zf_xiaoxiao, zf_xiaoyi
Lalaki: zm_yunjian, zm_yunxi, zm_yunxia, zm_yunyang

Arkitektura

Kokoro ay gumagamit ng 3-stage CoreML pipeline. Walang mga sampol na loop – lahat ng mga yugto ay non-autoregressive forward passes na may swift-side na hakbang ng pag-aayos sa pagitan ng mga yugto 1 at 2.

3-Stage Pipeline

Phoneme Buckets (Pangalawang Modelo)

Ang modelong ito ay gumagamit ng de - listahang mga input na hugis, at ang mga ito ay may sapin hanggang sa pinakamaliit na timba na angkop:

Decoder Buckets

Nakatakdang-shape decoder na mga modelo para sa iba't ibang sukdulang mga haba ng audio (bawat balangkas = 600 sampol sa 24 kHz):

Hinihiling ng iOS 18+ / macOS 15+.

" Phonemizer "

Ang teksto ay ginagawang phoneme tokens sa pamamagitan ng isang tatlong-tier pipeline — lahat ng Apache-2.0 lisensiyado, walang GPL dependencies:

1. Pagtingin sa Dictionary — Mga diksyunaryong pagbigkas sa Ingles at Britanya na may suporta ng heteroniyam
2. Paglitaw ng Suffix — Morphological deficit para sa mga kilalang hulapi (hal.g., "-ing", "-ition")
3. ART G2P — Neural grapheme-to-phoneme fallback gamit ang hiwalay na CoreML regulator-decoder model para sa mga out-of-vocabulary na salita

Mga Pagtuligsa sa Kaugalian

Ang angkop na mga pangngalan sa labas ng ipinadalang mga diksyunaryo ay pumapatak sa mga andana 3, kung saan ang mga hula ng ART mula sa Tagalog Mga tuntunin sa pagbaybay — kaya ang mga pangalan na hindi-Anglo ay lumalabas na mali (Tatiana ay nagiging tˈitiəniənə). addPronunciations Mga turo word -> IPA Mga entries sa unahan ng andana 1:

let tts = try await KokoroTTSModel.fromPretrained()
tts.addPronunciations(["tatiana": "tɑtiˈɑnə"])

Ang mga susi ay pinagtutugmang mas mababang sukat at dapat na isahang mga salita — ang teksto ay nahahati sa puwang at bantas bago ang resolusyon, kaya ang isang susi na naglalaman ng isang espasyo, hyphen, o apotrophe ay hindi kailanman tinitingnan. Ang IPA ay dapat gumamit ng mga simbolo mula sa modelong talasalitaan; anumang bagay ay tahimik na ibinababa sa pamamagitan ng tokenisasyon. zh, ja, it, fr, es, pt, at hi Pumili ng dedikadong mga phonemizer na hindi kailanman kumokonsulta sa mga diksyunaryo, kaya irehistro muna ang mga entry bago magsimulang tumakbo nang sabay - sabay ang synthesis sa iisang modelo.

Modelong mga Timbang

Pag - aasikaso

Paggamit ng CLI

speech kokoro "Hello, world!" --voice af_heart --output hello.wav

Mga Mapagpipilian

Mga Halimbawa

# English with default voice
speech kokoro "Hello, how are you today?" --output hello.wav

# French
speech kokoro "Bonjour le monde" --voice ff_siwis --language fr --output bonjour.wav

# Japanese
speech kokoro "こんにちは世界" --voice jf_alpha --language ja --output konnichiwa.wav

# List all 54 voices
speech kokoro --list-voices

Swift API

import KokoroTTS
import AudioCommon

let tts = try await KokoroTTSModel.fromPretrained()
// Downloads ~170 MB on first run

let audio = try tts.synthesize(text: "Hello world", voice: "af_heart")
// audio: [Float] — 24 kHz mono PCM

try WAVWriter.write(samples: audio, sampleRate: 24000, to: outputURL)

Kompletong Paglaganap ng Unit

fromPretrained(computeUnits:) Mga pagpipilian kung aling hardware ang nagpapatakbo ng pangunahing modelong CoreML. Ang default (.all) mga hinahayaan Core ML mas gusto ang Neural Engine, na siyang pinakamabilis na daanan sa bawat suportadong aparato. .cpuAndGPU upang maiwasan ang ANE bilang isang fallback sa mga plataporma kung saan ang ANET Treatler ay gumagawa ng maling output para sa modelong ito.

import CoreML
import KokoroTTS

// Default: ANE preferred
let tts = try await KokoroTTSModel.fromPretrained()

// Fallback: bypass the Neural Engine
let tts = try await KokoroTTSModel.fromPretrained(computeUnits: .cpuAndGPU)

Kung Kailan Gagamitin ang Kokoro

Lisensiya

• Modelong mga pabigat: Apache-2.0 (Hexgrad/Kokoro-82M)
• CoreML kumbersiyon: Apache-2.0 (aufklarer/Kokoro-82M-CoreML)
• Dictionaries and G2P: Apache-2.0