Konekäännös · Englanninkielinen alkuperäinen

Kokoro TTS äänet ja näytteet

Kokoro-82M on kevyt, ei-aggressiivinen teksti-puhe-malli, joka perustuu tyyliinTTS 2 ja jossa on ISTFTFTNet-äänisumutin. Se toimii kokonaan Neural Engine CoreML , joka tuottaa luonnollisen 24 kHz:n puheen tekstisyötteestä yhdellä eteenpäin syötettävällä solalla.

Tuetut kielet

54 esiasetettua ääntä yhteensä. Äänen nimityskäytäntö: [language_prefix][gender]_[name] ... esim., af_heart = amerikkalainen nainen "kuusi," if_sara = italialainen nainen "sara."

Saksan äänet

Saksaa palvelee kaksi erillistä yhden äänen nippua. kikiri-tts Kokoro-82M:n hienot sävyt yhdellä 313 MB CoreML-mallilla ääntä kohti, eikä monikielisen paketin äänillä. Lataa yksi mallitunnisteella ja syntetisoimalla language: "de". Numerot, päivämäärät, ajat, valuutta ja lyhenteet on kirjoitettu laitteeseen, ja sanat ratkaista kautta niputettu 50k-sanan saksan sanakirja.

let tts = try await KokoroTTSModel.fromPretrained(modelId: KokoroTTSModel.germanMartinModelId)
let audio = try tts.synthesize(text: "Am 3. Oktober um 18:30 Uhr kostet es 12,80 €.",
                               voice: "dm_martin", language: "de")

speech kokoro --model aufklarer/Kokoro-82M-German-Martin-CoreML --language de "Guten Tag, wie geht es Ihnen?" --output guten-tag.wav

Esitetyt ääninäytteet

Lyhyt MP3 klipsit, jotka on tuotettu paikallisella speech-swift CLI:llä. Täydellinen äänikooditaulukko pysyy alla kopiotahnan käyttöä varten.

Äänikoodi

Jokainen Kokoro-äänitunnus noudattaa samaa kaavaa: yksi kirjain kielen etuliite, yksi kirjain sukupuolikoodi, sitten alleviivaus ja äänen nimi. Käytä alla olevaa taulukkoa kartoittaa kohdekieli oikea etuliite.

Kielien etuliitetaulukko

Kaikki äänet kielellä

... Amerikkalainen (af_*, am_*)

Naiset: af_alloy, af_aoede, af_bella, af_heart (oletus), af_jessica, af_kore, af_nicole, af_nova, af_river, af_sarah, af_sky
Mies: am_adam, am_echo, am_eric, am_fenrir, am_liam, am_michael, am_onyx, am_puck, am_santa

Englanti ... .. britti (bf_*, bm_*)

Naiset: bf_alice, bf_emma, bf_isabella, bf_lily
Mies: bm_daniel, bm_fable, bm_george, bm_lewis

Espanja (ef_*, em_*)

Nainen: ef_dora
Male: em_alex, em_santa

Ranska (ff_*)

Nainen: ff_siwis

Hindi (hf_*, hm_*)

Naiset: hf_alpha, hf_beta
Mies: hm_omega, hm_psi

Italia (if_*, im_*)

Nainen: if_sara
Male: im_nicola

Japani (jf_*, jm_*)

Naiset: jf_alpha, jf_gongitsune, jf_nezumi, jf_tebukuro
Mies: jm_kumo

Portugalin brasilia (pf_*, pm_*)

Nainen: pf_dora
Male: pm_alex, pm_santa

Kiinan mandariini (zf_*, zm_*)

Naiset: zf_xiaobei, zf_xiaoni, zf_xiaoxiao, zf_xiaoyi
Mies: zm_yunjian, zm_yunxi, zm_yunxia, zm_yunyang

Arkkitehtuuri

Kokoro käyttää 3-vaihe CoreML -putkea. Ei näytteenottosilmukkaa . Kaikki vaiheet ovat ei-autoreaggressiivisia eteenpäin kulkee Swift-side linjaus vaiheiden 1 ja 2 välillä.

3-vaiheputki

Foneme Buckets (Duration Model)

Kestomallissa käytetään lueteltuja syöttömuotoja. Input on pehmustettu pienimpään kauhaan, joka sopii:

Purkaja Ämpärit

Kiinteämuotoiset dekooderimallit, joissa äänen enimmäispituudet ovat eri (kukin kehys = 600 näytettä 24 kHz:n kohdalla):

Vaaditaan iOS 18+ / macOS 15+.

Puhelin

Teksti muunnetaan puhelinpoleteiksi kolmiportaisen putken kautta ... kaikki Apache-2.0 lisensoitu, ei GPL-riippuvuuksia:

1. Dictionary lookup ... ..
2. Pääte, joka johtuu Morfologinen hajoaminen tunnettujen loppuliitteiden osalta (esim., "-ing," "-tion")
3. BART G2P Neural grapheme-to-phone-phoneme varalla käyttäen erillistä CoreML kooder-dekooderi malli out-of-vocabulary sanoja

Omat pronunciat

Lähetettyjen sanakirjojen ulkopuolella olevat oikeat substantiivit siirtyvät 3-tasolle, josta BART arvaa mistä Finnish kirjoitustapa säännöt ... joten ei-Anglo nimet tulevat ulos väärin (Tatiana muuttuu tˈitiəniənə). addPronunciations ruiskeet word -> IPA kohdat ennen 1-tasoa:

let tts = try await KokoroTTSModel.fromPretrained()
tts.addPronunciations(["tatiana": "tɑtiˈɑnə"])

Avaimet on sovitettu pienempiin ja niiden on oltava vain yksi sana . Teksti on jaettu valkaisemalla ja välimerkki ennen resoluutiota, joten avain, joka sisältää tilan, väliviivan tai apostrophen, ei ole koskaan katsonut ylös. IPA:n on käytettävä symbolia mallisanastosta; kaikki muu on hiljaa pudotettu tunnusmerkistöllä. Merkit koskevat vain englanninkielistä polkua . zh, ja, it, fr, es, pt, hi Valitse omistettu puhelinmizerit, jotka eivät koskaan kuule sanakirjoja. Etsi on avattu, joten rekisteröi merkinnät ennen kuin synteesi alkaa toimia samanaikaisesti samassa mallissa.

Mallin painot

Tulos

CLI-käyttö

speech kokoro "Hello, world!" --voice af_heart --output hello.wav

Valinnat

Esimerkit

# English with default voice
speech kokoro "Hello, how are you today?" --output hello.wav

# French
speech kokoro "Bonjour le monde" --voice ff_siwis --language fr --output bonjour.wav

# Japanese
speech kokoro "こんにちは世界" --voice jf_alpha --language ja --output konnichiwa.wav

# List all 54 voices
speech kokoro --list-voices

Swift API

import KokoroTTS
import AudioCommon

let tts = try await KokoroTTSModel.fromPretrained()
// Downloads ~170 MB on first run

let audio = try tts.synthesize(text: "Hello world", voice: "af_heart")
// audio: [Float] — 24 kHz mono PCM

try WAVWriter.write(samples: audio, sampleRate: 24000, to: outputURL)

Tietokoneyksikön ohitus

fromPretrained(computeUnits:) valitsee, mikä laitteisto toimii pää- CoreML -mallissa. Oletusarvo (.all) antaa Core ML -standardin mieluummin Neural Engine -mallin, joka on nopein polku kaikissa tuetuissa laitteissa. Pakota .cpuAndGPU ohittaaksesi ANE-järjestelmän varalla alustoilla, joissa ANE-kääntäjä tuottaa virheellisen tulostuksen.

import CoreML
import KokoroTTS

// Default: ANE preferred
let tts = try await KokoroTTSModel.fromPretrained()

// Fallback: bypass the Neural Engine
let tts = try await KokoroTTSModel.fromPretrained(computeUnits: .cpuAndGPU)

Kun käytät Kokoro

Lisenssi

• Mallin painot: Apache-2.0 (hexgrad/Kokoro-82M)
• CoreML muuntaminen: Apache-2.0 (aufklarer/Kokoro-82M-CoreML)
• Sanakirjat ja G2P: Apache-2.0