Maskinoversættelse · Engelsk original

Kokoro TTS stemmer og prøver

Kokoro-82M er en letvægts, ikke-autoregressiv tekst- to- tale model baseret på StyleTTS 2 med en ISTFTNet vocoder. Det kører helt på Neural Engine via CoreML, producerer naturlig 24 kHz tale fra tekst input i et enkelt fremadgående pass.

Understøttede sprog

54 forudindstillet stemmer i alt. Stemmenavngivning konvention: [language_prefix][gender]_[name] - f.eks. af_heart = Amerikansk Kvinde "Heart", if_sara = Italiensk kvinde "Sara".

Tyske stemmer

Tysk er serveret af to separate single- stemme bundter, kikiri- tts fine- tunes af Kokoro-82M med en 313 MB CoreML model per stemme, snarere end ved stemmer af den flersprogede bundt. Indlæs en efter model ID og syntetisering med language: "de". Tal, datoer, tidspunkter, valuta og forkortelser er skrevet ud på enheden, og ord løse gennem bundtet 50k- ord tysk ordbog.

let tts = try await KokoroTTSModel.fromPretrained(modelId: KokoroTTSModel.germanMartinModelId)
let audio = try tts.synthesize(text: "Am 3. Oktober um 18:30 Uhr kostet es 12,80 €.",
                               voice: "dm_martin", language: "de")

speech kokoro --model aufklarer/Kokoro-82M-German-Martin-CoreML --language de "Guten Tag, wie geht es Ihnen?" --output guten-tag.wav

Udvalgte stemmeprøver

Kort MP3 klip genereret med den lokale speech-swift CLI. Den fulde voice- code tabel forbliver nedenfor for copy- paste brug.

Stemmekodereference

Hver Kokoro stemme-id følger samme mønster: en one-letter sprogpræfiks, et et-bogstav kønskode, derefter en underscore og stemmenavnet. Brug tabellen nedenfor til at kortlægge et målsprog til det korrekte præfiks.

Præfikstabel for sprog

Alle stemmer efter sprog

Engelsk - Amerikansk (af_*, am_*)

Kvinde: af_alloy, af_aoede, af_bella, af_heart (standard) af_jessica, af_kore, af_nicole, af_nova, af_river, af_sarah, af_sky
Mænd: am_adam, am_echo, am_eric, am_fenrir, am_liam, am_michael, am_onyx, am_puck, am_santa

Engelsk - Britisk (bf_*, bm_*)

Kvinde: bf_alice, bf_emma, bf_isabella, bf_lily
Mænd: bm_daniel, bm_fable, bm_george, bm_lewis

Spansk (ef_*, em_*)

Kvinde: ef_dora
Mænd: em_alex, em_santa

Fransk (ff_*)

Kvinde: ff_siwis

Hindi (hf_*, hm_*)

Kvinde: hf_alpha, hf_beta
Mænd: hm_omega, hm_psi

Italiensk (if_*, im_*)

Kvinde: if_sara
Mænd: im_nicola

Japansk (jf_*, jm_*)

Kvinde: jf_alpha, jf_gongitsune, jf_nezumi, jf_tebukuro
Mænd: jm_kumo

Portugisisk - Brasiliansk (pf_*, pm_*)

Kvinde: pf_dora
Mænd: pm_alex, pm_santa

Kinesisk - Mandarin (zf_*, zm_*)

Kvinde: zf_xiaobei, zf_xiaoni, zf_xiaoxiao, zf_xiaoyi
Mænd: zm_yunjian, zm_yunxi, zm_yunxia, zm_yunyang

Arkitektur

Kokoro bruger en 3- stage CoreML rørledning. Ingen samplingsløjfe - alle faser er ikke-auto-regressive fremadgående passerer med en Swift- side justering trin mellem trin 1 og 2.

3 - Stage Pipeline

Phoneme Spande (Varighed Model)

Varigheden model bruger opregnet input former. Input er polstret til den mindste spand, der passer:

Decoder- spande

Fixed- form dekoder modeller for forskellige maksimale lydlængder (hver ramme = 600 prøver ved 24 kHz):

Kræver iOS 18+ / macOS 15+.

Phonemizer

Tekst konverteres til foneme tokens via en trestrenget rørledning - alle Apache-2.0 licenseret, ingen GPL afhængigheder:

1. Ordbogsopvisning - US English og British English udtale ordbøger med heteronym støtte
2. Suffiks, der stammer fra - Morfologisk nedbrydning af kendte suffikser (f.eks. "-ing", "-tion")
3. BART G2P - Neurale grapheme- to- phoneme fallback ved hjælp af en separat CoreML encoder-dekoder model for out- of- ordforråd ord

Brugerdefinerede udtryk

Korrekt navneord uden for de sendte ordbøger falder igennem til tier 3, hvor BART gæt fra Engelsk stavregler - så ikke-Anglo navne kommer ud forkert (Tatiana bliver tˈitiəniənə). addPronunciations injects word -> IPA poster foran tier 1:

let tts = try await KokoroTTSModel.fromPretrained()
tts.addPronunciations(["tatiana": "tɑtiˈɑnə"])

Nøglerne er matchede med små bogstaver og skal være enkelte ord - tekst er delt på whitespeak og punktuation før opløsning, så en nøgle, der indeholder et mellemrum, hyphen, eller apostrophe er aldrig set op. IPA skal bruge symboler fra modellen ordforråd; alt andet er lydløst tabt ved advoization. Angivelser gælder kun for den engelske sti - zh, ja, it, fr, es, pt, og hi Vælg dedikerede phonemizers, der aldrig konsultere ordbøger. Opslag er ulåst, så registrer poster, før syntese begynder at køre samtidigt på samme model.

Model Vægte

Præstation

CLI-brug

speech kokoro "Hello, world!" --voice af_heart --output hello.wav

Indstillinger

Eksempler

# English with default voice
speech kokoro "Hello, how are you today?" --output hello.wav

# French
speech kokoro "Bonjour le monde" --voice ff_siwis --language fr --output bonjour.wav

# Japanese
speech kokoro "こんにちは世界" --voice jf_alpha --language ja --output konnichiwa.wav

# List all 54 voices
speech kokoro --list-voices

Swift API

import KokoroTTS
import AudioCommon

let tts = try await KokoroTTSModel.fromPretrained()
// Downloads ~170 MB on first run

let audio = try tts.synthesize(text: "Hello world", voice: "af_heart")
// audio: [Float] — 24 kHz mono PCM

try WAVWriter.write(samples: audio, sampleRate: 24000, to: outputURL)

Computér enhedsoverridning

fromPretrained(computeUnits:) vælger hvilken hardware der kører hovedmodellen CoreML. Standard (.all) lader Core ML foretrækker Neural Engine, som er den hurtigste sti på hver understøttet enhed. .cpuAndGPU at omgå ANE som en fallback på platforme, hvor ANE compiler producerer forkert output for denne model.

import CoreML
import KokoroTTS

// Default: ANE preferred
let tts = try await KokoroTTSModel.fromPretrained()

// Fallback: bypass the Neural Engine
let tts = try await KokoroTTSModel.fromPretrained(computeUnits: .cpuAndGPU)

Hvornår skal Kokoro anvendes

Licens

• Standardvægt: Apache-2.0 (hexgrad / Kokoro-82M)
• CoreML konvertering: Apache-2.0 (aufklarer / Kokoro-82M-CoreML)
• Ordbøger og G2P: Apache-2.0