Kokoro TTS

Kokoro-82M, ISTFTNet vocoder'lı StyleTTS 2 tabanlı hafif ve otoregresif olmayan bir metinden konuşma modelidir. CoreML aracılığıyla tamamen Neural Engine üzerinde çalışır ve metin girişinden tek bir forward pass'te doğal 24 kHz konuşma üretir.

Desteklenen diller

Toplam 50 hazır ses. Ses adlandırma kuralı: [language_prefix][gender]_[name] — örneğin, af_heart = Amerikan Kadın "Heart", if_sara = İtalyan Kadın "Sara".

Ses kodları referansı

Her Kokoro voice ID aynı kalıbı izler: tek harfli bir dil öneki, tek harfli bir cinsiyet kodu, ardından alt çizgi ve ses adı. Hedef dili doğru önekle eşlemek için aşağıdaki tabloyu kullanın.

Dil öneki tablosu

Dile göre tüm sesler

İngilizce — Amerikan (af_*, am_*)

Kadın: af_alloy, af_aoede, af_bella, af_heart (varsayılan), af_jessica, af_kore, af_nicole, af_nova, af_river, af_sarah, af_sky
Erkek: am_adam, am_echo, am_eric, am_fenrir, am_liam, am_michael, am_onyx, am_puck, am_santa

İngilizce — İngiliz (bf_*, bm_*)

Kadın: bf_alice, bf_emma, bf_isabella, bf_lily
Erkek: bm_daniel, bm_fable, bm_george, bm_lewis

İspanyolca (ef_*, em_*)

Kadın: ef_dora
Erkek: em_alex, em_santa

Fransızca (ff_*)

Kadın: ff_siwis

Hintçe (hf_*, hm_*)

Kadın: hf_alpha, hf_beta
Erkek: hm_omega, hm_psi

İtalyanca (if_*, im_*)

Kadın: if_sara
Erkek: im_nicola

Japonca (jf_*, jm_*)

Kadın: jf_alpha, jf_gongitsune, jf_nezumi, jf_tebukuro
Erkek: jm_kumo

Korece (kf_*)

Kadın: kf_somi

Portekizce — Brezilya (pf_*, pm_*)

Kadın: pf_dora
Erkek: pm_alex, pm_santa

Çince — Mandarin (zf_*, zm_*)

Kadın: zf_xiaobei, zf_xiaoni, zf_xiaoxiao, zf_xiaoyi
Erkek: zm_yunjian, zm_yunxi, zm_yunxia, zm_yunyang

Mimari

Kokoro 3 aşamalı bir CoreML pipeline'ı kullanır. Sampling döngüsü yoktur — tüm aşamalar otoregresif olmayan forward pass'lardır ve 1. ile 2. aşama arasında Swift tarafında bir hizalama adımı vardır.

3 aşamalı pipeline

Fonem bucket'ları (duration modeli)

Duration modeli sıralanmış giriş şekilleri kullanır. Giriş, sığacağı en küçük bucket'a doldurulur:

Decoder bucket'ları

Farklı maksimum ses uzunlukları için sabit şekilli decoder modelleri (her frame 24 kHz'de 600 örnek):

iOS 18+ / macOS 15+ gerektirir.

Phonemizer

Metin, üç katmanlı bir pipeline ile fonem token'larına dönüştürülür — tamamı Apache-2.0 lisanslıdır, GPL bağımlılığı yoktur:

1. Sözlük araması — Heteronim desteğiyle ABD ve Birleşik Krallık İngilizcesi telaffuz sözlükleri
2. Sonek köklendirme — Bilinen sonekler için morfolojik ayrıştırma (ör. "-ing", "-tion")
3. BART G2P — Sözlük dışı kelimeler için ayrı bir CoreML encoder-decoder modeli kullanan sinirsel grapheme-to-phoneme yedeklemesi

Model ağırlıkları

Performans

CLI kullanımı

speech kokoro "Hello, world!" --voice af_heart --output hello.wav

Seçenekler

Örnekler

# English with default voice
speech kokoro "Hello, how are you today?" --output hello.wav

# French
speech kokoro "Bonjour le monde" --voice ff_siwis --language fr --output bonjour.wav

# Japanese
speech kokoro "こんにちは世界" --voice jf_alpha --language ja --output konnichiwa.wav

# List all 50 voices
speech kokoro --list-voices

Swift API

import KokoroTTS
import AudioCommon

let tts = try await KokoroTTSModel.fromPretrained()
// Downloads ~170 MB on first run

let audio = try tts.synthesize(text: "Hello world", voice: "af_heart")
// audio: [Float] — 24 kHz mono PCM

try WAVWriter.write(samples: audio, sampleRate: 24000, to: outputURL)

Hesaplama birimi geçersiz kılma

fromPretrained(computeUnits:) ana CoreML modelini hangi donanımın çalıştıracağını seçer. Varsayılan (.all), Core ML'in Neural Engine'i tercih etmesine olanak tanır ki bu, desteklenen her cihazda en hızlı yoldur. ANE'yi atlamak için, ANE derleyicisinin bu model için yanlış çıktı ürettiği platformlarda yedek olarak .cpuAndGPU geçirin.

import CoreML
import KokoroTTS

// Default: ANE preferred
let tts = try await KokoroTTSModel.fromPretrained()

// Fallback: bypass the Neural Engine
let tts = try await KokoroTTSModel.fromPretrained(computeUnits: .cpuAndGPU)

Kokoro ne zaman kullanılır

Lisans

• Model ağırlıkları: Apache-2.0 (hexgrad/Kokoro-82M)
• CoreML dönüşümü: Apache-2.0 (aufklarer/Kokoro-82M-CoreML)
• Sözlükler ve G2P: Apache-2.0