Kokoro TTS

Kokoro-82M — это лёгкая неавторегрессивная модель синтеза речи на основе StyleTTS 2 с ISTFTNet-вокодером. Она работает полностью на Neural Engine через CoreML, производя естественную речь 24 кГц из текста за один прямой проход.

Поддерживаемые языки

Всего 50 предустановленных голосов. Соглашение об именах: [language_prefix][gender]_[name] — например, af_heart = американская женщина «Heart», if_sara = итальянская женщина «Sara».

Справочник кодов голосов

Каждый идентификатор голоса Kokoro следует одной схеме: однобуквенный префикс языка, однобуквенный код пола, символ подчёркивания, затем имя голоса. Используйте таблицу ниже, чтобы сопоставить нужный язык с правильным префиксом.

Таблица языковых префиксов

Все голоса по языкам

Английский — Американский (af_*, am_*)

Женские: af_alloy, af_aoede, af_bella, af_heart (по умолчанию), af_jessica, af_kore, af_nicole, af_nova, af_river, af_sarah, af_sky
Мужские: am_adam, am_echo, am_eric, am_fenrir, am_liam, am_michael, am_onyx, am_puck, am_santa

Английский — Британский (bf_*, bm_*)

Женские: bf_alice, bf_emma, bf_isabella, bf_lily
Мужские: bm_daniel, bm_fable, bm_george, bm_lewis

Испанский (ef_*, em_*)

Женские: ef_dora
Мужские: em_alex, em_santa

Французский (ff_*)

Женские: ff_siwis

Хинди (hf_*, hm_*)

Женские: hf_alpha, hf_beta
Мужские: hm_omega, hm_psi

Итальянский (if_*, im_*)

Женские: if_sara
Мужские: im_nicola

Японский (jf_*, jm_*)

Женские: jf_alpha, jf_gongitsune, jf_nezumi, jf_tebukuro
Мужские: jm_kumo

Корейский (kf_*)

Женские: kf_somi

Португальский — Бразильский (pf_*, pm_*)

Женские: pf_dora
Мужские: pm_alex, pm_santa

Китайский — Мандарин (zf_*, zm_*)

Женские: zf_xiaobei, zf_xiaoni, zf_xiaoxiao, zf_xiaoyi
Мужские: zm_yunjian, zm_yunxi, zm_yunxia, zm_yunyang

Архитектура

Kokoro использует 3-этапный CoreML-пайплайн. Нет цикла сэмплирования — все этапы представляют собой неавторегрессивные прямые проходы со шагом выравнивания на стороне Swift между этапами 1 и 2.

3-этапный пайплайн

Фонемные бакеты (Duration-модель)

Duration-модель использует перечисленные входные формы. Вход дополняется до наименьшего подходящего бакета:

Бакеты декодера

Декодер-модели с фиксированной формой для разной максимальной длины аудио (каждый кадр = 600 сэмплов при 24 кГц):

Требуется iOS 18+ / macOS 15+.

Фонемизатор

Текст преобразуется в фонемные токены через трёхуровневый пайплайн — всё под лицензией Apache-2.0, без GPL-зависимостей:

1. Поиск в словаре — Словари произношения американского и британского английского с поддержкой гетеронимов
2. Суффиксный стемминг — Морфологическое разложение для известных суффиксов (например, «-ing», «-tion»)
3. BART G2P — Нейронный грапефема-в-фонему fallback через отдельную CoreML encoder-decoder модель для слов вне словаря

Веса модели

Производительность

Использование CLI

speech kokoro "Hello, world!" --voice af_heart --output hello.wav

Опции

Примеры

# Английский с голосом по умолчанию
speech kokoro "Hello, how are you today?" --output hello.wav

# Французский
speech kokoro "Bonjour le monde" --voice ff_siwis --language fr --output bonjour.wav

# Японский
speech kokoro "こんにちは世界" --voice jf_alpha --language ja --output konnichiwa.wav

# Перечислить все 50 голосов
speech kokoro --list-voices

Swift API

import KokoroTTS
import AudioCommon

let tts = try await KokoroTTSModel.fromPretrained()
// Скачает ~170 МБ при первом запуске

let audio = try tts.synthesize(text: "Hello world", voice: "af_heart")
// audio: [Float] — 24 кГц моно PCM

try WAVWriter.write(samples: audio, sampleRate: 24000, to: outputURL)

Compute Unit Override

fromPretrained(computeUnits:) selects which hardware runs the main CoreML model. The default (.all) lets Core ML prefer the Neural Engine, which is the fastest path on every supported device. Pass .cpuAndGPU to bypass the ANE as a fallback on platforms where the ANE compiler produces incorrect output for this model.

import CoreML
import KokoroTTS

// Default: ANE preferred
let tts = try await KokoroTTSModel.fromPretrained()

// Fallback: bypass the Neural Engine
let tts = try await KokoroTTSModel.fromPretrained(computeUnits: .cpuAndGPU)

Когда использовать Kokoro

Лицензия

• Веса модели: Apache-2.0 (hexgrad/Kokoro-82M)
• CoreML-конвертация: Apache-2.0 (aufklarer/Kokoro-82M-CoreML)
• Словари и G2P: Apache-2.0