Kokoro TTS

Kokoro-82M e um modelo leve de texto para fala nao autoregressivo baseado em StyleTTS 2 com um vocoder ISTFTNet. Executa inteiramente no Neural Engine via CoreML, produzindo fala natural a 24 kHz a partir de texto em um unico forward pass.

Idiomas suportados

50 vozes predefinidas no total. Convenção de nomes: [language_prefix][gender]_[name] — por ex., af_heart = mulher americana “Heart”, if_sara = mulher italiana “Sara”.

Referência de códigos de voz

Cada ID de voz do Kokoro segue o mesmo padrão: um prefixo de idioma de uma letra, um código de gênero de uma letra, um sublinhado e, em seguida, o nome da voz. Use a tabela abaixo para mapear o idioma de destino para o prefixo correto.

Tabela de prefixos de idioma

Todas as vozes por idioma

Inglês — Americano (af_*, am_*)

Feminino: af_alloy, af_aoede, af_bella, af_heart (padrão), af_jessica, af_kore, af_nicole, af_nova, af_river, af_sarah, af_sky
Masculino: am_adam, am_echo, am_eric, am_fenrir, am_liam, am_michael, am_onyx, am_puck, am_santa

Inglês — Britânico (bf_*, bm_*)

Feminino: bf_alice, bf_emma, bf_isabella, bf_lily
Masculino: bm_daniel, bm_fable, bm_george, bm_lewis

Espanhol (ef_*, em_*)

Feminino: ef_dora
Masculino: em_alex, em_santa

Francês (ff_*)

Feminino: ff_siwis

Hindi (hf_*, hm_*)

Feminino: hf_alpha, hf_beta
Masculino: hm_omega, hm_psi

Italiano (if_*, im_*)

Feminino: if_sara
Masculino: im_nicola

Japonês (jf_*, jm_*)

Feminino: jf_alpha, jf_gongitsune, jf_nezumi, jf_tebukuro
Masculino: jm_kumo

Coreano (kf_*)

Feminino: kf_somi

Português — Brasileiro (pf_*, pm_*)

Feminino: pf_dora
Masculino: pm_alex, pm_santa

Chinês — Mandarim (zf_*, zm_*)

Feminino: zf_xiaobei, zf_xiaoni, zf_xiaoxiao, zf_xiaoyi
Masculino: zm_yunjian, zm_yunxi, zm_yunxia, zm_yunyang

Arquitetura

Kokoro usa um pipeline CoreML de 3 estagios. Sem loop de amostragem — todos os estagios sao forward passes nao autoregressivos com um passo de alinhamento do lado Swift entre os estagios 1 e 2.

Pipeline de 3 estagios

Buckets de fonemas (modelo de duracao)

O modelo de duracao usa formas de entrada enumeradas. A entrada e preenchida ate o menor bucket que couber:

Buckets do decodificador

Modelos de decodificador com formas fixas para diferentes comprimentos maximos de audio (cada frame = 600 amostras a 24 kHz):

Requer iOS 18+ / macOS 15+.

Fonemizador

O texto e convertido em tokens de fonema via um pipeline de tres niveis — tudo licenciado Apache-2.0, sem dependencias GPL:

1. Busca em dicionario — dicionarios de pronuncia de ingles americano e britanico com suporte a heteronimos
2. Remocao de sufixos — decomposicao morfologica para sufixos conhecidos (por exemplo, "-ing", "-tion")
3. BART G2P — fallback neural de grafema para fonema usando um modelo CoreML encoder-decoder separado para palavras fora do vocabulario

Pesos do modelo

Desempenho

Uso do CLI

speech kokoro "Hello, world!" --voice af_heart --output hello.wav

Opcoes

Exemplos

# Ingles com voz padrao
speech kokoro "Hello, how are you today?" --output hello.wav

# Frances
speech kokoro "Bonjour le monde" --voice ff_siwis --language fr --output bonjour.wav

# Japones
speech kokoro "こんにちは世界" --voice jf_alpha --language ja --output konnichiwa.wav

# Listar todas as 50 vozes
speech kokoro --list-voices

API Swift

import KokoroTTS
import AudioCommon

let tts = try await KokoroTTSModel.fromPretrained()
// Baixa ~170 MB na primeira execucao

let audio = try tts.synthesize(text: "Hello world", voice: "af_heart")
// audio: [Float] — PCM mono a 24 kHz

try WAVWriter.write(samples: audio, sampleRate: 24000, to: outputURL)

Compute Unit Override

fromPretrained(computeUnits:) selects which hardware runs the main CoreML model. The default (.all) lets Core ML prefer the Neural Engine, which is the fastest path on every supported device. Pass .cpuAndGPU to bypass the ANE as a fallback on platforms where the ANE compiler produces incorrect output for this model.

import CoreML
import KokoroTTS

// Default: ANE preferred
let tts = try await KokoroTTSModel.fromPretrained()

// Fallback: bypass the Neural Engine
let tts = try await KokoroTTSModel.fromPretrained(computeUnits: .cpuAndGPU)

Quando usar Kokoro

Licenca

• Pesos do modelo: Apache-2.0 (hexgrad/Kokoro-82M)
• Conversao CoreML: Apache-2.0 (aufklarer/Kokoro-82M-CoreML)
• Dicionarios e G2P: Apache-2.0