Kokoro TTS

Kokoro-82M là mô hình tổng hợp giọng nói nhẹ, không tự hồi quy dựa trên StyleTTS 2 với vocoder ISTFTNet. Nó chạy hoàn toàn trên Neural Engine thông qua CoreML, tạo ra giọng nói tự nhiên 24 kHz từ văn bản đầu vào trong một forward pass duy nhất.

Ngôn ngữ được hỗ trợ

Tổng cộng 50 giọng dựng sẵn. Quy ước đặt tên giọng: [language_prefix][gender]_[name] — ví dụ, af_heart = nữ Mỹ "Heart", if_sara = nữ Ý "Sara".

Tham chiếu mã giọng

Mọi voice ID của Kokoro đều theo cùng một mẫu: tiền tố ngôn ngữ một chữ cái, mã giới tính một chữ cái, rồi gạch dưới và tên giọng. Dùng bảng dưới đây để ánh xạ ngôn ngữ đích sang tiền tố đúng.

Bảng tiền tố ngôn ngữ

Tất cả giọng theo ngôn ngữ

Tiếng Anh — Mỹ (af_*, am_*)

Nữ: af_alloy, af_aoede, af_bella, af_heart (mặc định), af_jessica, af_kore, af_nicole, af_nova, af_river, af_sarah, af_sky
Nam: am_adam, am_echo, am_eric, am_fenrir, am_liam, am_michael, am_onyx, am_puck, am_santa

Tiếng Anh — Anh (bf_*, bm_*)

Nữ: bf_alice, bf_emma, bf_isabella, bf_lily
Nam: bm_daniel, bm_fable, bm_george, bm_lewis

Tiếng Tây Ban Nha (ef_*, em_*)

Nữ: ef_dora
Nam: em_alex, em_santa

Tiếng Pháp (ff_*)

Nữ: ff_siwis

Tiếng Hindi (hf_*, hm_*)

Nữ: hf_alpha, hf_beta
Nam: hm_omega, hm_psi

Tiếng Ý (if_*, im_*)

Nữ: if_sara
Nam: im_nicola

Tiếng Nhật (jf_*, jm_*)

Nữ: jf_alpha, jf_gongitsune, jf_nezumi, jf_tebukuro
Nam: jm_kumo

Tiếng Hàn (kf_*)

Nữ: kf_somi

Tiếng Bồ Đào Nha — Brazil (pf_*, pm_*)

Nữ: pf_dora
Nam: pm_alex, pm_santa

Tiếng Trung — Quan thoại (zf_*, zm_*)

Nữ: zf_xiaobei, zf_xiaoni, zf_xiaoxiao, zf_xiaoyi
Nam: zm_yunjian, zm_yunxi, zm_yunxia, zm_yunyang

Kiến trúc

Kokoro sử dụng pipeline CoreML 3 giai đoạn. Không có vòng lặp sampling — mọi giai đoạn đều là forward pass không tự hồi quy với một bước căn chỉnh phía Swift giữa giai đoạn 1 và 2.

Pipeline 3 giai đoạn

Bucket âm vị (mô hình duration)

Mô hình duration dùng các hình dạng đầu vào liệt kê. Đầu vào được padding tới bucket nhỏ nhất vừa với nó:

Bucket của decoder

Các mô hình decoder hình dạng cố định cho các độ dài âm thanh tối đa khác nhau (mỗi frame = 600 mẫu ở 24 kHz):

Yêu cầu iOS 18+ / macOS 15+.

Phonemizer

Văn bản được chuyển thành token âm vị qua pipeline ba tầng — tất cả đều có giấy phép Apache-2.0, không có phụ thuộc GPL:

1. Tra cứu từ điển — Từ điển phát âm tiếng Anh Mỹ và Anh-Anh với hỗ trợ heteronym
2. Stemming hậu tố — Phân tích hình thái cho các hậu tố đã biết (ví dụ "-ing", "-tion")
3. BART G2P — Fallback grapheme-to-phoneme bằng nơ-ron qua một mô hình CoreML encoder-decoder riêng cho các từ ngoài từ vựng

Trọng số mô hình

Hiệu năng

Sử dụng CLI

speech kokoro "Hello, world!" --voice af_heart --output hello.wav

Tùy chọn

Ví dụ

# English with default voice
speech kokoro "Hello, how are you today?" --output hello.wav

# French
speech kokoro "Bonjour le monde" --voice ff_siwis --language fr --output bonjour.wav

# Japanese
speech kokoro "こんにちは世界" --voice jf_alpha --language ja --output konnichiwa.wav

# List all 50 voices
speech kokoro --list-voices

API Swift

import KokoroTTS
import AudioCommon

let tts = try await KokoroTTSModel.fromPretrained()
// Downloads ~170 MB on first run

let audio = try tts.synthesize(text: "Hello world", voice: "af_heart")
// audio: [Float] — 24 kHz mono PCM

try WAVWriter.write(samples: audio, sampleRate: 24000, to: outputURL)

Ghi đè compute unit

fromPretrained(computeUnits:) chọn phần cứng nào sẽ chạy mô hình CoreML chính. Mặc định (.all) để Core ML ưu tiên Neural Engine, đây là đường dẫn nhanh nhất trên mọi thiết bị được hỗ trợ. Truyền .cpuAndGPU để bỏ qua ANE như một phương án dự phòng trên các nền tảng mà trình biên dịch ANE tạo ra kết quả không chính xác cho mô hình này.

import CoreML
import KokoroTTS

// Default: ANE preferred
let tts = try await KokoroTTSModel.fromPretrained()

// Fallback: bypass the Neural Engine
let tts = try await KokoroTTSModel.fromPretrained(computeUnits: .cpuAndGPU)

Khi nào nên dùng Kokoro

Giấy phép

• Trọng số mô hình: Apache-2.0 (hexgrad/Kokoro-82M)
• Chuyển đổi CoreML: Apache-2.0 (aufklarer/Kokoro-82M-CoreML)
• Từ điển và G2P: Apache-2.0