Kokoro TTS

Kokoro-82M เป็นโมเดลสังเคราะห์เสียงพูดจากข้อความขนาดเล็ก ไม่ใช่ autoregressive ที่อิงจาก StyleTTS 2 พร้อม vocoder ISTFTNet ทำงานทั้งหมดบน Neural Engine ผ่าน CoreML สร้างเสียงพูดธรรมชาติ 24 kHz จากข้อความอินพุตใน forward pass ครั้งเดียว

ภาษาที่รองรับ

รวม 50 เสียง preset ทั้งหมด แบบแผนการตั้งชื่อเสียง: [language_prefix][gender]_[name] — เช่น af_heart = หญิงอเมริกัน "Heart", if_sara = หญิงอิตาลี "Sara"

อ้างอิงรหัสเสียง

ทุก voice ID ของ Kokoro ใช้รูปแบบเดียวกัน: คำนำหน้าภาษาตัวอักษรเดียว รหัสเพศตัวอักษรเดียว แล้วตามด้วยขีดล่างและชื่อเสียง ใช้ตารางด้านล่างเพื่อจับคู่ภาษาเป้าหมายกับคำนำหน้าที่ถูกต้อง

ตารางคำนำหน้าภาษา

เสียงทั้งหมดตามภาษา

อังกฤษ — อเมริกัน (af_*, am_*)

หญิง: af_alloy, af_aoede, af_bella, af_heart (ค่าเริ่มต้น), af_jessica, af_kore, af_nicole, af_nova, af_river, af_sarah, af_sky
ชาย: am_adam, am_echo, am_eric, am_fenrir, am_liam, am_michael, am_onyx, am_puck, am_santa

อังกฤษ — บริติช (bf_*, bm_*)

หญิง: bf_alice, bf_emma, bf_isabella, bf_lily
ชาย: bm_daniel, bm_fable, bm_george, bm_lewis

สเปน (ef_*, em_*)

หญิง: ef_dora
ชาย: em_alex, em_santa

ฝรั่งเศส (ff_*)

หญิง: ff_siwis

ฮินดี (hf_*, hm_*)

หญิง: hf_alpha, hf_beta
ชาย: hm_omega, hm_psi

อิตาลี (if_*, im_*)

หญิง: if_sara
ชาย: im_nicola

ญี่ปุ่น (jf_*, jm_*)

หญิง: jf_alpha, jf_gongitsune, jf_nezumi, jf_tebukuro
ชาย: jm_kumo

เกาหลี (kf_*)

หญิง: kf_somi

โปรตุเกส — บราซิล (pf_*, pm_*)

หญิง: pf_dora
ชาย: pm_alex, pm_santa

จีน — แมนดาริน (zf_*, zm_*)

หญิง: zf_xiaobei, zf_xiaoni, zf_xiaoxiao, zf_xiaoyi
ชาย: zm_yunjian, zm_yunxi, zm_yunxia, zm_yunyang

สถาปัตยกรรม

Kokoro ใช้ pipeline CoreML 3 ขั้นตอน ไม่มีลูป sampling — ทุกขั้นตอนเป็น forward pass ที่ไม่ใช่ autoregressive พร้อมขั้นจัดเรียงฝั่ง Swift ระหว่างขั้นที่ 1 และ 2

Pipeline 3 ขั้นตอน

Bucket หน่วยเสียง (โมเดล duration)

โมเดล duration ใช้รูปร่างอินพุตแบบ enumerated อินพุตจะถูก pad ไปยัง bucket ที่เล็กที่สุดที่พอดี:

Bucket ของ decoder

โมเดล decoder รูปร่างคงที่สำหรับความยาวเสียงสูงสุดต่างๆ (แต่ละ frame = 600 ตัวอย่างที่ 24 kHz):

ต้องการ iOS 18+ / macOS 15+

Phonemizer

ข้อความถูกแปลงเป็นโทเค็นหน่วยเสียงผ่าน pipeline สามชั้น — ทั้งหมดมีสัญญาอนุญาต Apache-2.0 ไม่มีการพึ่งพา GPL:

1. การค้นหาในพจนานุกรม — พจนานุกรมการออกเสียงภาษาอังกฤษอเมริกันและบริติชพร้อมรองรับ heteronym
2. Stemming คำต่อท้าย — การแยกส่วนรูปทางสัณฐานวิทยาสำหรับคำต่อท้ายที่รู้จัก (เช่น "-ing", "-tion")
3. BART G2P — Fallback grapheme-to-phoneme แบบนิวรัลโดยใช้โมเดล CoreML encoder-decoder แยกต่างหากสำหรับคำที่อยู่นอกพจนานุกรม

น้ำหนักโมเดล

ประสิทธิภาพ

การใช้งาน CLI

speech kokoro "Hello, world!" --voice af_heart --output hello.wav

ตัวเลือก

ตัวอย่าง

# English with default voice
speech kokoro "Hello, how are you today?" --output hello.wav

# French
speech kokoro "Bonjour le monde" --voice ff_siwis --language fr --output bonjour.wav

# Japanese
speech kokoro "こんにちは世界" --voice jf_alpha --language ja --output konnichiwa.wav

# List all 50 voices
speech kokoro --list-voices

API Swift

import KokoroTTS
import AudioCommon

let tts = try await KokoroTTSModel.fromPretrained()
// Downloads ~170 MB on first run

let audio = try tts.synthesize(text: "Hello world", voice: "af_heart")
// audio: [Float] — 24 kHz mono PCM

try WAVWriter.write(samples: audio, sampleRate: 24000, to: outputURL)

การกำหนด compute unit

fromPretrained(computeUnits:) เลือกฮาร์ดแวร์ที่จะรันโมเดล CoreML หลัก ค่าเริ่มต้น (.all) ให้ Core ML เลือก Neural Engine เป็นอันดับแรก ซึ่งเป็นเส้นทางที่เร็วที่สุดบนทุกอุปกรณ์ที่รองรับ ส่ง .cpuAndGPU เพื่อข้าม ANE เป็นทางเลือกสำรองบนแพลตฟอร์มที่ compiler ของ ANE ให้ผลลัพธ์ที่ไม่ถูกต้องกับโมเดลนี้

import CoreML
import KokoroTTS

// Default: ANE preferred
let tts = try await KokoroTTSModel.fromPretrained()

// Fallback: bypass the Neural Engine
let tts = try await KokoroTTSModel.fromPretrained(computeUnits: .cpuAndGPU)

เมื่อใดควรใช้ Kokoro

สัญญาอนุญาต

• น้ำหนักโมเดล: Apache-2.0 (hexgrad/Kokoro-82M)
• การแปลง CoreML: Apache-2.0 (aufklarer/Kokoro-82M-CoreML)
• พจนานุกรมและ G2P: Apache-2.0