Kokoro TTS

Kokoro-82M은 ISTFTNet 보코더를 갖춘 StyleTTS 2 기반의 경량 비자동 회귀 텍스트-음성 변환 모델입니다. CoreML을 통해 전적으로 Neural Engine에서 실행되며, 단일 포워드 패스로 텍스트 입력에서 자연스러운 24 kHz 음성을 생성합니다.

지원 언어

총 50개의 사전 설정 음성. 이름 규칙: [language_prefix][gender]_[name] — 예: af_heart는 미국식 여성 “Heart”, if_sara는 이탈리아어 여성 “Sara”.

음성 코드 레퍼런스

모든 Kokoro 음성 ID는 동일한 패턴을 따릅니다: 한 글자 언어 접두사, 한 글자 성별 코드, 밑줄, 그리고 음성 이름. 대상 언어를 올바른 접두사로 매핑하려면 아래 표를 참조하세요.

언어 접두사 표

언어별 전체 음성

영어 — 미국식 (af_*, am_*)

여성: af_alloy, af_aoede, af_bella, af_heart (기본값), af_jessica, af_kore, af_nicole, af_nova, af_river, af_sarah, af_sky
남성: am_adam, am_echo, am_eric, am_fenrir, am_liam, am_michael, am_onyx, am_puck, am_santa

영어 — 영국식 (bf_*, bm_*)

여성: bf_alice, bf_emma, bf_isabella, bf_lily
남성: bm_daniel, bm_fable, bm_george, bm_lewis

스페인어 (ef_*, em_*)

여성: ef_dora
남성: em_alex, em_santa

프랑스어 (ff_*)

여성: ff_siwis

힌디어 (hf_*, hm_*)

여성: hf_alpha, hf_beta
남성: hm_omega, hm_psi

이탈리아어 (if_*, im_*)

여성: if_sara
남성: im_nicola

일본어 (jf_*, jm_*)

여성: jf_alpha, jf_gongitsune, jf_nezumi, jf_tebukuro
남성: jm_kumo

한국어 (kf_*)

여성: kf_somi

포르투갈어 — 브라질 (pf_*, pm_*)

여성: pf_dora
남성: pm_alex, pm_santa

중국어 — 표준 (zf_*, zm_*)

여성: zf_xiaobei, zf_xiaoni, zf_xiaoxiao, zf_xiaoyi
남성: zm_yunjian, zm_yunxi, zm_yunxia, zm_yunyang

아키텍처

Kokoro는 3단계 CoreML 파이프라인을 사용합니다. 샘플링 루프가 없고, 모든 단계는 비자동 회귀 포워드 패스이며, 1단계와 2단계 사이에 Swift 측 얼라인먼트 단계가 있습니다.

3단계 파이프라인

음소 버킷 (Duration 모델)

Duration 모델은 열거된 입력 형태를 사용합니다. 입력은 맞는 가장 작은 버킷으로 패딩됩니다:

디코더 버킷

서로 다른 최대 오디오 길이를 위한 고정 형태 디코더 모델(각 프레임 = 24 kHz에서 600 샘플):

iOS 18+ / macOS 15+가 필요합니다.

음소화

텍스트는 3계층 파이프라인을 통해 음소 토큰으로 변환됩니다 — 모두 Apache-2.0 라이선스이며, GPL 종속성이 없습니다:

1. 사전 조회 — 동음이의어를 지원하는 미국/영국 영어 발음 사전
2. 접미사 어간화 — 알려진 접미사(예: "-ing", "-tion")에 대한 형태학적 분해
3. BART G2P — OOV 단어를 위한 별도의 CoreML 인코더-디코더 모델을 사용하는 신경 grapheme-to-phoneme 폴백

모델 웨이트

성능

CLI 사용법

speech kokoro "Hello, world!" --voice af_heart --output hello.wav

옵션

예제

# 기본 음색으로 영어
speech kokoro "Hello, how are you today?" --output hello.wav

# 프랑스어
speech kokoro "Bonjour le monde" --voice ff_siwis --language fr --output bonjour.wav

# 일본어
speech kokoro "こんにちは世界" --voice jf_alpha --language ja --output konnichiwa.wav

# 50개 음색 모두 나열
speech kokoro --list-voices

Swift API

import KokoroTTS
import AudioCommon

let tts = try await KokoroTTSModel.fromPretrained()
// 첫 실행 시 약 170 MB 다운로드

let audio = try tts.synthesize(text: "Hello world", voice: "af_heart")
// audio: [Float] — 24 kHz 모노 PCM

try WAVWriter.write(samples: audio, sampleRate: 24000, to: outputURL)

Compute Unit Override

fromPretrained(computeUnits:) selects which hardware runs the main CoreML model. The default (.all) lets Core ML prefer the Neural Engine, which is the fastest path on every supported device. Pass .cpuAndGPU to bypass the ANE as a fallback on platforms where the ANE compiler produces incorrect output for this model.

import CoreML
import KokoroTTS

// Default: ANE preferred
let tts = try await KokoroTTSModel.fromPretrained()

// Fallback: bypass the Neural Engine
let tts = try await KokoroTTSModel.fromPretrained(computeUnits: .cpuAndGPU)

Kokoro를 언제 사용할지

라이선스

• 모델 웨이트: Apache-2.0 (hexgrad/Kokoro-82M)
• CoreML 변환: Apache-2.0 (aufklarer/Kokoro-82M-CoreML)
• 사전 및 G2P: Apache-2.0