Traduzione automatica · Originale inglese

Kokoro TTS

Kokoro-82M è un modello di testo-to-speech leggero e non autoregressivo basato su StyleTTS 2 con un vocoder ISTFTNet. Funziona interamente sul Neural Engine via CoreML, producendo un discorso naturale 24 kHz da input di testo in un singolo passo avanti.

Lingue supportate

54 voci preset totali. Convegno di denominazione vocale: [language_prefix][gender]_[name] — ad esempio, af_heart = American Female "Heart", if_sara = Italian Female "Sara".

Voci tedesche

Il tedesco è servito da due distinti fasci a singola voce, kikiri-tts fine-tunes di Kokoro-82M con un modello 313 MB CoreML per voce, piuttosto che con voci del fascio multilingue. language: "de". Numeri, date, orari, valuta e abbreviazioni sono scritte sul dispositivo, e le parole si risolvono attraverso il dizionario tedesco di parola 50k in bundle.

let tts = try await KokoroTTSModel.fromPretrained(modelId: KokoroTTSModel.germanMartinModelId)
let audio = try tts.synthesize(text: "Am 3. Oktober um 18:30 Uhr kostet es 12,80 €.",
                               voice: "dm_martin", language: "de")

speech kokoro --model aufklarer/Kokoro-82M-German-Martin-CoreML --language de "Guten Tag, wie geht es Ihnen?" --output guten-tag.wav

Campioni vocali in evidenza

Breve MP3 clip generate con il locale speech-swift CLI. La tabella completa del codice vocale rimane qui sotto per l'uso di copia-incolla.

Codici vocali Riferimento

Ogni ID vocale Kokoro segue lo stesso modello: un unico elemento prefisso linguistico, una sola lettera codice di genere, poi un sottofondo e il nome della voce. Utilizzare la tabella qui sotto per mappare una lingua di destinazione al prefisso corretto.

Tabella prefisso linguistico

Tutte le voci per lingua

Inglese — Americano ( af_*, am_*

Femmina: af_alloy, af_aoede, af_bella, af_heart (default) af_jessica, af_kore, af_nicole, af_nova, af_river, af_sarah, af_sky
Maschio: am_adam, am_echo, am_eric, am_fenrir, am_liam, am_michael, am_onyx, am_puck, am_santa

Inglese — Inglese ( bf_*, bm_*

Femmina: bf_alice, bf_emma, bf_isabella, bf_lily
Maschio: bm_daniel, bm_fable, bm_george, bm_lewis

Spagnolo (Spagnolo)ef_*, em_*)

Femmina: ef_dora
Maschio: em_alex, em_santa

Francese ( ff_*)

Femmina: ff_siwis

Indagine ( hf_*, hm_*

Femmina: hf_alpha, hf_beta
Maschio: hm_omega, hm_psi

Italiano ( if_*, im_*

Femmina: if_sara
Maschio: im_nicola

Giapponese ( jf_*, jm_*

Femmina: jf_alpha, jf_gongitsune, jf_nezumi, jf_tebukuro
Maschio: jm_kumo

Portogallo — Brasiliano ( pf_*, pm_*

Femmina: pf_dora
Maschio: pm_alex, pm_santa

Cinese — Mandarino ( zf_*, zm_*

Femmina: zf_xiaobei, zf_xiaoni, zf_xiaoxiao, zf_xiaoyi
Maschio: zm_yunjian, zm_yunxi, zm_yunxia, zm_yunyang

Architettura

Kokoro utilizza una pipeline a 3 stadi CoreML. Nessun loop di campionamento — tutte le fasi sono passi avanti non autorigressivi con un passo di allineamento a Swift tra le fasi 1 e 2.

3Stage Pipeline

Secchi per fonemi (modello diDuration)

Il modello di durata utilizza forme di input enumerate. L'ingresso è imbottito al più piccolo secchio che si adatta:

Secchietti Decoder

Modelli di decoder a forma fissa per diverse lunghezze audio massime (ogni frame = 600 campioni a 24 kHz):

Richiede iOS 18+ / macOS 15+.

Telefono

Il testo viene convertito in token fonemi tramite una pipeline a tre livelli — tutti Apache-2.0 con licenza, senza dipendenze GPL:

1. Dizionario di ricerca — Dizionari di pronuncia inglese e inglese americano con supporto eteronimo
2. Suffix stemming — Decomposizione morfologica per suffissi noti (ad esempio, "-ing", "-tion")
3. BART G2P — Fallback grafico-to-phoneme neurale utilizzando un modello separato di codificatore CoreML per parole fuori catalogo

Pronuncia personalizzata

Proper sostantivi al di fuori dei dizionari spediti cadono fino a 3, dove BART indovina da Inglese regole di ortografia — così i nomi non anglo escono male (Tatiana diventa diventa tˈitiəniənə). addPronunciations iniezioni word -> IPA voci in anticipo di 1:

let tts = try await KokoroTTSModel.fromPretrained()
tts.addPronunciations(["tatiana": "tɑtiˈɑnə"])

Le chiavi sono abbinate in minuscole e devono essere parole singole — il testo è diviso su biancospazio e la punteggiatura prima della risoluzione, quindi una chiave contenente uno spazio, trattino, o apostrofo non è mai guardato in su. IPA deve usare simboli dal vocabolario modello; qualsiasi altra cosa è silenziosamente caduto a tokenization. zh, ja, it, fr, es, pte hi seleziona fonemiti dedicati che non consultano mai i dizionari. La ricerca è sbloccata, quindi registra le voci prima che la sintesi inizi a funzionare contemporaneamente sullo stesso modello.

Peso del modello

Prestazioni

Uso CLI

speech kokoro "Hello, world!" --voice af_heart --output hello.wav

Opzioni

Esempi

# English with default voice
speech kokoro "Hello, how are you today?" --output hello.wav

# French
speech kokoro "Bonjour le monde" --voice ff_siwis --language fr --output bonjour.wav

# Japanese
speech kokoro "こんにちは世界" --voice jf_alpha --language ja --output konnichiwa.wav

# List all 54 voices
speech kokoro --list-voices

Swift API

import KokoroTTS
import AudioCommon

let tts = try await KokoroTTSModel.fromPretrained()
// Downloads ~170 MB on first run

let audio = try tts.synthesize(text: "Hello world", voice: "af_heart")
// audio: [Float] — 24 kHz mono PCM

try WAVWriter.write(samples: audio, sampleRate: 24000, to: outputURL)

Unità di calcolo Override

fromPretrained(computeUnits:) seleziona quale hardware esegue il modello CoreML principale..all) consente a Core ML di preferire lo Neural Engine, che è il percorso più veloce su ogni dispositivo supportato. .cpuAndGPU per bypassare l'ANE come un fallback su piattaforme in cui il compilatore ANE produce output errato per questo modello.

import CoreML
import KokoroTTS

// Default: ANE preferred
let tts = try await KokoroTTSModel.fromPretrained()

// Fallback: bypass the Neural Engine
let tts = try await KokoroTTSModel.fromPretrained(computeUnits: .cpuAndGPU)

Quando usare Kokoro

Licenza

• Peso del modello: Apache-2.0 ( hexgrad/ Kokoro-82M
• CoreML: Apache-2.0 ( aufklarer/ Kokoro-82M-CoreML
• Dizionari e G2P: Apache-2.0