Tłumaczenie automatyczne · Oryginał angielski

Kokoro TTS głosy i próbki

Kokoro-82M jest lekkim, nieautoregresywnym modelem text- to- mowy bazującym na styleTTS 2 z vokoderem ISTFTNet. Działa w całości na Neural Engine za pośrednictwem CoreML, wytwarzając naturalną mowę 24 kHz z wejścia tekstowego w jednym przejściu do przodu.

Obsługiwane języki

54 ustawione głosy ogółem. [language_prefix][gender]_[name] - np., af_heart = American Kobieta "Heart", if_sara = Włoska kobieta "Sara".

Niemieckie głosy

Niemiecki jest obsługiwany przez dwa oddzielne jednogłosowe wiązki, kikiri- tts fine- utwory Kokoro-82M z jednym 313 MB CoreML model na głos, a nie przez głosy wielojęzycznego pakietu. Załaduj jeden przez model ID i syntetyzuj z language: "de". Liczby, daty, czasy, waluty i skróty są wypisane na urządzeniu, a słowa rozwiązują poprzez połączone 50k- słowo niemiecki słownik.

let tts = try await KokoroTTSModel.fromPretrained(modelId: KokoroTTSModel.germanMartinModelId)
let audio = try tts.synthesize(text: "Am 3. Oktober um 18:30 Uhr kostet es 12,80 €.",
                               voice: "dm_martin", language: "de")

speech kokoro --model aufklarer/Kokoro-82M-German-Martin-CoreML --language de "Guten Tag, wie geht es Ihnen?" --output guten-tag.wav

Próbki głosowe, z wyłączeniem profilowanych

Krótkie klipy MP3 generowane z lokalnym speech-swift CLI. Pełna tabela kodów głosowych pozostaje poniżej do użytku pasty copy-.

Odniesienie do kodów głosowych

Każdy identyfikator głosu Kokoro jest zgodny z tym samym wzorem: jednoliterowy przedrostek językowy, jeden-list Kod płci, następnie podkreślenie i nazwę głosu. Użyj poniższej tabeli, aby mapować język docelowy do prawidłowego przedrostka.

Tabela przedrostka językowa

Wszystkie głosy według języka

Angielski - Amerykański (af_*, am_*)

Kobieta: af_alloy, af_aoede, af_bella, af_heart (domyślnie), af_jessica, af_kore, af_nicole, af_nova, af_river, af_sarah, af_sky
Mężczyzna: am_adam, am_echo, am_eric, am_fenrir, am_liam, am_michael, am_onyx, am_puck, am_santa

Angielski - Brytyjski (bf_*, bm_*)

Kobieta: bf_alice, bf_emma, bf_isabella, bf_lily
Mężczyzna: bm_daniel, bm_fable, bm_george, bm_lewis

Hiszpański (ef_*, em_*)

Kobieta: ef_dora
Mężczyzna: em_alex, em_santa

Francuski (ff_*)

Kobieta: ff_siwis

Hindi (hf_*, hm_*)

Kobieta: hf_alpha, hf_beta
Mężczyzna: hm_omega, hm_psi

Włoski (if_*, im_*)

Kobieta: if_sara
Mężczyzna: im_nicola

Japoński (jf_*, jm_*)

Kobieta: jf_alpha, jf_gongitsune, jf_nezumi, jf_tebukuro
Mężczyzna: jm_kumo

Portugalski - Brazylijczyk (pf_*, pm_*)

Kobieta: pf_dora
Mężczyzna: pm_alex, pm_santa

Chiński - mandarynka (zf_*, zm_*)

Kobieta: zf_xiaobei, zf_xiaoni, zf_xiaoxiao, zf_xiaoyi
Mężczyzna: zm_yunjian, zm_yunxi, zm_yunxia, zm_yunyang

Architektura

Kokoro wykorzystuje rurociąg 3- stage CoreML. Brak pętli próbkowania - wszystkie etapy to nieautoregresywne przejścia do przodu ze swift- bocznym stopniem wyrównania między etapami 1 i 2

3 - Etap Pipeline

Bukiety telefoniczne (model czasu trwania)

Model czasu trwania wykorzystuje wyliczone kształty wejściowe. Wlot jest wyściełany do najmniejszego wiadra, które pasuje:

Bukiety dekoderów

Modele dekoderów w kształcie przypiętym do różnych maksymalnych długości dźwięku (każda klatka = 600 próbek przy 24 kHz):

Wymaga iOS 18+ / macOS 15+.

Fonemizer

Tekst jest przekształcany w żetony foneme za pomocą trójpoziomowego rurociągu - wszystkie Apache-2.0 licencjonowane, brak zależności GPL:

1. Przeszukiwanie słownika - US English and British English wymowa słowniki z heteronim wsparcia
2. Uruchamianie sufiksu - Rozkład morfologiczny znanych przyrostów (np. "-ing", "-tion")
3. BART G2P - Neuralny graficzny-to-phoneme fallback za pomocą oddzielnego CoreML encoder- decoder model dla słów out- of- słownikowy

Niestandardowe przypuszczenia

Rzeczowniki właściwe poza dostarczonymi słownikami przechodzą do poziomu 3, gdzie BART zgaduje z Angielski zasady ortografii - więc nazwy nie-anglo źle się ujawniają (Tatiana staje się tˈitiəniənə). addPronunciations pacjenci word -> IPA pozycje poprzedzające poziom dokładności 1:

let tts = try await KokoroTTSModel.fromPretrained()
tts.addPronunciations(["tatiana": "tɑtiˈɑnə"])

Klucze są dopasowane do dolnej skrzyni i muszą być pojedynczymi słowami - tekst jest podzielony na Whitespace i interpunkcji przed rozdzielczością, więc klucz zawierający przestrzeń, hyphen lub apostrof nigdy nie jest sprawdzany. IPA musi używać symboli ze słownika modelu; wszystko inne jest cicho rzucane w tokenizacji. Wpisy odnoszą się tylko do angielskiej ścieżki - zh, ja, it, fr, es, ptoraz hi Wybierz dedykowane phonemizery, które nigdy nie konsultują się ze słownikami. Lookup jest odblokowany, więc rejestrować wpisy przed syntezą zaczyna działać jednocześnie na tym samym modelu.

Wagi modelu

Wydajność

Zastosowanie CLI

speech kokoro "Hello, world!" --voice af_heart --output hello.wav

Opcje

Przykłady

# English with default voice
speech kokoro "Hello, how are you today?" --output hello.wav

# French
speech kokoro "Bonjour le monde" --voice ff_siwis --language fr --output bonjour.wav

# Japanese
speech kokoro "こんにちは世界" --voice jf_alpha --language ja --output konnichiwa.wav

# List all 54 voices
speech kokoro --list-voices

Swift API

import KokoroTTS
import AudioCommon

let tts = try await KokoroTTSModel.fromPretrained()
// Downloads ~170 MB on first run

let audio = try tts.synthesize(text: "Hello world", voice: "af_heart")
// audio: [Float] — 24 kHz mono PCM

try WAVWriter.write(samples: audio, sampleRate: 24000, to: outputURL)

Oblicz przekroczenie jednostki

fromPretrained(computeUnits:) wybiera, który sprzęt uruchamia główny model CoreML. Domyślnie (.all) pozwala Core ML preferować Neural Engine, który jest najszybszą ścieżką na każdym obsługiwanym urządzeniu. .cpuAndGPU obejście ANE jako awaryjnego działania na platformach, na których kompilator ANE wytwarza nieprawidłową wydajność dla tego modelu.

import CoreML
import KokoroTTS

// Default: ANE preferred
let tts = try await KokoroTTSModel.fromPretrained()

// Fallback: bypass the Neural Engine
let tts = try await KokoroTTSModel.fromPretrained(computeUnits: .cpuAndGPU)

Kiedy stosować Kokoro

Licencja

• Wagi modelu: Apache-2.0 (hexgrad / Kokoro-82M)
• Konwersja CoreML: Apache-2.0 (aufklarer / Kokoro-82M-CoreML)
• Słowniki i G2P: Apache-2.0