Konekäännös · Englanninkielinen alkuperäinen

CosyVoice3

Suorita CosyVoice3 paikallisesti Mac MLX puheen osalta yhdeksällä kielellä ja äänen kloonaus lyhyestä tallennuksesta. Kuuntele oletus-, kloonattu- ja tyyliohjattuja esimerkkejä, kokeile sitten kloonaamista viiteäänellä ja sen täsmällisellä kirjoituksella.

Ääninäytteet · Kloonaa ääni CLI:n kanssa · Tuetut kielet · Täysi viiden kielen ääni-kloonaus vertailu ja menetelmät

Ääninäytteet

Kuuntele olemassa olevaa oletusääntä, Kokoro af_heartista tehtyä kloonia ja tyyliohjattua esimerkkiä. Alla olevassa CLI-esimerkissä käytetään erillistä FLEURS -viittausta.

Kloonaa ääni CLI:n kanssa

Lataa Reference audio referenssiksi.wav. Komento käyttää tarkkaa transkriptiotaan; korvaa sekä nauhoituksen että transkription, kun käytät omaa ääninäytettäsi.

speech speak "Hello from the cloned voice." \
    --engine cosyvoice \
    --cosyvoice-variant bf16 \
    --voice-sample reference.wav \
    --cosy-reference-transcript "One can only wonder what the keyboard will become when something newer comes along." \
    --seed 42 \
    --output clone.wav

CosyVoice 3 vs 3.5 käytettävyys

Tuetut kielet

Putkijohto

CosyVoice3 syntetisoi puheen kolmessa vaiheessa:

1. LLM ... Qwen2.5-0.5B runko tuottaa FSQ:n (Finite Scalar Qantization) puhemerkit tekstistä.
2. DiT Virtausvastaavuus ... .. A 22-kerroksinen diffuusiomuuntaja muuntaa puhemerkit melspektrogrammeiksi Euler ODE -integroinnin avulla.
3. HiFi-GAN ... Neuraal Source Filter vocoder muuntaa mel spektrogrammit 24 kHz:n aaltomuodoiksi

Arkkitehtuuri

LLM (Qwen2.5-0.5B)

Nykyinen ajoaika tukee bf16 (oletus), 8bit ja 8bit-täysi. Valitse nippu, jossa on --cosyvoice-variant. Kielimalli tuottaa erillisiä puhemerkkejä automaattisesti.

DiT-virran vastaavuus

Diffuusiomuuntaja jalostaa puheen rahakkeita mel-spektrogrammeiksi käyttämällä ehdollista virtausta, joka vastaa luokittelutonta ohjausta.

HiFi-GAN Vocoder

Neural Source Filter (NSF) vocoder, joka muuntaa mel spektrogrammit aaltomuotoja.

Mallin painot

Jokaiseen nippuun sisältyy LLM, DiT-virtaajaa vastaava dekooderi, HiFi-GAN-äänenvaimentaja ja S3-Tokenizer -vertailukoodain, jota tarvitaan nollaäänen kloonaukseen. Valitse pienempiä nippuja pienempään lataamiseen / levynjalanjälkeen; poimi bf16 kun LLM/DiT-määrällistä melua tulee ongelmaksi (pitkämuotoinen synteesi, äänen kloonaus fedellity).

CLI-käyttö

# Default bf16 bundle
.build/release/speech speak "Hallo Welt" --engine cosyvoice --language german -o output.wav

# Pick a variant via --cosyvoice-variant
.build/release/speech speak "Hallo Welt" --engine cosyvoice --cosyvoice-variant bf16 --language german -o output.wav

Esimerkit

# English
.build/release/speech speak "Hello, how are you?" --engine cosyvoice -o hello_en.wav

# Chinese
.build/release/speech speak "你好世界" --engine cosyvoice --language chinese -o hello_cn.wav

# Spanish
.build/release/speech speak "Hola, buenos días" --engine cosyvoice --language spanish -o hello_es.wav

# French
.build/release/speech speak "Bonjour le monde" --engine cosyvoice --language french -o hello_fr.wav

Äänen kloonaus

Kloonaa kaikki ääni lyhyen viiteääninäytteen avulla --voice-sample lippu. CosyVoice3 käyttää CAM++-kaiutinkoodainta poimiakseen 192-diimin, joka peittää diT-virtausmallin.

# Voice cloning
.build/release/speech speak "Hello in your voice" --engine cosyvoice --voice-sample reference.wav --cosy-reference-transcript "One can only wonder what the keyboard will become when something newer comes along." -o cloned.wav

# Cross-language: clone voice, speak in German
.build/release/speech speak "Guten Tag" --engine cosyvoice --voice-sample reference.wav --cosy-reference-transcript "One can only wonder what the keyboard will become when something newer comes along." --language german -o german.wav

Miten se toimii

1. CAM++-kaiutinkooderi uutteet 192-dim upottamalla viiteäänestä CoreML (Neural Engine)
2. Affine projection (192 → 80) ehdot DiT-virtaa vastaava dekooderi kohdeäänellä
3. HiFi-GAN-vocoder muuntaa kaiuttimen ilmastoidun mel-spektrogrammin 24kHz-ääneksi

Kaiutinkooderi

CAM++-malli ladataan automaattisesti, kun käytetään ensimmäistä kertaa --voice-sample. Katso Voice Cloning -opas viiteäänivinkkejä varten ja Swift API.

Monipuheinen vuoropuhelu

Useiden puhujien väliset yhteenkokoamiskeskustelut käyttäen inline-kaiutintunnisteita. Jokainen kaiutin on osoitettu ääni viiteäänitiedostosta --speakers -lipun kautta.

# Two-speaker dialogue with voice cloning
.build/release/speech speak "[S1] Hello there! [S2] Hey, how are you?" \
    --engine cosyvoice --speakers s1=alice.wav,s2=bob.wav -o dialogue.wav

# Three speakers
.build/release/speech speak "[A] Welcome. [B] Thanks! [C] Glad to be here." \
    --engine cosyvoice --speakers a=host.wav,b=guest1.wav,c=guest2.wav -o panel.wav

Kaiuttimen nimet tageissa ovat tapaus-herkkiä ja sopivat kartoitusavaimiin. Asennettava hiljaisuusväli (oletusarvo 0,2s) lisätään vuorojen väliin.

Emotion & Style Tunnisteet

Ohjaa puhumistyyliä segmenttiä kohti käyttäen inline-tuntemustunnisteita. CosyVoice3 käyttää tekstin etuliitettä ennen <|endofprompt|> kuponkia tyyliohjeena ... emotional tags karttaan, joka korvaa tämän etuliitteen.

# Emotion tags
.build/release/speech speak "(excited) Wow, amazing! (sad) But I have to go..." \
    --engine cosyvoice -o emotion.wav

# Combined with speakers
.build/release/speech speak "[S1] (happy) Great news! [S2] (surprised) Really?" \
    --engine cosyvoice --speakers s1=alice.wav,s2=bob.wav -o combined.wav

# Freeform instruction as tag
.build/release/speech speak "(Speak like a pirate) Ahoy matey!" \
    --engine cosyvoice -o pirate.wav

# Global instruction (applies to all segments without emotion tags)
.build/release/speech speak "Hello world" \
    --engine cosyvoice --cosy-instruct "Speak cheerfully" -o cheerful.wav

Sisäänrakennettu tunnetagit

Tuntematon tagi kulkee vapaamuotoisina ohjeina, joten (Speak in a slow, dramatic voice) toimii sellaisena kuin se on.

Malli Control Tokens (fl_ tokens)

Sisäisesti CosyVoice3 LLM käyttää erityisiä ohjauspoletteja fl_ . Nämä kuponkit ovat osa yläjuoksulla FunAudioLLM tokeneizer; Soniqo runtime lähettää oikean automaattisesti perustuu CLI lippu tai Swift API soittaa käytät, joten et koskaan kirjoittaa niitä käsin.

Näytteenotto

LLM vaiheessa käytetään seuraavaa näytteenottokokoonpanoa:

Toistaminen Aware Sampling (RAS), alkaen VALL-E 2, rankaisee rahakkeita, jotka ilmestyivät viimeisten 10 luotua kuponkia. Tämä estää toistuvia ääniesineitä ja parantaa tuotannon vakautta.

Tulos

M2 Max, CosyVoice3 saavuttaa RTF noin 0,5 .