Strojový překlad · Anglický originál

CosyVoice3

CosyVoice3 lokálně na Mac s MLX pro řeč v devíti jazycích a klonování hlasu z krátkého záznamu. Poslechněte si výchozí, klonované a stylově řízené příklady, pak zkuste klonování s referenčním audio a jeho přesný přepis.

Vzorky zvuku · Klone hlas s CLI · Podporované jazyky · Plné pětijazyčné hlasové-klonování srovnání a metodika

Vzorky zvuku

Poslechněte si stávající výchozí hlas, klon vyrobený z Kokoro af _ heart a style- controlled příklad. Níže uvedený příklad CLI používá samostatný odkaz FLEURS.

Klone hlas s CLI

Stáhnout Referenční audio jako reference.wav Příkaz používá svůj přesný přepis; při použití vlastního hlasového vzorku nahrazuje záznam i přepis.

speech speak "Hello from the cloned voice." \
    --engine cosyvoice \
    --cosyvoice-variant bf16 \
    --voice-sample reference.wav \
    --cosy-reference-transcript "One can only wonder what the keyboard will become when something newer comes along." \
    --seed 42 \
    --output clone.wav

CosyVoice 3 vs 3.5 dostupnost

Podporované jazyky

Potrubí

CosyVoice3 syntetizuje řeč ve třech etapách:

1. LLM - Qwen2.5-0.5B páteř generuje FSQ (Finite Scarar Kvantification) řečové tokeny z textu
2. Odpovídající tok diT - 22- layer Difuzní transformátor konvertuje řečové tokeny na mel spektrogramy prostřednictvím Euler ODE integrace
3. HiFi- GAN - Vokodér Neruálního zdroje konvertuje mel spektrogramy na vlnové formy 24 kHz

Architektura

LLM (Qwen2.5-0.5B)

Aktuální runtime podporuje bf16 (přednastaveno), 8bit a 8bit- full. Vyberte svazek s --cosyvoice-variant. Jazykový model generuje diskrétní řečové tokeny automaticky.

Odpovídající tok diT

Difuzní transformátor zpřesňuje řečové tokeny na mel spektrogramy pomocí podmíněného spojení toku s bezklasifikovaným vedením.

HiFi- GAN Vocoder

Vokodér s neurologickým zdrojem (NSF), který konvertuje mel spektrogramy na vlnové formy.

Vzorové váhy

Každý svazek obsahuje LLM, diT flow- odpovídající dekodér, HiFi-GAN vokodér, a S3-Tokenizer referenční enkodér potřebný pro nulo-shot hlasové klonování. Vyberte menší balíky pro menší stahování / disk stopy; vybrat bf16 když se stává problémem zvuk kvantifikace LLM / DiT (syntéza dlouhotrvající formy, loajalita klonování hlasu).

Použití CLI

# Default bf16 bundle
.build/release/speech speak "Hallo Welt" --engine cosyvoice --language german -o output.wav

# Pick a variant via --cosyvoice-variant
.build/release/speech speak "Hallo Welt" --engine cosyvoice --cosyvoice-variant bf16 --language german -o output.wav

Příklady

# English
.build/release/speech speak "Hello, how are you?" --engine cosyvoice -o hello_en.wav

# Chinese
.build/release/speech speak "你好世界" --engine cosyvoice --language chinese -o hello_cn.wav

# Spanish
.build/release/speech speak "Hola, buenos días" --engine cosyvoice --language spanish -o hello_es.wav

# French
.build/release/speech speak "Bonjour le monde" --engine cosyvoice --language french -o hello_fr.wav

Klonování hlasu

Klonujte jakýkoliv hlas z krátkého referenčního zvukového vzorku pomocí --voice-sample vlajka. CosyVoice3 používá CAM + + reproduktor pro extrahování 192-dim vkládání, které podmínky DiT průtok model.

# Voice cloning
.build/release/speech speak "Hello in your voice" --engine cosyvoice --voice-sample reference.wav --cosy-reference-transcript "One can only wonder what the keyboard will become when something newer comes along." -o cloned.wav

# Cross-language: clone voice, speak in German
.build/release/speech speak "Guten Tag" --engine cosyvoice --voice-sample reference.wav --cosy-reference-transcript "One can only wonder what the keyboard will become when something newer comes along." --language german -o german.wav

Jak to funguje

1. CAM + + reproduktor enkodér výtažky a 192-dim vložení z referenčního zvuku přes CoreML (Neural Engine)
2. Projekce funkce (192 → 80) podmínky DiT tok odpovídající dekodér na cílovém hlasu
3. HiFi- GAN vokodér konvertuje speaker- stabilizovaný mel spektrogram na 24kHz audio

Reproduktor Encoder

Model CAM + + se automaticky stáhne při prvním použití --voice-samplePodívej se na to. Klonování hlasu návod pro referenční audio tipy a Swift API.

Multi- Speaker Dialog

Syntetizovat rozhovory mezi více reproduktory pomocí inline reproduktor tagy. Každý reproduktor je přidělen hlas z referenčního audio souboru prostřednictvím --speakers Vlajka.

# Two-speaker dialogue with voice cloning
.build/release/speech speak "[S1] Hello there! [S2] Hey, how are you?" \
    --engine cosyvoice --speakers s1=alice.wav,s2=bob.wav -o dialogue.wav

# Three speakers
.build/release/speech speak "[A] Welcome. [B] Thanks! [C] Glad to be here." \
    --engine cosyvoice --speakers a=host.wav,b=guest1.wav,c=guest2.wav -o panel.wav

Jména reproduktorů ve štítcích jsou case- insensitive a odpovídají klávesám pro mapování. Mezi závity se vkládá konfigurovatelná mezera ticha (výchozí 0.2s).

Emoce & amp; Značky stylu

Ovládat styl mluvení na segment pomocí inline emocí tagy. CosyVoice3 používá text prefix před <|endofprompt|> token jako styl instrukce - emoční tagy mapa k přírodním jazykovým instrukcím, které nahrazují tuto předponu.

# Emotion tags
.build/release/speech speak "(excited) Wow, amazing! (sad) But I have to go..." \
    --engine cosyvoice -o emotion.wav

# Combined with speakers
.build/release/speech speak "[S1] (happy) Great news! [S2] (surprised) Really?" \
    --engine cosyvoice --speakers s1=alice.wav,s2=bob.wav -o combined.wav

# Freeform instruction as tag
.build/release/speech speak "(Speak like a pirate) Ahoy matey!" \
    --engine cosyvoice -o pirate.wav

# Global instruction (applies to all segments without emotion tags)
.build/release/speech speak "Hello world" \
    --engine cosyvoice --cosy-instruct "Speak cheerfully" -o cheerful.wav

Built- v emotion tagy

Neznámé značky projít jako freeform instrukce, takže (Speak in a slow, dramatic voice) Funguje jako... je.

Modelové ovládací tokeny (fl_ žetony)

CosyVoice3 LLM interně používá speciální ovládací žetony - přednastavené fl_ - přepínat mezi režimy (0-shot klonování, instruktážní syntéza, uložení reproduktoru, atd.). Tyto tokenizéry jsou součástí předního FunAudiollM tokenizer; runtime Soniqo vysílá ten správný automaticky na základě vlajky CLI nebo Swift API, který vám zavolá, takže je nikdy nenapíšete ručně.

Výběr vzorku

Stadium LLM využívá tuto konfiguraci odběru vzorků:

Opakování odběru vzorků Aware (RAS), z VALL-E 2, penalizuje tokeny, které se objevily v posledních 10 generovaných tokeny. To zabraňuje opakování zvukových artefaktů a zlepšuje stabilitu výstupu.

Výkonnost

Na M2 Max, CosyVoice3 dosáhne RTF přibližně 0.5 - rychleji než reálný čas.