Maskinoversettelse · Engelsk original

CosyVoice3

Kjør CosyVoice3 lokalt på Mac med MLX for tale på ni språk og stemmekloning fra et kort opptak. Lytt til standard, klonet og stilkontrollerte eksempler, og prøv deretter å klone med referanselyd og dens eksakte transkripsjon.

Lydprøver · Klone en stemme med CLI ·Supported languages · · Fyll femspråklig stemmekloning sammenlikning og metode

Lydprøver

Lyt til den eksisterende standardstemmen, klonen laget av Kokoro af_ heart, og det stilkontrollerte eksemplet. CLI eksemplet nedenfor bruker en separat FLEURS referanse.

Klone en stemme med CLI

Last ned Reference audio som reference.wav. Kommandoen bruker sin nøyaktige transkripsjon; erstatte både opptak og transkripasjon når du bruker din egen stemmeprøve.

speech speak "Hello from the cloned voice." \
    --engine cosyvoice \
    --cosyvoice-variant bf16 \
    --voice-sample reference.wav \
    --cosy-reference-transcript "One can only wonder what the keyboard will become when something newer comes along." \
    --seed 42 \
    --output clone.wav

CosyVoice 3 mot 3.5 tilgjengelighet

Støttede språk

Pipeline

CosyVoice3 syntetiserer tale i tre stadier:

1. LLM — Qwen2.5-0.5B ryggrad genererer FSQ (Finite Scalar Quantiization) taletegn fra tekst
2. DiT Flow Matching - En 22-lags Diffusion Transformer konverterer talesymboler til mel spektrogrammer via Euler ODE integrasjon
3. HiFi-GAN — Neural Source Filter vocoder konverterer mel spektrogram til 24 kHz bølgeformer

Arkitektur

LLM (Qwen2.5-0.5B)

Den aktuelle kjøretiden støtter bf16 (standard), 8bit og 8bit-full. Velg en pakke med --cosyvoice-variant. Språkmodellen genererer diskret taletokens automatisk.

DiT Flow Matching

Diffusion Transformeren forfiner talesymboler i mel spektrogram ved å bruke betinget strømming som samsvarer med klassefri veiledning.

HiFi-GAN Vocoder

En nevral kildefilter (NSF) vocoder som konverterer mel spektrogrammer til bølgeformer.

Modellvekter

Hver pakke inneholder LLM, DiT-strømmingsdekoderen, HiFi-GAN-vocoderen, og S3-Tokenizer referansekoderen som trengs for null-shot stemmekloning. Velg mindre pakker for mindre nedlasting / diskavtrykk; velg bf16 når LLM/DiT kvantiseringssstøy blir et problem (langforms syntese, stemmekloningsing fidelity).

CLI bruk

# Default bf16 bundle
.build/release/speech speak "Hallo Welt" --engine cosyvoice --language german -o output.wav

# Pick a variant via --cosyvoice-variant
.build/release/speech speak "Hallo Welt" --engine cosyvoice --cosyvoice-variant bf16 --language german -o output.wav

Eksempler

# English
.build/release/speech speak "Hello, how are you?" --engine cosyvoice -o hello_en.wav

# Chinese
.build/release/speech speak "你好世界" --engine cosyvoice --language chinese -o hello_cn.wav

# Spanish
.build/release/speech speak "Hola, buenos días" --engine cosyvoice --language spanish -o hello_es.wav

# French
.build/release/speech speak "Bonjour le monde" --engine cosyvoice --language french -o hello_fr.wav

Stemmekloning

Klone enhver stemme fra en kort referanselydprøve ved bruk av --voice-sample flagg. CosyVoice3 bruker CAM++ høyttalerkoder for å trekke ut en 192-dim inneslutting som forholder DiT-strømmodellen.

# Voice cloning
.build/release/speech speak "Hello in your voice" --engine cosyvoice --voice-sample reference.wav --cosy-reference-transcript "One can only wonder what the keyboard will become when something newer comes along." -o cloned.wav

# Cross-language: clone voice, speak in German
.build/release/speech speak "Guten Tag" --engine cosyvoice --voice-sample reference.wav --cosy-reference-transcript "One can only wonder what the keyboard will become when something newer comes along." --language german -o german.wav

Hvordan det fungerer

1. CAM++ høyttalerkoder trekker ut en 192-dim embeddert fra referanselyden via CoreML (Neural Engine)
2. Affin projeksjon (192 → 80) betingelser DiT strømming matchende dekoder på målstemmen
3. HiFi-GAN vocoder konverterer høyttaler-kondisjonert mel spektrogram til 24kHz lyd

Høyttalerkoder

CAM++-modellen lastes ned automatisk ved første bruk av --voice-sample. Se Voice Cloning-guiden for referanselydtips og Swift API.

Dialog med flere talere

Synthesize samtaler mellom flere høyttalere ved hjelp av inline høyttaler tags. Hver høyttaler er tildelt en stemme fra en referanselydfil via --speakers flagget.

# Two-speaker dialogue with voice cloning
.build/release/speech speak "[S1] Hello there! [S2] Hey, how are you?" \
    --engine cosyvoice --speakers s1=alice.wav,s2=bob.wav -o dialogue.wav

# Three speakers
.build/release/speech speak "[A] Welcome. [B] Thanks! [C] Glad to be here." \
    --engine cosyvoice --speakers a=host.wav,b=guest1.wav,c=guest2.wav -o panel.wav

Høyttalernavn i tagger er case-insensitive og matches til kartleggingstastene. En konfigurerbar stillhet gap (standard 0,2s) settes inn mellom svinger.

Emosjon & Stil Tags

Kontrollere talestilen per segment ved å bruke inline følelsestagger. CosyVoice3 bruker tekstprefikset før <|endofprompt|> token som en stil instruksjon - følelser tagger kart til naturlige språkinstruksjoner som erstatter dette prefikset.

# Emotion tags
.build/release/speech speak "(excited) Wow, amazing! (sad) But I have to go..." \
    --engine cosyvoice -o emotion.wav

# Combined with speakers
.build/release/speech speak "[S1] (happy) Great news! [S2] (surprised) Really?" \
    --engine cosyvoice --speakers s1=alice.wav,s2=bob.wav -o combined.wav

# Freeform instruction as tag
.build/release/speech speak "(Speak like a pirate) Ahoy matey!" \
    --engine cosyvoice -o pirate.wav

# Global instruction (applies to all segments without emotion tags)
.build/release/speech speak "Hello world" \
    --engine cosyvoice --cosy-instruct "Speak cheerfully" -o cheerful.wav

Innebygget emosjon Tags

Ukjende tagger passerer som freeform instruksjoner, så (Speak in a slow, dramatic voice) fungerer som-er.

Modellkontroll Tokens (fl_ tokens)

Internt bruker CosyVoice3 LLM spesielle kontrollsymboler - prefiksert fl_ - til å bytte mellom moduser (null-shot kloning, instruert syntese, lagre en høyttaler, etc.). Disse symbolene er en del av oppstrøms FunAudioLLM-tokenizeren; Soniqo køyretiden sender ut den riktige automatisk basert på CLI-flagget eller Swift API ringe deg, så du aldri skriver dem for hånd.

Sampling

LLM-trinnet bruker følgende prøvetakingskonfigurasjon:

Repetisjons Aware-prøvetaking (RAS), fra VALL-E 2, straffer polletter som dukker opp i de siste 10 genererte token. Dette hindrer repetitive lydgjenstander og forbedrer utgangsstabiliteten.

Ytelse

På en M2 Max, CosyVoice3 oppnår en RTF på ca. 0,5 - raskere enn sanntid.