Maskinoversættelse · Engelsk original

CosyVoice3

Kør CosyVoice3 lokalt på Mac med MLX til tale i ni sprog og stemme kloning fra en kort optagelse. Lyt til standard, klonede og style- kontrollerede eksempler, så prøv kloning med reference lyd og dens nøjagtige udskrift.

Lydprøver · Klone en stemme med CLI · Understøttede sprog · Fuld 5-sprog stemme-kloning sammenligning og metodologi

Lydprøver

Lyt til den eksisterende standardstemme, klonen lavet af Kokoro af _ heart, og style- kontrolleret eksempel. CLI-eksemplet nedenfor bruger en separat FLEURS reference.

Klone en stemme med CLI

Download Referencelyd som reference.wav. Kommandoen bruger sin nøjagtige udskrift; erstatter både optagelsen og udskriften, når du bruger din egen stemmeprøve.

speech speak "Hello from the cloned voice." \
    --engine cosyvoice \
    --cosyvoice-variant bf16 \
    --voice-sample reference.wav \
    --cosy-reference-transcript "One can only wonder what the keyboard will become when something newer comes along." \
    --seed 42 \
    --output clone.wav

CosyVoice 3 vs 3.5 tilgængelighed

Understøttede sprog

Pipeline

CosyVoice3 syntetiserer tale i tre faser:

1. LLM - Qwen2.5-0.5B rygrad genererer FSQ (Finite Scalar Kvantisering) tale tokens fra tekst
2. DiT- flow- matchning - Et 22- lag Diffusion Transformer konverterer talemønstre til mel spektrogram via Euler ODE integration
3. HiFi- GAN - Neurale kilde Filter vocoder konverterer mel spektrogram til 24 kHz bølgeformer

Arkitektur

LLM (Qwen2.5-0.5B)

Den aktuelle drifttid understøtter bf16 (standard), 8bit og 8bit- full. Vælg et bundt med --cosyvoice-variantSprogmodellen genererer diskrete talemønstre autoregressivt.

DiT- flow- matchning

Diffusion Transformer raffinerer talepoletter i mel spektrogram ved hjælp af betinget flow matchende med klassifikatorfri vejledning.

HiFi- GAN Vocoder

Et neuralkildefilter (NSF) vocoder, der konverterer mel spektrogram til kurveformer.

Model Vægte

Hvert bundt omfatter LLM, DiT flow- matchende dekoder, HiFi- GAN vocoder, og S3-Tokenizer reference encoder nødvendig for zero-shot stemme kloning. Vælg mindre bundter til mindre download / disk fodaftryk; pick bf16 når LLM / DiT kvantificeringsstøj bliver et problem (længdesyntese, talekloning troskab).

CLI-brug

# Default bf16 bundle
.build/release/speech speak "Hallo Welt" --engine cosyvoice --language german -o output.wav

# Pick a variant via --cosyvoice-variant
.build/release/speech speak "Hallo Welt" --engine cosyvoice --cosyvoice-variant bf16 --language german -o output.wav

Eksempler

# English
.build/release/speech speak "Hello, how are you?" --engine cosyvoice -o hello_en.wav

# Chinese
.build/release/speech speak "你好世界" --engine cosyvoice --language chinese -o hello_cn.wav

# Spanish
.build/release/speech speak "Hola, buenos días" --engine cosyvoice --language spanish -o hello_es.wav

# French
.build/release/speech speak "Bonjour le monde" --engine cosyvoice --language french -o hello_fr.wav

Stemmekloning

Klone enhver stemme fra en kort reference lydprøve ved hjælp af --voice-sample flag. CosyVoice3 bruger CAM + + højttaler encoder til at udtrække en 192- dim indlejring, der er under DiT flow model.

# Voice cloning
.build/release/speech speak "Hello in your voice" --engine cosyvoice --voice-sample reference.wav --cosy-reference-transcript "One can only wonder what the keyboard will become when something newer comes along." -o cloned.wav

# Cross-language: clone voice, speak in German
.build/release/speech speak "Guten Tag" --engine cosyvoice --voice-sample reference.wav --cosy-reference-transcript "One can only wonder what the keyboard will become when something newer comes along." --language german -o german.wav

Sådan virker det

1. CAM + + højttaler encoder udtrækker en 192- dim-indlejring fra referencelyden via CoreML (Neural Engine)
2. Affinprojicering (192 → 80) betingelser DiT flow matchende dekoder på målet stemme
3. HiFi- GAN vocoder konverterer højttaler- konditioneret melspektrogram til 24kHz lyd

Speaker Encoder

CAM + + modellen downloades automatisk ved første brug af --voice-sample. Se Stemmekloning vejledning for referenceaudiospidser og Swift API.

Dialog mellem flere formænd

Synthesize samtaler mellem flere højttalere ved hjælp af inline højttaler tags. Hver højttaler tildeles en stemme fra en reference lydfil via --speakers flag.

# Two-speaker dialogue with voice cloning
.build/release/speech speak "[S1] Hello there! [S2] Hey, how are you?" \
    --engine cosyvoice --speakers s1=alice.wav,s2=bob.wav -o dialogue.wav

# Three speakers
.build/release/speech speak "[A] Welcome. [B] Thanks! [C] Glad to be here." \
    --engine cosyvoice --speakers a=host.wav,b=guest1.wav,c=guest2.wav -o panel.wav

Talsnavne i tags er sager- ufølsomme og matchede til kortlægningstasterne. Et konfigurerbart stilhed mellemrum (standard 0.2s) indsættes mellem drejninger.

Emotion & amp; - stiltags

Styre den talende stil per segment ved hjælp inline følelser tags. CosyVoice3 bruger teksten præfiks før <|endofprompt|> token som en stil instruktion - følelser tags kort til naturlige sprog instruktioner, der erstatter dette præfiks.

# Emotion tags
.build/release/speech speak "(excited) Wow, amazing! (sad) But I have to go..." \
    --engine cosyvoice -o emotion.wav

# Combined with speakers
.build/release/speech speak "[S1] (happy) Great news! [S2] (surprised) Really?" \
    --engine cosyvoice --speakers s1=alice.wav,s2=bob.wav -o combined.wav

# Freeform instruction as tag
.build/release/speech speak "(Speak like a pirate) Ahoy matey!" \
    --engine cosyvoice -o pirate.wav

# Global instruction (applies to all segments without emotion tags)
.build/release/speech speak "Hello world" \
    --engine cosyvoice --cosy-instruct "Speak cheerfully" -o cheerful.wav

Bygge- i Følelsesmærker

Ukendt mærker passerer igennem som freeform instruktioner, så (Speak in a slow, dramatic voice) Det virker som...

Model til kontroltokens (fl_ tokens)

Internt bruger CosyVoice3 LLM specielle kontroltokens - præfikset fl_ - til at skifte mellem tilstande (zero- shot kloning, instrueret syntese, gemme en højttaler osv.). Disse tokens er en del af opstrøms FunAudioLLM Schedrizer; Soniqo runtime udsender den korrekte automatisk baseret på CLI flag eller Swift API opkald du bruger, så du aldrig skrive dem i hånden.

Stikprøveudtagning

LLM-stadiet anvender følgende prøvetagningskonfiguration:

Gentagelse Aware Sampling (RAS), fra VALL-E 2, straffer tokens, der dukkede op i de sidste 10 genererede tokens. Dette forhindrer gentagne lyd artefakter og forbedrer output stabilitet.

Præstation

På en M2 Max. CosyVoice3 opnår en RTF te 0.5 - hurtigere end realtid.