Maskinöversättning · Engelskt original

CosyVoice3

Kör CosyVoice3 lokalt på Mac med MLX för tal på nio språk och röstkloning från en kort inspelning. Lyssna på standarden, klonade och stilkontrollerade exempel, försök sedan klona med referensljud och dess exakta utskrift.

Audio prover · Klon en röst med CLI · Stödda språk · Full femspråkig röstkloningsjämförelse och metodologi

Audio prover

Lyssna på den befintliga standardrösten, klonen gjord av Kokoro af_heart, och det stilstyrda exemplet. CLI-exemplet nedan använder en separat FLEURS referens.

Klon en röst med CLI

Ladda ner Reference ljud som referens.wav. kommandot använder sin exakta utskrift; ersätt både inspelningen och utskriften när du använder ditt eget röstprov.

speech speak "Hello from the cloned voice." \
    --engine cosyvoice \
    --cosyvoice-variant bf16 \
    --voice-sample reference.wav \
    --cosy-reference-transcript "One can only wonder what the keyboard will become when something newer comes along." \
    --seed 42 \
    --output clone.wav

CosyVoice 3 vs 3.5 tillgänglighet

Stödda språk

Pipeline

CosyVoice3 syntetiserar tal i tre steg:

1. LLM -- Qwen2.5-0.5B ryggrad genererar FSQ (Finite Scalar Quantization) taltokens från text
2. DiT Flow Matching - En 22-lagers Diffusion Transformer omvandlar taltokens till mel-spektrogram via Euler ODE-integration
3. HiFi-GAN - Neural Source Filter Vocoder konverterar mel spektrogram till 24 kHz vågformer

Arkitektur

LLM (Qwen2.5-0.5B)

Den nuvarande runtime stöder bf16 (standard), 8bit och 8bit-full. Välj en bunt med --cosyvoice-variant. Språkmodellen genererar diskreta taltokens autoregressivt.

DiT Flow Matching

Diffusion Transformer förfinar tal tokens i mel spektrogram med hjälp av villkorligt flöde som matchar med klassificeringsfri vägledning.

HiFi-GAN Vocoder

En Neural Source Filter (NSF) vocoder som konverterar mel spektrogram till vågformer.

Modellvikt

Varje bunt innehåller LLM, DiT-flödesmatchningsdekoder, HiFi-GAN-vocoder, och S3-Tokenizer referenskodare som behövs för noll-shot röstkloning. Pick mindre buntar för mindre nedladdning / diskfotavtryck; plocka bf16 när LLM / DiT quantization noise blir ett problem (långsyntes,

CLI Användning

# Default bf16 bundle
.build/release/speech speak "Hallo Welt" --engine cosyvoice --language german -o output.wav

# Pick a variant via --cosyvoice-variant
.build/release/speech speak "Hallo Welt" --engine cosyvoice --cosyvoice-variant bf16 --language german -o output.wav

Exempel

# English
.build/release/speech speak "Hello, how are you?" --engine cosyvoice -o hello_en.wav

# Chinese
.build/release/speech speak "你好世界" --engine cosyvoice --language chinese -o hello_cn.wav

# Spanish
.build/release/speech speak "Hola, buenos días" --engine cosyvoice --language spanish -o hello_es.wav

# French
.build/release/speech speak "Bonjour le monde" --engine cosyvoice --language french -o hello_fr.wav

Röstkloning

Klon alla röster från en kort referens ljudprov med hjälp av --voice-sample flaggan. CosyVoice3 använder CAM+ högtalaren för att extrahera en 192-dim inbäddning som villkor DiT flöde modell.

# Voice cloning
.build/release/speech speak "Hello in your voice" --engine cosyvoice --voice-sample reference.wav --cosy-reference-transcript "One can only wonder what the keyboard will become when something newer comes along." -o cloned.wav

# Cross-language: clone voice, speak in German
.build/release/speech speak "Guten Tag" --engine cosyvoice --voice-sample reference.wav --cosy-reference-transcript "One can only wonder what the keyboard will become when something newer comes along." --language german -o german.wav

Hur det fungerar

1. CAM++-högtalare extraherar en 192-dim-inbäddning från referensljudet via CoreML (Neural Engine)
2. Affin projektion (192 → 80) förhållanden DiT-flödet som matchar avkodaren på målrösten
3. HiFi-GAN vocoder konverterar högtalarkonditionerade mel-spektrogram till 24kHz ljud

Högtalare Encoder

CAM++-modellen laddas ner automatiskt vid första användningen av --voice-sample. Se Voice Cloning guide för referensljudtips och Swift API.

Multihögtalardialog

Syntetisera konversationer mellan flera högtalare med hjälp av inline högtalartaggar. Varje högtalare tilldelas en röst från en referensljudfil via --speakers flaggan.

# Two-speaker dialogue with voice cloning
.build/release/speech speak "[S1] Hello there! [S2] Hey, how are you?" \
    --engine cosyvoice --speakers s1=alice.wav,s2=bob.wav -o dialogue.wav

# Three speakers
.build/release/speech speak "[A] Welcome. [B] Thanks! [C] Glad to be here." \
    --engine cosyvoice --speakers a=host.wav,b=guest1.wav,c=guest2.wav -o panel.wav

Högtalare namn i taggar är fallskänsliga och matchade till kartläggningsnycklarna. En konfigurerbar tyst gap (standard 0.2s) sätts in mellan varv.

Emotion & Style Tags

Kontrollera talstilen per segment med hjälp av inline känslor taggar. CosyVoice3 använder textprefixet före <|endofprompt|> token som en stilinstruktion - känslor taggar karta till naturliga språkinstrukationer som ersätter detta prefix.

# Emotion tags
.build/release/speech speak "(excited) Wow, amazing! (sad) But I have to go..." \
    --engine cosyvoice -o emotion.wav

# Combined with speakers
.build/release/speech speak "[S1] (happy) Great news! [S2] (surprised) Really?" \
    --engine cosyvoice --speakers s1=alice.wav,s2=bob.wav -o combined.wav

# Freeform instruction as tag
.build/release/speech speak "(Speak like a pirate) Ahoy matey!" \
    --engine cosyvoice -o pirate.wav

# Global instruction (applies to all segments without emotion tags)
.build/release/speech speak "Hello world" \
    --engine cosyvoice --cosy-instruct "Speak cheerfully" -o cheerful.wav

Inbyggd Emotion Taggar

Okända taggar passerar genom som friformsinstruktioner, så (Speak in a slow, dramatic voice) fungerar som-är.

Modellkontroll Tokens (fl_ tokens)

Internt använder CosyVoice3 LLM speciella kontrolltokens - prefixed fl_ - för att växla mellan lägen (noll-shot kloning, instruerad syntes, spara en högtalare, etc.). Dessa tokens är en del av den uppströms FunAudioLLM-tokenizer; Soniqo runtime avger den korrekta automatiskt baserat på CLI-flaggan eller Swift API ring du använder, så du aldrig skriva dem för hand.

Sampling

LLM scen använder följande provtagningskonfiguration:

Repetition Aware Sampling (RAS), från VALL-E 2, straffar tokens som dök upp i de senaste 10 genererade tokens. Detta förhindrar repetitiva ljudartefakter och förbättrar utgångsstabiliteten.

Prestanda

På en M2 Max uppnår CosyVoice3 en RTF på cirka 0,5 - snabbare än realtid.