Traducere automată · Originalul în engleză

CosyVoice3

Rulați CosyVoice3 local pe Mac cu MLX pentru vorbire în nouă limbi și clonarea vocală dintr-o înregistrare scurtă. Ascultați exemplele implicite, clonate și controlate în stil, apoi încercați clonarea cu audio de referință și transcrierea exactă a acestuia.

Mostre audio · Clone o voce cu CLI · Limbi acceptate · Comparație și metodologie de clonare vocală în cinci limbi

Mostre audio

Ascultați vocea implicită existentă, clona realizată din Kokoro af_heart și exemplul controlat de stil. Exemplul CLI de mai jos folosește o referință separată FLEURS.

Clone o voce cu CLI

Descarca Reference audio as reference.wav. Comanda foloseste transcrierea exacta; inlocuieste atat inregistrarea cat si transcrierea cand folosesti propriul esantion vocal.

speech speak "Hello from the cloned voice." \
    --engine cosyvoice \
    --cosyvoice-variant bf16 \
    --voice-sample reference.wav \
    --cosy-reference-transcript "One can only wonder what the keyboard will become when something newer comes along." \
    --seed 42 \
    --output clone.wav

CosyVoice 3 vs 3.5 disponibilitate

Limbi acceptate

Conductă

CosyVoice3 sintetizează discursul în trei etape:

1. LLM bază de date Qwen2.5-0.5B generează jetoane de vorbire FSQ (Cantizare Scalară Finite) din text
2. Se potrivesc fluxul diT Transformatorul de difuziune 22 transformă jetoanele de vorbire în spectrograme mel prin integrarea Euler ODE
3. HiFi- GAN Vocodorul filtru sursă neural convertește spectrogramele mel în forme de undă 24 kHz

Arhitectură

LLM (Qwen2.5-0.5B)

Actualul runtime suportă bf16 (default), 8bit și 8bit-full. Selectați un pachet cu --cosyvoice-variant. Modelul lingvistic generează jetoane discrete de vorbire automat.

Se potrivesc fluxul diT

Transformatorul de difuzie rafinează jetoanele de vorbire în spectrograme mel, utilizând un debit condiţionat care să se potrivească cu ghidarea fără clasificare.

HiFi- GAN Vocoder

Un vocodor (NSF) de filtru sursă neurală care convertește spectrogramele mel în forme de undă.

Greutatea modelului

Fiecare pachet include decodorul LLM, decodorul DiT de potrivire a fluxului, vocodorul HiFi-GAN și encodorul de referință S3-Tokenizer necesar pentru clonarea vocii cu foc zero. Alegeți pachete mai mici pentru descărcare mai mică / amprenta discului; alegeți bf16 atunci când zgomotul de cuantizare LLM/DiT devine o problemă (sinteză de lungă formă, fidelitate clonarea vocală).

Utilizarea CLI

# Default bf16 bundle
.build/release/speech speak "Hallo Welt" --engine cosyvoice --language german -o output.wav

# Pick a variant via --cosyvoice-variant
.build/release/speech speak "Hallo Welt" --engine cosyvoice --cosyvoice-variant bf16 --language german -o output.wav

Exemple

# English
.build/release/speech speak "Hello, how are you?" --engine cosyvoice -o hello_en.wav

# Chinese
.build/release/speech speak "你好世界" --engine cosyvoice --language chinese -o hello_cn.wav

# Spanish
.build/release/speech speak "Hola, buenos días" --engine cosyvoice --language spanish -o hello_es.wav

# French
.build/release/speech speak "Bonjour le monde" --engine cosyvoice --language french -o hello_fr.wav

Clonare vocală

Clone any voice from a short reference audio move using the --voice-sample flag. CosyVoice3 uses the CAM++ speaker encoder to extract a 192-dim incorporation that conditions the DiT flow model.

# Voice cloning
.build/release/speech speak "Hello in your voice" --engine cosyvoice --voice-sample reference.wav --cosy-reference-transcript "One can only wonder what the keyboard will become when something newer comes along." -o cloned.wav

# Cross-language: clone voice, speak in German
.build/release/speech speak "Guten Tag" --engine cosyvoice --voice-sample reference.wav --cosy-reference-transcript "One can only wonder what the keyboard will become when something newer comes along." --language german -o german.wav

Cum funcţionează

1. CAM++ encodor difuzor extrage un 192-dim înglobare din audio de referință prin CoreML (Neural Engine)
2. Proiecţie afină (192 → 80) condiţii de decodor de potrivire a fluxului DiT pe vocea ţintă
3. HiFi-GAN vocoder convertește spectrograma mel condiționată de difuzor la audio 24kHz

Codor difuzorName

Modelul CAM++ este descărcat automat la prima utilizare a --voice-sample Vezi... Clonarea vocală ghid pentru sfaturi audio de referință și Swift API.

Dialog multi-speaker

Sintetizeaza conversatiile intre mai multe difuzoare folosind tag-uri de difuzor Inline. Fiecare difuzor este atribuit o voce dintr-un fisier audio de referinta prin intermediul pavilionului --speakers.

# Two-speaker dialogue with voice cloning
.build/release/speech speak "[S1] Hello there! [S2] Hey, how are you?" \
    --engine cosyvoice --speakers s1=alice.wav,s2=bob.wav -o dialogue.wav

# Three speakers
.build/release/speech speak "[A] Welcome. [B] Thanks! [C] Glad to be here." \
    --engine cosyvoice --speakers a=host.wav,b=guest1.wav,c=guest2.wav -o panel.wav

Numele vorbitorului din etichete sunt insensibile la caz și se potrivesc cu tastele de cartografiere. Se introduce între viraje un decalaj de tăcere configurabil (default 0,2s).

Etichete emoție și stil

Controlați stilul vorbitoare pe segment folosind tag-uri emoționale inline. CosyVoice3 utilizează prefixul text înainte de <|endofprompt|>

# Emotion tags
.build/release/speech speak "(excited) Wow, amazing! (sad) But I have to go..." \
    --engine cosyvoice -o emotion.wav

# Combined with speakers
.build/release/speech speak "[S1] (happy) Great news! [S2] (surprised) Really?" \
    --engine cosyvoice --speakers s1=alice.wav,s2=bob.wav -o combined.wav

# Freeform instruction as tag
.build/release/speech speak "(Speak like a pirate) Ahoy matey!" \
    --engine cosyvoice -o pirate.wav

# Global instruction (applies to all segments without emotion tags)
.build/release/speech speak "Hello world" \
    --engine cosyvoice --cosy-instruct "Speak cheerfully" -o cheerful.wav

Tag-uri de emoție încorporate

Etichetele necunoscute trec prin intermediul ca instrucțiuni de formă liberă, astfel încât (Speak in a slow, dramatic voice) funcționează ca-is.

Model de jetoane de control (fl_ jetoane)

Intern, CosyVoice3 LLM utilizează jetoane speciale de control fl_ Pentru a comuta între moduri (clonarea zero-shot, sinteza instruită, salvarea unui difuzor, etc.). Aceste jetoane sunt parte a jetoanelor FunAudioLLM în amonte; Soniqo runtime emite automat cel corect bazat pe steagul CLI sau Swift API Sună-te să le foloseşti, aşa că nu le scrii niciodată cu mâna.

Eșantionarea

Etapa LLM utilizează următoarea configurație de eșantionare:

Repetition Aware Samplement (RAS), de la VALL-E 2, penalizeaza jetoane care au aparut in ultimele 10 jetoane generate. Acest lucru previne artefacte audio repetitive si imbunatateste stabilitatea de iesire.

Performanță

La un M2 Max, CosyVoice3 atinge un RTF de aproximativ 0,5