Traduzione automatica · Originale inglese

CosyVoice3

Correre CosyVoice3 localmente su Mac con MLX per la parola in nove lingue e clonazione vocale da una breve registrazione. Ascoltare gli esempi predefiniti, clonati e controllati dallo stile, quindi provare clonazione con l'audio di riferimento e la sua trascrizione esatta.

Campioni audio · Clone una voce con il CLI · Lingue supportate · Confronto e metodologia di clonazione vocale a cinque lingue

Campioni audio

Ascolti la voce predefinita esistente, il clone fatto da Kokoro af_heart, e l'esempio controllato dallo stile. L'esempio CLI qui sotto utilizza un riferimento FLEURS.

Clone una voce con il CLI

Download Riferimento audio come riferimento.wav. Il comando utilizza la sua trascrizione esatta; sostituire sia la registrazione che la trascrizione quando si utilizza il proprio campione vocale.

speech speak "Hello from the cloned voice." \
    --engine cosyvoice \
    --cosyvoice-variant bf16 \
    --voice-sample reference.wav \
    --cosy-reference-transcript "One can only wonder what the keyboard will become when something newer comes along." \
    --seed 42 \
    --output clone.wav

CosyVoice 3 vs 3.5 disponibilità

Lingue supportate

Pipeline

CosyVoice3 sintetizza il discorso in tre fasi:

1. LLM — La spina dorsale Qwen2.5-0.5B genera token di discorso FSQ (Finite Scalar Quantization) dal testo
2. DiT Flow Matching — Un trasformatore di diffusione a 22 strati converte i token di discorso in spettriogrammi mel tramite l'integrazione di Euler ODE
3. HiFi-GAN — Il vocoder del filtro della sorgente neurale converte gli spettri mel in forme d'onda 24 kHz

Architettura

LLM (Qwen2.5-0.5B)

L'attuale runtime supporta bf16 (default), 8bit e 8bit-full. Selezionare un bundle con --cosyvoice-variant. Il modello di lingua genera token discografici in modo discreto.

Corrispondenza del flusso DiT

Il Diffusion Transformer perfeziona i token vocali in spettrogrammi mel utilizzando il flusso condizionale corrispondente alla guida senza classificatori.

HiFi-GAN Vocoder

Un vocoder della sorgente neurale (NSF) che converte gli spettrogrammi mel in forme d'onda.

Peso del modello

Ogni bundle include il LLM, il decoder di scorrimento DiT, il vocoder HiFi-GAN, e l'encoder di riferimento S3-Tokenizer necessario per la clonazione vocale zero-shot. bf16 quando il rumore di quantizzazione LLM/DiT diventa un problema (sintesi di forma lunga, fedeltà di clonazione vocale).

Uso CLI

# Default bf16 bundle
.build/release/speech speak "Hallo Welt" --engine cosyvoice --language german -o output.wav

# Pick a variant via --cosyvoice-variant
.build/release/speech speak "Hallo Welt" --engine cosyvoice --cosyvoice-variant bf16 --language german -o output.wav

Esempi

# English
.build/release/speech speak "Hello, how are you?" --engine cosyvoice -o hello_en.wav

# Chinese
.build/release/speech speak "你好世界" --engine cosyvoice --language chinese -o hello_cn.wav

# Spanish
.build/release/speech speak "Hola, buenos días" --engine cosyvoice --language spanish -o hello_es.wav

# French
.build/release/speech speak "Bonjour le monde" --engine cosyvoice --language french -o hello_fr.wav

Clonazione vocale

Clone qualsiasi voce da un breve campione audio di riferimento utilizzando la bandiera --voice-sample. CosyVoice3 utilizza l'encoder del diffusore CAM++ per estrarre un 192-dim che incorpora le condizioni del modello di flusso DiT.

# Voice cloning
.build/release/speech speak "Hello in your voice" --engine cosyvoice --voice-sample reference.wav --cosy-reference-transcript "One can only wonder what the keyboard will become when something newer comes along." -o cloned.wav

# Cross-language: clone voice, speak in German
.build/release/speech speak "Guten Tag" --engine cosyvoice --voice-sample reference.wav --cosy-reference-transcript "One can only wonder what the keyboard will become when something newer comes along." --language german -o german.wav

Come funziona

1. Encoder per diffusori CAM++ estrae un embedding 192-dim dall'audio di riferimento tramite CoreML (Neural Engine)
2. Proiezione sufficiente (192 → 80) condiziona il decoder di corrispondenza del flusso DiT sulla voce di destinazione
3. HiFi-GAN vocoder converte lo spettrogramma di mel climatizzato dell'altoparlante a 24kHz audio

Altoparlante Encoder

Il modello CAM++ viene scaricato automaticamente sul primo utilizzo di --voice-sample. Vedi la guida Voice Cloning per le punte audio di riferimento e la guida Swift API

Dialogo multi-Speaker

Sincronizza le conversazioni tra più diffusori utilizzando etichette di altoparlante in linea. Ciascun diffusore viene assegnata una voce da un file audio di riferimento tramite la bandiera --speakers

# Two-speaker dialogue with voice cloning
.build/release/speech speak "[S1] Hello there! [S2] Hey, how are you?" \
    --engine cosyvoice --speakers s1=alice.wav,s2=bob.wav -o dialogue.wav

# Three speakers
.build/release/speech speak "[A] Welcome. [B] Thanks! [C] Glad to be here." \
    --engine cosyvoice --speakers a=host.wav,b=guest1.wav,c=guest2.wav -o panel.wav

I nomi dei diffusori nei tag sono case-insensibili e abbinati ai tasti di mappatura. Un gap di silenzio configurabile (default 0.2s) viene inserito tra i giri.

Emozione & stile Tag

Controllare lo stile di parola per segmento utilizzando i tag di emozione in linea. CosyVoice3 utilizza il prefisso di testo prima del <|endofprompt|> token come istruzione di stile — tag di eliminazione mappa alle istruzioni di lingua naturale che sostituiscono questo prefisso.

# Emotion tags
.build/release/speech speak "(excited) Wow, amazing! (sad) But I have to go..." \
    --engine cosyvoice -o emotion.wav

# Combined with speakers
.build/release/speech speak "[S1] (happy) Great news! [S2] (surprised) Really?" \
    --engine cosyvoice --speakers s1=alice.wav,s2=bob.wav -o combined.wav

# Freeform instruction as tag
.build/release/speech speak "(Speak like a pirate) Ahoy matey!" \
    --engine cosyvoice -o pirate.wav

# Global instruction (applies to all segments without emotion tags)
.build/release/speech speak "Hello world" \
    --engine cosyvoice --cosy-instruct "Speak cheerfully" -o cheerful.wav

Emozione integrata Tag

I tag sconosciuti passano come istruzioni di forma libera, così (Speak in a slow, dramatic voice)

Token di controllo del modello ( fl_ tokens)

Internamente, la CosyVoice3 LLM utilizza token di controllo speciali — prefissati fl_ — per passare tra modalità (clonazione zero-shot, sintesi istruita, salvataggio di un altoparlante, ecc.). Questi gettoni fanno parte del tokenizzatore FunAudioLLM a monte; il runtime Soniqo emette automaticamente quello corretto in base alla bandiera CLI o Swift API che usi, quindi non li scrivi mai a mano.

Sampling

La fase LLM utilizza la seguente configurazione di campionamento:

Ripetizione Aware Sampling (RAS), da VALL-E 2, penalizza i token che sono apparsi negli ultimi 10 token generati, impedendo artefatti audio ripetitivi e migliorando la stabilità di uscita.

Prestazioni

Su un M2 Max, CosyVoice3 raggiunge un RTF di circa 0,5 — più veloce del tempo reale.