Awtomatikong salin · Orihinal sa Ingles

CosyVoice3

Run CosyVoice3 Local on Mac na may MLX para sa pagsasalita sa siyam na wika at voice cloning mula sa isang maikling pagtatala. Pakinggan ang default, i - clone at style-controled na mga halimbawa, pagkatapos ay subukin ang cloning na may reference audio at ang eksaktong transcription nito.

Mga sampol ng audio · Isara ang isang tinig na may CLI · Sinusuportang mga wika · Buong limang-wikang voice-cloning na paghahambing at metolohiya

Mga sampol ng audio

Pakinggan ang umiiral na default voice, ang clone na ginawa mula sa Kokoro af_heart, at ang style-controlled na halimbawa. Ang CLI halimbawa sa ibaba ay gumagamit ng hiwalay na FLEURS reference.

Isara ang isang tinig na may CLI

Ibabang download Reference audio Ginagamit ng utos ang eksaktong kopya nito; palitan kapuwa ang rekording at ang transcript kapag ginagamit ang iyong sariling sampol ng boses.

speech speak "Hello from the cloned voice." \
    --engine cosyvoice \
    --cosyvoice-variant bf16 \
    --voice-sample reference.wav \
    --cosy-reference-transcript "One can only wonder what the keyboard will become when something newer comes along." \
    --seed 42 \
    --output clone.wav

CosyVoice 3 vs 3.5 magagamit

Suportadong mga Wika

Pipeline

CosyVoice3 Ang pagsasalita sa tatlong yugto:

1. LLM — Ang Qwen2.5-0.5B A buto ay lumilikha ng FSQ (Finite Scalar Quantization) na mga pananda sa pagsasalita mula sa teksto
2. Pag - aalis ng Agos — Isang 22-layer Difision Transformer na ginagawang mel spectrogram ang pagsasalita sa pamamagitan ng pagsasama - sama ng Euler ODE
3. HiFi-GAN — Binabago ng Neural Source Filter vocoder ang mga mel spectrogram tungo sa 24 kHz waveforms

Arkitektura

LLM (Qwen2.5-0.5B)

Ang kasalukuyang runtime ay sumusuporta sa bf16 (default), 8bit at 8bit-full. Pumili ng isang bungkos na may --cosyvoice-variant. Ang modelo ng wika ay lumilikha ng discrete speech tokens autoregressively.

Pag - aalis ng Agos

Dinadalisay ng Diffusion Transformer ang pagsasalita ng mga total sa mga mel spectrogram gamit ang kondisyonal na daloy na tumutugma sa classifier-free potensyal.

HiFi-GAN Vocoder

Isang Neural Source Filter (NSF) na nag-eebolb ng mga mel spectrogram sa mga waveform.

Modelong mga Timbang

Ang bawat bungkos ay kinabibilangan ng LLM, ang DiT street-matching decoder, ang HiFi-GAN vocoder, at ang S3-Tokenizer reference regulator na kailangan para sa sero-shot na voice cloning. Kumuha ng mas maliit na mga bungkos para sa mas maliit na download / disk footprint; pick bf16 kapag ang LLM/DiT quantition role ay nagiging problema (long-form synthesis, voice cloning katapatan).

Paggamit ng CLI

# Default bf16 bundle
.build/release/speech speak "Hallo Welt" --engine cosyvoice --language german -o output.wav

# Pick a variant via --cosyvoice-variant
.build/release/speech speak "Hallo Welt" --engine cosyvoice --cosyvoice-variant bf16 --language german -o output.wav

Mga Halimbawa

# English
.build/release/speech speak "Hello, how are you?" --engine cosyvoice -o hello_en.wav

# Chinese
.build/release/speech speak "你好世界" --engine cosyvoice --language chinese -o hello_cn.wav

# Spanish
.build/release/speech speak "Hola, buenos días" --engine cosyvoice --language spanish -o hello_es.wav

# French
.build/release/speech speak "Bonjour le monde" --engine cosyvoice --language french -o hello_fr.wav

Pag-clone ng boses

Clone anumang boses mula sa isang maikling reference audio sampol gamit ang --voice-sample flag. CosyVoice3 ay gumagamit ng CAM++ speaker recogulator upang kumuha ng 192-dim embending na kondisyon sa diT stream model.

# Voice cloning
.build/release/speech speak "Hello in your voice" --engine cosyvoice --voice-sample reference.wav --cosy-reference-transcript "One can only wonder what the keyboard will become when something newer comes along." -o cloned.wav

# Cross-language: clone voice, speak in German
.build/release/speech speak "Guten Tag" --engine cosyvoice --voice-sample reference.wav --cosy-reference-transcript "One can only wonder what the keyboard will become when something newer comes along." --language german -o german.wav

Kung Paano Ito Umaandar

1. CAM++ speaker Hinango ang isang 192-dim embending mula sa reference audio sa pamamagitan ng CoreML (Neural Engine)
2. Pagtaya sa Affine (192 → 80) ay mga kondisyon ng daloy ng DiT na tumutugma sa decoder sa target na tinig
3. HiFi-GAN vocoder kumokumberte ng speaker-conditioned mel spectrogram sa 24kHz audio

Nag - uusap

Ang modelong CAM+ ay awtomatikong na-download sa unang paggamit ng modelo --voice-sample. Tingnan ang Pagsara ng Tinig gabay para sa reference audio tips at ang Swift API.

Multi-Proper Dialogue

Synthesize mga usapan sa pagitan ng mga multiple speakers gamit ang mga inline speaker tags. Ang bawat tagapagsalita ay inaatasan ng isang tinig mula sa isang reference audio file sa pamamagitan ng --speakers flag.

# Two-speaker dialogue with voice cloning
.build/release/speech speak "[S1] Hello there! [S2] Hey, how are you?" \
    --engine cosyvoice --speakers s1=alice.wav,s2=bob.wav -o dialogue.wav

# Three speakers
.build/release/speech speak "[A] Welcome. [B] Thanks! [C] Glad to be here." \
    --engine cosyvoice --speakers a=host.wav,b=guest1.wav,c=guest2.wav -o panel.wav

Ang mga pangalang speaker sa mga tag ay case-insensitive at tumutugma sa mga susing pangpaplake. Ang isang di-nagbabagong direksyong puwang (default 0.2s) ay isinisingit sa pagitan ng mga ikot.

Emotion & Style Tags

Supilin ang istilo ng pagsasalita sa bawat bahagi na gumagamit ng inline na emosyon mga tag. CosyVoice3 ay gumagamit ng teksto na unlaping bago ang <|endofprompt|> token bilang isang style word — ang emosyon ay naglalagay ng mapa sa natural na mga instruksiyon sa wika na pumapalit sa prefix na ito.

# Emotion tags
.build/release/speech speak "(excited) Wow, amazing! (sad) But I have to go..." \
    --engine cosyvoice -o emotion.wav

# Combined with speakers
.build/release/speech speak "[S1] (happy) Great news! [S2] (surprised) Really?" \
    --engine cosyvoice --speakers s1=alice.wav,s2=bob.wav -o combined.wav

# Freeform instruction as tag
.build/release/speech speak "(Speak like a pirate) Ahoy matey!" \
    --engine cosyvoice -o pirate.wav

# Global instruction (applies to all segments without emotion tags)
.build/release/speech speak "Hello world" \
    --engine cosyvoice --cosy-instruct "Speak cheerfully" -o cheerful.wav

Itinayo-in Emotion Tags

Ang mga hindi kilalang tag ay dumadaan bilang mga instruksiyong freeform, kaya ang (Speak in a slow, dramatic voice) ay gumagana bilang-is.

Model Control Tkens (fl_ tokens)

Sa internasyunal na paraan, ang CosyVoice3 LLM ay gumagamit ng pantanging mga token na pangkontrol — na ini-fix fl_ – upang magpalit sa pagitan ng mga mode (zero-shot cloning, instructed synthesis, saving a speaker, atbp. Ang mga token na ito ay bahagi ng pasalungat na FunaKLM matrizer; ang Soniqo runtime ay naglalabas ng tama na awtomatikong batay sa bandilang CLI o Swift API na tumatawag sa inyong gamitin, kaya hindi ninyo kailanman isinulat ang mga ito sa pamamagitan ng kamay.

Paghahabol

Ang LLM stage ay gumagamit ng sumusunod na mga halimbawang pagsasaayos:

Repetition Awate Sampling (RAS), mula sa VALL-E 2, penitus tokens na lumitaw sa huling 10 na nilikhang mga token.Ito ay pumipigil sa paulit-ulit na audio artifacts at nagpapabuti ng katatagan ng output.

Pag - aasikaso

Sa isang M2 Max, CosyVoice3 ay nagkamit ng RTF ng humigit-kumulang 0.5 — mas mabilis kaysa sa real-time.