Automatische vertaling · Engels origineel

CosyVoice3

Voer CosyVoice3 lokaal uit op Mac met MLX voor spraak in negen talen en stemklonen vanaf een korte opname. Luister naar de standaard, gekloonde en stijlgestuurde voorbeelden, probeer dan te klonen met referentieaudio en het exacte transcript.

Audiomonsters · Kloon een stem met de CLI · Ondersteunde talen · Volledige vijftalige vergelijking en methodologie van spraakklonen

Audiomonsters

Luister naar de bestaande standaardstem, de kloon gemaakt van Kokoro af_heart, en het stijlgestuurde voorbeeld. Het onderstaande CLI voorbeeld gebruikt een aparte FLEURS referentie.

Kloon een stem met de CLI

Download Reference audio als referentie.wav. Het commando gebruikt het exacte transcript; vervang zowel de opname als het transcript bij het gebruik van uw eigen stemmonster.

speech speak "Hello from the cloned voice." \
    --engine cosyvoice \
    --cosyvoice-variant bf16 \
    --voice-sample reference.wav \
    --cosy-reference-transcript "One can only wonder what the keyboard will become when something newer comes along." \
    --seed 42 \
    --output clone.wav

CosyVoice 3 vs 3,5 beschikbaarheid

Ondersteunde talen

Pijpleiding

CosyVoice3

1. LLM Qwen2.5-0.5B backbone genereert FSQ (Finite Scalar Quantizing) spraaktonen uit tekst
2. Bijpassende ditstroom Een 22-laag Diffusion Transformer zet spraaktonen om in mel spectrograms via Euler ODE integratie
3. HiFi-GAN De neurale bron filter vocoder zet mel spectrograms om in 24 kHz golfvormen

Architectuur

LLM (Qwen2.5-0.5B)

De huidige runtime ondersteunt bf16 (standaard), 8bit en 8bit-full. Selecteer een bundel met --cosyvoice-variant. Het taalmodel genereert discrete spraaktekens automatisch.

Bijpassende ditstroom

De Diffusion Transformer verfijnt spraaktonen in mel spectrograms met behulp van voorwaardelijke flow matching met classifier-vrije begeleiding.

HiFi-GAN Vocoder

Een Neurale Bron Filter (NSF) vocoder die mel spectrograms omzet naar golfvormen.

Modelgewichten

Elke bundel omvat de LLM, de DiT-stroom-matching decoder, de HiFi-GAN vocoder, en de S3-Tokenizer referentie-encoder die nodig is voor het klonen van stemmen zonder shot. Kies kleinere bundels voor kleinere download / schijfvoetafdruk; pick bf16 wanneer LLM/DiT kwantificatiegeluid een probleem wordt (lange-vorm synthese, stemklonen trouw).

CLI-gebruik

# Default bf16 bundle
.build/release/speech speak "Hallo Welt" --engine cosyvoice --language german -o output.wav

# Pick a variant via --cosyvoice-variant
.build/release/speech speak "Hallo Welt" --engine cosyvoice --cosyvoice-variant bf16 --language german -o output.wav

Voorbeelden

# English
.build/release/speech speak "Hello, how are you?" --engine cosyvoice -o hello_en.wav

# Chinese
.build/release/speech speak "你好世界" --engine cosyvoice --language chinese -o hello_cn.wav

# Spanish
.build/release/speech speak "Hola, buenos días" --engine cosyvoice --language spanish -o hello_es.wav

# French
.build/release/speech speak "Bonjour le monde" --engine cosyvoice --language french -o hello_fr.wav

Stemklonen

Kloon elke stem van een kort referentie-audiomonster met behulp van de --voice-sample vlag. CosyVoice3 gebruikt de CAM++ luidspreker-encoder om een 192-dim inbedding te extraheren die het DiT-stroommodel conditioneert.

# Voice cloning
.build/release/speech speak "Hello in your voice" --engine cosyvoice --voice-sample reference.wav --cosy-reference-transcript "One can only wonder what the keyboard will become when something newer comes along." -o cloned.wav

# Cross-language: clone voice, speak in German
.build/release/speech speak "Guten Tag" --engine cosyvoice --voice-sample reference.wav --cosy-reference-transcript "One can only wonder what the keyboard will become when something newer comes along." --language german -o german.wav

Hoe het werkt

1. CAM++ speaker-encoder haalt een 192-dim inbedding uit het referentieaudio via CoreML (Neural Engine)
2. Fijne projectie (192 → 80) conditioneert de DiT-stroom die overeenkomt met de decoder op de doelstem
3. HiFi-GAN vocoder zet het speaker-conditioned mel spectrogram om naar 24kHz audio

Speakercoder

Het CAM++-model wordt automatisch gedownload bij het eerste gebruik van --voice-sample. Zie de Voice Cloning -gids voor referentie-audiotips en de Swift API.

Multi-sprekerdialoog

Gesprekken synchroniseren tussen meerdere luidsprekers met behulp van inline luidsprekertags. Elke spreker krijgt via de --speakers een stem toegewezen vanuit een referentieaudiobestand.

# Two-speaker dialogue with voice cloning
.build/release/speech speak "[S1] Hello there! [S2] Hey, how are you?" \
    --engine cosyvoice --speakers s1=alice.wav,s2=bob.wav -o dialogue.wav

# Three speakers
.build/release/speech speak "[A] Welcome. [B] Thanks! [C] Glad to be here." \
    --engine cosyvoice --speakers a=host.wav,b=guest1.wav,c=guest2.wav -o panel.wav

Speakernamen in tags zijn hoofdletterongevoelig en komen overeen met de mapping-toetsen. Er wordt een configureerbare stiltekloof (standaard 0.2s) tussen de beurten ingevoegd.

Emotie & Stijl Tags

Controleer de spraakstijl per segment met behulp van inline emotie-tags. CosyVoice3 gebruikt het tekstvoorvoegsel voor de <|endofprompt|>

# Emotion tags
.build/release/speech speak "(excited) Wow, amazing! (sad) But I have to go..." \
    --engine cosyvoice -o emotion.wav

# Combined with speakers
.build/release/speech speak "[S1] (happy) Great news! [S2] (surprised) Really?" \
    --engine cosyvoice --speakers s1=alice.wav,s2=bob.wav -o combined.wav

# Freeform instruction as tag
.build/release/speech speak "(Speak like a pirate) Ahoy matey!" \
    --engine cosyvoice -o pirate.wav

# Global instruction (applies to all segments without emotion tags)
.build/release/speech speak "Hello world" \
    --engine cosyvoice --cosy-instruct "Speak cheerfully" -o cheerful.wav

Ingebouwde Emotion-tags

Onbekende tags passeren als vrije vorm instructies, dus (Speak in a slow, dramatic voice) werkt als-is.

Model Control Tokens (fl_ tokens)

Intern maakt de CosyVoice3 LLM gebruik van speciale controletekens die vooraf zijn bevestigd fl_ . Deze tokens maken deel uit van de upstream FunAudioLLM tokenizer; de Soniqo runtime zendt de juiste uit automatisch op basis van de CLI-vlag of Swift API aanroept u, zodat u ze nooit met de hand schrijft.

Steekproef

De LLM-fase maakt gebruik van de volgende bemonsteringsconfiguratie:

Herhaling Aware Sampling (RAS), uit VALL-E 2, straft tokens die in de laatste 10 gegenereerde tokens verschenen. Dit voorkomt repetitieve audio artefacten en verbetert de outputstabiliteit.

Prestaties

Op een M2 Max, CosyVoice3 bereikt een RTF van ongeveer 0,5