Tłumaczenie automatyczne · Oryginał angielski

CosyVoice3

Uruchom CosyVoice3 lokalnie na Mac za pomocą MLX do mówienia w dziewięciu językach i klonowania głosu z krótkiego nagrania. Posłuchaj domyślnych, klonowanych i sterowanych style- przykładów, a następnie spróbuj klonować za pomocą dźwięku odniesienia i jego dokładnego zapisu.

Próbki dźwięku · Klon głos z CLI · Obsługiwane języki · Pełne porównanie i metodologia klonowania głosu w pięciu językach

Próbki dźwięku

Słuchać istniejącego domyślnego głosu, klonu wykonanego z Kokoro af _ heart i sterowanego stylem przykładu. Przykład CLI poniżej używa oddzielnego odniesienia FLEURS.

Klon głos z CLI

Pobieranie Dźwięk odniesienia jako reference.wav. Polecenie używa dokładnego transkryptu; zastępuje zarówno zapis, jak i transkrypcję przy użyciu własnej próbki głosu.

speech speak "Hello from the cloned voice." \
    --engine cosyvoice \
    --cosyvoice-variant bf16 \
    --voice-sample reference.wav \
    --cosy-reference-transcript "One can only wonder what the keyboard will become when something newer comes along." \
    --seed 42 \
    --output clone.wav

CosyVoice 3 vs dostępność 3.5

Obsługiwane języki

Pipeline

CosyVoice3 syntetyzuje mowę w trzech etapach:

1. LLM - Qwen2.5-0.5B kręgosłup generuje FSQ (Finite Scalar Quantization) żetony mowy z tekstu
2. Dopasowywanie przepływomierza diT - A 22- warstwa dyfuzyjna transformator przekształca żetony mowy w spektrogramy mel poprzez integrację Euler ODE
3. HiFi- GAN - Vocoder filtrujący źródła neuronowe przekształca spektrogramy mel w formy fal 24 kHz

Architektura

LLM (Qwen2.5-0.5B)

Bieżący runtime obsługuje bf16 (domyślnie), 8bit i 8bit- full. --cosyvoice-variant. Model językowy generuje dyskretne żetony mowy automatycznie.

Dopasowywanie przepływomierza diT

Transformator Diffusion przekształca żetony mowy w spektrogramy melowe przy użyciu warunkowego dopasowania przepływu z bezklatkowymi wskazówkami.

HiFi- GAN Vocoder

Vocoder Neural Source Filter (NSF), który przekształca spektrogramy mel w formy falowe.

Wagi modelu

Każdy pakiet zawiera dekoder LLM, dekoder do dopasowania diT, vokoder HiFi- GAN oraz enkoder odniesienia S3-Tokenizer potrzebny do klonowania zeroshot głosowego. Wybierz mniejsze pakiety dla mniejszego pobierania / śladu dysku; wybierz bf16 kiedy hałas kwantyfikacyjny LLM / DiT staje się problemem (synteza form długich, wierność klonowania głosu).

Zastosowanie CLI

# Default bf16 bundle
.build/release/speech speak "Hallo Welt" --engine cosyvoice --language german -o output.wav

# Pick a variant via --cosyvoice-variant
.build/release/speech speak "Hallo Welt" --engine cosyvoice --cosyvoice-variant bf16 --language german -o output.wav

Przykłady

# English
.build/release/speech speak "Hello, how are you?" --engine cosyvoice -o hello_en.wav

# Chinese
.build/release/speech speak "你好世界" --engine cosyvoice --language chinese -o hello_cn.wav

# Spanish
.build/release/speech speak "Hola, buenos días" --engine cosyvoice --language spanish -o hello_es.wav

# French
.build/release/speech speak "Bonjour le monde" --engine cosyvoice --language french -o hello_fr.wav

Klonowanie głosu

Klonować każdy głos z krótkiej próbki dźwięku odniesienia za pomocą --voice-sample flaga. CosyVoice3 wykorzystuje koder głośnika CAM + + do wyciągu osadzenia 192- dim, który warunkuje model przepływu DiT.

# Voice cloning
.build/release/speech speak "Hello in your voice" --engine cosyvoice --voice-sample reference.wav --cosy-reference-transcript "One can only wonder what the keyboard will become when something newer comes along." -o cloned.wav

# Cross-language: clone voice, speak in German
.build/release/speech speak "Guten Tag" --engine cosyvoice --voice-sample reference.wav --cosy-reference-transcript "One can only wonder what the keyboard will become when something newer comes along." --language german -o german.wav

Jak to działa

1. koder głośnika CAM + + wyciąg osadzenia 192- dim z dźwięku referencyjnego za pośrednictwem CoreML (Neural Engine)
2. Projekcja afirmacji (192 → 80) warunki dekodera DiT pasującego do przepływu na głosie docelowym
3. Vocoder HiFi- GAN konwertuje spektrogram melowy uwarunkowany głośnikiem na dźwięk 24kHz

Enkoder głośnika

Model CAM + + jest pobierany automatycznie po pierwszym użyciu --voice-samplePatrz Klonowanie głosu Przewodnik dla referencyjnych końcówek audio i Swift API.

Dialog wielomówców

Synteza rozmów pomiędzy wieloma głośnikami przy użyciu tagów głośników inline. Każdy głośnik jest przypisany głos z pliku audio odniesienia za pośrednictwem --speakers Flaga.

# Two-speaker dialogue with voice cloning
.build/release/speech speak "[S1] Hello there! [S2] Hey, how are you?" \
    --engine cosyvoice --speakers s1=alice.wav,s2=bob.wav -o dialogue.wav

# Three speakers
.build/release/speech speak "[A] Welcome. [B] Thanks! [C] Glad to be here." \
    --engine cosyvoice --speakers a=host.wav,b=guest1.wav,c=guest2.wav -o panel.wav

Nazwy głośników w tagach są niewrażliwe na czynniki i dopasowane do klawiszy mapowania. Konfigurowalna luka milczenia (domyślna wartość 0.2s) jest wprowadzana pomiędzy obrotami.

Emocje & amp; Styl Tagi

Sterowanie stylem mówienia na segment za pomocą inline znaczników emocji. CosyVoice3 używa przedrostka tekstu przed <|endofprompt|> token jako instrukcja stylu - emocje tags mapa do naturalnych instrukcji językowych, które zastępują ten przedrostek.

# Emotion tags
.build/release/speech speak "(excited) Wow, amazing! (sad) But I have to go..." \
    --engine cosyvoice -o emotion.wav

# Combined with speakers
.build/release/speech speak "[S1] (happy) Great news! [S2] (surprised) Really?" \
    --engine cosyvoice --speakers s1=alice.wav,s2=bob.wav -o combined.wav

# Freeform instruction as tag
.build/release/speech speak "(Speak like a pirate) Ahoy matey!" \
    --engine cosyvoice -o pirate.wav

# Global instruction (applies to all segments without emotion tags)
.build/release/speech speak "Hello world" \
    --engine cosyvoice --cosy-instruct "Speak cheerfully" -o cheerful.wav

Built- in Emotion Tags

Nieznane znaczniki przechodzą jako instrukcje freeform, więc (Speak in a slow, dramatic voice) działa jak... jest.

Tokeny do kontroli modelu (fl_ (Dz.U. L 328 z 7.12.2013, s. 1).

Wewnętrznie, CosyVoice3 LLM używa specjalnych żetonów sterujących - wstępnie ustawionych fl_ - przełączanie się pomiędzy trybami (zeroshot klonowanie, instrukcyjna synteza, zapisywanie głośnika itp.). Te żetony są częścią tokenizera FunAudioLLM; runtime Soniqo emituje poprawną, automatycznie opartą na fladze CLI lub Swift API, z którego korzystasz, więc nigdy nie pisz ich ręcznie.

Kontrola wyrywkowa

Etap LLM wykorzystuje następującą konfigurację pobierania próbek:

Powtórzenie Pobieranie próbek (RAS), z VALL- E 2, karze żetony, które pojawiły się w ostatnich 10 generowanych żetonów. Zapobiega to powtarzających się artefaktów audio i poprawia stabilność wyjściową.

Wydajność

Na M2 Max, CosyVoice3 osiąga RTF w przybliżeniu 0.5 - szybciej niż w czasie rzeczywistym.