תרגום מכונה · המקור באנגלית

CosyVoice3

Run CosyVoice3 מקומי ב Mac עם MLX עבור דיבור בתשע שפות ושמיעה קולית מהקלטה קצרה. הקשב לדוגמאות, משובצות וסטייל מבוקרות, ולאחר מכן נסה לשכט עם התייחסות אודיו ואת התמליל המדויק שלה.

דוגמיות אודיו · קול עם CLI · שפות תמיכה · השוואה ומתודולוגיה קול-קולית מלאה

דוגמיות אודיו

הקשב לקול ברירת המחדל הקיים, ההטמעה שנעשתה מ Kokoro af_heart, והדוגמה הנשלטת על ידי סגנון.דוגמה CLI להלן משתמשת בהפניה נפרדת FLEURS הפניה.

קול עם CLI

הורד Reference Audio כהערה.wav. הפקודה משתמשת בתעתיק המדויק שלה; להחליף הן את הקלטת והן את תמליל בעת שימוש במדגם הקול שלך.

speech speak "Hello from the cloned voice." \
    --engine cosyvoice \
    --cosyvoice-variant bf16 \
    --voice-sample reference.wav \
    --cosy-reference-transcript "One can only wonder what the keyboard will become when something newer comes along." \
    --seed 42 \
    --output clone.wav

CosyVoice 3 לעומת 3.5 זמינות

שפות תמיכה

המונחים:

CosyVoice3 בשלוש שלבים:

1. LLM - Qwen2.5-0.5B עמוד השדרה יוצר את FSQ (Finite Scalar Quantization) דיבור אסימונים מטקסט
2. DiT Flow Matching - A 22-layer Diffusion Transformer ממיר אסימוני דיבור לתוך spectrograms אבטיח באמצעות שילוב ODE
3. HiFi-gan - Neural Filter Source vocoder ממיר spectrograms לתוך 24 kHz גלפורות

ארכיטקטורה

LLM (Qwen2.5-0.5B)

זמן הריצה הנוכחי תומך bf16 (default), 8bit ו- 8bit-מלא. בחר חבילה עם --cosyvoice-variant.מודל השפה יוצר דיבור דיסקרטי לסימון אוטומטי.

DiT Flow

ה Diffusion Transformer מחדד את הדיבור לתוך ספקטרוגרמה של אבטיח באמצעות זרימה מותנית התאמה עם הדרכה ללא מרשם.

HiFi-gan Vocoder

מקור נידור (NSF) vocoder שממיר spectrograms mel כדי גלפורות.

משקל מודל

כל חבילה כוללת את LLM, DiT זורם coder, HiFi-gan vocoder, ואת ה- S3-Tokenizer הפנה קודר נדרש עבור קול אפס-shot שיבוט. bf16 כאשר LLM/DiT קוונטיזציה רעש הופכת לבעיה (סינתזה לטווח ארוך, קולי שיבוט נאמנות).

CLI Usage

# Default bf16 bundle
.build/release/speech speak "Hallo Welt" --engine cosyvoice --language german -o output.wav

# Pick a variant via --cosyvoice-variant
.build/release/speech speak "Hallo Welt" --engine cosyvoice --cosyvoice-variant bf16 --language german -o output.wav

דוגמאות

# English
.build/release/speech speak "Hello, how are you?" --engine cosyvoice -o hello_en.wav

# Chinese
.build/release/speech speak "你好世界" --engine cosyvoice --language chinese -o hello_cn.wav

# Spanish
.build/release/speech speak "Hola, buenos días" --engine cosyvoice --language spanish -o hello_es.wav

# French
.build/release/speech speak "Bonjour le monde" --engine cosyvoice --language french -o hello_fr.wav

שכפול קול

Clone כל קול מדגימה אודיו קצרה תוך שימוש ב- --voice-sample דגל CosyVoice3 משתמש ברמקול CAM ++קודר כדי לחלץ 192-dim המטביע את התנאים האלה מודל זרימת DiT.

# Voice cloning
.build/release/speech speak "Hello in your voice" --engine cosyvoice --voice-sample reference.wav --cosy-reference-transcript "One can only wonder what the keyboard will become when something newer comes along." -o cloned.wav

# Cross-language: clone voice, speak in German
.build/release/speech speak "Guten Tag" --engine cosyvoice --voice-sample reference.wav --cosy-reference-transcript "One can only wonder what the keyboard will become when something newer comes along." --language german -o german.wav

איך זה עובד

1. רמקול ++ coder תמצית 192-dim המטביעה מהשמע ההתייחסות באמצעות CoreML (Neural Engine)
2. Affine Projection (192 80) תנאים זרימת DiT התאמה של קודקוד על קול היעד
3. HiFi-gan vocoder ממיר את spectrogram מותאמת הדובר עד 24kHz אודיו

תגית: Encoder

מודל CAM++ הורד באופן אוטומטי על השימוש הראשון של --voice-sample. ראה את Cloning מדריך לטיפים אודיו ו Swift API.

דיאלוג רב-דבר

שיחות סינת גודל בין דוברים מרובים באמצעות תגי דוברים ברשת.כל דובר מוקצה קול מקובץ אודיו הפניה באמצעות דגל --speakers.

# Two-speaker dialogue with voice cloning
.build/release/speech speak "[S1] Hello there! [S2] Hey, how are you?" \
    --engine cosyvoice --speakers s1=alice.wav,s2=bob.wav -o dialogue.wav

# Three speakers
.build/release/speech speak "[A] Welcome. [B] Thanks! [C] Glad to be here." \
    --engine cosyvoice --speakers a=host.wav,b=guest1.wav,c=guest2.wav -o panel.wav

שמות הדוברים בתגיות הם רגישים במקרה ותואמים למפתחי המיפוי. פער שתיקה חד-משמעי (default 0.2s) מוכנס בין סיבובים.

Emotion & סטיילס

לשלוט בסגנון הדיבור על פלח תוך שימוש בתגי רגש פנימיים. CosyVoice3 משתמשת בקידומת הטקסט לפני <|endofprompt|>

# Emotion tags
.build/release/speech speak "(excited) Wow, amazing! (sad) But I have to go..." \
    --engine cosyvoice -o emotion.wav

# Combined with speakers
.build/release/speech speak "[S1] (happy) Great news! [S2] (surprised) Really?" \
    --engine cosyvoice --speakers s1=alice.wav,s2=bob.wav -o combined.wav

# Freeform instruction as tag
.build/release/speech speak "(Speak like a pirate) Ahoy matey!" \
    --engine cosyvoice -o pirate.wav

# Global instruction (applies to all segments without emotion tags)
.build/release/speech speak "Hello world" \
    --engine cosyvoice --cosy-instruct "Speak cheerfully" -o cheerful.wav

תגיות: Built-in Emotion

תגים לא ידועים עוברים כהנחיות חינם, כך (Speak in a slow, dramatic voice) עובד כמו-is.

מודל בקרת Tokens (fl_ אסימונים)

באופן פנימי, CosyVoice3 LLM משתמש ב אסימוני בקרה מיוחדים - prefixededed fl_ - כדי לעבור בין מצבים (תיקון אפסי, סינתזת הוראה, שמירת רמקול, וכו ') אסימונים אלה הם חלק מהפטרון Upstream FunAudioLLM tokenizer; The The the the the tokenizers; the the the the upstream FunAullier; the Upstream Fun AudioLLM Tokenizer. Soniqo זמן ריצה פולט את הדבר הנכון באופן אוטומטי על בסיס דגל CLI או Swift API התקשרו אליכם, לכן אתם אף פעם לא כותבים אותם ביד.

פשטות

שלב LLM משתמש בתצורת הדגימה הבאה:

Repetition Aware Sampling (RAS), מ-VALL-E 2, מעניש אסימונים שהופיעו ב-10 האחרון שנוצר אסימונים.זה מונע פריטים אודיו חוזרים ומשפר את יציבות התפוקה.

ביצועי ביצועים

על M2 Max, CosyVoice3 משיגה RTF של כ-0.5 - מהר יותר מאשר בזמן אמת.