תרגום מכונה · המקור באנגלית

VoxCPM2 קול שיבוט ב Mac

הפעל VoxCPM2 באופן מקומי על Apple Silicon עם MLX כדי לשכפל קול או עיצוב אחד מתיאור טקסט.מודל OpenBMB זה מייצר 48 דיבור k ב -30 שפות. הקשב לדוגמאות, ולאחר מכן נסה את CLI עם הסימון ואת תמליל שלו.

דוגמיות אודיו · קול עם CLI · VoxCPM2 לעומת Qwen3-TTS

דוגמיות קול

קליפים אנגליים אלה באים מ- FLEURS השוואה.הפניה והוליד דיבור שימוש משפטים שונים.כל פלט הוא מדגם מייצג אחד; מדדי ההשוואה בממוצע מספר קליפים.

קול עם CLI

הורד Reference Audio כהערה.wav. הפקודה משתמשת בתעתיק המדויק שלה; להחליף הן את הקלטת והן את תמליל בעת שימוש במדגם הקול שלך.

speech speak "Hello from the cloned voice." \
    --engine voxcpm2 \
    --voxcpm2-variant bf16 \
    --voice-sample reference.wav \
    --voxcpm2-prompt-audio reference.wav \
    --voxcpm2-prompt-text "One can only wonder what the keyboard will become when something newer comes along." \
    --seed 42 \
    --output clone.wav

מה זה

• 48 תפוקה kHz - המנוע היחיד על-יד בערימה זו עם שיעור דגימה סטודיו.כל אחד TTS מודולים ב 24 kHz.
• קול עיצוב - שליטה בסגנון טבעי: --voxcpm2-instruct "young female voice, warm and gentle" אף אחד מהמנועי האחרים לא חושף את זה.
• Voice cloning - סינגל של טיג של 16 kHz; "להטיט גבוה" (reference אודיו + תמליל) לשימור פרוזודי.
• 30 שפות - אנגלית, סינית, אינדונזית, יפנית, קוריאנית ועוד. Auto-detected מטקסט.
• Apache 2.0 - משקל מודל יורשה upstream Openbmb רישיון; נמל Swift הוא אותו הדבר.

ארכיטקטורה

חמישה מרכיבים לשיתוף פעולה מייצרים גלפור 48 kHz:

בונדלס

ה- CLI הנוכחי תומך bf16 ו int8חבילות מומרים מ- upstream openbmb/VoxCPM2. Quantization חל על מודל שפה ותחזיות דיפוזיה; אודיו נשאר במדוייק מלא.

ASR (Qwen3-ASR 0.6B, 8-Sentenceרת, M-series Apple Silicon):

CLI ברירת מחדל bf16; בחר int8 עבור הורדה קטנה יותר int4 הוא פרש ונראה בטבלה רק כמדידה היסטורית.

התחלה מהירה

import VoxCPM2TTS

let tts = try await VoxCPM2TTSModel.fromPretrained()  // defaults to bf16
let audio = try await tts.generate(text: "Hello from VoxCPM2.", language: "english")
// audio: [Float] at 48 kHz mono

בחר את החבילה int8 במפורש:

let tts = try await VoxCPM2TTSModel.fromPretrained(
    modelId: "aufklarer/VoxCPM2-MLX-int8"
)

עיצוב קול (instruction-oriented)

לעבור תיאור סגנון טבעי בשפה; תנאי המודל מסנתזות על זה ללא דגימת אודיו הפניה:

let audio = try await tts.generateVoxCPM2(
    text: "Welcome to the show.",
    instruct: "A young woman, gentle and warm voice."
)

שיבוט קול

סינגל יחיד של קליפ מונו מ 16 kHz:

let ref = try AudioFileLoader.load(url: URL(fileURLWithPath: "speaker.wav"),
                                   targetSampleRate: 16000)
let audio = try await tts.generateVoxCPM2(
    text: "This is a cloned voice.",
    refAudio: ref
)

השיבוט האולטימטיבי - לעבור את אודיו ההתייחסות ואת תמליל ההתאמה כך LM יכול גם להיות מותנה על ההקשר האלכסוני, שמירה על פרוזודי ומבטא נאמנה יותר:

let audio = try await tts.generateVoxCPM2(
    text: "Hello from the cloned voice.",
    refAudio: ref,
    promptText: "this is what the reference clip actually said",
    promptAudio: ref
)

CLI C

speech speak "Hello there." \
    --engine voxcpm2 \
    --voxcpm2-variant int8 \
    --output hello.wav

# Voice design
speech speak "Welcome to the show." \
    --engine voxcpm2 \
    --voxcpm2-instruct "A young woman, gentle and warm voice." \
    --output design.wav

# Voice cloning
speech speak "This is a cloned voice." \
    --engine voxcpm2 \
    --voice-sample speaker.wav \
    --output clone.wav

דגלים: --voxcpm2-variant {bf16,int8}, --voxcpm2-instruct, --voxcpm2-ref-audio, --voxcpm2-prompt-audio + --voxcpm2-prompt-text, --voxcpm2-cfg-value, --voxcpm2-timesteps, --voxcpm2-max-tokens, --voxcpm2-min-tokens, --seed עבור סינתזה מחודשת.

VoxCPM2 לעומת Qwen3-TTS

תוצאות באנגלית עבור 10 FLEURS הפניה / target זוגות למודל: WER ו UTMOS, Median RTFנמוך יותר WER ו RTF טוב יותר; UTMOS חיזוי טבעי ולא דירוג אנושי.התוצאות הללו אינן קובעות דירוג אוניברסלי.

מלא חמש שפה קול-קול השוואת ומתודולוגיה.

איסוף בין speech-swift TTS

שימוש אחראי

שיבוט קול כלול.הסכמת הסכמה עבור כל קול שאתה מבוטא ואינו משתמש במודל לחיקוי אנשים, ליצור דיסאינפורמציה, או לבצע הונאה.ההנחיות המלאות של בטיחות מ openbmb/VoxCPM2 חלות.