עקבו אחרי 48 kHz
VoxCPM2.

מודל חדש TTS נחת ב Soniqo.It פועל במחשב הנייד שלך, פלט אודיו בגודל של 48 kHz, ומזהיר קול מתוך קליפ קצר אחד. הפוסט הזה הולך דרך מה שאתה יכול לבנות איתו, שלוש הדרכים שהוא מאפשר לך לשכט קול, וידידותי כיצד המודל פועל בתוך.

English Filipino (Tagalog)Italiano Bahasa Indonesia Polski Nederlands SvenskaעבריתNorsk bokmål Dansk Română Čeština Suomi Español Deutsch Français Português Русский 中文日本語 한국어 हिन्दी العربية Tiếng Việt Türkçe ไทย

מה אתה יכול לבנות

ארבעה דברים שמשנים כאשר השיבוט פועל באופן מקומי.

הפעלת שיבוט על המכשיר פותחת ארבעה נכסים בבת אחת – פרטיות, שימוש לא מקוון, לא עלות לכל שיחה, ובעלות קולית מלאה.כל אחד מהם פותח שיעור של מוצר שמבוכה לבנות כל דרך אחרת.

שם הספר: Audiobookקריין

30 שניות של קריאת הורים.אפליקציית אודיו לאחר מכן מנרמל כל פרק בקול שלהם - אותה חום, אותו מבטא, שנוצר באופן מקומי כל מפגש.

תוכן רב לשוני

יוטיוברס ופודקאסטים שומרים קול עקבי אחד על פני 30 שפות.הרשמה פעם באנגלית, מעבירה את אותו פרק ביפנית, ספרדית, והינדי ללא קול.

נגישות & דגימה; בנקאות קולית

אנשים שעומדים בפני אובדן קול יכולים לזרז את הקול שלהם בסרטון קצר ולהמשיך לדבר באמצעות טכנולוגיה המסייעת שנשמעת כמוהם - לא כמו מנוע TTS.

קולות מוצרים בביקוש

תאר את הקול שאתה רוצה - "אישה צעירה, עדינה וחמימה" - והמודל מעצב אותה ללא הקלטה מוקדמת.שימושית למשחק NPCs, צ'יאק, או קולות מותג של A/B.

On-device vs Hostel

כיצד VoxCPM2 משווה ElevenLabs.

ElevenLabs הוא אלטרנטיבה הענן-API הברורה.הסחר-off הוא מה רץ - ומי הבעלים של הקול לאחר מכן.

עבור מוצרים הזקוקים לערבויות פרטיות, פעולה לא מקוונת, או אפס עלויות קריאה, שיבוט על-יד הוא האפשרות היחידה - כל ElevenLabs קורא להעלות אודיו לשרתים שלהם.

	VoxCPM2 (Soniqo)	ElevenLabs
לאן הוא רץ	על המכשיר של המשתמש	המונחים: API
אודיו עוזב את המכשיר	לא לא	כן (הופנה מהדף ElevenLabs)
שימוש Offline	כן כן כן כן	לא (requires Internet)
מחיר Per-call	אף אחד לא	הצעת חוק Per-character
רישיון מודל	Apache 2.0, משקל פתוח	SaaS, רק
Max פלטה	48 kHz Native	48 kHz (Pro tier and above)
שפות	30	29 (הרחבה v2) 70+ (Eleven v3)
וידאו נדרש	5-30	1 דקות (Instant) 30 דקות (Professional)
עיצוב קול מטקסט	כן כן כן כן	כן כן כן כן

שני המנועים מגיעים ל-48 kHz; שניהם תומכים בשפה דומה המתפשטת לשיבוט יומיומי; שניהם חושפים עיצוב קול מתיאור טקסט.הההבדל האמיתי הוא האם אודיו אי פעם עוזב את המכשיר.

3 מצבי שיבוט

מודל אחד, שלוש דרכים פנימה.

המודל הוא זהה בכל שיחה.מה שינויים הם אילו טענות אתה עובר - זה מחליט אם אתה מעצב קול מהתיאור, העתקת אחד נרשם, או שמירה על מבטא.

עיצוב קול

כאשר אין לך הקלטה.

תאר את הקול בשפה הטבעית.המודל בוחר קול תואם ונשאר עקבי על פני שיחות.

let audio = try await tts.generateVoxCPM2(
    text: "Welcome to the show.",
    instruct: "A young woman, gentle and warm voice."
)

המונחים:

כאשר יש לך קליפ קצר של דובר היעד.

לעבור כל 5-30 של דיבור נקי.המודל מעתיק ומקצב וסינתזה טקסט חדש בקול זה.

let ref = try AudioFileLoader.load(
    url: URL(fileURLWithPath: "speaker.wav"),
    targetSampleRate: 16000
)
let audio = try await tts.generateVoxCPM2(
    text: "This is a cloned voice.",
    refAudio: ref
)

הצצה ראשונה

כאשר לדובר יש מבטא ייחודי ואתה רוצה שהוא ישמר.

לעבור את הסרטון ואת ה-Tarit שלו.המודל יכול כעת ליישר תכונות אקוסטיות עם צלצולים - ביטויים ואפשרויות נדראל עוברים.

let audio = try await tts.generateVoxCPM2(
    text: "Hello from the cloned voice.",
    refAudio: ref,
    promptText: "this is what the reference clip actually said",
    promptAudio: ref
)

אותו חריץ קלט, מלא חתיכות שונות.המודל לעולם לא רואה דגל - הוא קורא את הרצף.

מתחת למכסה

כיצד VoxCPM2 מייצרת אודיו.

ארבעה מודולים לשיתוף פעולה אתה לא צריך לדעת מה זה להשתמש במודל, אבל אם אתה סקרן מאיפה 48 kHz מגיע - הנה.

הצינור מתחיל עם קוד מקומי (LocEnc) זה ממזג אסימונים טקסט ו (אופציונלי) הפנה אודיו לתוך זרם אחד של וקטורים. TSLM - מודל שפה 28-layer MiniCPM-4 הקובע מה אודיו "patch" צריך לבוא הבא, באותה דרך טקסט LM בוחר את הסימון הבא. A שנייה לעבור דרך הסימון. RALM לחדד כל תיקון.

עד לנקודה זו הכל הופך.התפנית המעניינת היא התפנית המעניינת. LocDiTבמקום לבחור מאוצר מילים קבוע של אסימונים אודיו דיסקרטיים, הוא פועל תהליך דיפוזיה קטן כדי לצייר את אודיו מאוחר בכל חריץ.לא קודק דיסקרטי אינו אומר שום צוואר בקבוק קוונטי - מה שמאפשר לשלב הסופי, AudioVAE V2קוד פתוח 48 כל מנוע אחר ב-device בערימה זו יוצא החוצה. 24 kHz.

הפיצול ראוי לציין: ה- LM האוטומטי הוא גדול בהחלטה מה צריך לבוא הבא (תוכן, קצב, אורך); ראש הדיפוזיה הוא נהדר בציור פרטים אקוסטיים (phase,ספקטרום). VoxCPM2 אפשר לכל אחד לעשות את מה שהוא טוב בו, לכן המודל מחזיק בבעלותו בלבד. 2B פרמטרים - האדריכלות מרוויחה את האיכות התפיסתית, לא את הגודל.

הנייר

קראו את המחקר המקורי.

VoxCPM: Tokenizer-Free TTS for Context-Aware Speech Generation and True-to-Life Voice Cloning

OpenBMB · arXiv:2509.24650 · Sept 2025

עקבו אחרי ArXiv

בונדלס

שלושה גדלים, בחרו על ידי תקציב הדיסק שלך.

כל שלושת הלהקות מנהלות את אותה האדריכלות; הן שונות רק באופן אגרסיבי את מודל השפה. int8 החבילה היא ברירת המחדל המומלצת - זה תואם את צינור Python על 8-sentence Round-trip בעודו מהיר יותר 40% קטן יותר מ bf16.

Bundle	גודל	הטוב ביותר עבור
bf16	~5.0 GB	המונחים: debugging.
int8 ברירת מחדל	~3.0 GB	מדי יום, ספרי אודיו, פודקאסטים.
int4	~1.9 GB	פריסות דיסק-קומנטריות.

נסה את זה

מתוך CLI.

# Voice design — no reference clip
speech speak "Welcome to the show." \
    --engine voxcpm2 \
    --voxcpm2-instruct "A young woman, gentle and warm voice." \
    --output design.wav

# Reference cloning — 5–30 s clean clip
speech speak "This is a cloned voice." \
    --engine voxcpm2 \
    --voxcpm2-variant int8 \
    --voice-sample speaker.wav \
    --output clone.wav

איפה הבא