Pagsara ng boses sa 48 kHz
na may VoxCPM2.

Isang bagong modelong TTS ang kalalapag lamang sa Soniqo.Ito'y tumatakbo sa iyong laptop, gumagawa ng studio-quality 48 kHz audio, at nag - clone ng isang tinig mula sa isang maikling clip. Ang post na ito ay dumaraan sa kung ano ang maaari mong itayo na kasama nito, ang tatlong paraan na ito ay nagpapangyari sa iyo na mag - clone ng tinig, at isang palakaibigang pagmamasid sa kung paano kumikilos ang modelo sa loob.

EnglishFilipino (Tagalog)Italiano Bahasa Indonesia Polski Nederlands Svenska עברית Norsk bokmål Dansk Română Čeština Suomi Español Deutsch Français Português Русский 中文日本語 한국어 हिन्दी العربية Tiếng Việt Türkçe ไทย

Kung ano ang puwede mong itayo

Apat na bagay na nagbabago kapag ang cloning ay tumatakbo sa inyong lugar.

Ang running cloning sa aparato ay kaagad na nagbubukas ng apat na katangian — privacy, offline na gamit, walang per-call na halaga, at ganap na pagmamay-ari ng boses.Ang bawat isa sa mga ito ay nagbubukas ng isang klase ng produkto na nakakaasiwang gumawa ng anumang ibang paraan.

Personal na mga tagapagsalaysay ng audiobook

Ulat 30 Pagkatapos ay inilalahad ng audiobook app ang anumang kabanata sa kanilang tinig — gayundin ang init, tuldik, at lokal na mga sesyon.

Ang nilalaman ng multilingwal na maylikha

Ang mga YouTube at mga podcaster ay nag-iingat ng isang hindi nagbabagong boses sa 30 mga wika. Record minsan sa Ingles, ang barko ay parehong episode sa Japanese, Espanyol, at Hindi nang walang vocal cast.

Accessility & pagbabangko sa tinig

Ang mga taong napapaharap sa pagkawala ng tinig ay maaaring mag - imbak ng kanilang tinig sa maikling clip at patuloy na magsalita sa pamamagitan ng pantulong na teknolohiya na waring katulad nila — hindi gaya ng isang generic TTS engine.

Mga tinig ng produkto na nasa pangangailangan

Ilarawan ang boses na nais mo — "batang babae, malumanay at magiliw" — at ang modelo ay nagdidisenyo nito nang walang reperensiyang rekording. kapaki-pakinabang para sa laro NPCs, kiosk propulsion, o A/B na sumusubok sa mga boses ng tatak.

Ang on-device vs ay hosted

Kung paanong ang VoxCPM2 ay maihahambing sa ElevenLabs.

ElevenLabs ang maliwanag na pagpipiliang ulap-API. Ang trade-off ang tumatakbo kung saan — at kung sino ang nagmamay-ari ng tinig pagkatapos.

Para sa mga produktong nangangailangan ng mga garantiya ng pribadong buhay, o operasyong offline, on-device cloning ang tanging opsiyon — bawat ElevenLabs ay tumatawag ng mga load na audio sa kanilang mga server.

	VoxCPM2 (Soniqo)	ElevenLabs
Kung saan ito tumatakbo	Sa aparatong userixis	API
Ang audio ay nag - iiwan sa aparato	Hindi	Oo (nakakarga sa ElevenLabs)
Paggamit ng "Offline "	Mayroon	Hindi (requires internet)
Halaga ng Per-call	Wala	Per-character na pagbibigda
Modelong Pauntos	Apache 2.0, bukás na mga pabigat	Priprietary, SaAS Lamang
Bilang ng sampol ng Max output	48 kHz na katutubo	48 kHz (Prona and itaas)
Wika	30	29 (Mulingual v2) · 70+ (Eleven v3)
Kailangan ang reference clip	5–30 s	1 mi (Instansiyal) · 30 mi (Professional)
Disenyo ng boses mula sa teksto	Mayroon	Mayroon

Umaabot sa 48 kHz ang dalawang makinang ito; parehong sumusuporta sa isang katulad na wika na ipinakalat para sa pang-araw-araw na cloning; parehong naglalantad ng disenyo ng boses mula sa isang paglalarawan ng teksto.Ang tunay na pagkakaiba ay kung ang audio ay nag-iiwan sa aparato.

Tatlong paraan ng cloning

Isang modelo, tatlong paraan.

Ang modelo ay pareho rin sa bawat tawag, anong mga pagbabago ang iyong dinadaanan — na nagpapasiya kung ikaw ay nagdidisenyo ng isang tinig mula sa isang paglalarawan, ginagaya ang isang inirekord na boses, o iniingatan ang isang tuldik.

Disenyo ng Boses

Kung wala kang reference recording.

Ilarawan ang boses sa natural na wika.

let audio = try await tts.generateVoxCPM2(
    text: "Welcome to the show.",
    instruct: "A young woman, gentle and warm voice."
)

Reference cloning

Kung mayroon kang maikling clip ng puntiryang tagapagsalita.

Dadaan ang anumang 5–30 s ng malinis na pananalita. Kinokopya ng modelo ang tunog at ritmo at binubuo ng bagong teksto sa tinig na iyon.

let ref = try AudioFileLoader.load(
    url: URL(fileURLWithPath: "speaker.wav"),
    targetSampleRate: 16000
)
let audio = try await tts.generateVoxCPM2(
    text: "This is a cloned voice.",
    refAudio: ref
)

Ultimate cloning

Kapag ang tagapagsalita ay may kakaibang puntó at nais mong maingatan ito.

Ang modelo ay maaari na ngayong maghanay ng akustikal na mga katangian sa pamamagitan ng mga phoneme — tuldik at mga pagpili sa patinig.

let audio = try await tts.generateVoxCPM2(
    text: "Hello from the cloned voice.",
    refAudio: ref,
    promptText: "this is what the reference clip actually said",
    promptAudio: ref
)

Ang modelong ito ay hindi kailanman nakakakita ng bandila — binabasa nito ang pagkakasunud - sunod.

Sa ilalim ng hood

Kung paano gumagawa ng audio ang VoxCPM2.

Hindi mo kailangang malaman ang alinman dito para gamitin ang modelo, pero kung gusto mong malaman kung saan galing ang 48 kHz — narito ito.

Nagsisimula ang tubo sa pamamagitan ng isang tubo lokal na tagapag - alaga (LocEnc) na nagkokokodigo ng mga pananda at (optional) tumutukoy sa audio sa isang daloy ng mga vector. TSLM – isang modelo ng wikang 28-layer MiniCPM-4 na nagpapasiya kung anong audio "patch" ang dapat sumunod na dumating, katulad ng paraan ng pagpili ng isang teksto ng LM sa susunod na single. RALM Dinadalisay ang bawat patse.

Hanggang sa puntong ito ang lahat ng bagay ay isang transpormer, ang kawili - wiling pagbabago ay ang kapansin - pansing pagbabago LANGIS: Sa halip na pumili mula sa isang di - nagbabagong bokabularyo ng mga audio token, ito ay tumatakbo ng isang maliit na proseso ng diffup upang ipinta ang audio latent sa bawat slot. Walang discrete codec na nangangahulugang walang quantiation bottneck — na siyang nagpapahintulot sa pangwakas na yugto, AudioVAE V2, i-decode deretso sa 48 kHz. Ang lahat ng iba pang on-device engine sa salansan na ito ay nakausli sa ibabaw ng makina 24 kHz.

Mahalagang pansinin ang hati: ang autoregressive LM ay malaki sa pagpapasiya kung ano ang dapat na susunod (content, ritmo, haba); ang diffication head ay malaki sa pagpinta ng akustikong detalye (phase, spectrum). VoxCPM2 pinapayagan ang bawat isa na gawin kung ano ang mabuti nito. Iyan ang dahilan kung bakit ang modelo ay humahawak ng sarili nito sa 2B parames lamang – ang arkitektura ay kumikita ng perceptual na kalidad, hindi ang sukat.

Ang papel

Basahin ang orihinal na pananaliksik.

VoxCPM: Tokenizer-Free TTS for Context-Aware Speech Generation and True-to-Life Voice Cloning

OpenBMB · arXiv:2509.24650 · Sept 2025

Pagtingin sa ArXiv

Mga Buto

Tatlong sukat. Pumili gamit ang iyong disk budget.

Iisa ang arkitektura ng tatlong bungkos na ito; iba - iba lamang ang mga ito sa tindi ng pagkakaiba ng pag - uuri sa modelo ng wika. int8 brock ang inirerekomendang default – ito ay tumutugma sa tubong Python sa 8-sentence round-trip benchmark habang mas mabilis at 40% na mas maliit kaysa bf16.

Budburan	Laki	Pinakamabuti para sa
bf16	~5.0 GB	Reference / debugging.
int8 default	~3.0 GB	Araw-araw cloning, audiobooks, podcast.
int4	~1.9 GB	Disk-constrained na mga pag-play.

Subukin ito

Mula sa CLI.

# Voice design — no reference clip
speech speak "Welcome to the show." \
    --engine voxcpm2 \
    --voxcpm2-instruct "A young woman, gentle and warm voice." \
    --output design.wav

# Reference cloning — 5–30 s clean clip
speech speak "This is a cloned voice." \
    --engine voxcpm2 \
    --voxcpm2-variant int8 \
    --voice-sample speaker.wav \
    --output clone.wav

Kung saan susunod