Kloning suara di 48 kHz
dengan VoxCPM2.

Sebuah baru TTS Model baru saja mendarat di SoniqoIni berjalan pada laptop Anda, outputs studio- kualitas 48 kHz audio, dan klon suara dari klip pendek tunggal. Posting ini berjalan melalui apa yang dapat Anda bangun dengan itu, tiga cara itu memungkinkan Anda mengkloning suara, dan melihat bagaimana model bekerja di dalamnya.

English Filipino (Tagalog)ItalianoBahasa IndonesiaPolski Nederlands Svenska עברית Norsk bokmål Dansk Română Čeština Suomi Español Deutsch Français Português Русский 中文日本語 한국어 हिन्दी العربية Tiếng Việt Türkçe ไทย

Apa yang dapat Anda bangun

Empat hal yang berubah ketika kloning berjalan lokal.

Menjalankan kloning pada perangkat membuka empat properti sekaligus - privasi, penggunaan offline, tidak ada biaya panggilan, dan kepemilikan suara penuh. masing-masing ini membuka kelas produk yang canggung untuk membangun cara lain.

Riwayat audio pribadi

Rekam 30 detik dari pembacaan orang tua. Aplikasi audiogook kemudian menceritakan setiap bab dalam suara mereka - kehangatan yang sama, aksen yang sama, lokal dihasilkan setiap sesi.

Isi pencipta multibahasa

Kau punya satu suara yang konsisten dalam 30 bahasa, rekam sekali dalam bahasa Inggris, kirimkan episode yang sama dalam bahasa Jepang, Spanyol, dan Hindi tanpa vokal.

Aksesibilitas & amp; voice banking

Orang-orang yang menghadapi kerugian suara dapat mengisi suara mereka dalam klip pendek dan terus berbicara melalui teknologi bantu yang terdengar seperti mereka - tidak seperti mesin TTS generik.

Produk suara yang diminta

Jelaskan suara yang Anda inginkan - "Wanita muda, lembut dan hangat" - dan model merancangnya tanpa rekaman referensi. Berguna untuk permainan NPC, kiosk prompt, atau A / B pengujian suara merek.

On- device vs hosted

Bagaimana VoxCPM2 sebanding dengan ElevenLabs.

ElevenLabs adalah alternatif yang jelas-API. Pengaruh adalah apa yang berjalan di mana - dan yang memiliki suara setelah itu.

Untuk produk yang membutuhkan jaminan privasi, operasi offline, atau nol biaya panggilan, on- perangkat kloning adalah satu-satunya pilihan - setiap ElevenLabs panggilan upload audio ke server mereka.

	VoxCPM2 (Soniqo)	ElevenLabs
Dimana ia berjalan	Pada perangkat pengguna	Host API
Audio meninggalkan perangkat	Tidak.	Ya (diunggah ke ElevenLabs)
Penggunaan offline	Ya	Tidak (membutuhkan internet)
Biaya per- panggilan	Nihil	Utang karakter per-
Lisensi model	Apache 2.0, buka bobot	Proprietary, SaaS only
Laju sampel keluaran maksimum	48 kHz native	48 kHz (Pro tier dan di atas)
Bahasa	30	29 (Multibahasa) v2) · 70+ (Sebelas v3)
Perlu klip referensi	5-30 s	1 min (Instan) 30 min (Profesional)
Desain suara dari teks	Ya	Ya

Kedua mesin mencapai 48 kHz; keduanya mendukung bahasa yang sama untuk kloning sehari-hari; keduanya mengekspos desain suara dari deskripsi teks. perbedaan yang asli adalah apakah audio pernah meninggalkan perangkat.

Tiga mode kloning

Satu model, tiga cara.

Model adalah sama dalam setiap panggilan. Perubahan apa yang mana argumen yang Anda lewati - yang memutuskan apakah Anda merancang suara dari deskripsi, menyalin yang direkam, atau mempertahankan aksen.

Desain suara

Bila Anda tidak memiliki rekaman referensi.

Gambarkan suara dalam bahasa natural, model ini memilih suara yang cocok dan tetap konsisten dalam panggilan.

let audio = try await tts.generateVoxCPM2(
    text: "Welcome to the show.",
    instruct: "A young woman, gentle and warm voice."
)

Referensi kloning

Ketika Anda memiliki klip pendek dari speaker target.

Berikan setiap 5-30 s pidato bersih. Model menyalin timbre dan irama dan mensintesis teks baru dalam suara itu.

let ref = try AudioFileLoader.load(
    url: URL(fileURLWithPath: "speaker.wav"),
    targetSampleRate: 16000
)
let audio = try await tts.generateVoxCPM2(
    text: "This is a cloned voice.",
    refAudio: ref
)

Kloning Ultimate

Ketika pembicara memiliki aksen khas dan Anda ingin diawetkan.

Model sekarang dapat membariskan fitur akustik dengan fonem - aksen dan vokal pilihan membawa.

let audio = try await tts.generateVoxCPM2(
    text: "Hello from the cloned voice.",
    refAudio: ref,
    promptText: "this is what the reference clip actually said",
    promptAudio: ref
)

Slot masukan yang sama, diisi dengan potongan yang berbeda. Model tidak pernah melihat bendera - ia membaca urutan.

Di bawah tenda.

Bagaimana VoxCPM2 menghasilkan audio.

Empat modul bekerja sama, Anda tidak perlu tahu semua ini untuk menggunakan model, tetapi jika Anda ingin tahu dari mana 48 kHz berasal, ini dia.

Pipa dimulai dengan lokal enkoder (LocEnc) yang sekering teks token dan (opsional) referensi audio ke dalam satu stream vektor. Stream yang feed TSLM - A 28-layer MiniCPM-4 model bahasa yang memutuskan "patch" audio apa yang akan datang selanjutnya, sama seperti teks LM mengambil token berikutnya. Sebuah lulus kedua melalui RALM memperbaiki setiap tambalan.

Sampai saat ini semuanya adalah transformator. LocDiT: daripada memilih dari kosakata tetap token audio diskrit, ia menjalankan proses kecil difusi untuk melukis laten audio di setiap slot. Tidak ada codec diskrit berarti tidak ada batas kuantisasi - yang memungkinkan tahap akhir, AudioVAE V2, decode langsung ke 48 kHz. Setiap on- mesin perangkat lain di stack ini puncak di 24 kHz.

Perpecahan ini layak dicatat: autoregresif LM adalah besar dalam menentukan apa yang harus datang selanjutnya (isi, irama, panjang); kepala difusi besar pada lukisan akustik detail (fase, spektrum). VoxCPM2 Itu sebabnya modelnya memegang sendiri. 2Parameter B - arsitektur menghasilkan kualitas persepsi, bukan ukuran.

Kertas

Baca penelitian aslinya.

VoxCPM: Tokenizer-Free TTS for Context-Aware Speech Generation and True-to-Life Voice Cloning

OpenBMB · arXiv:2509.24650 · Sept 2025

Tilik pada arXiv

Bundles

Tiga ukuran, pilih dengan anggaran disk-mu.

Ketiga bundel itu menjalankan arsitektur yang sama; hanya berbeda dalam seberapa agresif model bahasa yang kuantisasi. bundle int8 adalah standar yang disarankan - cocok dengan hulu Python baris pipa pada 8-kalimat round-trip benchmark ketika menjadi lebih cepat dan 40% lebih kecil dari bf16.

Bundle	Ukuran	Terbaik untuk
bf16	~5.0 GB	Referensi / debug.
int8 baku	~3.0 GB	Kloning sehari-hari, buku audio, podcast.
int4	~1.9 GB	Disk- pengurangan.

Cobalah.

Dari CLI.

# Voice design — no reference clip
speech speak "Welcome to the show." \
    --engine voxcpm2 \
    --voxcpm2-instruct "A young woman, gentle and warm voice." \
    --output design.wav

# Reference cloning — 5–30 s clean clip
speech speak "This is a cloned voice." \
    --engine voxcpm2 \
    --voxcpm2-variant int8 \
    --voice-sample speaker.wav \
    --output clone.wav

Mana berikutnya