Terjemahan mesin · Versi asli bahasa Inggris

VoxCPM2 voice cloning on Mac

Lari VoxCPM2 lokal pada Apple Silicon dengan MLX untuk mengkloning suara atau merancang satu dari deskripsi teks. Model OpenBMB ini menghasilkan 48 pidato kHz di 30 Dengarkan contoh-contoh, lalu coba CPI dengan referensi rekaman dan transkripnya.

Sampel audio · Kloning a voice with the CLI · VoxCPM2 vs Qwen3-TTS

Sampel kloning suara

Klip-klip Inggris ini berasal dari perbandingan FLEURS yang diterbitkan. Referensi dan pidato yang dihasilkan menggunakan kalimat yang berbeda. Setiap keluaran adalah salah satu contoh yang mewakili; perbandingan rata-rata beberapa klip.

Kloning a voice with the CLI

Unduh Referensi audio sebagai reference.wav Perintah menggunakan transkrip yang tepat; mengganti baik rekaman dan transkrip ketika menggunakan sampel suara Anda sendiri.

speech speak "Hello from the cloned voice." \
    --engine voxcpm2 \
    --voxcpm2-variant bf16 \
    --voice-sample reference.wav \
    --voxcpm2-prompt-audio reference.wav \
    --voxcpm2-prompt-text "One can only wonder what the keyboard will become when something newer comes along." \
    --seed 42 \
    --output clone.wav

Apa ini?

• Keluaran 48 kHz - satu-satunya mesin perangkat di tumpukan ini dengan tingkat sampel studio. setiap modul TTS yang lain di 24 kHz.
• Desain suara - Kontrol gaya alami-bahasa: --voxcpm2-instruct "young female voice, warm and gentle"Tak satu pun dari mesin lain mengekspos ini.
• Kloning suara - tunggal - referensi kloning dari 16 kHz klip; "ultimate kloning" (referensi audio + transkrip) untuk pelestarian palsu.
• Bahasa 30 Bahasa Inggris, Cina, Indonesia, Jepang, Korea, dan yang lainnya.
• Apache 2.0 - Model bobot mewarisi upstream openbmb lisensi; kami Swift port adalah sama.

Arsitektur

Lima komponen bekerja sama menghasilkan 48 kHz waveform:

Bundles

CLI saat ini mendukung bf16 dan int8 bundles dikonversi dari hulu openbmb / VoxCPM2 Checkpoint. Kuantisasi diterapkan pada model dan proyeksi difusi; decoder audio tetap pada presisi penuh.

Round- trip ASR (Qwen3-ASR 0.6B, 8-Kalimat harness, M-series Apple Silicon):

CLI default ke bf16; pilih int8 untuk download yang lebih kecil. int4 pensiun dan muncul di meja hanya sebagai pengukuran sejarah.

Cepat mulai

import VoxCPM2TTS

let tts = try await VoxCPM2TTSModel.fromPretrained()  // defaults to bf16
let audio = try await tts.generate(text: "Hello from VoxCPM2.", language: "english")
// audio: [Float] at 48 kHz mono

Pilih bundel int8 secara eksplisit:

let tts = try await VoxCPM2TTSModel.fromPretrained(
    modelId: "aufklarer/VoxCPM2-MLX-int8"
)

Desain suara (instruksi-didorong)

Lewatkan deskripsi gaya alami-bahasa; kondisi model sintesis di atasnya tanpa referensi sampel audio:

let audio = try await tts.generateVoxCPM2(
    text: "Welcome to the show.",
    instruct: "A young woman, gentle and warm voice."
)

Kloning suara

Single - referensi kloning dari 16 kHz mono klip:

let ref = try AudioFileLoader.load(url: URL(fileURLWithPath: "speaker.wav"),
                                   targetSampleRate: 16000)
let audio = try await tts.generateVoxCPM2(
    text: "This is a cloned voice.",
    refAudio: ref
)

Kloning Ultimate - lulus baik referensi audio dan transkrip yang cocok sehingga LM juga dapat kondisi pada konteks leksikal, mempertahankan prosody dan aksen lebih setia:

let audio = try await tts.generateVoxCPM2(
    text: "Hello from the cloned voice.",
    refAudio: ref,
    promptText: "this is what the reference clip actually said",
    promptAudio: ref
)

CLI

speech speak "Hello there." \
    --engine voxcpm2 \
    --voxcpm2-variant int8 \
    --output hello.wav

# Voice design
speech speak "Welcome to the show." \
    --engine voxcpm2 \
    --voxcpm2-instruct "A young woman, gentle and warm voice." \
    --output design.wav

# Voice cloning
speech speak "This is a cloned voice." \
    --engine voxcpm2 \
    --voice-sample speaker.wav \
    --output clone.wav

Flag: --voxcpm2-variant {bf16,int8}, --voxcpm2-instruct, --voxcpm2-ref-audio, --voxcpm2-prompt-audio + --voxcpm2-prompt-text, --voxcpm2-cfg-value, --voxcpm2-timesteps, --voxcpm2-max-tokens, --voxcpm2-min-tokens, --seed untuk reproduksi sintesis.

VoxCPM2 vs Qwen3-TTS

Hasil bahasa Inggris untuk sepuluh FLEURS referensi / target pasangan per model: berarti WER dan UTMOS, Median RTFLebih rendah WER dan RTF lebih baik; UTMOS memprediksi naturalness dan bukan rating manusia. hasil ini tidak membangun peringkat universal.

Suara lima bahasa penuh - kloning perbandingan dan metodologi.

Memilih di antara speech-swift TTS modul

Penggunaan yang bertanggung jawab

Kloning suara disertakan. openbmb / VoxCPM2 applied.