Awtomatikong salin · Orihinal sa Ingles

VoxCPM2 voice cloning sa Mac

Run VoxCPM2 Local on Apple Silicon na may MLX upang mag - clone ng isang tinig o disenyo mula sa isang paglalarawan ng teksto. Ang OpenB na modelong ito ay gumagawa ng 48 kHz na pagsasalita sa 30 wika. Makinig sa mga halimbawa, pagkatapos ay subukan ang CLI na may reperensiyang rekording at ang mga transcripsiyon nito.

Mga sampol ng audio · Isara ang isang tinig na may CLI · VoxCPM2 vs Qwen3-TTS

Mga sampol ng "voice cloning "

Ang mga clip na ito sa Ingles ay mula sa inilathalang FLEURS kumpara. Ang reperensiya at palalikhang pananalita ay gumagamit ng iba't ibang pangungusap. bawat output ay isang representative sampol; ang paghahambing ng mga metriko ay katamtamang multiple clips.

Isara ang isang tinig na may CLI

Ibabang download Reference audio Ginagamit ng utos ang eksaktong kopya nito; palitan kapuwa ang rekording at ang transcript kapag ginagamit ang iyong sariling sampol ng boses.

speech speak "Hello from the cloned voice." \
    --engine voxcpm2 \
    --voxcpm2-variant bf16 \
    --voice-sample reference.wav \
    --voxcpm2-prompt-audio reference.wav \
    --voxcpm2-prompt-text "One can only wonder what the keyboard will become when something newer comes along." \
    --seed 42 \
    --output clone.wav

Kung ano ito

• 48 kHz output – ang tanging on-device engine sa salansan na ito na may studio sampol rate. Bawat iba pang TTS module maxes sa 24 kHz.
• Disenyo ng Boses — Pagkontrol ng istilo ng natural-wika: --voxcpm2-instruct "young female voice, warm and gentle". Walang ibang makina ang naglalantad nito.
• Boses cloning — single-reference cloning mula sa isang 16 kHz clip; "ultimate cloning" (reference audio + transcription) para sa prosody preserbasyon.
• 30 mga wika – Ingles, Tsino, Indonesian, Hapones, Koreano, at higit pa. Auto-detect mula sa teksto.
• Apache 2.0 — Ang modelong mga pabigat ay nagmamana ng lisensya sa gawing itaas ng ilog; ang aming daungan ng Swift ay pareho.

Arkitektura

Limang nagtutulungang bahagi ang gumagawa ng 48 kHz waveform:

Mga Buto

Ang kasalukuyang mga suporta ng CLI bf16 at int8 mga bungkos na ginagawa mula sa itaas ng ilog openbb/VoxCPM2 Ang checkpoint. Quantization ay kumakapit sa language-model at diffication projections; ang audio decoder ay nananatili sa ganap na prekwensiya.

Round-trip ASR (Qwen3-ASR 0.6B, 8-sentence guest, M-series Apple Silicon):

Ang CLI defaults to bf16; pumili ng int8 para sa mas maliit na download. int4 ay retirado at lumilitaw lamang sa mesa bilang isang makasaysayang sukat.

Mabilis na pagsisimula

import VoxCPM2TTS

let tts = try await VoxCPM2TTSModel.fromPretrained()  // defaults to bf16
let audio = try await tts.generate(text: "Hello from VoxCPM2.", language: "english")
// audio: [Float] at 48 kHz mono

Piliin nang malinaw ang int8 brock:

let tts = try await VoxCPM2TTSModel.fromPretrained(
    modelId: "aufklarer/VoxCPM2-MLX-int8"
)

Disenyo ng boses (teleksiyon-tributionn)

Dadaan ang isang natural-wikang paglalarawan ng estilo; ang modelong kondisyon ay nagreresulta rito nang walang reperensiyang audio sampol:

let audio = try await tts.generateVoxCPM2(
    text: "Welcome to the show.",
    instruct: "A young woman, gentle and warm voice."
)

Pag-clone ng boses

Single-reference cloning mula sa 16 kHz mono clip:

let ref = try AudioFileLoader.load(url: URL(fileURLWithPath: "speaker.wav"),
                                   targetSampleRate: 16000)
let audio = try await tts.generateVoxCPM2(
    text: "This is a cloned voice.",
    refAudio: ref
)

Ang Ultimate cloning — ay nagpapasa kapuwa ng reperensiyang audio at ng katugmang transcript upang ang LM ay maaari ring magkaroon ng kondisyon sa kontekstong lexical, anupat pinananatiling mas matapat ang prosody at tuldik:

let audio = try await tts.generateVoxCPM2(
    text: "Hello from the cloned voice.",
    refAudio: ref,
    promptText: "this is what the reference clip actually said",
    promptAudio: ref
)

CLI

speech speak "Hello there." \
    --engine voxcpm2 \
    --voxcpm2-variant int8 \
    --output hello.wav

# Voice design
speech speak "Welcome to the show." \
    --engine voxcpm2 \
    --voxcpm2-instruct "A young woman, gentle and warm voice." \
    --output design.wav

# Voice cloning
speech speak "This is a cloned voice." \
    --engine voxcpm2 \
    --voice-sample speaker.wav \
    --output clone.wav

Mga Bandila: --voxcpm2-variant {bf16,int8}, --voxcpm2-instruct, --voxcpm2-ref-audio, --voxcpm2-prompt-audio + --voxcpm2-prompt-text, --voxcpm2-cfg-value, --voxcpm2-timesteps, --voxcpm2-max-tokens, --voxcpm2-min-tokens, --seed para sa reproducible synthesis.

VoxCPM2 vs Qwen3-TTS

Inilathala sa Ingles ang mga resulta para sa sampung FLEURS reference/target pares kada modelo: ibig sabihin WER at UTMOS, median RTF. Lower WER and RTF ay mas mabuti; UTMOS ang humuhula ng naturalidad at hindi isang taong rating. Ang mga resultang ito ay hindi nagtatatag ng isang unibersal na ranggo.

Buong limang-wikang voice-cloning na paghahambing at metolohiya.

Pagpipitas sa speech-swift TTS modules

May pananagutang paggamit

Kasama rito ang Voice cloning, pagsang - ayon sa anumang boses na na - clone mo at hindi mo ginagamit ang modelo upang gayahin ang mga indibiduwal, lumikha ng di - magagandang impresyon, o mandaya. openbb/VoxCPM2 ay kumakapit.