Strojový překlad · Anglický originál

VoxCPM2 hlasové klonování na Mac

VoxCPM2 lokálně spusťte na Apple Silicon se MLX pro klonování hlasu nebo designu z textového popisu. Model OpenBMB produkuje řeč 48 kHz v jazycích 30. Poslechněte si příklady, pak zkuste CLI s referenčním záznamem a jeho přepisem.

Vzorky zvuku · Klone hlas s CLI · VoxCPM2 vs Qwen3-TTS

Vzorky hlasového klonování

Tyto anglické klipy pocházejí z publikovaného srovnání FLEURS. Referenční a generované řeči používají různé věty. Každý výstup je jeden reprezentativní vzorek; srovnání metriky průměr více klipů.

Klone hlas s CLI

Stáhnout Referenční audio jako reference.wav Příkaz používá svůj přesný přepis; při použití vlastního hlasového vzorku nahrazuje záznam i přepis.

speech speak "Hello from the cloned voice." \
    --engine voxcpm2 \
    --voxcpm2-variant bf16 \
    --voice-sample reference.wav \
    --voxcpm2-prompt-audio reference.wav \
    --voxcpm2-prompt-text "One can only wonder what the keyboard will become when something newer comes along." \
    --seed 42 \
    --output clone.wav

Co to je?

• Výstup 48 kHz - jediný motor na zařízení v tomto zásobníku se vzorkovací rychlostí studia. Každý další modul TTS maxuje na 24 kHz.
• Hlasová konstrukce - řízení přirozeného jazyka: --voxcpm2-instruct "young female voice, warm and gentle"Žádný z ostatních motorů to neodhalí.
• Hlasové klonování - jednosměrné klonování z klipu 16 kHz; "konečné klonování" (referenční audio + přepis) pro prosody reserve.
• 30 jazyky - Angličtina, čínština, indonéština, japonština, korejština, a další. Automaticky detekován z textu.
• Apache 2.0 - model závaží zdědí předního openbmb licence; náš Swift port je stejný.

Architektura

Pět spolupracujících komponentů produkuje 48 kHz vlnovou formu:

Svazky

Aktuální CLI podporuje bf16 a int8 svazky konvertované z proti proudu openbmb / VoxCPM2 kontrolní bod. Kvantizace se vztahuje na jazykový model a difúzní projekce; audio dekodér zůstává v plné přesnosti.

Round- trip ASR (Qwen3-ASR 0.6B, 8-document seat, M-series Apple Silicon):

CLI selže na bf16; zvolte int8 pro menší stahování. int4 je v důchodu a v tabulce se objevuje pouze jako historické měření.

Rychlý start

import VoxCPM2TTS

let tts = try await VoxCPM2TTSModel.fromPretrained()  // defaults to bf16
let audio = try await tts.generate(text: "Hello from VoxCPM2.", language: "english")
// audio: [Float] at 48 kHz mono

Zvolte výslovně int8 svazek:

let tts = try await VoxCPM2TTSModel.fromPretrained(
    modelId: "aufklarer/VoxCPM2-MLX-int8"
)

Hlasová konstrukce (řízená instrukcemi)

Projít natural-jazyk styl popis; model podmínek syntézy na něm bez referenčního zvukového vzorku:

let audio = try await tts.generateVoxCPM2(
    text: "Welcome to the show.",
    instruct: "A young woman, gentle and warm voice."
)

Klonování hlasu

Jednosměrné klonování z monoklipu 16 kHz:

let ref = try AudioFileLoader.load(url: URL(fileURLWithPath: "speaker.wav"),
                                   targetSampleRate: 16000)
let audio = try await tts.generateVoxCPM2(
    text: "This is a cloned voice.",
    refAudio: ref
)

Ultimate klonování - projít jak referenční zvuk a odpovídající přepis tak LM může také podmínit na lexikální kontext, zachování prosodie a přízvuk věrněji:

let audio = try await tts.generateVoxCPM2(
    text: "Hello from the cloned voice.",
    refAudio: ref,
    promptText: "this is what the reference clip actually said",
    promptAudio: ref
)

CLI

speech speak "Hello there." \
    --engine voxcpm2 \
    --voxcpm2-variant int8 \
    --output hello.wav

# Voice design
speech speak "Welcome to the show." \
    --engine voxcpm2 \
    --voxcpm2-instruct "A young woman, gentle and warm voice." \
    --output design.wav

# Voice cloning
speech speak "This is a cloned voice." \
    --engine voxcpm2 \
    --voice-sample speaker.wav \
    --output clone.wav

Vlajky: --voxcpm2-variant {bf16,int8}, --voxcpm2-instruct, --voxcpm2-ref-audio, --voxcpm2-prompt-audio + --voxcpm2-prompt-text, --voxcpm2-cfg-value, --voxcpm2-timesteps, --voxcpm2-max-tokens, --voxcpm2-min-tokens, --seed pro reprodukovatelnou syntézu.

VoxCPM2 vs Qwen3-TTS

Zveřejněné anglické výsledky pro deset FLEURS reference / cílové dvojice na model: průměr WER a UTMOS, medián RTF. Dolní WER i RTF jsou lepší; UTMOS předpovídá přirozenost a není lidským hodnocením. Tyto výsledky nezakládají univerzální pořadí.

Plné pětijazyčné hlasové-klonování srovnání a metodika.

Výběr mezi moduly speech-swift TTS

Odpovědné použití

Je součástí hlasového klonování. Získejte souhlas pro jakýkoli hlas klonování a nepoužívejte model k napodobování jednotlivců, generovat dezinformace, nebo spáchat podvod. openbmb / VoxCPM2 platí.