Maskinöversättning · Engelskt original

VoxCPM2 röstkloning på Mac

Kör VoxCPM2 lokalt på Apple Silicon med MLX för att klona en röst eller designa en från en textbeskrivning. Denna OpenBMB-modell producerar 48 kHz tal på 30 språk. Lyssna på exemplen, försök sedan CLI med referensinspelningen och dess utskrift.

Audio prover · Klon en röst med CLI · VoxCPM2 vs Qwen3-TTS

Voice cloning prover

Dessa engelska klipp kommer från den publicerade FLEURS jämförelse. Referensen och genererade tal använder olika meningar. Varje utgång är ett representativt prov; jämförelsemetrierna genomsnittliga flera klipp.

Klon en röst med CLI

Ladda ner Reference ljud som referens.wav. kommandot använder sin exakta utskrift; ersätt både inspelningen och utskriften när du använder ditt eget röstprov.

speech speak "Hello from the cloned voice." \
    --engine voxcpm2 \
    --voxcpm2-variant bf16 \
    --voice-sample reference.wav \
    --voxcpm2-prompt-audio reference.wav \
    --voxcpm2-prompt-text "One can only wonder what the keyboard will become when something newer comes along." \
    --seed 42 \
    --output clone.wav

Vad det är

• 48 kHz-utgång - den enda på-enhet motorn i denna stack med studioprovfrekvens. Var och en annan TTS modul maxes vid 24 kHz.
• Voice design — naturligt språk stil kontroll: --voxcpm2-instruct "young female voice, warm and gentle". Ingen av de andra motorerna exponerar detta.
• Voice cloning - en-referens kloning från ett 16 kHz klipp; "ultimate kloning" (referens ljud + transkript) för prosodig bevarande.
• 30 språk - engelska, kinesiska, indonesiska, japanska, koreanska och mer. Autoupptäckt från text.
• Apache 2.0 - modellvikter ärver uppströms openbmb-licens; vår Swift port är densamma.

Arkitektur

Fem samarbetskomponenter producerar en 48 kHz vågform:

Bundles

Den nuvarande CLI stöder bf16 och int8 buntar konverterade från uppströms öppna/VoxCPM2 checkpoint. Quantization gäller för språkmodellen och diffusionsprognoserna; ljudavkodaren stannar vid full precision.

Rundtur ASR (Qwen3-ASR 0.6B, 8-sentence harness, M-series Apple Silicon):

CLI standarder till bf16; välj int8 för en mindre nedladdning. int4 är pensionerad och visas i tabellen endast som en historisk mätning.

Snabbstart

import VoxCPM2TTS

let tts = try await VoxCPM2TTSModel.fromPretrained()  // defaults to bf16
let audio = try await tts.generate(text: "Hello from VoxCPM2.", language: "english")
// audio: [Float] at 48 kHz mono

Välj int8 bunt uttryckligen:

let tts = try await VoxCPM2TTSModel.fromPretrained(
    modelId: "aufklarer/VoxCPM2-MLX-int8"
)

Röstdesign (instruktionsdriven)

Passera en naturlig stilbeskrivning; modellförhållandena syntes på den utan ett referensljudprov:

let audio = try await tts.generateVoxCPM2(
    text: "Welcome to the show.",
    instruct: "A young woman, gentle and warm voice."
)

Röstkloning

Kloning från en 16 kHz mono klipp:

let ref = try AudioFileLoader.load(url: URL(fileURLWithPath: "speaker.wav"),
                                   targetSampleRate: 16000)
let audio = try await tts.generateVoxCPM2(
    text: "This is a cloned voice.",
    refAudio: ref
)

Ultimate kloning - passera både referensljud och matchande transkript så att LM kan också betinga på det lexiska sammanhanget, bevara prosody och accent mer troget:

let audio = try await tts.generateVoxCPM2(
    text: "Hello from the cloned voice.",
    refAudio: ref,
    promptText: "this is what the reference clip actually said",
    promptAudio: ref
)

CLI

speech speak "Hello there." \
    --engine voxcpm2 \
    --voxcpm2-variant int8 \
    --output hello.wav

# Voice design
speech speak "Welcome to the show." \
    --engine voxcpm2 \
    --voxcpm2-instruct "A young woman, gentle and warm voice." \
    --output design.wav

# Voice cloning
speech speak "This is a cloned voice." \
    --engine voxcpm2 \
    --voice-sample speaker.wav \
    --output clone.wav

Flaggor: --voxcpm2-variant {bf16,int8}, --voxcpm2-instruct, --voxcpm2-ref-audio, --voxcpm2-prompt-audio + --voxcpm2-prompt-text, --voxcpm2-cfg-value, --voxcpm2-timesteps, --voxcpm2-max-tokens, --voxcpm2-min-tokens, --seed för reproducerbar syntes.

VoxCPM2 vs Qwen3-TTS

Publicerade engelska resultat för tio FLEURS referens / målpar per modell: betyder WER och UTMOS, median RTF. Lägre WER and RTF är bättre; UTMOS förutspår naturlighet och är inte en mänsklig betyg. Dessa resultat inte etablera en universell rankning.

Full femspråkig röstkloningsjämförelse och metodologi.

Välja bland speech-swift TTS moduler

Ansvarsfull användning

Röstkloning ingår. Skaffa samtycke för alla röster du klonar och inte använda modellen för att personifiera, generera desinformation eller begå bedrägeri. Den fullständiga säkerhetsvägledningen från öppna / VoxCPM2 gäller.