Maskinoversættelse · Engelsk original

VoxCPM2 stemme kloning på Mac

Kør VoxCPM2 lokalt på Apple Silicon med MLX for at klone en stemme eller designe en fra en tekstbeskrivelse. Denne OpenBMB-model producerer 48 kHz-tale i 30 sprog. Lyt til eksemplerne, og prøv derefter CLI med referencefejl og dens udskrift.

Lydprøver · Klone en stemme med CLI · VoxCPM2 vs Qwen3-TTS

Prøver til stemmekloning

Disse engelske klip kommer fra den offentliggjorte FLEURS sammenligning. Referencen og genereret tale bruger forskellige sætninger. Hver output er en repræsentativ prøve; sammenligningen måler gennemsnitlige multiple klip.

Klone en stemme med CLI

Download Referencelyd som reference.wav. Kommandoen bruger sin nøjagtige udskrift; erstatter både optagelsen og udskriften, når du bruger din egen stemmeprøve.

speech speak "Hello from the cloned voice." \
    --engine voxcpm2 \
    --voxcpm2-variant bf16 \
    --voice-sample reference.wav \
    --voxcpm2-prompt-audio reference.wav \
    --voxcpm2-prompt-text "One can only wonder what the keyboard will become when something newer comes along." \
    --seed 42 \
    --output clone.wav

Hvad er det?

• 48 kHz output - den eneste on- enhed motor i denne stak med studio sample rate. Alle andre TTS modul maxes på 24 kHz.
• Stemmedesign - natursprog stil kontrol: --voxcpm2-instruct "young female voice, warm and gentle"Ingen af de andre motorer afslører dette.
• Stemmekloning - enkelt- reference kloning fra et 16 kHz klip; "ultimative kloning" (reference audio + udskrift) for prosodykonservering.
• 30 sprog Engelsk, kinesisk, indonesisk, japansk, koreansk og meget mere.
• Apache 2.0 - modelvægte arver openbmb licens opstrøms; vores Swift port er den samme.

Arkitektur

Fem samarbejdsvillige komponenter producerer en 48 kHz bølgeform:

Bundler

Den nuværende CLI understøtter bf16 og int8 bundter konverteret fra opstrøms openbmb / VoxCPM2 checkpoint. Kvantisering gælder for language-model og diffusion fremskrivninger; lyd dekoder forbliver på fuld præcision.

Round- trip ASR (Qwen3-ASR 0.6B, 8- sætning sele, M- serie Apple Silicon):

CLI standard til bf16; vælge int8 for en mindre download. int4 er pensioneret og vises i tabellen kun som en historisk måling.

Hurtig start

import VoxCPM2TTS

let tts = try await VoxCPM2TTSModel.fromPretrained()  // defaults to bf16
let audio = try await tts.generate(text: "Hello from VoxCPM2.", language: "english")
// audio: [Float] at 48 kHz mono

Vælg int8 bundt eksplicit:

let tts = try await VoxCPM2TTSModel.fromPretrained(
    modelId: "aufklarer/VoxCPM2-MLX-int8"
)

Stemmedesign (instruktionsdrevet)

Beskriv en natursprog-stil; modellen betingelser syntese på det uden en reference audio prøve:

let audio = try await tts.generateVoxCPM2(
    text: "Welcome to the show.",
    instruct: "A young woman, gentle and warm voice."
)

Stemmekloning

Single-reference kloning fra en 16 kHz monoklip:

let ref = try AudioFileLoader.load(url: URL(fileURLWithPath: "speaker.wav"),
                                   targetSampleRate: 16000)
let audio = try await tts.generateVoxCPM2(
    text: "This is a cloned voice.",
    refAudio: ref
)

Ultimate kloning - passere både reference lyd og matchende udskrift, så LM kan også tilstand på den leksiske kontekst, bevare prosodi og accent mere trofast:

let audio = try await tts.generateVoxCPM2(
    text: "Hello from the cloned voice.",
    refAudio: ref,
    promptText: "this is what the reference clip actually said",
    promptAudio: ref
)

CLI

speech speak "Hello there." \
    --engine voxcpm2 \
    --voxcpm2-variant int8 \
    --output hello.wav

# Voice design
speech speak "Welcome to the show." \
    --engine voxcpm2 \
    --voxcpm2-instruct "A young woman, gentle and warm voice." \
    --output design.wav

# Voice cloning
speech speak "This is a cloned voice." \
    --engine voxcpm2 \
    --voice-sample speaker.wav \
    --output clone.wav

Flag: --voxcpm2-variant {bf16,int8}, --voxcpm2-instruct, --voxcpm2-ref-audio, --voxcpm2-prompt-audio + --voxcpm2-prompt-text, --voxcpm2-cfg-value, --voxcpm2-timesteps, --voxcpm2-max-tokens, --voxcpm2-min-tokens, --seed for reproducerbar syntese.

VoxCPM2 vs Qwen3-TTS

Offentliggjort engelske resultater for ti FLEURS reference / mål par per model: gennemsnit WER og UTMOS, median RTF. Lower WER and RTF er bedre; UTMOS forudsiger naturlighed og er ikke en menneskelig rating. Disse resultater ikke etablere en universel ranking.

Fuld 5-sprog stemme-kloning sammenligning og metodologi.

Picking blandt speech-swift TTS moduler

Ansvarlig anvendelse

Stemmekloning er inkluderet. Opnå samtykke til enhver stemme, du kloner og ikke bruge modellen til at foregive enkeltpersoner, generere misinformation, eller begå svig. Den fulde sikkerhedsvejledning fra openbmb / VoxCPM2 gælder.