Maskinoversettelse · Engelsk original

VoxCPM2 stemmekloning på Mac

Kjør VoxCPM2 lokalt på Apple Silicon med MLX for å klone en stemme eller designe en fra en tekstbeskrivelse. Denne OpenBMB-modellen produserer 48 kHz tale på 30 språk. Lytt til eksemplene, og prøv deretter CLI med referanseopptaket og transkripsjonen.

Lydprøver · Klone en stemme med CLI ·VoxCPM2 vs Qwen3-TTS

Stemmekloning prøver

Disse engelske klippene kommer fra den publiserte FLEURS-sammenligningen. Referansen og generert tale bruker forskjellige setninger. Hver utgang er en representativ prøve; sammenligningsmetrikkene i gjennomsnitt flere klipp.

Klone en stemme med CLI

Last ned Reference audio som reference.wav. Kommandoen bruker sin nøyaktige transkripsjon; erstatte både opptak og transkripasjon når du bruker din egen stemmeprøve.

speech speak "Hello from the cloned voice." \
    --engine voxcpm2 \
    --voxcpm2-variant bf16 \
    --voice-sample reference.wav \
    --voxcpm2-prompt-audio reference.wav \
    --voxcpm2-prompt-text "One can only wonder what the keyboard will become when something newer comes along." \
    --seed 42 \
    --output clone.wav

Hva det er

• 48 kHz utgang - den eneste on-device motoren i denne stabelen med studio prøvehastighet. Alle andre TTS modul maxes ved 24 kHz.
• Voice design - naturlig språk stilkontroll: --voxcpm2-instruct "young female voice, warm and gentle". Ingen av de andre motorene avslører dette.
• Voksekloning - enkeltreferansekloning fra et 16 kHz-klip; -ultimatkloning - (referanselyd + transkripsjon) for prosodibevaring.
• 30 språk - Engelsk, kinesisk, indonesisk, japansk, koreansk og mer.
• Apache 2.0 - modellvekter arv oppstrøms openbmb-lisens; vår Swift port er den samme.

Arkitektur

Fem samarbeidende komponenter produserer en 48 kHz bølgeform:

Bundles

Den nåværende CLI støtter bf16 og int8 pakker konvertert fra oppstrøms openbmb/VoxCPM2 kontrollpunkt. Kvantisering gjelder språkmodell- og diffusjonsprojeksjoner; lyddekoderen forblir i full presisjon.

Rundstripe ASR (Qwen3-ASR 0.6B, 8-sentens sele, M-serien Apple Silicon):

CLI-standardene til bf16; velg int8 for en mindre nedlasting. int4 er pensjonert og vises i tabellen bare som en historisk måling.

Rask start

import VoxCPM2TTS

let tts = try await VoxCPM2TTSModel.fromPretrained()  // defaults to bf16
let audio = try await tts.generate(text: "Hello from VoxCPM2.", language: "english")
// audio: [Float] at 48 kHz mono

Velg int8 pakke eksplisitt:

let tts = try await VoxCPM2TTSModel.fromPretrained(
    modelId: "aufklarer/VoxCPM2-MLX-int8"
)

Stemmedesign (instrumentdrevet)

Send en naturlig språklig stilbeskrivelse; modellbetingelser syntese på den uten referanselydprøve:

let audio = try await tts.generateVoxCPM2(
    text: "Welcome to the show.",
    instruct: "A young woman, gentle and warm voice."
)

Stemmekloning

Enkeltreferansekloning fra et 16 kHz monoklip:

let ref = try AudioFileLoader.load(url: URL(fileURLWithPath: "speaker.wav"),
                                   targetSampleRate: 16000)
let audio = try await tts.generateVoxCPM2(
    text: "This is a cloned voice.",
    refAudio: ref
)

Ultimate kloning - passere både referanselyd og den matchende transkripsjonen slik at LM kan også tilstand på den leksiske konteksten, bevare prosodi og aksent mer trofast:

let audio = try await tts.generateVoxCPM2(
    text: "Hello from the cloned voice.",
    refAudio: ref,
    promptText: "this is what the reference clip actually said",
    promptAudio: ref
)

CLI

speech speak "Hello there." \
    --engine voxcpm2 \
    --voxcpm2-variant int8 \
    --output hello.wav

# Voice design
speech speak "Welcome to the show." \
    --engine voxcpm2 \
    --voxcpm2-instruct "A young woman, gentle and warm voice." \
    --output design.wav

# Voice cloning
speech speak "This is a cloned voice." \
    --engine voxcpm2 \
    --voice-sample speaker.wav \
    --output clone.wav

Flagg: --voxcpm2-variant {bf16,int8}, --voxcpm2-instruct, --voxcpm2-ref-audio, --voxcpm2-prompt-audio + --voxcpm2-prompt-text, --voxcpm2-cfg-value, --voxcpm2-timesteps, --voxcpm2-max-tokens, --voxcpm2-min-tokens, --seed for reproducerbar syntese.

VoxCPM2 vs Qwen3-TTS

Publisert Engelsk Results for 10 FLEURS referanse/målpar per modell: gjennomsnittlig WER og UTMOS, median RTF. Nedre WER og RTF er bedre; UTMOS Forutsi naturlighet og er ikke en menneskelig vurdering. Disse resultatene ikke etablerer en universell rangering.

Fyll femspråklig stemme-kloning sammenligning og metode.

Velg blant speech-swift TTS moduler

Ansvarlig bruk

Stemmekloning er inkludert. Få samtykke til enhver stemme du kloner og ikke bruk modellen til å personifisere enkeltpersoner, generere desinformation eller begå svindel. Den fulle sikkerhetsveiledningen fra openbmb/VoxCPM2 gjelder.