Automatische vertaling · Engels origineel

VoxCPM2 spraakklonen op Mac

Voer VoxCPM2 lokaal uit op Apple Silicon met MLX om een stem te klonen of er een te ontwerpen uit een tekstbeschrijving. Dit OpenBMB-model produceert 48 kHz spraak in 30 talen. Luister naar de voorbeelden en probeer de CLI met de referentieopname en het transcript.

Audiomonsters · Kloon een stem met de CLI · VoxCPM2 vs Qwen3-TTS

Voice klonen monsters

Deze Engelse clips komen van de gepubliceerde FLEURS vergelijking. De referentie en gegenereerde spraak gebruiken verschillende zinnen. Elke uitvoer is één representatief monster; de vergelijking met de gemiddelde meerdere clips.

Kloon een stem met de CLI

Download Reference audio als referentie.wav. Het commando gebruikt het exacte transcript; vervang zowel de opname als het transcript bij het gebruik van uw eigen stemmonster.

speech speak "Hello from the cloned voice." \
    --engine voxcpm2 \
    --voxcpm2-variant bf16 \
    --voice-sample reference.wav \
    --voxcpm2-prompt-audio reference.wav \
    --voxcpm2-prompt-text "One can only wonder what the keyboard will become when something newer comes along." \
    --seed 42 \
    --output clone.wav

Wat het is.

• 48 kHz uitgang › de enige on-device motor in deze stack met studio sample rate. Elke andere TTS module maxeert op 24 kHz.
• Voice design andere natuurlijke taal stijl controle: --voxcpm2-instruct "young female voice, warm and gentle". Geen van de andere motoren stelt dit bloot.
• Klonen van stemmen Klonen met één referentie van een 16 kHz-clip; "ultimate klonen" (referentie audio + transcript) voor prosody conservation.
• 30 talen . Engels, Chinees, Indonesisch, Japans, Koreaans, en meer. Automatisch gedetecteerd uit tekst.
• Apache 2.0 Modelgewichten erven upstream openbmb licentie; onze Swift poort is hetzelfde.

Architectuur

Vijf samenwerkende componenten produceren een 48 kHz golfvorm:

Bundels

De huidige CLI ondersteunt bf16 en int8 bundels die zijn omgezet uit de upstream openbmb/VoxCPM2 controlepunt. Kwantisering is van toepassing op het taalmodel en de verspreidingsprojecties; de audio-decoder blijft bij volledige precisie.

Ronde reis ASR (Qwen3-ASR 0.6B, 8-sentence harnas, M-serie Apple Silicon):

De CLI standaard naar bf16; kies int8 voor een kleinere download. int4 is gepensioneerd en verschijnt alleen in de tabel als historische meting.

Snel starten

import VoxCPM2TTS

let tts = try await VoxCPM2TTSModel.fromPretrained()  // defaults to bf16
let audio = try await tts.generate(text: "Hello from VoxCPM2.", language: "english")
// audio: [Float] at 48 kHz mono

Selecteer de int8 bundel expliciet:

let tts = try await VoxCPM2TTSModel.fromPretrained(
    modelId: "aufklarer/VoxCPM2-MLX-int8"
)

Stemontwerp (instructiegestuurd)

Geef een beschrijving van de natuurlijke taalstijl; de synthese van de modelomstandigheden zonder referentie-audiomonster:

let audio = try await tts.generateVoxCPM2(
    text: "Welcome to the show.",
    instruct: "A young woman, gentle and warm voice."
)

Stemklonen

Klonen met één referentie van een 16 kHz-monoclip:

let ref = try AudioFileLoader.load(url: URL(fileURLWithPath: "speaker.wav"),
                                   targetSampleRate: 16000)
let audio = try await tts.generateVoxCPM2(
    text: "This is a cloned voice.",
    refAudio: ref
)

Ultieme klonen ..pas zowel referentie audio en het bijbehorende transcript, zodat de LM kan ook conditioneren op de lexicale context, behoud van prosody en accent meer trouw:

let audio = try await tts.generateVoxCPM2(
    text: "Hello from the cloned voice.",
    refAudio: ref,
    promptText: "this is what the reference clip actually said",
    promptAudio: ref
)

CLI

speech speak "Hello there." \
    --engine voxcpm2 \
    --voxcpm2-variant int8 \
    --output hello.wav

# Voice design
speech speak "Welcome to the show." \
    --engine voxcpm2 \
    --voxcpm2-instruct "A young woman, gentle and warm voice." \
    --output design.wav

# Voice cloning
speech speak "This is a cloned voice." \
    --engine voxcpm2 \
    --voice-sample speaker.wav \
    --output clone.wav

Vlaggen: --voxcpm2-variant {bf16,int8}, --voxcpm2-instruct, --voxcpm2-ref-audio, --voxcpm2-prompt-audio + --voxcpm2-prompt-text, --voxcpm2-cfg-value, --voxcpm2-timesteps, --voxcpm2-max-tokens, --voxcpm2-min-tokens, --seed voor reproduceerbaare synthese.

VoxCPM2 vs Qwen3-TTS

Gepubliceerde Engelse resultaten voor tien FLEURS referentie/doelparen per model: gemiddelde WER en UTMOS, mediane RTF. Lagere WER and RTF zijn beter; UTMOS voorspelt natuurlijkheid en is geen menselijke rating. Deze resultaten niet het vaststellen van een universele rangschikking.

Volledige vergelijking en methodologie van vijftalige spraakklonen.

Selectie tussen speech-swift TTS modules

Verantwoordelijk gebruik

Voice klonen is inbegrepen. Verkrijg toestemming voor elke stem die je kloont en gebruik het model niet om individuen te imiteren, desinformatie te genereren of fraude te plegen. De volledige veiligheidsbegeleiding van openbmb/VoxCPM2 is van toepassing.