Tłumaczenie automatyczne · Oryginał angielski

Klonowanie głosu VoxCPM2 na Mac

Uruchom VoxCPM2 lokalnie na Apple Silicon za pomocą MLX, aby sklonować głos lub projekt z opisu tekstu. Ten model OpenBMB produkuje mowę 48 kHz w językach 30. Posłuchaj przykładów, a następnie spróbuj CLI z nagraniem referencyjnym i jego transkrypcją.

Próbki dźwięku · Klon głos z CLI · VoxCPM2 vs Qwen3-TTS

Próbki klonowania głosu

Te angielskie klipy pochodzą z opublikowanego porównania FLEURS. Referencyjne i generowane mowy używają różnych zdań. Każde wyjście jest jedną reprezentatywną próbką; średnia porównawcza wielokrotnych klipów.

Klon głos z CLI

Pobieranie Dźwięk odniesienia jako reference.wav. Polecenie używa dokładnego transkryptu; zastępuje zarówno zapis, jak i transkrypcję przy użyciu własnej próbki głosu.

speech speak "Hello from the cloned voice." \
    --engine voxcpm2 \
    --voxcpm2-variant bf16 \
    --voice-sample reference.wav \
    --voxcpm2-prompt-audio reference.wav \
    --voxcpm2-prompt-text "One can only wonder what the keyboard will become when something newer comes along." \
    --seed 42 \
    --output clone.wav

Co to jest?

• Wyjście 48 kHz - jedyny silnik na urządzeniu w tym stosie z próbką studyjną. Każdy inny moduł TTS maxes przy 24 kHz.
• Projektowanie głosu - kontrola stylu naturalnego: --voxcpm2-instruct "young female voice, warm and gentle"Żaden z innych silników tego nie ujawni.
• Klonowanie głosu - klonowanie single-reference z klipu 16 kHz; "klonowanie ostateczne" (audio odniesienia + transkrypcja) dla konserwacji prosodowej.
• Języki 30 - Angielski, chiński, indonezyjski, japoński, koreański i więcej. Auto- wykryte z tekstu.
• Apache 2.0 - model masy odziedziczył licencję openbmb; nasz port Swift jest taki sam.

Architektura

Pięć współpracujących komponentów wytwarza 48 kHz formy fali:

Zespoły

Bieżący CLI obsługuje pakiety bf16 i int8 przekonwertowane z góry openbmb / VoxCPM2 punkt kontrolny. Ilościowanie odnosi się do projekcji modelu językowego i dyfuzji; dekoder audio pozostaje w pełnej precyzji.

ASR (Qwen3-ASR 0.6B, 8- frazy uprząż, seria M- Apple Silicon):

Domyślnie CLI do bf16; wybierz int8 do mniejszego pobrania. int4 jest wycofany i pojawia się w tabeli tylko jako pomiar historyczny.

Szybki start

import VoxCPM2TTS

let tts = try await VoxCPM2TTSModel.fromPretrained()  // defaults to bf16
let audio = try await tts.generate(text: "Hello from VoxCPM2.", language: "english")
// audio: [Float] at 48 kHz mono

Wybierz pakiet int8 wyraźnie:

let tts = try await VoxCPM2TTSModel.fromPretrained(
    modelId: "aufklarer/VoxCPM2-MLX-int8"
)

Projektowanie głosu (sterowane instrukcją)

Podaj opis języka naturalnego; warunki modelu syntezy na nim bez próbki dźwięku odniesienia:

let audio = try await tts.generateVoxCPM2(
    text: "Welcome to the show.",
    instruct: "A young woman, gentle and warm voice."
)

Klonowanie głosu

Klonowanie jednokierunkowe z klipu mono 16 kHz:

let ref = try AudioFileLoader.load(url: URL(fileURLWithPath: "speaker.wav"),
                                   targetSampleRate: 16000)
let audio = try await tts.generateVoxCPM2(
    text: "This is a cloned voice.",
    refAudio: ref
)

Ostateczne klonowanie - przekazać zarówno dźwięk odniesienia i pasujący transkrypt tak, aby LM może również uwarunkować się kontekstem leksycznym, zachowując prosodii i akcentu bardziej wiernie:

let audio = try await tts.generateVoxCPM2(
    text: "Hello from the cloned voice.",
    refAudio: ref,
    promptText: "this is what the reference clip actually said",
    promptAudio: ref
)

CLI

speech speak "Hello there." \
    --engine voxcpm2 \
    --voxcpm2-variant int8 \
    --output hello.wav

# Voice design
speech speak "Welcome to the show." \
    --engine voxcpm2 \
    --voxcpm2-instruct "A young woman, gentle and warm voice." \
    --output design.wav

# Voice cloning
speech speak "This is a cloned voice." \
    --engine voxcpm2 \
    --voice-sample speaker.wav \
    --output clone.wav

Flagi: --voxcpm2-variant {bf16,int8}, --voxcpm2-instruct, --voxcpm2-ref-audio, --voxcpm2-prompt-audio + --voxcpm2-prompt-text, --voxcpm2-cfg-value, --voxcpm2-timesteps, --voxcpm2-max-tokens, --voxcpm2-min-tokens, --seed do powtarzalnej syntezy.

VoxCPM2 vs Qwen3-TTS

Opublikowane wyniki angielskiego dla dziesięciu FLEURS par odniesienia / docelowych na model: średnia WER i UTMOS, mediana RTF. Dolna WER oraz RTF są lepsze; UTMOS przewiduje naturalność i nie jest ratingiem człowieka. Wyniki te nie ustanawiają uniwersalnego rankingu.

Pełne porównanie i metodologia klonowania głosu w pięciu językach.

Wybór pomiędzy modułami speech-swift TTS

Odpowiedzialne stosowanie

Uzyskaj zgodę na każdy głos, który sklonujesz i nie używaj tego modelu, aby podszywać się pod osoby indywidualne, generować dezinformacje lub popełnić oszustwo. openbmb / VoxCPM2 stosuje się.