Clonarea unei voci la 48 kHz
cu VoxCPM2.
Un nou model TTS tocmai a aterizat în Soniqo. Acesta rulează pe laptop-ul dvs., scoate studio-calitate 48 kHz audio, și clonează o voce dintr-un singur clip scurt. Acest post trece prin ceea ce puteți construi cu el, cele trei moduri în care vă permite clona o voce, și o privire prietenoasă la modul în care modelul funcționează în interiorul.
Patru lucruri care se schimbă atunci când clonarea rulează la nivel local.
Rularea clonării pe dispozitiv deblochează patru proprietăți la o dată
Înregistrați 30 de secunde de o lectură părinte. Aplicația audiobook apoi narate orice capitol în vocea lor
YouTubers și podcasters păstrează o voce consistentă în 30 de limbi. Înregistrați o dată în limba engleză, nava același episod în japoneză, spaniolă, și hindi fără o distribuție vocală.
Oamenii care se confruntă cu pierderea vocii pot să-şi conecteze vocea într-un clip scurt şi să continue să vorbească prin tehnologie asistată care sună ca ei ? Nu ca un motor generic TTS.
Descrie vocea pe care doriți "tânără femeie, blândă și caldă" și modelul o proiectează fără o înregistrare de referință. Utile pentru NPCs joc, kiosk prompts, sau A/B de testare voci de brand.
Cum se compară VoxCPM2 cu ElevenLabs.
ElevenLabs este alternativa evidentă cloud-API.Tratamentul este ceea ce rulează în cazul în care
Pentru produsele care au nevoie de garanții de confidențialitate, operare offline, sau zero costul pe apel, clonarea on-size este singura opțiune ElevenLabs apelează la încărcare audio pe serverele lor.
| VoxCPM2 (Soniqo) | ElevenLabs | |
|---|---|---|
| Unde merge. | Pe dispozitivul utilizatorului | Gazduit API |
| Audio lasă dispozitivul | Nu. | Da (încărcat la ElevenLabs) |
| Utilizare offline | Da. | Nr. (necesită internet) |
| Costuri de serviciu | Niciuna | Facturarea per caracter |
| Model de licență | Apache 2.0, greutăți deschise | Numai cu drepturi proprii, SaaS |
| Rata maximă a eșantionului de ieșire | Nativ 48 kHz | 48 kHz (nivel pro și mai sus) |
| Limbi | 30 | 29 (Multilingv v2) · 70+ (Eleven v3) |
| Clipul de referință necesar | 5 - 30 | 1 min (Instant) · 30 min (Profesional) |
| Design vocal din text | Da. | Da. |
Ambele motoare ajung la 48 kHz; ambele susțin o răspândire lingvistică similară pentru clonarea de zi cu zi; ambele expun proiectarea vocii dintr-o descriere a textului. Diferența reală este dacă sunetul părăsește vreodată dispozitivul.
Un model, trei moduri în.
Modelul este acelasi in fiecare apel. Ce schimbari este ce argumente treceti pe langa care decideti daca proiectati o voce dintr-o descriere, copiati una inregistrata sau pastrati un accent.
Descrie vocea în limbajul natural. Modelul alege o voce de potrivire și rămâne consistent peste apeluri.
let audio = try await tts.generateVoxCPM2(
text: "Welcome to the show.",
instruct: "A young woman, gentle and warm voice."
)Trece orice 5 ? 30 s de vorbire curată. Modelul copia timbru şi ritm şi sinteze text nou în acea voce.
let ref = try AudioFileLoader.load(
url: URL(fileURLWithPath: "speaker.wav"),
targetSampleRate: 16000
)
let audio = try await tts.generateVoxCPM2(
text: "This is a cloned voice.",
refAudio: ref
)Treceţi clipul şi transcrierea sa. Modelul poate acum alinia caracteristici acustice cu fonemes
let audio = try await tts.generateVoxCPM2(
text: "Hello from the cloned voice.",
refAudio: ref,
promptText: "this is what the reference clip actually said",
promptAudio: ref
)Acelaşi slot de intrare, umplut cu diferite piese. Modelul nu vede niciodată un steag.
Cum produce VoxCPM2 audio.
Patru module care cooperează. Nu trebuie să știți nimic din toate acestea pentru a utiliza modelul, dar dacă sunteți curios în cazul în care 48 kHz vine de la
Conducta începe cu un codor local (LocEnc) care fuzionează jetoanele de text și (opțional) audio de referință într-un flux de vectori. TSLM Un model de limbaj 28-layer MiniCPM-4 care decide ce "patch" audio ar trebui să vină în continuare, la fel cum un text LM alege următorul jeton. RALM rafinează fiecare plasture.
Până în acest punct totul este un transformator. Răsucirea interesantă este LocDiT: în loc de a alege dintr-un vocabular fix de jetoane audio discrete, se execută un proces de difuzie mic pentru a picta latent audio în fiecare slot. Fără codec discret înseamnă nici un jacluck cuantizare care este ceea ce permite etapa finală, AudioVAE V2, decoda direct la 48 kHz. Orice alt motor pe stivă în acest stiva topuri la 24 kHz.
Split este în valoare de notare: LM autoregresiv este mare la a decide ce ar trebui să vină următoare (conţinut, ritm, lungime); capul difuzie este mare la pictura detaliu acustic (fază, spectru). VoxCPM2 permite fiecare să facă ceea ce este bun la. De aceea modelul deţine propriile sale la numai 2B parametri
Citeşte cercetările originale.
Alege după bugetul discului.
Toate cele trei pachete au aceeaşi arhitectură; ele diferă doar în modul agresiv în care modelul lingvistic este cuantizat. Pachetul int8 este implicitul recomandat Se potrivește cu conducta Python din amonte de pe punctul de referință 8-sentince round-trip în timp ce este mai rapid și 40% mai mic decât bf16.
| BundleCity in Germany | Dimensiune | Cel mai bun pentru |
|---|---|---|
| bf16 | ~5.0 GB | Reference / depanare. |
| int8 implicit | ~3.0 GB | Clonarea în fiecare zi, cărți audio, podcast-uri. |
| int4 | ~1.9 GB | Desfășurări cu disk-configurat. |
De la CLI.
# Voice design — no reference clip
speech speak "Welcome to the show." \
--engine voxcpm2 \
--voxcpm2-instruct "A young woman, gentle and warm voice." \
--output design.wav
# Reference cloning — 5–30 s clean clip
speech speak "This is a cloned voice." \
--engine voxcpm2 \
--voxcpm2-variant int8 \
--voice-sample speaker.wav \
--output clone.wavContinuă să citeşti.
Fiecare steag CLI, fiecare mod de generaţie, note de utilizare responsabilă.
Comparație între motoare: VoxCPM2, CosyVoice3 și Qwen3-TTS ICL.
Instalați Soniqo pe Apple Silicon și executați prima sinteză.
Mai multe posturi pe discursul de pe dispozitiv ca acestea aterizează.