Kloning af en stemme ved 48 kHz
med VoxCPM2.
En ny TTS model er lige landet i Soniqo. Den kører på din bærbare computer, udgange studio- kvalitet 48 kHz audio, og kloner en stemme fra et enkelt kort klip. Dette indlæg går gennem hvad du kan bygge med det, de tre måder, det lader dig klone en stemme, og et venligt kig på, hvordan modellen fungerer inde.
Fire ting, der ændrer sig, når kloning kører lokalt.
At køre kloning på enheden åbner fire egenskaber på én gang - privatliv, offline brug, ingen per-call omkostninger, og fuld stemme ejerskab. Hver af disse åbner en klasse af produkt, der er akavet til at bygge nogen anden måde.
Optag 30 sekunder af en forælder læsning. Audiobook-appen derefter indlæser et kapitel i deres stemme - samme varme, samme accent, lokalt genereret hver session.
YouTubers og podcasters holde en konsekvent stemme på tværs af 30 sprog. Optag en gang på engelsk, sende den samme episode på japansk, spansk og Hindi uden en vokal cast.
Folk, der står over for stemmetab, kan banke deres stemme i et kort klip og holde tale gennem hjælpeteknologi, der lyder som dem - ikke som en generisk TTS motor.
Beskriv den stemme, du ønsker - "ung kvinde, blid og varm" - og modellen designer det uden en reference optagelse. Nyttig for spil NPC 'er, kiosk prompts, eller A / B test brand stemmer.
Hvordan VoxCPM2 sammenlignet med ElevenLabs.
ElevenLabs er det indlysende cloud- API alternativ. Trade- off er, hvad der kører hvor - og hvem ejer stemmen bagefter.
For produkter, der har brug for beskyttelse af personlige oplysninger, offline drift, eller nul per-call omkostninger, on- enhed kloning er den eneste mulighed - hver ElevenLabs opkald uploads lyd til deres servere.
| VoxCPM2 (Soniqo) | ElevenLabs | |
|---|---|---|
| Hvor det kører | På brugerens enhed | Hosted API |
| Lyd forlader enheden | Nej | Ja (uploadet til ElevenLabs) |
| Offline anvendelse | Ja | Nej (kræver internet) |
| Omkostninger pr. opkald | Ingen | Per- tegn fakturering |
| Model til licens | Apache 2.0 | Proprietær, kun SaaS |
| Maks. udtag-frekvens | 48 kHz indfødt | 48 kHz (Pro tier og derover) |
| Sprog | 30 | 29 (Flersproget) v2) · 70+ (11. v3) |
| Krav om referenceklip | 5-30 s | 1 min (Instant) · 30 min (Professional) |
| Stemmedesign fra tekst | Ja | Ja |
Begge motorer når 48 kHz; begge understøtter et lignende sprog spredt til daglig kloning; begge udsætter stemme design fra en tekstbeskrivelse. Den ægte forskel er, om lyd nogensinde forlader enheden.
En model, tre veje ind.
Modellen er den samme i hvert opkald. Hvad ændringer er, hvilke argumenter du passerer - der afgør, om du designer en stemme fra en beskrivelse, kopiere en optaget en, eller bevare en accent.
Beskriv stemmen i naturligt sprog. Modellen vælger en matchende stemme og forbliver konsekvent på tværs af opkald.
let audio = try await tts.generateVoxCPM2(
text: "Welcome to the show.",
instruct: "A young woman, gentle and warm voice."
)Aflever alle 5-30 sekunders ren tale. Modellen kopierer timbre og rytme og syntetiserer ny tekst i den stemme.
let ref = try AudioFileLoader.load(
url: URL(fileURLWithPath: "speaker.wav"),
targetSampleRate: 16000
)
let audio = try await tts.generateVoxCPM2(
text: "This is a cloned voice.",
refAudio: ref
)Pass clip OG dens udskrift. Modellen kan nu line op akustiske funktioner med fonemer - accent og vokal valg gennemføre.
let audio = try await tts.generateVoxCPM2(
text: "Hello from the cloned voice.",
refAudio: ref,
promptText: "this is what the reference clip actually said",
promptAudio: ref
)Den samme inddata slot, fyldt med forskellige stykker. Modellen aldrig ser et flag - det læser sekvensen.
Hvordan VoxCPM2 producerer lyd.
Du behøver ikke at vide noget af det her for at bruge modellen, men hvis du er nysgerrig hvor 48 kHz kommer fra - her er det.
Rørledningen starter med en lokal encoder (LocEnc) at sikringer tekst tokens og (valgfri) reference lyd i en strøm af vektorer. TSLM - en 28- layer MiniCPM-4 sprogmodel, der beslutter, hvad lyd "patch" skal komme næste, på samme måde som en tekst LM vælger den næste token. RALM forfiner hvert plaster.
Indtil dette punkt alt er en transformator. Det interessante twist er LocDiT: I stedet for at vælge fra et fast ordforråd af diskrete lydtokens, det kører en lille diffusionsproces til at male lyd latent i hver slot. Ingen diskret codec betyder ingen kvantificering flaskehals - hvilket er hvad lader den endelige fase, AudioVAE V2, afkode direkte til 48 kHz. Enhver anden on- enhed motor i denne stak toppe ud på 24 kHz.
Splitten er værd at bemærke: den autoregressive LM er stor til at beslutte, hvad der skal komme næste (indhold, rytme, længde); diffusionshovedet er stor til maleri akustiske detaljer (fase, spektrum). VoxCPM2 lader hver gøre, hvad det er godt til. Det er derfor modellen holder sin egen på kun 2B parametre - arkitekturen tjener den indsigtsmæssige kvalitet, ikke størrelsen.
Læs den oprindelige forskning.
Tre størrelser. Vælg ved din disk budget.
Alle tre bundter kører den samme arkitektur; de adskiller sig kun i hvor aggressivt sprogmodellen er kvantiseret. int8 bundt er den anbefalede standard - det matcher opstrøms Python pipeline på 8- sætning rundtur benchmark samtidig med at være hurtigere og 40% mindre end bf16.
| Bundle | Størrelse | Det er bedst for |
|---|---|---|
| bf16 | ~5.0 GB | Reference / fejlretning. |
| int8 standard | ~3.0 GB | Kloning, lydbøger, podcasts. |
| int4 | ~1.9 GB | Disk- begrænset deployering. |
Fra CIA.
# Voice design — no reference clip
speech speak "Welcome to the show." \
--engine voxcpm2 \
--voxcpm2-instruct "A young woman, gentle and warm voice." \
--output design.wav
# Reference cloning — 5–30 s clean clip
speech speak "This is a cloned voice." \
--engine voxcpm2 \
--voxcpm2-variant int8 \
--voice-sample speaker.wav \
--output clone.wavLæs videre.
Hvert CLI flag, hver generation tilstand, ansvarlig-brug noter.
Sammenligning mellem motorerne: VoxCPM2, CosyVoice3 og Qwen3-TTS ICL.
Installere Soniqo på Apple Silicon og køre din første syntese.
Flere indlæg på on- enhed tale, når de lander.