Clonazione di una voce a 48 kHz
con VoxCPM2.

Un nuovo modello TTS è appena atterrato in Soniqo. Funziona sul tuo computer portatile, emette audio 48 kHz di qualità dello studio, e clona una voce da un singolo corto clip. Questo post cammina attraverso ciò che si può costruire con esso, i tre modi che consente di clonare una voce, e uno sguardo amichevole su come il modello funziona all'interno.

English Filipino (Tagalog)ItalianoBahasa Indonesia Polski Nederlands Svenska עברית Norsk bokmål Dansk Română Čeština Suomi Español Deutsch Français Português Русский 中文日本語 한국어 हिन्दी العربية Tiếng Việt Türkçe ไทย

Cosa puoi costruire

Quattro cose che cambiano quando la clonazione corre localmente.

L'esecuzione di clonazione sul dispositivo sblocca quattro proprietà contemporaneamente — privacy, uso offline, nessun costo per-call, e la piena proprietà della voce. Ognuno di questi apre una classe di prodotto che è imbarazzante per costruire qualsiasi altro modo.

I narratori di audiolibri personali

Registra 30 secondi di una lettura dei genitori. L'app audiolibro poi narra qualsiasi capitolo nella loro voce — stesso calore, stesso accento, generato localmente ogni sessione.

Contenuto del creatore multilingue

YouTubers e podcasters mantengono una voce costante in 30 lingue. Record una volta in inglese, spediscono lo stesso episodio in giapponese, spagnolo e hindi senza un cast vocale.

Accessibilità & voice banking

Le persone che affrontano la perdita di voce possono mettere in banca la loro voce in un breve clip e continuare a parlare attraverso tecnologia assistiva che suona come loro — non come un generico TTS motore.

Voci di prodotto su richiesta

Descrivi la voce che vuoi — "giovane donna, dolce e caldo" — e il modello lo progetta senza una registrazione di riferimento. Utile per NPC di gioco, kiosk prompts, o A / B test voci di marca.

On-device vs ospitato

Come VoxCPM2 si confronta con ElevenLabs.

ElevenLabs è l'ovvia alternativa cloud-API. Il trade-off è quello che corre dove - e che possiede la voce in seguito.

Per i prodotti che necessitano di garanzie sulla privacy, funzionamento offline, o zero costo per-call, clonazione on-device è l'unica opzione — ogni ElevenLabs chiamata carica audio ai loro server.

	VoxCPM2 (Soniqo)	ElevenLabs
Dove si corre	Sul dispositivo dell'utente	Hosting API
L'audio lascia il dispositivo	No.	Sì (caricata di ElevenLabs
Uso offline	Sì.	No (richiede internet)
Costo per capannone	Nessuno	Per-character fatturazione
Patente di modello	Apache 2.0, pesi aperti	Proprietario, SaaS solo
Tasso di campionamento di uscita massima	48 kHz nativo	48 kHz (Pro tier e sopra)
Lingue	30	29 (Multiling v2) · 70+ (Eleven v3)
Clip di riferimento richiesto	5–30	1 min (Instant) · 30 min (Professional)
Progettazione vocale dal testo	Sì.	Sì.

Entrambi i motori raggiungono 48 kHz; entrambi supportano una lingua simile diffusa per la clonazione quotidiana; entrambi espongono il design vocale da una descrizione del testo.

Tre modalità di clonazione

Un modello, tre modi.

Il modello è lo stesso in ogni chiamata. Quali cambiamenti è quali argomenti si passa — che decide se si sta progettando una voce da una descrizione, copiando uno registrato, o conservando un accento.

Progettazione vocale

Quando non hai una registrazione di riferimento.

Descrivi la voce in lingua naturale. Il modello sceglie una voce corrispondente e rimane coerente tra le chiamate.

let audio = try await tts.generateVoxCPM2(
    text: "Welcome to the show.",
    instruct: "A young woman, gentle and warm voice."
)

Clonazione di riferimento

Quando si dispone di una breve clip dell'altoparlante di destinazione.

Passare ogni 5–30 s di linguaggio pulito. Il modello copia il timbro e il ritmo e sintetizza il nuovo testo in quella voce.

let ref = try AudioFileLoader.load(
    url: URL(fileURLWithPath: "speaker.wav"),
    targetSampleRate: 16000
)
let audio = try await tts.generateVoxCPM2(
    text: "This is a cloned voice.",
    refAudio: ref
)

clonazione finale

Quando l'altoparlante ha un accento distintivo e lo vuole conservato.

Passare la clip e la sua trascrizione. Il modello può ora allineare le caratteristiche acustiche con fonemi — accento e le scelte vocali portano attraverso.

let audio = try await tts.generateVoxCPM2(
    text: "Hello from the cloned voice.",
    refAudio: ref,
    promptText: "this is what the reference clip actually said",
    promptAudio: ref
)

Lo stesso slot di input, riempito con pezzi diversi. Il modello non vede mai una bandiera — legge la sequenza.

Sotto il cofano

Come VoxCPM2 produce audio.

Quattro moduli cooperanti. Non c'è bisogno di sapere nulla di questo per usare il modello, ma se siete curiosi da dove proviene il 48 kHz - eccolo.

Il gasdotto inizia con un encoder locale (LocEnc) che fonde i token di testo e (opzionale) l'audio di riferimento in un flusso di vettori. TSLM — un modello di linguaggio 28-layer MiniCPM-4 che decide quale "patch" audio dovrebbe venire dopo, allo stesso modo in cui un testo LM sceglie il prossimo token. RAGAZZO affina ogni patch.

Fino a questo punto tutto è un trasformatore. L'interessante torsione è LocDie: invece di scegliere da un vocabolario fisso di token audio discreti, si esegue un piccolo processo di diffusione per dipingere il latente audio in ogni slot. AudioVAE V2, decodifica direttamente a 48 kHz. Ogni altro motore on-device in questo stack top fuori a 24 kHz.

La divisione vale la pena di notare: l'autogressiva LM è grande nel decidere cosa dovrebbe venire dopo (contenuto, ritmo, lunghezza); la testa di diffusione è grande nella pittura di dettaglio acustico (fase, spettro). VoxCPM2 permette a ciascuno di fare ciò che è buono a. Ecco perché il modello tiene il proprio a soli parametri 2B — l'architettura guadagna la qualità percettiva, non la dimensione.

La carta

Leggi la ricerca originale.

VoxCPM: Tokenizer-Free TTS for Context-Aware Speech Generation and True-to-Life Voice Cloning

OpenBMB · arXiv:2509.24650 · Sept 2025

Vista su arXiv

Bundles

Tre dimensioni. Scegli il tuo budget su disco.

Tutti e tre i pacchetti gestiscono la stessa architettura; differiscono solo in quanto viene misurato aggressivamente il modello di lingua. int8 bundle è il default raccomandato — corrisponde alla pipeline Python a monte sul benchmark di andata e ritorno 8 mentre è più veloce e 40% più piccolo del bf16.

Bundle	Dimensione	Il meglio per
bf16	~5.0 GB	Riferimento / debug.
int8 predefinito	~3.0 GB	clonazione quotidiana, audiolibri, podcast.
int4	~1.9 GB	Distribuzioni su disco.

Provalo.

Dal CLI.

# Voice design — no reference clip
speech speak "Welcome to the show." \
    --engine voxcpm2 \
    --voxcpm2-instruct "A young woman, gentle and warm voice." \
    --output design.wav

# Reference cloning — 5–30 s clean clip
speech speak "This is a cloned voice." \
    --engine voxcpm2 \
    --voxcpm2-variant int8 \
    --voice-sample speaker.wav \
    --output clone.wav

Dov'è il prossimo?