Kloonaan äänen 48 kHz:n nopeudella
jossa VoxCPM2.

Uusi TTS -malli laskeutui juuri Soniqo. Se toimii kannettavallasi, tuottaa studiolaatuisen 48 kHz:n äänen ja kloonaa äänen yhdestä lyhyestä leikkeestä. Tämä viesti kulkee sen läpi, mitä voit rakentaa sillä, kolmella tavalla, jolla sen avulla voit kloonata äänen, ja ystävällisen katsella, miten malli toimii sisällä.

English Filipino (Tagalog)Italiano Bahasa Indonesia Polski Nederlands Svenska עברית Norsk bokmål Dansk Română ČeštinaSuomiEspañol Deutsch Français Português Русский 中文日本語 한국어 हिन्दी العربية Tiếng Việt Türkçe ไทย

Mitä voit rakentaa

Neljä asiaa muuttuu, kun kloonaaminen tapahtuu paikallisesti.

Juokseminen kloonaaminen laitteen avaa neljä ominaisuutta kerralla yksityisyys, offline-käyttö, ei per-puhelu kustannuksia, ja täysi ääni omistaminen. Jokainen näistä avaa luokan tuote, joka on hankala rakentaa mitään muuta tapaa.

Henkilökohtaiset äänikirja-narraattorit

Tallenna 30 sekunnit vanhemman käsittelyssä. Äänikirja sovellus sitten narrata kaikki luku heidän äänensä . sama lämpö, sama korostus, paikallisesti tuotettu jokainen istunto.

Monikielisen luojan sisältö

YouTubers ja podcasters pitävät yhden yhtenäisen äänen yli 30 kielellä. Nauhoita kerran englanniksi, lähetä sama jakso japaniksi, espanjaksi ja hindi ilman laulua.

Esteettömyys & puhepankkitoiminta

Ihmiset, jotka kohtaavat äänen menetyksen, voivat tallettaa äänensä lyhyeen leikkeeseen ja jatkaa puhumista heidän kaltaisensa aputekniikan kautta, ei niin kuin yleinen TTS moottori.

Tuoteäänet pyynnöstä

Kuvaile ääni haluamasi "nuori nainen, lempeä ja lämmin" . Malli suunnittelee sen ilman referenssi tallennuksen. Hyödyllinen peli NPCs, kioskikehot, tai A/B testaus brändiäänet.

On-device vs isännöity

Miten VoxCPM2 verrata ElevenLabs.

ElevenLabs on ilmeinen pilvi-API vaihtoehto. Vaihtoehdot ovat se, mikä toimii siellä, missä ääni on ja joka sen jälkeen omistaa äänen.

Tuotteille, jotka tarvitsevat yksityisyyden takeet, offline-toiminta, tai nolla per-puhelu kustannukset, on-device kloonaus on ainoa vaihtoehto ... jokainen ElevenLabs puhelu lataa äänen palvelimilleen.

	VoxCPM2 (Soniqo)	ElevenLabs
Missä se kulkee?	Käyttäjän laitteella	Omistaja API
Ääni poistuu laitteesta	Ei.	Kyllä (ladattu arvoon ElevenLabs)
Offline-käyttö	Kyllä	Ei (edellyttää internetiä)
Kustakin puhelusta aiheutuvat kustannukset	Ei ole	Merkkiä kohden laskettu laskutus
Lisenssin malli	Apache 2,0, avoimet painot	Omistusoikeus, ainoastaan SaaS
Suurin lähtönäytteen ottonopeus	48 kHz:n alkukantainen	48 kHz (Pro-taso tai sitä korkeampi)
Kieli	30	29 (monikielinen v2) · 70+ (Eleven v3)
Vaadittu referenssileikkuri	5–30 tilu	1 min (välitön) · 30 min (ammattimainen)
Äänen suunnittelu tekstistä	Kyllä	Kyllä

Molemmat moottorit saavuttavat 48 kHz; molemmat tukevat samanlaista kielilevitystä jokapäiväisessä kloonauksessa; molemmat paljastavat äänisuunnittelun tekstikuvauksesta. Todellinen ero on siinä, lähteekö ääni koskaan laitteesta.

Kolme kloonausmuotoa

Yksi malli, kolme sisäänkäyntiä.

Malli on sama jokaisessa puhelussa. Mitä muutoksia on, mitkä argumentit läpäiset ... jotka päättävät, suunnitteletko ääntä kuvauksesta, kopioitko äänitetyn vai säilytitkö aksentin.

Äänisuunnittelu

Kun sinulla ei ole viitetallennusta.

Kuvaile ääntä luonnollisella kielellä. Malli valitsee vastaavan äänen ja pysyy yhtenäisenä puheluissa.

let audio = try await tts.generateVoxCPM2(
    text: "Welcome to the show.",
    instruct: "A young woman, gentle and warm voice."
)

Viitekloonaaminen

Kun sinulla on lyhyt lipas kohdekaiutin.

Ohita mikä tahansa 5–30 Malli kopioi timberin ja rytmin ja syntetisoi uuden tekstin tuossa äänessä.

let ref = try AudioFileLoader.load(
    url: URL(fileURLWithPath: "speaker.wav"),
    targetSampleRate: 16000
)
let audio = try await tts.generateVoxCPM2(
    text: "This is a cloned voice.",
    refAudio: ref
)

Lopullinen kloonaus

Kun puhujalla on oma aksenttinsa ja haluat sen säilyvän.

Pass clip JA sen transkripti. Malli voi nyt rivittää akustisia ominaisuuksia fonemes . aksentti ja vokaali valintoja suorittaa läpi.

let audio = try await tts.generateVoxCPM2(
    text: "Hello from the cloned voice.",
    refAudio: ref,
    promptText: "this is what the reference clip actually said",
    promptAudio: ref
)

Sama syöte slot, täynnä eri kappaletta. Malli ei koskaan näe lippua . Se lukee järjestyksessä.

Hupun alla.

Miten VoxCPM2 tuottaa ääntä.

Neljä yhteistyössä moduulit. Sinun ei tarvitse tietää mitään tästä käyttää mallia, mutta jos olet utelias mistä 48 kHz tulee ... tässä se on.

Putkisto alkaa paikallisella koodaimella , joka yhdistää tekstimerkit ja (valinnainen) viiteäänen yhteen virtaan vektoreja. Tämä virta syöttää TSLM 28-kerros MiniCPM-4 kielimalli, joka päättää, mitä äänimerkkiä seuraavaksi tulisi käyttää, samalla tavalla kuin teksti LM valitsee seuraavan token. Toinen läpäisee RALM tarkentaa jokaista laastaria.

Tähän asti kaikki on muuntaja. Mielenkiintoinen käänne on LocDiT: Sen sijaan, että valitaan kiinteä sanasto erillisiä äänimerkkejä, se toimii pieni diffuusio prosessi maalata audio latentti kussakin rakossa. Ei erillistä koodekki tarkoittaa ei kvantitalisaatio pullonkaula . AudioVAE V2, dekoodaa suoraan 48 kHz:iin. Kaikki muut on-wice moottorit tämän pinopäät ulos 24.

Jako on syytä huomata: autoregressiivinen LM on hyvä päättämään mitä seuraavaksi (sisältö, rytmi, pituus); diffuusiopää on suuri maalaus akustinen yksityiskohta (vaihe, spektri). VoxCPM2 antaa jokaisen tehdä mitä se on hyvä. Siksi malli pitää omansa vain 2B parametreja . Arkkitehtuuri ansaitsee havaintolaadun, ei kokoa.

Paperi

Lue alkuperäinen tutkimus.

VoxCPM: Tokenizer-Free TTS for Context-Aware Speech Generation and True-to-Life Voice Cloning

OpenBMB · arXiv:2509.24650 · Sept 2025

Näkymä arXiv: llä

Bundles.

Kolme kokoa, valitkaa levybudjetistanne.

Kaikki kolme nippua ajaa samaa arkkitehtuuria; ne eroavat toisistaan vain siinä, kuinka aggressiivisesti kielimalli on kvantitatiivinen. int8-paketti on suositeltava oletus Se vastaa Python:n yläjuoksun 8-lähetinputkea, kun taas 40% on nopeampi ja bf16 pienempi kuin ZX.

Bundle	Koko	Paras
bf16	~5.0 GB	Viite / vianetsintä.
int8 oletus	~3.0 GB	Joka päivä kloonaamista, äänikirjoja, podcasteja.
int4	~1.9 GB	Levynkäyttö on rajoitettua.

Kokeile.

Klinikalta.

# Voice design — no reference clip
speech speak "Welcome to the show." \
    --engine voxcpm2 \
    --voxcpm2-instruct "A young woman, gentle and warm voice." \
    --output design.wav

# Reference cloning — 5–30 s clean clip
speech speak "This is a cloned voice." \
    --engine voxcpm2 \
    --voxcpm2-variant int8 \
    --voice-sample speaker.wav \
    --output clone.wav

Minne seuraavaksi?