Klonování hlasu na 48 kHz
s VoxCPM2.
Nový TTS model právě přistál v Soniqo. Běží na notebooku, výstupy studio- kvalita 48 kHz audio, a klonuje hlas z jednoho krátkého klipu. Tento příspěvek prochází tím, co můžete postavit s ním, tři způsoby, jak vám umožní naklonovat hlas, a přátelský pohled na to, jak model funguje uvnitř.
Čtyři věci, které se změní, když klonování běží lokálně.
Klonování na zařízení odemyká čtyři vlastnosti najednou - soukromí, offline použití, žádné předvolání náklady, a plné hlasové vlastnictví. Každý z nich otevře třídu produktu, který je nepříjemné stavět jiný způsob.
Záznam 30 sekund rodičovské čtení. Audiobook app pak vypráví jakékoli kapitoly v jejich hlase - stejné teplo, stejný přízvuk, lokálně generované každé sezení.
YouTubers a podcasters udržet jeden konzistentní hlas přes 30 jazyků. Záznam jednou v angličtině, loď stejné epizody v japonštině, španělštině a hindštině bez hlasového obsazení.
Lidé, kteří čelí ztrátě hlasu, mohou svůj hlas zakotvit v krátkém klipu a mluvit přes assistive tech, které zní jako oni - ne jako generický TTS motor.
Popište hlas, který chcete - "mladá žena, jemný a teplý" - a model jej navrhuje bez referenční nahrávky. Užitečné pro herní NPC, kiosek podněty, nebo A / B testování značkových hlasů.
Jak VoxCPM2 srovnává ElevenLabs.
ElevenLabs je zřejmá alternativa cloud- API. Výměna je to, co běží tam, kde - a kdo vlastní hlas poté.
Pro produkty, které potřebují záruky soukromí, offline provoz, nebo nulové per- call náklady, on- zařízení klonování je jediná možnost - každý ElevenLabs volání nahrává zvuk na své servery.
| VoxCPM2 (Soniqo) | ElevenLabs | |
|---|---|---|
| Kde to běží | Na zařízení uživatele | Hosted API |
| Audio zanechává zařízení | Ne. | Ano (nahráno na ElevenLabs) |
| Použití v offline | Ano. | Ne (vyžaduje internet) |
| Náklady na předvolání | Žádné | Per- charakter fakturace |
| Vzor licence | Apache 2.0, otevřené závaží | Proprietární, pouze SaaS |
| Maximální výstupní vzorkovací rychlost | 48 kHz rodné | 48 kHz (Pro úroveň a vyšší) |
| Jazyky | 30 | 29 (Vícejazyčné v2) · 70+ (11 v3) |
| Požadovaný referenční klip | 5- 30 s | 1 min (okamžitá) · 30 min (profesionální) |
| Hlasová konstrukce z textu | Ano. | Ano. |
Oba motory dosahují 48 kHz; oba podporují podobný jazyk šířený pro každodenní klonování; oba odkrývají hlasový design z textového popisu. Skutečným rozdílem je, zda audio někdy opustí zařízení.
Jeden model, tři cesty dovnitř.
Model je stejný v každém hovoru. Co změny je, které argumenty projdete -, který rozhodne, zda jste navrhování hlas z popisu, kopírování nahraného, nebo zachování přízvuk.
Popište hlas v přirozeném jazyce. Model vybere odpovídající hlas a zůstane konzistentní napříč hovory.
let audio = try await tts.generateVoxCPM2(
text: "Welcome to the show.",
instruct: "A young woman, gentle and warm voice."
)Projděte všemi 5-30 řečemi čisté řeči. Model kopíruje zvon a rytmus a syntetizuje nový text v tomto hlase.
let ref = try AudioFileLoader.load(
url: URL(fileURLWithPath: "speaker.wav"),
targetSampleRate: 16000
)
let audio = try await tts.generateVoxCPM2(
text: "This is a cloned voice.",
refAudio: ref
)Předejte klip a jeho přepis. Model nyní může seřadit akustické funkce s phonemes - přízvuk a samohlásky volby průchozí.
let audio = try await tts.generateVoxCPM2(
text: "Hello from the cloned voice.",
refAudio: ref,
promptText: "this is what the reference clip actually said",
promptAudio: ref
)Stejný vstupní slot, plný různých kusů. Model nikdy nevidí vlajku - čte sekvenci.
Jak VoxCPM2 produkuje zvuk.
Čtyři spolupracující moduly. Nemusíte vědět nic z toho použít model, ale pokud jste zvědaví, kde 48 kHz pochází - tady to je.
Plynovod začíná s lokální kodér (LocEnc) který spojuje textové tokeny a (nepovinné) referenční audio do jednoho proudu vektorů. Tento proud krmí TSLM - 28- layer MiniCPM-4 jazykový model, který rozhodne, co audio "patch" by měl přijít další, stejně jako text LM vybere další token. RALM zjemňuje každou náplast.
Až do tohoto bodu vše je transformátor. Zajímavý zvrat je LOCDIT: místo výběru z pevné slovní zásoby diskrétních zvukových tokenů, to běží malý difúzní proces malovat zvuk latentní v každém slotu. Žádný diskrétní kodek znamená žádné quantisation těsnění - což je to, co umožňuje finální fázi, Audiovie V2, dekódovat přímo do 48 kHz. Každý jiný motor na zařízení v tomto zásobníku vrcholí na 24 kHz.
Rozdělení stojí za zmínku: autoregresivní LM je skvělý v rozhodování, co by mělo přijít další (obsah, rytmus, délka); difuzní hlava je skvělá v malířství akustické detaily (fáze, spektrum). VoxCPM2 umožňuje každý dělat to, co je dobré v. To je důvod, proč model drží své vlastní pouze na parametry 2B - architektura si vydělá vnímání kvality, ne velikosti.
Přečtěte si původní výzkum.
Tři velikosti, vyberte si podle rozpočtu na disk.
Všechny tři balíky mají stejnou architekturu; liší se pouze v tom, jak agresivně je jazykový model kvantifikován. int8 svazek je doporučený výchozí - odpovídá proti proudu plynovodu Python na referenční úrovni kruhového letu podle věty 8- a zároveň je rychlejší a 40% menší než bf16.
| BundCity in New York USA | Velikost | Nejlepší pro |
|---|---|---|
| bf16 | ~5.0 GB | Odkaz / ladění. |
| int8 výchozí | ~3.0 GB | Každý den klonování, audioknihy, podcasty. |
| int4 | ~1.9 GB | Disk- omezené nasazení. |
Z CLI.
# Voice design — no reference clip
speech speak "Welcome to the show." \
--engine voxcpm2 \
--voxcpm2-instruct "A young woman, gentle and warm voice." \
--output design.wav
# Reference cloning — 5–30 s clean clip
speech speak "This is a cloned voice." \
--engine voxcpm2 \
--voxcpm2-variant int8 \
--voice-sample speaker.wav \
--output clone.wavČti dál.
Každá CLI vlajka, každý generační mód, zodpovědné poznámky.
Srovnání cross- motoru: VoxCPM2, CosyVoice3 a Qwen3-TTS ICL.
Nainstalujte Soniqo na Apple Silicon a spusťte svou první syntézu.
Další příspěvky na on-zařízení řeči, jak přistávají.