Klonowanie głosu przy 48 kHz
VoxCPM2.

Nowy model TTS właśnie wylądował w Soniqo. Działa on na twoim laptopie, wychodzi studio- jakości 48 kHz audio, i klonuje głos z jednego krótkiego klipu. Ten post przechodzi przez to, co można zbudować z nim, trzy sposoby pozwala klonować głos, i przyjazne spojrzenie na to, jak model działa wewnątrz.

English Filipino (Tagalog)Italiano Bahasa IndonesiaPolskiNederlands Svenska עברית Norsk bokmål Dansk Română Čeština Suomi Español Deutsch Français Português Русский 中文日本語 한국어 हिन्दी العربية Tiếng Việt Türkçe ไทย

Co można zbudować

Cztery rzeczy, które się zmieniają, gdy klonowanie działa lokalnie.

Uruchomienie klonowania na urządzeniu odblokowuje cztery właściwości naraz - prywatność, wykorzystanie w trybie offline, brak kosztów połączeń i pełne prawo głosu. Każde z nich otwiera klasę produktu, który jest niezręczny, aby zbudować inny sposób.

Osobiste audiobook narrators

Zapis 30 sekund czytania rodzica. Aplikacja audiobook następnie opisuje każdy rozdział w ich głosie - to samo ciepło, ten sam akcent, generowane lokalnie każda sesja.

Wielojęzyczna zawartość twórcy

YouTubers i podcasters zachować jeden spójny głos w 30 językach. Nagrać raz w języku angielskim, wysłać ten sam odcinek w języku japońskim, hiszpańskim i Hindi bez obsady wokalnej.

Dostępność i bankowość głosowa

Ludzie, którzy mają do czynienia ze stratą głosu, mogą w krótkim klipie zaliczyć swój głos i mówić za pomocą technologii wspomagającej, która brzmi podobnie do nich - nie jak ogólny silnik TTS.

Głosy produktów na żądanie

Opisz głos jaki chcesz - "młoda kobieta, delikatna i ciepła" - i model projektuje go bez zapisu odniesienia. Przydatne do gry NPC, kiosku prompts, lub A / B testing markowe głosy.

Urządzenie pokładowe vs host

Jak porównuje się VoxCPM2 z ElevenLabs.

ElevenLabs jest oczywistą alternatywą cloud- API. Trade-off jest to, co działa gdzie - i kto jest właścicielem głosu później.

Dla produktów, które potrzebują gwarancji prywatności, operacji offline lub zerowego kosztu wywołania, klonowanie na urządzeniu jest jedyną opcją - każde połączenie ElevenLabs wysyła audio na swoje serwery.

	VoxCPM2 (Soniqo)	ElevenLabs
Where it runs	Na urządzeniu użytkownika	Hosted API
Audio opuszcza urządzenie	Nie.	Tak (wysłane do ElevenLabs)
Wykorzystanie offline	Tak.	Nie (wymaga internetu)
Koszty połączeń międzysystemowych	Brak	Rozliczanie znaków
Wzór pozwolenia	Apache 2.0, wagi otwarte	Tylko SaaS
Maksymalna częstotliwość próbkowania wyjściowego	48 kHz	48 kHz (poziom progowy i powyżej)
Języki	30	29 (Wielojęzyczny v2) · 70+ (11 v3)
Wymagany klip referencyjny	5- 30 s	1 min (Instant) · 30 min (Professional)
Projektowanie głosu z tekstu	Tak.	Tak.

Oba silniki osiągają wartość 48 kHz; oba obsługują podobny język do codziennego klonowania; oba odsłaniają design głosu z opisu tekstu. Prawdziwą różnicą jest to, czy dźwięk kiedykolwiek opuści urządzenie.

Trzy tryby klonowania

Jeden model, trzy wejścia.

Model jest taki sam w każdym wywołaniu. Co zmienia to, jakie argumenty podajesz - to decyduje, czy projektujesz głos z opisu, kopiujesz nagrany lub zachowujesz akcent.

Projektowanie głosu

Kiedy nie masz nagrania odniesienia.

Opisz głos w języku naturalnym. Model wybiera odpowiedni głos i pozostaje spójny w różnych połączeniach.

let audio = try await tts.generateVoxCPM2(
    text: "Welcome to the show.",
    instruct: "A young woman, gentle and warm voice."
)

Klonowanie referencyjne

Kiedy masz krótki klip z głośnika docelowego.

Przekaz wszelkich 5- 30 s czystej mowy. Model kopiuje barwę i rytm i syntezuje nowy tekst w tym głosie.

let ref = try AudioFileLoader.load(
    url: URL(fileURLWithPath: "speaker.wav"),
    targetSampleRate: 16000
)
let audio = try await tts.generateVoxCPM2(
    text: "This is a cloned voice.",
    refAudio: ref
)

Ostateczne klonowanie

Kiedy głośnik ma charakterystyczny akcent i chcesz go zachować.

Podaj klip I jego transkrypcję. Model może teraz ustawić funkcje akustyczne z fonemami - akcent i wybór samogłoski przenosić.

let audio = try await tts.generateVoxCPM2(
    text: "Hello from the cloned voice.",
    refAudio: ref,
    promptText: "this is what the reference clip actually said",
    promptAudio: ref
)

Ten sam szczelina wejściowy, wypełniony różnymi częściami. Model nigdy nie widzi flagi - czyta sekwencję.

Pod maską.

Jak VoxCPM2 produkuje dźwięk.

Nie musisz tego wiedzieć, żeby użyć modelu, ale jeśli jesteś ciekaw skąd pochodzi 48 kHz - oto jest.

Rurociąg zaczyna się od koder lokalny (LocEnc) który zabezpiecza znaczniki tekstowe i (opcjonalne) odniesienia audio do jednego strumienia wektorów. TSLM - model językowy 28- warstwa MiniCPM-4, który decyduje, co audio "patch" powinien być następny, tak samo jak tekst LM wybiera następny token. RALM Ulepsza każdy plaster.

Do tego punktu wszystko jest transformatorem. Ciekawym twistem jest LocDiT: zamiast wybierać ze stałego słownika dyskretnych dźwiękowych żetonów, działa to mały proces dyfuzji, aby malować utajony dźwięk w każdym szczelinie. Brak dyskretnego kodeka oznacza brak wąskich gardeł kwantyfikacyjnych - co pozwala na finalną fazę, AudioVAE V2, dekodować bezpośrednio do 48 kHz. Każdy inny silnik na urządzeniu w tym stosie góruje na 24 KHz.

Warto zauważyć, że autoregresywny LM jest świetny w podejmowaniu decyzji, co powinno być następne (treść, rytm, długość); dyfuzja jest świetna w malowaniu akustycznych detali (faza, spektrum). VoxCPM2 pozwala każdemu robić to, w czym jest dobry. Dlatego model posiada swoje własne tylko parametry 2B - architektura zarabia na jakość percepcyjną, a nie wielkość.

Gazeta

Przeczytaj oryginalne badania.

VoxCPM: Tokenizer-Free TTS for Context-Aware Speech Generation and True-to-Life Voice Cloning

OpenBMB · arXiv:2509.24650 · Sept 2025

Widok na arXiv

Zespoły

Trzy rozmiary. Wybierz przy budżecie dysku.

Wszystkie trzy pakiety działają w tej samej architekturze, różnią się tylko tym, jak agresywnie model językowy jest kwantyfikowany. int8 jest zalecaną domyślną - pasuje do gazociągu Python na podstawie punktu odniesienia 8- zdanie, podczas gdy jest szybszy i 40% mniejszy niż bf16.

Paleta	Rozmiar	Najlepsze dla
bf16	~5.0 GB	Odniesienie / debugowanie.
int8 domyślne	~3.0 GB	Codziennie klonowanie, audiobooki, podcasty.
int4	~1.9 GB	Rozmieszczanie dysków.

Spróbuj.

Z CLI.

# Voice design — no reference clip
speech speak "Welcome to the show." \
    --engine voxcpm2 \
    --voxcpm2-instruct "A young woman, gentle and warm voice." \
    --output design.wav

# Reference cloning — 5–30 s clean clip
speech speak "This is a cloned voice." \
    --engine voxcpm2 \
    --voxcpm2-variant int8 \
    --voice-sample speaker.wav \
    --output clone.wav

Gdzie dalej