Eine Stimme mit 48 kHz klonen
mit VoxCPM2.

Ein neues TTS-Modell ist gerade in Soniqo gelandet. Es läuft auf deinem Laptop, gibt Audio in Studioqualität mit 48 kHz aus und klont eine Stimme aus einem einzigen kurzen Clip. Dieser Beitrag zeigt, was du damit bauen kannst, die drei Wege, eine Stimme zu klonen, und einen freundlichen Blick darauf, wie das Modell innen funktioniert.

English EspañolDeutschFrançais Português Русский 中文日本語 한국어 हिन्दी العربية Tiếng Việt Türkçe ไทย

Was du bauen kannst

Vier Dinge, die sich ändern, wenn Klonen lokal läuft.

Klonen auf dem Gerät schaltet vier Eigenschaften auf einmal frei — Privatsphäre, Offline-Nutzung, keine Kosten pro Aufruf und volle Stimmhoheit. Jede öffnet eine Produktklasse, die anders nur umständlich zu bauen ist.

Persönliche Hörbuchsprecher

Nimm 30 Sekunden auf, in denen ein Elternteil vorliest. Die Hörbuch-App erzählt dann jedes Kapitel in dessen Stimme — gleiche Wärme, gleicher Akzent, in jeder Sitzung lokal erzeugt.

Mehrsprachige Creator-Inhalte

YouTuber und Podcaster behalten eine konsistente Stimme über 30 Sprachen. Einmal auf Englisch aufnehmen und dieselbe Folge auf Japanisch, Spanisch und Hindi veröffentlichen — ohne Sprecher-Cast.

Barrierefreiheit & Stimm-Banking

Menschen mit drohendem Stimmverlust können ihre Stimme in einem kurzen Clip sichern und über assistive Technik weitersprechen, die nach ihnen klingt — nicht nach einer generischen TTS-Engine.

Produktstimmen auf Abruf

Beschreibe die gewünschte Stimme — "junge Frau, sanft und warm" — und das Modell entwirft sie ohne Referenzaufnahme. Nützlich für Spiele-NPCs, Kiosk-Ansagen oder A/B-Tests von Markenstimmen.

Auf dem Gerät vs. gehostet

Wie VoxCPM2 im Vergleich zu ElevenLabs abschneidet.

ElevenLabs ist die naheliegende Cloud-API-Alternative. Der Kompromiss ist, was wo läuft — und wem die Stimme danach gehört.

Für Produkte, die Datenschutzgarantien, Offline-Betrieb oder null Kosten pro Aufruf brauchen, ist Klonen auf dem Gerät die einzige Option — jeder ElevenLabs-Aufruf lädt Audio auf deren Server hoch.

	VoxCPM2 (Soniqo)	ElevenLabs
Wo es läuft	Auf dem Gerät des Nutzers	Gehostete API
Audio verlässt das Gerät	Nein	Ja (zu ElevenLabs hochgeladen)
Offline-Nutzung	Ja	Nein (braucht Internet)
Kosten pro Aufruf	Keine	Abrechnung pro Zeichen
Modell-Lizenz	Apache 2.0, offene Gewichte	Proprietär, nur SaaS
Max. Ausgabe-Abtastrate	48 kHz nativ	48 kHz (ab Pro-Stufe)
Sprachen	30	29 (Multilingual v2) · 70+ (Eleven v3)
Referenzclip nötig	5–30 s	1 min (Instant) · 30 min (Professional)
Stimmdesign aus Text	Ja	Ja

Beide Engines erreichen 48 kHz; beide unterstützen eine ähnliche Sprachbreite fürs alltägliche Klonen; beide bieten Stimmdesign aus einer Textbeschreibung. Der echte Unterschied ist, ob das Audio je das Gerät verlässt.

Drei Klon-Modi

Ein Modell, drei Wege hinein.

Das Modell ist bei jedem Aufruf dasselbe. Was sich ändert, sind die übergebenen Argumente — sie entscheiden, ob du eine Stimme aus einer Beschreibung entwirfst, eine aufgenommene kopierst oder einen Akzent bewahrst.

Stimmdesign

Wenn du keine Referenzaufnahme hast.

Beschreibe die Stimme in natürlicher Sprache. Das Modell wählt eine passende Stimme und bleibt über Aufrufe hinweg konsistent.

let audio = try await tts.generateVoxCPM2(
    text: "Welcome to the show.",
    instruct: "A young woman, gentle and warm voice."
)

Referenzklonen

Wenn du einen kurzen Clip des Zielsprechers hast.

Übergib beliebige 5–30 s sauberer Sprache. Das Modell kopiert Timbre und Rhythmus und synthetisiert neuen Text in dieser Stimme.

let ref = try AudioFileLoader.load(
    url: URL(fileURLWithPath: "speaker.wav"),
    targetSampleRate: 16000
)
let audio = try await tts.generateVoxCPM2(
    text: "This is a cloned voice.",
    refAudio: ref
)

Ultimatives Klonen

Wenn der Sprecher einen markanten Akzent hat und du ihn bewahren willst.

Übergib den Clip UND sein Transkript. Das Modell kann nun akustische Merkmale mit Phonemen abgleichen — Akzent und Vokalwahl bleiben erhalten.

let audio = try await tts.generateVoxCPM2(
    text: "Hello from the cloned voice.",
    refAudio: ref,
    promptText: "this is what the reference clip actually said",
    promptAudio: ref
)

Derselbe Eingabeslot, mit verschiedenen Teilen gefüllt. Das Modell sieht nie ein Flag — es liest die Sequenz.

Unter der Haube

Wie VoxCPM2 Audio erzeugt.

Vier zusammenarbeitende Module. Du musst nichts davon wissen, um das Modell zu nutzen, aber wenn du neugierig bist, woher die 48 kHz kommen — hier ist es.

Die Pipeline beginnt mit einem lokalen Encoder (LocEnc), der Text-Tokens und (optionales) Referenzaudio zu einem einzigen Vektorstrom verschmilzt. Dieser Strom speist das TSLM — ein 28-schichtiges MiniCPM-4-Sprachmodell, das entscheidet, welcher Audio-"Patch" als Nächstes kommt, so wie ein Text-LM das nächste Token wählt. Ein zweiter Durchlauf durch das RALM verfeinert jeden Patch.

Bis hierher ist alles ein Transformer. Der interessante Kniff ist das LocDiT: statt aus einem festen Vokabular diskreter Audio-Tokens zu wählen, führt es einen kleinen Diffusionsprozess aus, um das Audio-Latent in jedem Slot zu malen. Kein diskreter Codec bedeutet keinen Quantisierungs-Flaschenhals — und das ist es, was der letzten Stufe, AudioVAE V2, erlaubt, direkt zu 48 kHz zu dekodieren. Jede andere Engine auf dem Gerät in diesem Stack hört bei 24 kHz auf.

Die Aufteilung ist bemerkenswert: das autoregressive LM ist stark darin zu entscheiden, was als Nächstes kommen soll (Inhalt, Rhythmus, Länge); der Diffusionskopf ist stark darin, akustisches Detail zu malen (Phase, Spektrum). VoxCPM2 lässt jeden das tun, worin er gut ist. Deshalb behauptet sich das Modell mit nur 2B Parametern — die Architektur verdient die wahrgenommene Qualität, nicht die Größe.

Das Paper

Lies die Originalforschung.

VoxCPM: Tokenizer-Free TTS for Context-Aware Speech Generation and True-to-Life Voice Cloning

OpenBMB · arXiv:2509.24650 · Sept 2025

Auf arXiv ansehen

Bundles

Drei Größen. Wähle nach deinem Speicherbudget.

Alle drei Bundles laufen mit derselben Architektur; sie unterscheiden sich nur darin, wie aggressiv das Sprachmodell quantisiert ist. Das int8-Bundle ist der empfohlene Standard — es erreicht die upstream Python-Pipeline im 8-Sätze-Round-Trip-Benchmark und ist dabei schneller und 40% kleiner als bf16.

Bundle	Größe	Am besten für
bf16	~5.0 GB	Referenz / Debugging.
int8 Standard	~3.0 GB	Alltägliches Klonen, Hörbücher, Podcasts.
int4	~1.9 GB	Speicherbeschränkte Deployments.

Probier es

Über die CLI.

# Voice design — no reference clip
speech speak "Welcome to the show." \
    --engine voxcpm2 \
    --voxcpm2-instruct "A young woman, gentle and warm voice." \
    --output design.wav

# Reference cloning — 5–30 s clean clip
speech speak "This is a cloned voice." \
    --engine voxcpm2 \
    --voxcpm2-variant int8 \
    --voice-sample speaker.wav \
    --output clone.wav

Wie weiter