Speech-to-Speech-Modelle

Soniqo unterstützt zwei native MLX-Modellfamilien für Sprachdialoge: PersonaPlex 7B und VoiceChat 11B. Beide nehmen Sprache auf und erzeugen Modell-Audio direkt, verwenden aber unterschiedliche Duplex-Architekturen und Laufzeitverträge.

Modell auswählen

Dies sind dialogorientierte Speech-to-Speech-Modelle. Hibiki bildet Sprache ebenfalls direkt auf Sprache ab, ist aber für Streaming-Sprachübersetzung bestimmt und daher separat dokumentiert.

PersonaPlex 7B

Vollduplex-Sprache-zu-Sprache-Dialogmodell basierend auf der Moshi-Architektur (Kyutai). PersonaPlex 7B erzeugt gesprochene Antworten direkt aus gesprochener Eingabe — keine zwischengeschaltete Text-Pipeline nötig. Das Modell wird mit 18 Stimmvoreinstellungen ausgeliefert und ist in 8-Bit (empfohlen) und 4-Bit-Quantisierung verfügbar. 8-Bit ist der Standard — es ist 30 % schneller und erzeugt kohärente Antworten, während 4-Bit die Ausgabequalität verschlechtert.

VoiceChat 11B

Duplex-Speech-to-Speech-Referenz: SALM-Duplex: Efficient and Direct Duplex Modeling for Speech-to-Speech Language Model (Interspeech 2025), zitiert in NVIDIAs Upstream-VoiceChat-Modellkarte.

M5 Pro, 48 GB, Release, 80-ms-Live-Takt, INT5 mit geschützten Heads: Drei kontrollierte Läufe maßen für den Gesamtpfad RTF 0.94, 0.92 und 0.92 bei etwa 8.70 GB Peak-RSS. Der erste gesprochene Text erschien nach 44.3–46.7 ms, das erste abspielbare Audio nach 74.0–76.4 ms. Das sind Rechenwerte im Warmzustand, keine erlernte Turn-Taking-Latenz; die optimierte INT8-Leistung wurde noch nicht neu gemessen.

VoiceChat ist die zweite native MLX-Sprache-zu-Sprache-Laufzeit in speech-swift. Sie kombiniert kausale FastConformer-Wahrnehmung, Nemotron-H-Duplex-Text-/Funktionskanäle, eigenständiges textkonditioniertes EAR-TTS und einen neuronalen 22,05-kHz-Codec. Eine Sitzung nimmt fortlaufend 16-kHz-Mono-Audio an und liefert alle 80 ms Textereignisse sowie einen Ausgabeframe mit 1.764 Samples.

Lade mit VoiceChatModel.load(from:), starte eine VoiceChatSession und übergib Audio mit pushAudio. Ein vollständiges Bundle muss encoder/, llm/ und tts/ enthalten; ältere reine Verständnis-Bundles werden abgelehnt.

PersonaPlex: Architektur und Verwendung

PersonaPlex ist ein autoregressives Multi-Stream-Modell mit drei Kernkomponenten:

Das Modell verarbeitet 17 Streams gleichzeitig: 1 Text-Stream + 8 Benutzer-Audio-Streams + 8 Agent-Audio-Streams. Diese Architektur ermöglicht Vollduplex-Gespräche, bei denen das Modell gleichzeitig zuhören und sprechen kann.

Stimmvoreinstellungen

PersonaPlex enthält 18 eingebaute Stimmvoreinstellungen in natürlichen und abwechslungsreichen Stilen:

Inner Monologue

PersonaPlex erzeugt bei jedem Schritt zwei parallele Streams: 8 Audio-Codebook-Tokens für den Mimi-Codec und ein Text-Token für den inneren Monolog des Modells. Der Text-Stream ist das, was das Modell „denkt“, während es spricht — er kann leicht vom finalen Audio abweichen, spiegelt in der Praxis jedoch die gesprochene Antwort eng genug wider, um als Live-Transkript verwendet zu werden.

Die Text-Tokens kommen als rohe SentencePiece-Piece-IDs zurück. Dekodiere sie mit dem SentencePieceDecoder, den PersonaPlex mitliefert:

import PersonaPlex
import AudioCommon

let model = try await PersonaPlexModel.fromPretrained()
let decoder = model.tokenizer  // SentencePieceDecoder?

let result = model.respond(userAudio: userSamples, voice: .NATM0)
let transcript = decoder?.decode(result.textTokens) ?? ""
print(transcript)        // "Sure, I can help with that..."
playAudio(result.audio)  // 24 kHz mono Float32

Im Streaming-Modus emittiert respondStream textTokens-Chunks, sobald sie erzeugt werden — dekodiere sie inkrementell, um eine Live-Untertitelansicht zu treiben, während das Audio noch generiert wird. Das CLI-Flag --transcript macht hinter den Kulissen genau das.

Warum das wichtig ist: SentencePieceDecoder baut auf dem gemeinsamen Protobuf-Reader AudioCommon.SentencePieceModel auf, sodass PersonaPlex, OmnilingualASR und jedes künftige SentencePiece-basierte Modell über dieselbe Tokenizer-Implementierung dekodieren. Siehe die SentencePieceModel-Referenz.

System-Prompts

Gib einen beliebigen benutzerdefinierten System-Prompt als reinen String weiter — keine externe Tokenisierung nötig:

let response = model.respond(
    userAudio: audio,
    voice: .NATM0,
    systemPrompt: "You enjoy having a good conversation."
)

Oder verwende eine eingebaute Voreinstellung:

• assistant — Allzweck-Assistent (Standard)
• focused — Prägnante, direkte Antworten
• customer-service — Höflicher, lösungsorientierter Support-Agent
• teacher — Geduldiger, erklärender Lehrstil

CLI-Verwendung

Erzeuge eine gesprochene Antwort aus einer Audioeingabe:

# Basic speech-to-speech
.build/release/speech respond --input question.wav

# Choose a voice preset
.build/release/speech respond --input question.wav --voice NATM0

# Stream audio output during generation
.build/release/speech respond --input question.wav --stream

# Custom system prompt text
.build/release/speech respond --input question.wav --system-prompt-text "You enjoy having a good conversation."

# Use a preset system prompt
.build/release/speech respond --input question.wav --system-prompt customer-service

# Get transcript alongside audio
.build/release/speech respond --input question.wav --transcript

# JSON output with metadata
.build/release/speech respond --input question.wav --json

Optionen

Sampling-Parameter können ebenfalls überschrieben werden:

Streaming

Das Flag --stream aktiviert Echtzeit-Audio-Ausgabe. Audio-Chunks werden ausgegeben, sobald sie generiert werden, sodass die Wiedergabe beginnen kann, bevor die vollständige Antwort fertig ist. Das ist besonders nützlich für interaktive Anwendungen, bei denen niedrige Latenz zählt.

Leistung

Modellvarianten

Swift-API

import PersonaPlex
import AudioCommon

let model = try await PersonaPlexModel.fromPretrained()
let response = model.respond(
    userAudio: userSamples,
    voice: .NATM0,
    systemPrompt: "You are a helpful assistant."
)
try WAVWriter.write(samples: response.audio, sampleRate: 24000, to: URL(filePath: "answer.wav"))