โมเดล Speech-to-Speech

Soniqo รองรับโมเดล native MLX สำหรับการสนทนา speech-to-speech สองตระกูล ได้แก่ PersonaPlex 7B และ VoiceChat 11B ทั้งสองรับเสียงพูดและสร้างเสียงของโมเดลโดยตรง แต่ใช้สถาปัตยกรรม duplex และสัญญา runtime ต่างกัน

เลือกโมเดล

โมเดลเหล่านี้เป็น speech-to-speech สำหรับการสนทนา Hibiki ก็แปลงเสียงพูดเป็นเสียงพูดโดยตรง แต่มีหน้าที่แปลเสียงพูดแบบ streaming จึงแยกเอกสารไว้ต่างหาก

PersonaPlex 7B

โมเดล speech-to-speech บทสนทนาแบบฟูล-ดูเพล็กซ์ ที่ใช้สถาปัตยกรรม Moshi (Kyutai) PersonaPlex 7B สร้างคำตอบที่พูดได้โดยตรงจากอินพุตที่เป็นเสียงพูด — ไม่จำเป็นต้องมี pipeline ข้อความตรงกลาง โมเดลมาพร้อมพรีเซ็ตเสียง 18 ตัวและพร้อมใช้ในรูปแบบที่ลดความละเอียดเป็น 8-bit (แนะนำ) และ 4-bit 8-bit เป็นค่าเริ่มต้น — เร็วกว่า 30% และสร้างคำตอบที่สอดคล้องกัน ในขณะที่ 4-bit จะลดคุณภาพเอาต์พุต

VoiceChat 11B

เอกสารอ้างอิง duplex speech-to-speech: SALM-Duplex: Efficient and Direct Duplex Modeling for Speech-to-Speech Language Model (Interspeech 2025) ซึ่ง model card VoiceChat ต้นทางของ NVIDIA อ้างอิง

M5 Pro, 48 GB, Release, จังหวะ live 80 ms, INT5 แบบ protected-head: การรันแบบควบคุมสามครั้งวัด whole-pipeline RTF ได้ 0.94, 0.92 และ 0.92 โดยมี RSS สูงสุดประมาณ 8.70 GB ข้อความพูดแรกมาใน 44.3–46.7 ms และเสียงแรกที่เล่นได้มาใน 74.0–76.4 ms ตัวเลขเหล่านี้คือเวลา compute หลัง warm-up ไม่ใช่ latency การผลัดกันพูดที่เรียนรู้ และยังไม่ได้วัด performance ของ INT8 หลัง optimize ซ้ำ

VoiceChat คือ runtime เสียงพูดสู่เสียงพูดแบบ native MLX อีกตัวใน speech-swift โดยรวมการรับรู้ FastConformer แบบ causal, ช่องข้อความ/ฟังก์ชัน duplex ของ Nemotron-H, EAR-TTS แบบกำหนดเงื่อนไขด้วยข้อความที่แยกอิสระ และ neural codec 22.05 kHz Session รับเสียง mono 16 kHz อย่างต่อเนื่อง และส่ง text event พร้อม output frame 1,764 samples ทุก 80 ms

โหลดด้วย VoiceChatModel.load(from:) เริ่ม VoiceChatSession และป้อนเสียงผ่าน pushAudio Bundle แบบเต็มต้องมี encoder/, llm/ และ tts/; bundle รุ่นเก่าที่มีเฉพาะส่วนความเข้าใจจะถูกปฏิเสธ

สถาปัตยกรรมและการใช้งาน PersonaPlex

PersonaPlex เป็นโมเดล autoregressive แบบหลายสตรีมที่มีส่วนประกอบหลัก 3 ส่วน:

โมเดลประมวลผล 17 สตรีม พร้อมกัน: 1 สตรีมข้อความ + 8 สตรีมเสียงผู้ใช้ + 8 สตรีมเสียงเอเจนต์ สถาปัตยกรรมนี้รองรับบทสนทนาแบบฟูล-ดูเพล็กซ์ที่โมเดลสามารถฟังและพูดได้ในเวลาเดียวกัน

พรีเซ็ตเสียง

PersonaPlex มาพร้อมพรีเซ็ตเสียง 18 ตัวในสไตล์ที่เป็นธรรมชาติและหลากหลาย:

ความคิดภายใน (Inner Monologue)

PersonaPlex สร้างสตรีมขนานสองสตรีมในทุกขั้นตอน: 8 codebook token เสียงสำหรับ codec Mimi และ 1 text token สำหรับ inner monologue ของโมเดล สตรีมข้อความคือสิ่งที่โมเดล “กำลังคิด” ขณะพูด — อาจเบี่ยงเบนเล็กน้อยจากเสียงสุดท้าย แต่ในทางปฏิบัติจะสะท้อนคำตอบที่พูดได้ใกล้พอที่จะใช้เป็นบทถอดความสด

Text token จะกลับมาเป็น raw SentencePiece piece ID ถอดรหัสด้วย SentencePieceDecoder ที่ PersonaPlex ปล่อยมาด้วย:

import PersonaPlex
import AudioCommon

let model = try await PersonaPlexModel.fromPretrained()
let decoder = model.tokenizer  // SentencePieceDecoder?

let result = model.respond(userAudio: userSamples, voice: .NATM0)
let transcript = decoder?.decode(result.textTokens) ?? ""
print(transcript)        // "Sure, I can help with that..."
playAudio(result.audio)  // 24 kHz mono Float32

ในโหมด streaming, respondStream จะปล่อย textTokens chunk ทีละชุดเมื่อถูกสร้างขึ้น — ถอดรหัสทีละขั้นเพื่อขับเคลื่อนหน้า caption แบบสดในขณะที่เสียงยังคงสร้างอยู่ แฟล็ก --transcript CLI ทำสิ่งนี้เบื้องหลังพอดี

เหตุใดเรื่องนี้จึงสำคัญ: SentencePieceDecoder สร้างขึ้นบน protobuf reader ของ AudioCommon.SentencePieceModel ที่ใช้ร่วมกัน ดังนั้น PersonaPlex, OmnilingualASR และโมเดลที่ใช้ SentencePiece อนาคตจึงถอดรหัสผ่าน tokenizer แบบเดียวกัน ดู เอกสารอ้างอิง SentencePieceModel

System Prompt

ส่ง system prompt แบบกำหนดเองใด ๆ เป็นสตริงธรรมดา — ไม่จำเป็นต้องใช้ tokenization ภายนอก:

let response = model.respond(
    userAudio: audio,
    voice: .NATM0,
    systemPrompt: "You enjoy having a good conversation."
)

หรือใช้พรีเซ็ตในตัว:

• assistant — ผู้ช่วยอเนกประสงค์ที่เป็นประโยชน์ (ค่าเริ่มต้น)
• focused — คำตอบที่กระชับและตรงไปตรงมา
• customer-service — เจ้าหน้าที่สนับสนุนที่สุภาพและเน้นการแก้ปัญหา
• teacher — สไตล์การสอนที่อดทนและอธิบายชัดเจน

การใช้งาน CLI

สร้างคำตอบเป็นเสียงพูดจากอินพุตเสียง:

# Basic speech-to-speech
.build/release/speech respond --input question.wav

# Choose a voice preset
.build/release/speech respond --input question.wav --voice NATM0

# Stream audio output during generation
.build/release/speech respond --input question.wav --stream

# Custom system prompt text
.build/release/speech respond --input question.wav --system-prompt-text "You enjoy having a good conversation."

# Use a preset system prompt
.build/release/speech respond --input question.wav --system-prompt customer-service

# Get transcript alongside audio
.build/release/speech respond --input question.wav --transcript

# JSON output with metadata
.build/release/speech respond --input question.wav --json

ตัวเลือก

พารามิเตอร์การสุ่มสามารถเขียนทับได้:

Streaming

แฟล็ก --stream เปิดใช้งานเอาต์พุตเสียงแบบเรียลไทม์ Chunk เสียงจะถูกปล่อยออกมาเมื่อถูกสร้างขึ้น ดังนั้นการเล่นจึงเริ่มต้นได้ก่อนที่คำตอบจะเสร็จสมบูรณ์ มีประโยชน์อย่างยิ่งสำหรับแอปพลิเคชันแบบโต้ตอบที่หน่วงต่ำเป็นสิ่งสำคัญ

ประสิทธิภาพ

รุ่นย่อยของโมเดล

API Swift

import PersonaPlex
import AudioCommon

let model = try await PersonaPlexModel.fromPretrained()
let response = model.respond(
    userAudio: userSamples,
    voice: .NATM0,
    systemPrompt: "You are a helpful assistant."
)
try WAVWriter.write(samples: response.audio, sampleRate: 24000, to: URL(filePath: "answer.wav"))