نماذج الكلام إلى الكلام

تدعم Soniqo عائلتين أصليتين عبر MLX للمحادثة من الكلام إلى الكلام: PersonaPlex 7B وVoiceChat 11B. يستقبل كلاهما الكلام ويولّد صوت النموذج مباشرةً، لكنهما يستخدمان بنيتين مختلفتين للازدواج وعقدين مختلفين للتشغيل.

اختر نموذجًا

هذه نماذج محادثة من الكلام إلى الكلام. يحوّل Hibiki الكلام إلى كلام مباشرةً أيضًا، لكن مهمته هي ترجمة الكلام المتدفقة، لذلك له دليل منفصل.

PersonaPlex 7B

نموذج حوار كلام إلى كلام ثنائي الاتجاه كامل مبني على بنية Moshi (Kyutai). يولّد PersonaPlex 7B ردودًا منطوقة مباشرةً من المدخل المنطوق — دون خط أنابيب نصّي وسيط. يأتي النموذج مع 18 إعدادًا صوتيًا مسبقًا، ومتوفّر بتكميم 8-bit (المُوصى به) و4-bit. إعداد 8-bit هو الافتراضي — فهو أسرع بنسبة 30 % وينتج ردودًا متماسكة، بينما يُضعف 4-bit جودة المخرجات.

VoiceChat 11B

مرجع speech-to-speech ثنائي الاتجاه: SALM-Duplex: Efficient and Direct Duplex Modeling for Speech-to-Speech Language Model ‏(Interspeech 2025)، كما تستشهد به بطاقة VoiceChat الأصلية من NVIDIA.

M5 Pro، ذاكرة 48 GB، Release، إيقاع حي 80 ms، ‏INT5 برؤوس محمية: قاست ثلاثة تشغيلات مضبوطة RTF للمسار الكامل قدره 0.94 و‏0.92 و‏0.92، مع ذروة RSS نحو 8.70 GB. تراوح وصول أول نص منطوق بين 44.3 و‏46.7 ms، وأول صوت قابل للتشغيل بين 74.0 و‏76.4 ms. هذه أرقام حساب بعد الإحماء، وليست زمن تبديل الأدوار المتعلّم؛ ولم يُعد قياس أداء INT8 المحسّن بعد.

VoiceChat هو runtime الآخر الأصلي عبر MLX لتحويل الكلام إلى كلام في speech-swift. يجمع إدراك FastConformer السببي، وقناتي النص/الوظيفة ثنائيتي الاتجاه في Nemotron-H، وEAR-TTS مستقلاً مشروطاً بالنص، ومرمّزاً عصبياً بتردد 22.05 kHz. تستقبل الجلسة باستمرار صوتاً أحادياً 16 kHz وتعيد أحداث النص وإطار خرج من 1,764 عينة كل 80 ms.

استخدم VoiceChatModel.load(from:)، وابدأ VoiceChatSession، ثم مرّر الصوت عبر pushAudio. يجب أن يحتوي bundle الكامل على encoder/ وllm/ وtts/؛ وتُرفض bundles القديمة الخاصة بالفهم فقط.

بنية PersonaPlex واستخدامه

PersonaPlex نموذج انحداري ذاتي متعدّد المسارات يضمّ ثلاثة مكوّنات أساسية:

يعالج النموذج 17 مسارًا في آنٍ واحد: مسار نصّي واحد + 8 مسارات صوتية للمستخدم + 8 مسارات صوتية للوكيل. تتيح هذه البنية محادثة ثنائية الاتجاه كاملة يمكن فيها للنموذج أن يستمع ويتحدّث في الوقت ذاته.

الإعدادات الصوتية المسبقة

يحتوي PersonaPlex على 18 إعدادًا صوتيًا مدمجًا بأساليب طبيعية ومتنوّعة:

المونولوج الداخلي

يولّد PersonaPlex مسارين متوازيين في كلّ خطوة: 8 رموز codebook صوتية لـ Mimi codec ورمز نصّي واحد للمونولوج الداخلي للنموذج. مسار النصّ هو ما “يفكّر” به النموذج أثناء حديثه — قد يتباعد قليلًا عن الصوت النهائي، لكنّه في الواقع يعكس الردّ المنطوق بدقّة كافية لاستخدامه تفريغًا مباشرًا.

تعود رموز النصّ على هيئة معرّفات قِطَع SentencePiece خام. فكّكها باستخدام SentencePieceDecoder الذي يأتي مع PersonaPlex:

import PersonaPlex
import AudioCommon

let model = try await PersonaPlexModel.fromPretrained()
let decoder = model.tokenizer  // SentencePieceDecoder?

let result = model.respond(userAudio: userSamples, voice: .NATM0)
let transcript = decoder?.decode(result.textTokens) ?? ""
print(transcript)        // "Sure, I can help with that..."
playAudio(result.audio)  // 24 kHz mono Float32

في وضع البثّ، يُصدر respondStream أجزاء textTokens فور إنتاجها — فكّكها تدريجيًا لتغذية عرض ترجمات حيّ بينما لا يزال الصوت يتولّد. يفعل خيار --transcript في الـ CLI هذا تمامًا خلف الكواليس.

لماذا هذا مهمّ: يُبنى SentencePieceDecoder على قارئ protobuf المشترك AudioCommon.SentencePieceModel، لذلك يفكّك PersonaPlex وOmnilingualASR وأيّ نموذج مستقبلي مبني على SentencePiece عبر نفس تنفيذ المُرمِّز. راجع مرجع SentencePieceModel.

تلقينات النظام

مرّر أيّ تلقين نظام مخصّص كسلسلة نصّية بسيطة — دون حاجة إلى ترميز خارجي:

let response = model.respond(
    userAudio: audio,
    voice: .NATM0,
    systemPrompt: "You enjoy having a good conversation."
)

أو استخدم إعدادًا مدمجًا:

• assistant — مساعد متعدّد الأغراض ومفيد (الافتراضي)
• focused — ردود موجزة ومباشرة
• customer-service — وكيل دعم مهذّب ومُوجَّه نحو الحلول
• teacher — أسلوب تعليمي صبور وتوضيحي

استخدام CLI

توليد ردّ منطوق من مُدخل صوتي:

# Basic speech-to-speech
.build/release/speech respond --input question.wav

# Choose a voice preset
.build/release/speech respond --input question.wav --voice NATM0

# Stream audio output during generation
.build/release/speech respond --input question.wav --stream

# Custom system prompt text
.build/release/speech respond --input question.wav --system-prompt-text "You enjoy having a good conversation."

# Use a preset system prompt
.build/release/speech respond --input question.wav --system-prompt customer-service

# Get transcript alongside audio
.build/release/speech respond --input question.wav --transcript

# JSON output with metadata
.build/release/speech respond --input question.wav --json

الخيارات

يمكن أيضًا تعديل معاملات الاعتيان:

البثّ

يُفعِّل خيار --stream إخراج الصوت في الزمن الحقيقي. تُصدَر أجزاء الصوت بمجرّد توليدها، فيمكن بدء التشغيل قبل اكتمال الردّ كاملًا. وهذا مفيد بشكل خاصّ للتطبيقات التفاعلية التي يهمّ فيها الزمن المنخفض.

الأداء

متغيّرات النموذج

واجهة Swift

import PersonaPlex
import AudioCommon

let model = try await PersonaPlexModel.fromPretrained()
let response = model.respond(
    userAudio: userSamples,
    voice: .NATM0,
    systemPrompt: "You are a helpful assistant."
)
try WAVWriter.write(samples: response.audio, sampleRate: 24000, to: URL(filePath: "answer.wav"))