محادثة Qwen3.5 (LLM على الجهاز)

Qwen3.5-0.8B نموذج هجين يجمع بين DeltaNet (الانتباه الخطّي) وGatedAttention، يتألّف من 24 طبقة (18 طبقة DeltaNet + 6 طبقات GatedAttention)، مُكمَّم إلى INT4 لـ MLX (وحدة معالجة الرسوم Metal) وINT8 لـ CoreML (Neural Engine). يعمل على Mac عبر MLX، وعلى iPhone وMac عبر CoreML مع توليد رموز بالبثّ. مُصمَّم لخطوط أنابيب الصوت التي يوفّر فيها LLM على الجهاز "العقل" بين ASR وTTS.

بداية سريعة

import Qwen3Chat

let chat = try await Qwen35MLXChat.fromPretrained()

// Single response
let response = try chat.generate("What is Swift?", systemPrompt: "Answer briefly.")
print(response)

// Streaming tokens
let stream = chat.chatStream("Tell me a joke", systemPrompt: "Be funny.")
for try await token in stream {
    print(token, terminator: "")
}

البنية المعمارية

Qwen3.5-0.8B نموذج هجين بـ 24 طبقة: 18 طبقة DeltaNet (انتباه خطّي مع تكرار قاعدة دلتا مبوَّبة gated delta rule وRMSNormGated) و6 طبقات GatedAttention (انتباه قياسي scaled dot-product). يُجري الواجهة الخلفية لـ MLX الاستدلال على وحدة معالجة الرسوم Metal بأوزان safetensors. وتستخدم الواجهة الخلفية لـ CoreML بنية نموذج مزدوج (prefill + decode) مُحسَّنة لـ Neural Engine. كلاهما يدعم ذاكرة KV cache مع prompt caching وأخذ عيّنات قابلًا للتهيئة (temperature، top-k، top-p، repetition penalty).

مدخلات/مخرجات النموذج

متغيّرات النموذج

إعدادات أخذ العيّنات

let config = ChatSamplingConfig(
    temperature: 0.7,
    topK: 40,
    topP: 0.9,
    maxTokens: 128,
    repetitionPenalty: 1.1,
    disableThinking: false,
    maxThinkingTokens: 50
)
let response = try chat.generate("Explain gravity", sampling: config)

حوار متعدّد الأدوار

let chat = try await Qwen35MLXChat.fromPretrained()

let r1 = try chat.generate("My name is Alex", systemPrompt: "Remember the user's name.")
print(r1)  // "Nice to meet you, Alex!"

let r2 = try chat.generate("What's my name?")
print(r2)  // "Your name is Alex!"

chat.resetConversation()  // Clear history and KV cache

إدارة الذاكرة

// Check memory state
print(chat.isLoaded)        // true
print(chat.memoryFootprint) // 438304768 (~418 MB)

// Free memory under pressure
chat.unload()
print(chat.isLoaded)        // false

// Reload when needed
let chat = try await Qwen35MLXChat.fromPretrained()

الأداء

التحويل

تُحوَّل أوزان MLX من نقطة تفتيش Qwen3.5-0.8B الأصلية باستخدام برنامج تحويل MLX النصّي. وتستخدم نماذج CoreML برنامج تحويل مستقلًّا للنشر على Neural Engine. تتوفّر الأوزان المحوَّلة مسبقًا على HuggingFace في aufklarer/Qwen3.5-0.8B-Chat-MLX (INT4: 418 MB) وaufklarer/Qwen3.5-0.8B-Chat-CoreML (INT8: 981 MB).