ترجمة آلية · النص الأصلي بالإنجليزية
Clef-flash: قرارات محلية في Swift
معاينة التطوير. دعم النص المحلي قيد التطوير ولم يتم إصداره في speech-swift.
يقوم Clef-flash بقراءة حالة ومجموعة من الأسئلة، ثم تقييم الإجابات المسموح بها معًا. يقوم وحدة Swift بتشغيل نموذج الـ 9B محليًا على Apple Silicon باستخدام MLX وأوزان النموذج بدقة 4-bit. لا يتم استخدام عملية Python أو API مستضاف أثناء الاستدلال.
استخدم من Swift
import Clef
let model = try await Clef.fromPretrained()
let result = try model.decide(
state: "Please turn the kitchen lights on.",
questions: [
ClefQuestion(id: "action", instructions: "Which action?",
kind: .choice(["on": "Lights on", "off": "Lights off", "other": "Other"])),
ClefQuestion(id: "urgent", instructions: "Is this urgent?", kind: .noul())
])
print(result.decisions[0].probabilities)
تعود أسئلة الاختيارات باحتمالات لكل خيار. تسأل noul عن احتمال الحقيقة. تسأل سؤال النقاط عن قائمة مرتبة مثل .score(["normal", "urgent"]) وتعيد الفهرس الصفر المتوقع. لا ينفذ المعالج الأوامر.
سطر الأوامر
speech clef decide request.json
speech clef decide request.json --model-dir /path/to/Clef-flash-9B-MLX-4bit
speech clef decide request.json --offline --max-tokens 4096
النموذج الافتراضي هو aufklarer/Clef-flash-9B-MLX-4bit. يقوم الأمر الأول بتنزيله إذا لزم الأمر. استخدم مجلدًا محليًا أو علامة الإيقاف عن بعد لتجنب التنزيل.
أمر مستقل
swift build -c release --product clef-decide --disable-sandbox
scripts/build_mlx_metallib.sh release
.build/release/clef-decide /path/to/clef-flash-mlx-4bit request.json
{"state":"Turn the lights on.","questions":[
{"id":"action","type":"choice","instructions":"Which action?",
"choices":{"on":"Lights on","off":"Lights off","other":"Other"}}
]}
تتضمن المخرجات الاحتمالات، عدد الرموز المدخلة، ووقت القرار باستثناء تحميل النموذج. يقبل الأمر مصفوفة أسئلة مرتبة؛ إنه ليس نقطة نهاية SystemOne HTTP.
كيف يعمل
يقرأ العمود الفقري Qwen3.5 النص والمخطط. يركز رأس القرار المشترك على هذا السياق، ويسمح للأسئلة بالتفاعل، ويجمع بين النتائج السياقية مع ما قبل من تضميلات مخرجات النموذج. يقوم بتقييم الخيارات مباشرة بدلاً من توليد رمز إجابة JSON حرفًا بحرف.
المتطلبات والحدود
- Apple Silicon، macOS 15+، و MLX. التصدير الأفيني 4-bit المدعوم يبلغ حوالي 5.3 جيجابايت؛ ذاكرة التشغيل الإضافية.
- النص فقط. الصور، الفيديو، نموذج Clef البالغ 27B، وتنسيقات الأوزان الأخرى غير مدعومة.
- استخدم كل مثيل على التوالي. الحد الافتراضي هو 4096 رمزًا مشفرًا، قابل للتعديل إلى 16384؛ تفشل الطلبات الكبيرة بدلاً من قص الحالة صامتًا.
- الاحتمالات ليست ضمانات معايرة. حافظ على فصل تنفيذ الأمر والتأكيد عن تقييم النموذج.
- أُعلن عن زمن الكمون المضاف في الاستضافة وليس قياسًا لتنفيذ Swift المحلي هذا.
تحقق محلي
تحديث أكتوبر 3: متوسط تشغيلين جديدين يتكون كل منهما من عشرين تكرارًا دافئًا يبلغ حوالي 276 مللي ثانية لنفس طلب الـ 303 رمزًا المكون من ثلاثة حقول (المدفوع الملاحظ 274–284 مللي ثانية)، باستثناء تحميل النموذج. كان التشغيل السابق البالغ 291 مللي ثانية أدناه يوفر قياسات RSS و footprint الفيزيائية المنفصلة. هذا هو طلب نص مكرر واحد؛ لم يتم قياس التعرف على الكلام، ومخرجات الكلام، والاستدلال البصري.
على جهاز M5 Pro بذاكرة موحدة سعتها 48 GB، بلغ متوسط عشرين تشغيلًا بعد الإحماء لنفس الطلب، المؤلف من 303 رموز وثلاثة حقول، 0.291 ثانية (الوسيط 0.290؛ النطاق 0.280–0.299)، من دون احتساب تحميل النموذج. أدت عمليات GPU الأصلية وتقسيم العمل إلى أجزاء من 512 رمزًا إلى خفض المتوسط الأصلي البالغ 0.921 ثانية بنحو 68%، مع بقاء الأوزان والإجابات المختارة دون تغيير. بلغت ذروة RSS للعملية 5.11 GiB؛ وبلغت ذروة استهلاك الذاكرة التي يحتسبها macOS للعملية 6.81 GiB. لا يعكس RSS وحده كل استخدامات الذاكرة الموحدة. وقد تتطلب المدخلات الأطول ذاكرة أكبر. في اختبار لاحق للتحقق من صحة النتائج، تراوح الزمن بين 462–897 ms أثناء تشغيل تطبيقات أخرى، لذلك لا يمثل متوسط 291 ms ضمانًا لزمن استجابة ثابت. هذه قياسات أثناء التطوير لطلب واحد متكرر، وليست اختبارًا شاملًا للجودة. تطابقت معرّفات الرموز المرجعية البالغ عددها 303 كلها، وبلغ أكبر فرق في الاحتمالات عن مرجع Python نحو 0.00266.