แปลด้วยเครื่อง · ต้นฉบับภาษาอังกฤษ
Clef-flash: การตัดสินใจแบบ local ใน Swift
Development preview. การรองรับข้อความบนอุปกรณ์กำลังอยู่ระหว่างการพัฒนาและยังไม่ได้เผยแพร่ใน speech-swift
Clef-flash อ่านสถานะและชุดคำถาม จากนั้นให้คะแนนคำตอบที่อนุญาตร่วมกัน โมดูล Swift ทำงานโมเดล 9B บน Apple Silicon แบบออฟไลน์ด้วย MLX และน้ำหนัก 4-bit ไม่มีการใช้กระบวนการ Python หรือ API ที่โฮสต์ระหว่างการอนุมาน
ใช้จาก Swift
import Clef
let model = try await Clef.fromPretrained()
let result = try model.decide(
state: "Please turn the kitchen lights on.",
questions: [
ClefQuestion(id: "action", instructions: "Which action?",
kind: .choice(["on": "Lights on", "off": "Lights off", "other": "Other"])),
ClefQuestion(id: "urgent", instructions: "Is this urgent?", kind: .noul())
])
print(result.decisions[0].probabilities)
คำถามแบบเลือกตอบจะคืนความน่าจะเป็นของแต่ละตัวเลือก คำถามแบบ noul จะคืนความน่าจะเป็นของข้อเท็จจริง คำถามแบบคะแนนจะรับรายการเรียงลำดับเช่น .score(["normal", "urgent"]) และคืนดัชนีแบบเริ่มจากศูนย์ที่คาดหวัง โมดูลนี้ไม่สั่งการ
บรรทัดคำสั่ง
speech clef decide request.json
speech clef decide request.json --model-dir /path/to/Clef-flash-9B-MLX-4bit
speech clef decide request.json --offline --max-tokens 4096
โมเดลค่าเริ่มต้นคือ aufklarer/Clef-flash-9B-MLX-4bit คำสั่งแรกจะดาวน์โหลดหากจำเป็น ใช้ไดเรกทอรีท้องถิ่นหรือแฟล็กแบบออฟไลน์เพื่อหลีกเลี่ยงการดาวน์โหลด
คำสั่งแบบแยกส่วน
swift build -c release --product clef-decide --disable-sandbox
scripts/build_mlx_metallib.sh release
.build/release/clef-decide /path/to/clef-flash-mlx-4bit request.json
{"state":"Turn the lights on.","questions":[
{"id":"action","type":"choice","instructions":"Which action?",
"choices":{"on":"Lights on","off":"Lights off","other":"Other"}}
]}
ผลลัพธ์รวมถึงความน่าจะเป็น จำนวนโทเค็นที่ป้อนเข้า และเวลาการตัดสินใจที่ไม่รวมเวลาโหลดโมเดล คำสั่งนี้รับอาร์เรย์คำถามแบบเรียงลำดับ; ไม่ใช่ SystemOne HTTP endpoint
การทำงานของมัน
แกนหลัง Qwen3.5 อ่านข้อความและโครงสร้างข้อมูล หัวตัดสินใจร่วมกันใส่ใจบริบทนั้น อนุญาตให้คำถามมีปฏิสัมพันธ์ และรวมคะแนนบริบทกับค่าก่อนหน้าจากเวกเตอร์ผลลัพธ์ของโมเดล มันให้คะแนนตัวเลือกโดยตรงแทนที่จะสร้างโทเค็นคำตอบ JSON ทีละตัว
ข้อกำหนดและข้อจำกัด
- Apple Silicon, macOS 15+ และ MLX การส่งออก 4-bit แบบ affine ที่รองรับมีขนาดประมาณ 5.3 GB; หน่วยความจำขณะทำงานเป็นค่าเพิ่มเติม
- เฉพาะข้อความเท่านั้น ไม่รองรับรูปภาพ วิดีโอ โมเดล Clef ขนาด 27B และรูปแบบน้ำหนักอื่นๆ
- ใช้แต่ละอินสแตนซ์แบบเรียงลำดับกัน ขีดจำกัดเริ่มต้นคือ 4096 โทเค็นที่เข้ารหัส ซึ่งสามารถปรับค่าเป็น 16384; คำขอที่มีขนาดเกินจะล้มเหลวแทนที่จะตัดสถานะออกอย่างเงียบๆ
- ความน่าจะเป็นไม่ใช่การรับประกันที่ปรับเทียบแล้ว ให้แยกการดำเนินการคำสั่งและการยืนยันออกจากคะแนนของโมเดล
- ความล่าช้าที่เผยแพร่บนโฮสต์ไม่ใช่การวัดของ Swift implementation แบบท้องถิ่นนี้
การตรวจสอบแบบท้องถิ่น
อัปเดต 3 ตุลาคม: การรันใหม่ 2 ครั้ง แต่ละครั้งทำซ้ำ 20 ครั้งโดยเฉลี่ยใช้เวลาประมาณ 276 ms สำหรับคำขอ 303 token ที่มี 3 ฟิลด์ (ช่วงที่สังเกตได้ 274–284 ms) โดยไม่รวมเวลาโหลดโมเดล การรัน 291 ms ด้านล่างได้ให้ค่าการวัด RSS และพื้นที่ทางกายภาพแยกกัน นี่คือคำขอข้อความที่ซ้ำกัน 1 ครั้ง; ไม่มีการวัดการรู้จำเสียง, การส่งออกเสียง, และการอนุมานภาพ
บน M5 Pro ที่มีหน่วยความจำแบบรวม 48 GB การรันคำขอเดิมที่มี 303 โทเคนและสามฟิลด์หลังอุ่นเครื่องยี่สิบครั้ง ใช้เวลาเฉลี่ย 0.291 วินาที (มัธยฐาน 0.290; ช่วง 0.280–0.299) โดยไม่นับเวลาโหลดโมเดล การใช้การประมวลผล GPU แบบเนทีฟและแบ่งเป็นช่วงละ 512 โทเคน ทำให้ค่าเฉลี่ยเดิม 0.921 วินาทีลดลงประมาณ 68% โดยไม่เปลี่ยนน้ำหนักโมเดลหรือคำตอบที่เลือก ค่า RSS สูงสุดของโปรเซสอยู่ที่ 5.11 GiB ส่วนปริมาณหน่วยความจำสูงสุดที่ macOS นับให้โปรเซส (memory footprint) อยู่ที่ 6.81 GiB ค่า RSS เพียงอย่างเดียวไม่ได้ครอบคลุมการใช้หน่วยความจำแบบรวมทั้งหมด อินพุตที่ยาวขึ้นอาจต้องใช้หน่วยความจำมากขึ้น การรันทดสอบความถูกต้องภายหลังวัดได้ 462–897 ms ขณะที่มีแอปพลิเคชันอื่นทำงานอยู่ ดังนั้นค่าเฉลี่ย 291 ms จึงไม่ใช่การรับประกันเวลาแฝงคงที่ ตัวเลขเหล่านี้เป็นการวัดระหว่างพัฒนาโดยใช้คำขอเดิมซ้ำ ไม่ใช่การทดสอบคุณภาพอย่างครอบคลุม ID โทเคนอ้างอิงทั้ง 303 รายการตรงกัน และค่าความน่าจะเป็นต่างจากผลอ้างอิง Python มากที่สุดประมาณ 0.00266