แปลด้วยเครื่อง · ต้นฉบับภาษาอังกฤษ

Clef-flash: การตัดสินใจแบบ local ใน Swift

Development preview. การรองรับข้อความบนอุปกรณ์กำลังอยู่ระหว่างการพัฒนาและยังไม่ได้เผยแพร่ใน speech-swift

Clef-flash อ่านสถานะและชุดคำถาม จากนั้นให้คะแนนคำตอบที่อนุญาตร่วมกัน โมดูล Swift ทำงานโมเดล 9B บน Apple Silicon แบบออฟไลน์ด้วย MLX และน้ำหนัก 4-bit ไม่มีการใช้กระบวนการ Python หรือ API ที่โฮสต์ระหว่างการอนุมาน

ใช้จาก Swift

import Clef
let model = try await Clef.fromPretrained()
let result = try model.decide(
    state: "Please turn the kitchen lights on.",
    questions: [
        ClefQuestion(id: "action", instructions: "Which action?",
            kind: .choice(["on": "Lights on", "off": "Lights off", "other": "Other"])),
        ClefQuestion(id: "urgent", instructions: "Is this urgent?", kind: .noul())
    ])
print(result.decisions[0].probabilities)

คำถามแบบเลือกตอบจะคืนความน่าจะเป็นของแต่ละตัวเลือก คำถามแบบ noul จะคืนความน่าจะเป็นของข้อเท็จจริง คำถามแบบคะแนนจะรับรายการเรียงลำดับเช่น .score(["normal", "urgent"]) และคืนดัชนีแบบเริ่มจากศูนย์ที่คาดหวัง โมดูลนี้ไม่สั่งการ

บรรทัดคำสั่ง

speech clef decide request.json
speech clef decide request.json --model-dir /path/to/Clef-flash-9B-MLX-4bit
speech clef decide request.json --offline --max-tokens 4096

โมเดลค่าเริ่มต้นคือ aufklarer/Clef-flash-9B-MLX-4bit คำสั่งแรกจะดาวน์โหลดหากจำเป็น ใช้ไดเรกทอรีท้องถิ่นหรือแฟล็กแบบออฟไลน์เพื่อหลีกเลี่ยงการดาวน์โหลด

คำสั่งแบบแยกส่วน

swift build -c release --product clef-decide --disable-sandbox
scripts/build_mlx_metallib.sh release
.build/release/clef-decide /path/to/clef-flash-mlx-4bit request.json
{"state":"Turn the lights on.","questions":[
  {"id":"action","type":"choice","instructions":"Which action?",
   "choices":{"on":"Lights on","off":"Lights off","other":"Other"}}
]}

ผลลัพธ์รวมถึงความน่าจะเป็น จำนวนโทเค็นที่ป้อนเข้า และเวลาการตัดสินใจที่ไม่รวมเวลาโหลดโมเดล คำสั่งนี้รับอาร์เรย์คำถามแบบเรียงลำดับ; ไม่ใช่ SystemOne HTTP endpoint

การทำงานของมัน

แกนหลัง Qwen3.5 อ่านข้อความและโครงสร้างข้อมูล หัวตัดสินใจร่วมกันใส่ใจบริบทนั้น อนุญาตให้คำถามมีปฏิสัมพันธ์ และรวมคะแนนบริบทกับค่าก่อนหน้าจากเวกเตอร์ผลลัพธ์ของโมเดล มันให้คะแนนตัวเลือกโดยตรงแทนที่จะสร้างโทเค็นคำตอบ JSON ทีละตัว

ข้อกำหนดและข้อจำกัด

การตรวจสอบแบบท้องถิ่น

อัปเดต 3 ตุลาคม: การรันใหม่ 2 ครั้ง แต่ละครั้งทำซ้ำ 20 ครั้งโดยเฉลี่ยใช้เวลาประมาณ 276 ms สำหรับคำขอ 303 token ที่มี 3 ฟิลด์ (ช่วงที่สังเกตได้ 274–284 ms) โดยไม่รวมเวลาโหลดโมเดล การรัน 291 ms ด้านล่างได้ให้ค่าการวัด RSS และพื้นที่ทางกายภาพแยกกัน นี่คือคำขอข้อความที่ซ้ำกัน 1 ครั้ง; ไม่มีการวัดการรู้จำเสียง, การส่งออกเสียง, และการอนุมานภาพ

บน M5 Pro ที่มีหน่วยความจำแบบรวม 48 GB การรันคำขอเดิมที่มี 303 โทเคนและสามฟิลด์หลังอุ่นเครื่องยี่สิบครั้ง ใช้เวลาเฉลี่ย 0.291 วินาที (มัธยฐาน 0.290; ช่วง 0.280–0.299) โดยไม่นับเวลาโหลดโมเดล การใช้การประมวลผล GPU แบบเนทีฟและแบ่งเป็นช่วงละ 512 โทเคน ทำให้ค่าเฉลี่ยเดิม 0.921 วินาทีลดลงประมาณ 68% โดยไม่เปลี่ยนน้ำหนักโมเดลหรือคำตอบที่เลือก ค่า RSS สูงสุดของโปรเซสอยู่ที่ 5.11 GiB ส่วนปริมาณหน่วยความจำสูงสุดที่ macOS นับให้โปรเซส (memory footprint) อยู่ที่ 6.81 GiB ค่า RSS เพียงอย่างเดียวไม่ได้ครอบคลุมการใช้หน่วยความจำแบบรวมทั้งหมด อินพุตที่ยาวขึ้นอาจต้องใช้หน่วยความจำมากขึ้น การรันทดสอบความถูกต้องภายหลังวัดได้ 462–897 ms ขณะที่มีแอปพลิเคชันอื่นทำงานอยู่ ดังนั้นค่าเฉลี่ย 291 ms จึงไม่ใช่การรับประกันเวลาแฝงคงที่ ตัวเลขเหล่านี้เป็นการวัดระหว่างพัฒนาโดยใช้คำขอเดิมซ้ำ ไม่ใช่การทดสอบคุณภาพอย่างครอบคลุม ID โทเคนอ้างอิงทั้ง 303 รายการตรงกัน และค่าความน่าจะเป็นต่างจากผลอ้างอิง Python มากที่สุดประมาณ 0.00266

แหล่งที่มา