मशीन अनुवाद · अंग्रेज़ी मूल पाठ

Clef-flash: Swift में स्थानीय निर्णय

विकास पूर्वावलोकन। स्थानीय टेक्स्ट सहायता विकास में है और speech-swift में जारी नहीं की गई है।

Clef-flash एक स्थिति और प्रश्नों का एक सेट पढ़ता है, फिर अनुमति प्राप्त उत्तरों को एक साथ स्कोर करता है। Swift मॉड्यूल Apple Silicon पर MLX और 4-बिट वजन के साथ 9B मॉडल को स्थानीय रूप से चलाता है। अनुमान के दौरान कोई Python प्रक्रिया या होस्टेड API का उपयोग नहीं किया जाता है।

Use from Swift

import Clef
let model = try await Clef.fromPretrained()
let result = try model.decide(
    state: "Please turn the kitchen lights on.",
    questions: [
        ClefQuestion(id: "action", instructions: "Which action?",
            kind: .choice(["on": "Lights on", "off": "Lights off", "other": "Other"])),
        ClefQuestion(id: "urgent", instructions: "Is this urgent?", kind: .noul())
    ])
print(result.decisions[0].probabilities)

विकल्प प्रश्न प्रत्येक विकल्प के लिए प्रायिकता लौटाते हैं। एक noul प्रश्न सत्य की प्रायिकता लौटाता है। एक स्कोर प्रश्न एक क्रमित सूची जैसे .score(["normal", "urgent"]) लेता है और अपेक्षित शून्य-आधारित सूचकांक लौटाता है। मॉड्यूल कमांड नहीं चलाता है।

कमांड लाइन

speech clef decide request.json
speech clef decide request.json --model-dir /path/to/Clef-flash-9B-MLX-4bit
speech clef decide request.json --offline --max-tokens 4096

डिफ़ॉल्ट मॉडल aufklarer/Clef-flash-9B-MLX-4bit है। यदि आवश्यक हो तो पहला कमांड इसे डाउनलोड करता है। डाउनलोड से बचने के लिए स्थानीय डायरेक्टरी या ऑफलाइन फ़्लैग का उपयोग करें।

स्वायंस्फूर्त कमांड

swift build -c release --product clef-decide --disable-sandbox
scripts/build_mlx_metallib.sh release
.build/release/clef-decide /path/to/clef-flash-mlx-4bit request.json
{"state":"Turn the lights on.","questions":[
  {"id":"action","type":"choice","instructions":"Which action?",
   "choices":{"on":"Lights on","off":"Lights off","other":"Other"}}
]}

आउटपुट में प्रायिकताएँ, इनपुट टोकन गणना और मॉडल लोड को छोड़कर निर्णय समय शामिल है। कमांड एक क्रमबद्ध प्रश्न एरे को स्वीकार करती है; यह SystemOne HTTP एंडपॉइंट नहीं है।

How it works

एक Qwen3.5 बैकबोन टेक्स्ट और स्कीमा को पढ़ता है। संयुक्त निर्णय हेड उस संदर्भ पर ध्यान केंद्रित करता है, प्रश्नों को एक साथ रखता है, और मॉडल के आउटपुट एम्बेडिंग्स से संदर्भ स्कोरों को संयोजित करता है। यह विकल्पों को सीधे स्कोर करता है, न कि टोकन के एक के बाद एक JSON उत्तर उत्पन्न करता है।

Requirements and limits

स्थानीय सत्यापन

3 अक्टूबर की अपडेट: दो ताज़ा चालों में, प्रत्येक में बीस गर्म पुनरावृत्तियाँ, कुल मिलाकर लगभग 276 ms का औसत आया, जो उसी 303-टोकन, तीन-क्षेत्र अनुरोध के लिए था (नज़र आया 274–284 ms का सीमा), मॉडल लोड को छोड़कर। नीचे दिया गया 291 ms चाल अलग RSS और भौतिक-पैमाने के माप प्रदान करता है। यह एक दोहराया गया पाठ अनुरोध है; भाषा पहचान, भाषा आउटपुट, और दृश्य अनुमान नहीं मापा गया।

M5 Pro में 48 GB एकीकृत मेमोरी के साथ, मॉडल लोड को छोड़कर, एक 303-टोकन, तीन-क्षेत्र अनुरोध के 20 गर्म किए गए चालों का औसत 0.291 सेकंड था (माध्य 0.290; सीमा 0.280–0.299)। मूल 0.921-सेकंड औसत को लगभग 68% कम किया गया, जिसमें मूल वजन और चुनी गई उत्तर अपरिवर्तित रहे, जबकि मूलतः GPU संचालन और 512-टोकन टुकड़े का उपयोग किया गया। प्रक्रिया का शिखर RSS 5.11 GiB था; मूलतः macOS मेमोरी पदार्थ 6.81 GiB था। RSS अकेले सभी एकीकृत-मेमोरी उपयोग को नहीं पकड़ता। लंबे इनपुटों को अधिक मेमोरी की आवश्यकता हो सकती है। एक बाद की सटीकता चाल ने 462–897 ms मापा, जबकि अन्य अनुप्रयोग सक्रिय थे, इसलिए 291 ms औसत एक निश्चित लेटेंसी गारंटी नहीं है। ये विकास माप एक दोहराए गए अनुरोध पर हैं, न कि एक व्यापक गुणवत्ता मानक पर। सभी 303 संदर्भ टोकन ID मिलते हैं, और Python संदर्भ से अधिकतम प्रायिकता अंतर लगभग 0.00266 है।

स्रोत