Awtomatikong salin · Orihinal sa Ingles

Clef-flash: lokal na mga pasiya sa Swift

Ang pagsulong ay patiunang nakikita. Ang mga lokal na suporta ng teksto ay nasa ilalim ng pag-unlad at hindi inilabas sa speech-swift.

Ang Clef-flash ay nagbabasa ng isang estado at isang set ng mga tanong, pagkatapos ay nakakuha ng mga pinapayagang sagot nang magkasama. Ang Swift module ay nagpapatakbo ng 9B model local sa Apple Silicon na may MLX at 4-bit weights. Walang Python process o hosted API ang ginagamit sa panahon ng GANC.

Gumamit mula sa Swift

import Clef
let model = try await Clef.fromPretrained()
let result = try model.decide(
    state: "Please turn the kitchen lights on.",
    questions: [
        ClefQuestion(id: "action", instructions: "Which action?",
            kind: .choice(["on": "Lights on", "off": "Lights off", "other": "Other"])),
        ClefQuestion(id: "urgent", instructions: "Is this urgent?", kind: .noul())
    ])
print(result.decisions[0].probabilities)

Ang mga tanong na pagpili ay nagbabalik ng mga probabilidad para sa bawat opsyon. Ang isang tanong na noul ay nagsasauli ng probabilidad ng totoo. Ang isang katanungang iskor ay kumukuha ng isang order na talaan gaya ng .score(["normal", "urgent"]) at nagbabalik ng inaasahang sero-based index. Ang module ay hindi nagsasagawa ng mga utos.

Utos

speech clef decide request.json
speech clef decide request.json --model-dir /path/to/Clef-flash-9B-MLX-4bit
speech clef decide request.json --offline --max-tokens 4096

Ang default model ay Aufklarer/Clef-flash-9B-MLX-4bit. Ang unang utos ay nag-download nito kung kinakailangan. Gamitin ang isang lokal na directory o ang offline flag upang maiwasan ang isang download.

Ilagay ang utos

swift build -c release --product clef-decide --disable-sandbox
scripts/build_mlx_metallib.sh release
.build/release/clef-decide /path/to/clef-flash-mlx-4bit request.json
{"state":"Turn the lights on.","questions":[
  {"id":"action","type":"choice","instructions":"Which action?",
   "choices":{"on":"Lights on","off":"Lights off","other":"Other"}}
]}

Ang output ay kinabibilangan ng mga probability, input token count, at desisyon time maliban sa model load. Ang utos ay tumatanggap ng order na array array; ito ay hindi isang SystemOne HTTP endpoint.

Kung paano ito gumagana

Isang Qwen3.5 na buto ang kababasahan ng teksto at schema.Ang pinagsamang desisyon ay nauukol sa kontekstong iyon, hinahayaang ang mga tanong ay kumilos, at pinagsasama ang mga iskor sa konteksto sa isang nauna mula sa output embedings ng modelo.Binibini nito nang tuwiran ang mga pagpipilian sa halip na gumawa ng isang JON na sagot nang bahagya.

Mga Kahilingan at Hangganan

Lokal na Proklamasyon

Oktubre 3 update: Dalawang sariwang run na dalawampung beses na mainit ang bawat isa ay may katamtamang haba na halos 276 ms Para sa parehong 303-token, ang tatlong-field request (pinapansin ang range 274–284 ms), hindi kasama ang modelong karga. Ang mas naunang 291 mis ay tumatakbo sa ibaba ay nagtustos ng hiwalay na RSS at pisikal-footprint na sukat. Ito ay isang paulit-ulit na kahilingan ng teksto; pagkilala sa pagsasalita, output ng pagsasalita, at ang visual reception ay hindi na nasukat.

Sa loob ng isang bahay M5 Gumamit ng problema 48 Ang GB ay nagkakaisang memorya, dalawampung mainit na run ng isa 303-token, tatlong-field na kahilingan katamtaman 0.291 mga segundo (median 0.290; hanay 0.280–0.299), hindi kasali ang modelong kargada. GPU at 512- Ang mga tipak ng bato ay nakabawas sa orihinal 0.921- Pangalawang kahulugan sa pamamagitan ng 68%, na may hindi nagbabagong mga pabigat at napiling mga kasagutan. Peak proseso Ang RSS ay ang RSS 5.11 GiB; taluktok macOS memory footprint 6.81 Ang GiB. RSS lamang ay hindi nakakakuha ng lahat ng nagkakaisang-memorya na gamit. Ang mga mas mahabang input ay maaaring mangailangan ng mas maraming memorya. Ang isang kalaunang pag-tama ay tumatakbo ng sinusukat. 462–897 Mga m samantalang ang ibang aplikasyon ay aktibo, kaya ang 291 Ang ibig sabihin ng ms ay hindi isang tiyak na garantiya ng pagiging huli. Ang mga ito ay mga sukat sa pagbuo sa isang paulit - ulit na kahilingan, hindi isang malapad na pamantayang pang - kalidad. 303 single ng IDs, at ang pinakamalaking pagkakaiba ng probabilidad mula sa Python tungkol sa 0.00266.

Pinagmumulan