Maschinelle Übersetzung · Englisches Original

Clef-flash: lokale Entscheidungen in Swift

Entwicklungs-Vorschau. Die lokale Textunterstützung befindet sich noch in der Entwicklung und wurde in speech-swift nicht veröffentlicht.

Clef-flash liest einen Zustand und eine Menge Fragen, bewertet dann die erlaubten Antworten gemeinsam. Das Swift-Modul führt das 9B-Modell lokal auf Apple Silicon mit MLX und 4-Bit-Gewichten aus. Während des Inferenzvorgangs wird kein Python-Prozess oder eine gehostete API verwendet.

Verwende aus Swift

import Clef
let model = try await Clef.fromPretrained()
let result = try model.decide(
    state: "Please turn the kitchen lights on.",
    questions: [
        ClefQuestion(id: "action", instructions: "Which action?",
            kind: .choice(["on": "Lights on", "off": "Lights off", "other": "Other"])),
        ClefQuestion(id: "urgent", instructions: "Is this urgent?", kind: .noul())
    ])
print(result.decisions[0].probabilities)

Wahlfragen geben Wahrscheinlichkeiten für jede Option zurück. Eine noul-Frage gibt die Wahrscheinlichkeit von true zurück. Eine Punktfrage nimmt eine geordnete Liste wie .score(["normal", "urgent"]) und gibt den erwarteten nullbasierten Index zurück. Das Modul führt keine Befehle aus.

Befehlszeile

speech clef decide request.json
speech clef decide request.json --model-dir /path/to/Clef-flash-9B-MLX-4bit
speech clef decide request.json --offline --max-tokens 4096

Das Standardmodell ist aufklarer/Clef-flash-9B-MLX-4bit. Der erste Befehl lädt es bei Bedarf herunter. Verwenden Sie ein lokales Verzeichnis oder die Offline-Flagge, um einen Download zu vermeiden.

Standalone-Befehl

swift build -c release --product clef-decide --disable-sandbox
scripts/build_mlx_metallib.sh release
.build/release/clef-decide /path/to/clef-flash-mlx-4bit request.json
{"state":"Turn the lights on.","questions":[
  {"id":"action","type":"choice","instructions":"Which action?",
   "choices":{"on":"Lights on","off":"Lights off","other":"Other"}}
]}

Das Ergebnis enthält Wahrscheinlichkeiten, Eingabetoken-Anzahl und Entscheidungszeit ohne Modell-Ladezeit. Das Kommando akzeptiert ein geordnetes Fragen-Array; es ist kein SystemOne HTTP-Endpunkt.

Wie es funktioniert

Ein Qwen3.5-Rückgrat liest den Text und das Schema. Der gemeinsame Entscheidungs-Kopf achtet auf diesen Kontext, lässt Fragen interagieren und kombiniert Kontext-Scores mit einem Prior aus den Ausgabe-Einbettungen des Modells. Er bewertet die Optionen direkt, anstatt eine JSON-Antwort Token für Token zu generieren.

Anforderungen und Grenzen

Lokale Validierung

Update vom 3. Oktober: Zwei frische Durchläufe mit jeweils zwanzig warmen Wiederholungen ergaben im Durchschnitt 276 ms für denselben 303-Token-, drei-Felder-Anfrage (beobachteter Bereich 274–284 ms), ohne Modell-Ladezeit. Der frühere 291 ms-Durchlauf unten lieferte die separaten RSS- und physischen-Fußabdruck-Messungen. Dies ist eine wiederholte Textanfrage; Spracherkennung, Sprachausgabe und visuelle Inferenz wurden nicht gemessen.

Auf einem M5 Pro mit 48 GB einheitlichem Speicher haben 20 vorwärmte Ausführungen einer Anfrage mit 303 Token und drei Feldern im Durchschnitt 0,291 Sekunden benötigt (Median 0,290; Bereich 0,280–0,299), ohne die Modellinitialisierung. Native GPU-Berechnungen und 512-Token-Blöcke reduzierten den ursprünglichen Mittelwert von 0,921 Sekunden um etwa 68 %, bei unveränderten Gewichten und ausgewählten Antworten. Der Spitzenwert für den Prozess-RSS betrug 5,11 GiB; der Spitzenwert für den macOS-Speicherfußabdruck betrug 6,81 GiB. Der RSS allein erfasst nicht den gesamten einheitlichen Speicherverbrauch. Längere Eingaben können mehr Speicher benötigen. Ein späterer Korrektheitslauf maß 462–897 ms, während andere Anwendungen aktiv waren, sodass der 291 ms Mittelwert keine feste Latenzgarantie ist. Dies sind Entwicklungsdaten für eine wiederholte Anfrage, keine umfassende Qualitätsbewertung. Alle 303 Referenz-Token-IDs stimmen überein, und der maximale Wahrscheinlichkeitsunterschied zum Python-Referenzwert beträgt etwa 0,00266.

Quellen