Traduction automatique · Version originale en anglais
Clef-flash : décisions locales dans Swift
Prévisualisation de développement. Le support du texte local est en cours de développement et n'a pas encore été publié dans speech-swift.
Clef-flash lit un état et un ensemble de questions, puis note les réponses autorisées ensemble. Le module Swift exécute le modèle 9B localement sur Apple Silicon avec MLX et des poids à 4 bits. Aucun processus Python ni API hébergée n'est utilisé pendant l'inférence.
Utiliser depuis Swift
import Clef
let model = try await Clef.fromPretrained()
let result = try model.decide(
state: "Please turn the kitchen lights on.",
questions: [
ClefQuestion(id: "action", instructions: "Which action?",
kind: .choice(["on": "Lights on", "off": "Lights off", "other": "Other"])),
ClefQuestion(id: "urgent", instructions: "Is this urgent?", kind: .noul())
])
print(result.decisions[0].probabilities)
Les questions à choix multiples retournent des probabilités pour chaque option. Une question noul retourne la probabilité de la valeur vraie. Une question de score prend une liste ordonnée telle que .score(["normal", "urgent"]) et retourne l'indice zéro-based attendu. Le module n'exécute pas de commandes.
Ligne de commande
speech clef decide request.json
speech clef decide request.json --model-dir /path/to/Clef-flash-9B-MLX-4bit
speech clef decide request.json --offline --max-tokens 4096
Le modèle par défaut est aufklarer/Clef-flash-9B-MLX-4bit. La première commande le télécharge si nécessaire. Utilisez un répertoire local ou le drapeau offline pour éviter un téléchargement.
Commande autonome
swift build -c release --product clef-decide --disable-sandbox
scripts/build_mlx_metallib.sh release
.build/release/clef-decide /path/to/clef-flash-mlx-4bit request.json
{"state":"Turn the lights on.","questions":[
{"id":"action","type":"choice","instructions":"Which action?",
"choices":{"on":"Lights on","off":"Lights off","other":"Other"}}
]}
La sortie inclut les probabilités, le nombre de jetons d'entrée et le temps de décision excluant le chargement du modèle. La commande accepte un tableau de questions ordonné ; ce n'est pas un endpoint HTTP SystemOne.
Fonctionnement
Un squelette Qwen3.5 lit le texte et le schéma. La tête de décision conjointe se concentre sur ce contexte, permet aux questions d'interagir et combine les scores contextuels avec un a priori issu des embeddings de sortie du modèle. Elle évalue les options directement au lieu de générer un jeton de réponse JSON token par token.
Exigences et limites
- Apple Silicon, macOS 15+ et MLX. L'export affine 4-bit pris en charge est d'environ 5,3 Go ; la mémoire d'exécution est en plus.
- Texte uniquement. Les images, la vidéo, le modèle Clef de 27B et d'autres formats de poids ne sont pas pris en charge.
- Utilisez chaque instance séquentiellement. La limite par défaut est de 4096 tokens encodés, configurable à 16384 ; les requêtes excessivement grandes échouent plutôt que de tronquer silencieusement l'état.
- Les probabilités ne sont pas des garanties calibrées. Gardez l'exécution des commandes et les confirmations séparées de la notation du modèle.
- La latence hébergée publiée n'est pas une mesure de cette implémentation locale Swift.
Validation locale
Mise à jour du 3 octobre: Deux nouvelles exécutions, chacune avec vingt répétitions de réchauffement, ont une moyenne d'environ 276 ms pour la même requête de 303 tokens à trois champs (plage observée 274–284 ms), sans inclure le chargement du modèle. L'exécution précédente de 291 ms ci-dessous fournissait les mesures séparées de RSS et d'empreinte physique. Il s'agit d'une seule requête de texte répétée ; la reconnaissance vocale, la synthèse vocale et l'inférence visuelle n'ont pas été mesurées.
Sur un M5 Pro doté de 48 Go de mémoire unifiée, vingt exécutions à chaud de la même requête de 303 tokens à trois champs ont pris en moyenne 0,291 seconde (médiane : 0,290 ; intervalle : 0,280–0,299), hors chargement du modèle. Les opérations GPU natives et le traitement par blocs de 512 tokens ont réduit d’environ 68 % la moyenne initiale de 0,921 seconde, sans changer les poids ni les réponses sélectionnées. Le RSS maximal du processus était de 5,11 GiB ; l’empreinte mémoire maximale rapportée par macOS était de 6,81 GiB. Le RSS ne représente pas à lui seul toute l’utilisation de la mémoire unifiée. Des entrées plus longues peuvent demander plus de mémoire. Un test ultérieur de vérification de l’exactitude a mesuré 462–897 ms alors que d’autres applications étaient actives ; la moyenne de 291 ms ne constitue donc pas une garantie de latence fixe. Ces mesures de développement portent sur une seule requête répétée et ne constituent pas un test général de qualité. Les 303 identifiants de tokens correspondent tous à la référence, et l’écart maximal de probabilité par rapport à la référence Python est d’environ 0,00266.