Traducción automática · Original en inglés

Clef-flash: decisiones locales en Swift

Vista previa de desarrollo. El soporte de texto local está en desarrollo y aún no se ha publicado en speech-swift.

Clef-flash lee un estado y un conjunto de preguntas, luego puntuación las respuestas permitidas juntas. El módulo Swift ejecuta el modelo de 9B localmente en Apple Silicon con MLX y pesos de 4-bit. No se utiliza un proceso Python ni una API alojada durante la inferencia.

Usar desde Swift

import Clef
let model = try await Clef.fromPretrained()
let result = try model.decide(
    state: "Please turn the kitchen lights on.",
    questions: [
        ClefQuestion(id: "action", instructions: "Which action?",
            kind: .choice(["on": "Lights on", "off": "Lights off", "other": "Other"])),
        ClefQuestion(id: "urgent", instructions: "Is this urgent?", kind: .noul())
    ])
print(result.decisions[0].probabilities)

Las preguntas de opción devuelven probabilidades para cada opción. Una pregunta noul devuelve la probabilidad de verdadero. Una pregunta de puntuación toma una lista ordenada como .score(["normal", "urgent"]) y devuelve el índice basado en cero esperado. El módulo no ejecuta comandos.

Línea de comandos

speech clef decide request.json
speech clef decide request.json --model-dir /path/to/Clef-flash-9B-MLX-4bit
speech clef decide request.json --offline --max-tokens 4096

El modelo predeterminado es aufklarer/Clef-flash-9B-MLX-4bit. El primer comando lo descarga si es necesario. Use un directorio local o la bandera offline para evitar una descarga.

Comando independiente

swift build -c release --product clef-decide --disable-sandbox
scripts/build_mlx_metallib.sh release
.build/release/clef-decide /path/to/clef-flash-mlx-4bit request.json
{"state":"Turn the lights on.","questions":[
  {"id":"action","type":"choice","instructions":"Which action?",
   "choices":{"on":"Lights on","off":"Lights off","other":"Other"}}
]}

La salida incluye probabilidades, conteo de tokens de entrada y tiempo de decisión excluyendo la carga del modelo. El comando acepta un array de preguntas ordenado; no es un endpoint HTTP de SystemOne.

Cómo funciona

Un backbone Qwen3.5 lee el texto y el esquema. La cabeza de decisión conjunta atiende a ese contexto, permite que las preguntas interactúen y combina las puntuaciones contextuales con un prior de las embeddings de salida del modelo. Puntuación las opcionesopciones directamente en lugar de generar un token de respuesta JSON token por token.

Requisitos y límites

Validación local

Actualización de octubre 3: Dos ejecuciones frescas de veinte repeticiones de calentamiento cada una promediaron aproximadamente 276 ms para la misma solicitud de 303 tokens con tres campos (rango observado 274–284 ms), excluyendo la carga del modelo. La ejecución de 291 ms a continuación proporcionó las mediciones separadas de RSS y de huella física. Esta es una solicitud de texto repetida; el reconocimiento del habla, la salida del habla y la inferencia visual no se midieron.

En un M5 Pro con 48 GB de memoria unificada, veinte ejecuciones calentadas de una solicitud de 303 tokens con tres campos promediaron 0.291 segundos (mediana 0.290; rango 0.280–0.299), excluyendo la carga del modelo. Las operaciones nativas de GPU y fragmentos de 512 tokens redujeron la media original de 0.921 segundos en aproximadamente un 68%, con pesos invariables y respuestas seleccionadas. El RSS pico del proceso fue de 5.11 GiB; la huella de memoria nativa de macOS fue de 6.81 GiB. El RSS por sí solo no captura todo el uso de memoria unificada. Las entradas más largas pueden necesitar más memoria. Una ejecución de corrección posterior midió 462–897 ms mientras otras aplicaciones estaban activas, por lo que la media de 291 ms no es una garantía de latencia fija. Estas son mediciones de desarrollo en una solicitud repetida, no un benchmark de calidad amplio. Todos los IDs de token de referencia de 303 coinciden, y la diferencia máxima de probabilidad con la referencia en Python es de aproximadamente 0.00266.

Fuentes