Traducción automática · Original en inglés
Clef-flash: decisiones locales en Swift
Vista previa de desarrollo. El soporte de texto local está en desarrollo y aún no se ha publicado en speech-swift.
Clef-flash lee un estado y un conjunto de preguntas, luego puntuación las respuestas permitidas juntas. El módulo Swift ejecuta el modelo de 9B localmente en Apple Silicon con MLX y pesos de 4-bit. No se utiliza un proceso Python ni una API alojada durante la inferencia.
Usar desde Swift
import Clef
let model = try await Clef.fromPretrained()
let result = try model.decide(
state: "Please turn the kitchen lights on.",
questions: [
ClefQuestion(id: "action", instructions: "Which action?",
kind: .choice(["on": "Lights on", "off": "Lights off", "other": "Other"])),
ClefQuestion(id: "urgent", instructions: "Is this urgent?", kind: .noul())
])
print(result.decisions[0].probabilities)
Las preguntas de opción devuelven probabilidades para cada opción. Una pregunta noul devuelve la probabilidad de verdadero. Una pregunta de puntuación toma una lista ordenada como .score(["normal", "urgent"]) y devuelve el índice basado en cero esperado. El módulo no ejecuta comandos.
Línea de comandos
speech clef decide request.json
speech clef decide request.json --model-dir /path/to/Clef-flash-9B-MLX-4bit
speech clef decide request.json --offline --max-tokens 4096
El modelo predeterminado es aufklarer/Clef-flash-9B-MLX-4bit. El primer comando lo descarga si es necesario. Use un directorio local o la bandera offline para evitar una descarga.
Comando independiente
swift build -c release --product clef-decide --disable-sandbox
scripts/build_mlx_metallib.sh release
.build/release/clef-decide /path/to/clef-flash-mlx-4bit request.json
{"state":"Turn the lights on.","questions":[
{"id":"action","type":"choice","instructions":"Which action?",
"choices":{"on":"Lights on","off":"Lights off","other":"Other"}}
]}
La salida incluye probabilidades, conteo de tokens de entrada y tiempo de decisión excluyendo la carga del modelo. El comando acepta un array de preguntas ordenado; no es un endpoint HTTP de SystemOne.
Cómo funciona
Un backbone Qwen3.5 lee el texto y el esquema. La cabeza de decisión conjunta atiende a ese contexto, permite que las preguntas interactúen y combina las puntuaciones contextuales con un prior de las embeddings de salida del modelo. Puntuación las opcionesopciones directamente en lugar de generar un token de respuesta JSON token por token.
Requisitos y límites
- Apple Silicon, macOS 15+ y MLX. La exportación afín de 4 bits es aproximadamente 5.3 GB; la memoria de ejecución es adicional.
- Solo texto. Imágenes, video, el modelo Clef de 27B y otros formatos de pesos no son compatibles.
- Utilice cada instancia de forma serial. El límite predeterminado es 4096 tokens codificados, configurable a 16384; las solicitudes excesivas fallan en lugar de truncar silenciosamente el estado.
- Las probabilidades no son garantías calibradas. Mantenga la ejecución de comandos y la confirmación separadas de la puntuación del modelo.
- La latencia publicada alojada no es una medición de esta implementación local en Swift.
Validación local
Actualización de octubre 3: Dos ejecuciones frescas de veinte repeticiones de calentamiento cada una promediaron aproximadamente 276 ms para la misma solicitud de 303 tokens con tres campos (rango observado 274–284 ms), excluyendo la carga del modelo. La ejecución de 291 ms a continuación proporcionó las mediciones separadas de RSS y de huella física. Esta es una solicitud de texto repetida; el reconocimiento del habla, la salida del habla y la inferencia visual no se midieron.
En un M5 Pro con 48 GB de memoria unificada, veinte ejecuciones calentadas de una solicitud de 303 tokens con tres campos promediaron 0.291 segundos (mediana 0.290; rango 0.280–0.299), excluyendo la carga del modelo. Las operaciones nativas de GPU y fragmentos de 512 tokens redujeron la media original de 0.921 segundos en aproximadamente un 68%, con pesos invariables y respuestas seleccionadas. El RSS pico del proceso fue de 5.11 GiB; la huella de memoria nativa de macOS fue de 6.81 GiB. El RSS por sí solo no captura todo el uso de memoria unificada. Las entradas más largas pueden necesitar más memoria. Una ejecución de corrección posterior midió 462–897 ms mientras otras aplicaciones estaban activas, por lo que la media de 291 ms no es una garantía de latencia fija. Estas son mediciones de desarrollo en una solicitud repetida, no un benchmark de calidad amplio. Todos los IDs de token de referencia de 303 coinciden, y la diferencia máxima de probabilidad con la referencia en Python es de aproximadamente 0.00266.