Tradução automática · Original em inglês

Clef-flash: decisões locais em Swift

Prévia de desenvolvimento. O suporte local está em desenvolvimento e ainda não foi lançado no speech-swift.

O Clef-flash lê um estado e um conjunto de perguntas, em seguida pontua as respostas permitidas juntas. O módulo Swift executa o modelo de 9B localmente no Apple Silicon com MLX e pesos de 4 bits. Nenhum processo Python ou API hospedada é usado durante a inferência.

Use from Swift

import Clef
let model = try await Clef.fromPretrained()
let result = try model.decide(
    state: "Please turn the kitchen lights on.",
    questions: [
        ClefQuestion(id: "action", instructions: "Which action?",
            kind: .choice(["on": "Lights on", "off": "Lights off", "other": "Other"])),
        ClefQuestion(id: "urgent", instructions: "Is this urgent?", kind: .noul())
    ])
print(result.decisions[0].probabilities)

As perguntas de escolha retornam probabilidades para cada opção. Uma pergunta noul retorna a probabilidade de verdadeiro. Uma pergunta de pontuação recebe uma lista ordenada, como .score(["normal", "urgent"]), e retorna o índice zero-based esperado. O módulo não executa comandos.

Linha de comando

speech clef decide request.json
speech clef decide request.json --model-dir /path/to/Clef-flash-9B-MLX-4bit
speech clef decide request.json --offline --max-tokens 4096

O modelo padrão é aufklarer/Clef-flash-9B-MLX-4bit. O primeiro comando o baixa se necessário. Use um diretório local ou a flag offline para evitar um download.

Comando independente

swift build -c release --product clef-decide --disable-sandbox
scripts/build_mlx_metallib.sh release
.build/release/clef-decide /path/to/clef-flash-mlx-4bit request.json
{"state":"Turn the lights on.","questions":[
  {"id":"action","type":"choice","instructions":"Which action?",
   "choices":{"on":"Lights on","off":"Lights off","other":"Other"}}
]}

A saída inclui probabilidades, contagem de tokens de entrada e tempo de decisão excluindo o carregamento do modelo. O comando aceita um array de perguntas ordenado; não é um endpoint HTTP do SystemOne.

Como funciona

Um backbone Qwen3.5 lê o texto e o esquema. A cabeça de decisão conjunta atende a esse contexto, permite que as perguntas interajam e combina as pontuações contextuais com um prior das embeddings de saída do modelo. Ele pontua as opções diretamente, em vez de gerar um token de resposta JSON token por token.

Requisitos e limites

Validação local

Atualização de outubro 3: Duas execuções recentes de vinte repetições de aquecimento cada resultaram em uma média de aproximadamente 276 ms para a mesma solicitação de 303 tokens com três campos (faixa observada 274–284 ms), excluindo o carregamento do modelo. A execução anterior de 291 ms abaixo forneceu as medições separadas de RSS e de pegada física. Esta é uma única solicitação de texto repetida; reconhecimento de fala, saída de fala e inferência visual não foram medidos.

Em um M5 Pro com 48 GB de memória unificada, vinte execuções aquecidas de uma solicitação de 303 tokens, três campos, média 0,291 segundos (mediana 0,290; intervalo 0,280–0,299), excluindo carregamento do modelo. Operações nativas de GPU e blocos de 512 tokens reduziram a média original de 0,921 segundo em cerca de 68%, com pesos inalterados e respostas selecionadas. RSS de pico do processo foi 5,11 GiB; pegada de memória nativa do macOS foi 6,81 GiB. RSS sozinho não captura todo o uso de memória unificada. Entradas mais longas podem precisar de mais memória. Uma execução de correção posterior mediu 462–897 ms enquanto outras aplicações estavam ativas, então a média de 291 ms não é uma garantia de latência fixa. Estas são medições de desenvolvimento em uma solicitação repetida, não um benchmark de qualidade amplo. Todos os 303 IDs de tokens de referência correspondem, e a diferença máxima de probabilidade em relação à referência Python é de cerca de 0,00266.

Fontes