机器翻译 · 英文原文
Clef-flash:Swift 中的本地决策
开发预览版。 本地文本支持正在开发中,尚未在 speech-swift 中发布。
Clef-flash 读取状态和一组问题,然后对允许的选项进行评分。Swift 模块在 Apple Silicon 上本地运行 9B 模型,使用 MLX 和 4 位权重。推理过程中不使用 Python 进程或托管 API。
使用 Swift
import Clef
let model = try await Clef.fromPretrained()
let result = try model.decide(
state: "Please turn the kitchen lights on.",
questions: [
ClefQuestion(id: "action", instructions: "Which action?",
kind: .choice(["on": "Lights on", "off": "Lights off", "other": "Other"])),
ClefQuestion(id: "urgent", instructions: "Is this urgent?", kind: .noul())
])
print(result.decisions[0].probabilities)
选择题返回每个选项的概率。一个 noul 问题返回 true 的概率。一个评分问题接受一个有序列表,例如 .score(["normal", "urgent"]),并返回预期的从零开始的索引。该模块不执行命令。
命令行
speech clef decide request.json
speech clef decide request.json --model-dir /path/to/Clef-flash-9B-MLX-4bit
speech clef decide request.json --offline --max-tokens 4096
默认模型是 aufklarer/Clef-flash-9B-MLX-4bit。如果需要使用,第一个命令会下载它。使用本地目录或离线标志以避免下载。
独立命令
swift build -c release --product clef-decide --disable-sandbox
scripts/build_mlx_metallib.sh release
.build/release/clef-decide /path/to/clef-flash-mlx-4bit request.json
{"state":"Turn the lights on.","questions":[
{"id":"action","type":"choice","instructions":"Which action?",
"choices":{"on":"Lights on","off":"Lights off","other":"Other"}}
]}
输出包括概率、输入 token 数量和决策时间(不包括模型加载)。该命令接受有序问题数组;它不是 SystemOne HTTP 端点。
工作原理
一个 Qwen3.5 骨干读取文本和架构。联合决策头关注该上下文,让问题相互交互,并将上下文分数与模型输出嵌入中的先验相结合。它直接对选项进行评分,而不是逐个生成 JSON 答案令牌。
要求和限制
- Apple Silicon、macOS 15+ 和 MLX。支持的 4 位仿射导出约为 5.3 GB;运行时内存为额外占用。
- 仅支持文本。不支持图像、视频、27B Clef 模型及其他权重格式。
- 依次使用每个实例。默认限制为 4096 个编码令牌,可配置为 16384;过大的请求会失败而不是静默截断状态。
- 概率不是校准保证。保持命令执行和确认与模型评分分开。
- 发布的主机延迟不是对此本地 Swift 实现的测量。
本地验证
10 月 3 日更新:新进行的两组测试均在预热后重复运行二十次,对同一条包含 303 个 token、三个字段的请求,平均耗时均约为 276 ms(观测范围 274–284 ms),不包括模型加载时间。下方较早的 291 ms 测试提供了单独的 RSS 和物理内存占用测量结果。这里只重复测试了一条文本请求;未测量语音识别、语音输出或视觉推理。
在配备 48 GB 统一内存的 M5 Pro 上,对同一条包含 303 个 token、三个字段的请求,预热后二十次运行的平均耗时为 0.291 秒(中位数 0.290;范围 0.280–0.299),不包括模型加载时间。使用原生 GPU 运算和每块 512 个 token 的分块处理后,原先 0.921 秒的平均耗时降低了约 68%,模型权重和所选答案均未改变。进程峰值 RSS 为 5.11 GiB;macOS 报告的峰值内存占用为 6.81 GiB。仅凭 RSS 无法反映全部统一内存用量。更长的输入可能需要更多内存。后续正确性测试在其他应用同时运行时测得 462–897 ms,因此 291 ms 的平均值并不是固定的延迟保证。这些是在开发过程中对同一条请求重复测试所得的测量结果,并非广泛的质量基准测试。全部 303 个参考 token ID 均匹配,与 Python 参考结果的最大概率差异约为 0.00266。