機械翻訳 · 英語の原文

Clef-flash: Swift でのローカル決定

開発プレビュー ローカルテキストサポートは開発中であり、speech-swift にはまだリリースされていません。

Clef-flash は状態と質問セットを読み取り、許可された回答をスコアリングします。Swift モジュールは Apple Silicon で MLX と 4 ビット重みを使用して 9B モデルをローカルに実行します。推論中は Python プロセスやホストされた API は使用されません。

Swift から使用

import Clef
let model = try await Clef.fromPretrained()
let result = try model.decide(
    state: "Please turn the kitchen lights on.",
    questions: [
        ClefQuestion(id: "action", instructions: "Which action?",
            kind: .choice(["on": "Lights on", "off": "Lights off", "other": "Other"])),
        ClefQuestion(id: "urgent", instructions: "Is this urgent?", kind: .noul())
    ])
print(result.decisions[0].probabilities)

選択質問は各オプションの確率を返します。noul 質問は true の確率を返します。スコア質問は .score(["normal", "urgent"]) のような順序付きリストを受け取り、ゼロベースのインデックスの期待値を返します。モジュールはコマンドを実行しません。

コマンドライン

speech clef decide request.json
speech clef decide request.json --model-dir /path/to/Clef-flash-9B-MLX-4bit
speech clef decide request.json --offline --max-tokens 4096

デフォルトモデルは aufklarer/Clef-flash-9B-MLX-4bit です。必要に応じて最初のコマンドでダウンロードします。ローカルディレクトリまたはオフラインフラグを使用してダウンロードを回避できます。

スタンドアロンコマンド

swift build -c release --product clef-decide --disable-sandbox
scripts/build_mlx_metallib.sh release
.build/release/clef-decide /path/to/clef-flash-mlx-4bit request.json
{"state":"Turn the lights on.","questions":[
  {"id":"action","type":"choice","instructions":"Which action?",
   "choices":{"on":"Lights on","off":"Lights off","other":"Other"}}
]}

出力には確率、入力トークン数、モデル読み込みを除外した意思決定時間が含まれます。コマンドは順序付けられた質問配列を受け付けます。これは SystemOne HTTP エンドポイントではありません。

仕組み

Qwen3.5 バックボーンがテキストとスキーマを読み取ります。ジョイント決定ヘッドはそれらのコンテキストに注意を向け、質問同士を相互作用させ、モデルの出力埋め込みからの事前知識とコンテキストスコアを組み合わせます。オプションを直接スコアリングし、JSON 回答をトークンごとに生成する代わりにスコアリングします。

要件と制限

ローカル検証

10 月 3 日更新: 20 回のウォームアップを 2 回実行した結果、303 トークン、3 フィールドのリクエスト(観測範囲 274–284 ms)に対して、モデル読み込みを除外すると約 276 ms でした。以下の 291 ms の実行は、別々の RSS と物理フットプリントの測定を提供しました。これは 1 回のテキストリクエストの繰り返しであり、音声認識、音声出力、および視覚推論は測定されていません。

M5 Pro で 48 GB の統一メモリを搭載した場合、303 トークン、3 フィールドのリクエストを 20 回ウォームアップして実行した平均時間は 0.291 秒(中央値 0.290;範囲 0.280–0.299)でした。モデル読み込みは含まれません。ネイティブ GPU 操作と 512 トークンのチャンクにより、元の 0.921 秒の平均は約 68% 減少し、重みと選択された回答は不変です。ピークプロセス RSS は 5.11 GiB で、ピーク macOS メモリフットプリントは 6.81 GiB です。RSS 単独では統一メモリの使用量をすべて捉えるわけではありません。より長い入力にはより多くのメモリが必要になる場合があります。後続の正しさテストでは他のアプリケーションがアクティブな状態で 462–897 ms を測定したが、291 ms の平均は固定のレイテンシ保証ではありません。これらは 1 回の反復リクエストにおける開発測定であり、広範な品質ベンチマークではありません。すべての 303 参照トークン ID は一致し、Python 参照からの最大確率の差は約 0.00266 です。

ソース