Bản dịch máy · Bản gốc tiếng Anh

Clef-flash: quyết định cục bộ trong Swift

Phiên bản xem trước phát triển. Hỗ trợ văn bản cục bộ đang trong quá trình phát triển và chưa được phát hành trong speech-swift.

Clef-flash đọc một trạng thái và một tập hợp các câu hỏi, sau đó chấm điểm các câu trả lời được phép cùng nhau. Mô-đun Swift chạy mô hình 9B cục bộ trên Apple Silicon với MLX và trọng số 4-bit. Không có quy trình Python hay API được host được sử dụng trong suy luận.

Sử dụng từ Swift

import Clef
let model = try await Clef.fromPretrained()
let result = try model.decide(
    state: "Please turn the kitchen lights on.",
    questions: [
        ClefQuestion(id: "action", instructions: "Which action?",
            kind: .choice(["on": "Lights on", "off": "Lights off", "other": "Other"])),
        ClefQuestion(id: "urgent", instructions: "Is this urgent?", kind: .noul())
    ])
print(result.decisions[0].probabilities)

Các câu hỏi lựa chọn trả về xác suất cho mỗi tùy chọn. Một câu hỏi noul trả về xác suất của true. Một câu hỏi điểm số nhận một danh sách có thứ tự như .score(["normal", "urgent"]) và trả về chỉ số bắt đầu từ 0 được kỳ vọng. Mô-đun không thực thi lệnh.

Dòng lệnh

speech clef decide request.json
speech clef decide request.json --model-dir /path/to/Clef-flash-9B-MLX-4bit
speech clef decide request.json --offline --max-tokens 4096

Mô hình mặc định là aufklarer/Clef-flash-9B-MLX-4bit. Lệnh đầu tiên sẽ tải xuống nó nếu cần. Sử dụng thư mục cục bộ hoặc cờ offline để tránh tải xuống.

Lệnh độc lập

swift build -c release --product clef-decide --disable-sandbox
scripts/build_mlx_metallib.sh release
.build/release/clef-decide /path/to/clef-flash-mlx-4bit request.json
{"state":"Turn the lights on.","questions":[
  {"id":"action","type":"choice","instructions":"Which action?",
   "choices":{"on":"Lights on","off":"Lights off","other":"Other"}}
]}

Kết quả bao gồm xác suất, số lượng token đầu vào và thời gian ra quyết định không bao gồm thời gian tải mô hình. Lệnh chấp nhận một mảng câu hỏi có thứ tự; nó không phải là điểm kết nối HTTP SystemOne.

Cách hoạt động

Một bộ khung Qwen3.5 đọc văn bản và lược đồ. Đầu ra quyết định chung chú ý đến ngữ cảnh đó, cho phép các câu hỏi tương tác, và kết hợp điểm số ngữ cảnh với một tiên nghiệm từ các nhúng đầu ra của mô hình. Nó chấm điểm các lựa chọn trực tiếp thay vì tạo ra một token câu trả lời JSON từng token một.

Yêu cầu và giới hạn

Xác minh cục bộ

Cập nhật ngày 3 tháng 10: Hai đợt chạy mới, mỗi đợt lặp lại 20 lần sau khi làm nóng, đạt thời gian trung bình khoảng 276 ms cho cùng một yêu cầu gồm 303 token và ba trường (khoảng ghi nhận 274–284 ms), không tính thời gian tải mô hình. Đợt chạy 291 ms trước đó, trình bày bên dưới, cung cấp các phép đo riêng về RSS và mức chiếm dụng bộ nhớ thực tế. Đây là phép đo lặp lại một yêu cầu văn bản; không đo nhận dạng giọng nói, đầu ra giọng nói hoặc suy luận thị giác.

Trên M5 Pro với 48 GB bộ nhớ thống nhất, trung bình 20 lần chạy đã được làm nóng của một yêu cầu có 303 token, ba trường đã cho ra kết quả trung bình 0,291 giây (trung vị 0,290; khoảng 0,280–0,299), không bao gồm thời gian tải mô hình. Các hoạt động GPU bản địa và các khối 512 token đã giảm thời gian trung bình ban đầu 0,921 giây khoảng 68%, với các trọng số không đổi và các câu trả lời được chọn. RSS đỉnh của quy trình là 5,11 GiB; dấu chân bộ nhớ macOS đỉnh là 6,81 GiB. Chỉ riêng RSS không nắm bắt toàn bộ việc sử dụng bộ nhớ thống nhất. Các đầu vào dài hơn có thể cần nhiều bộ nhớ hơn. Một lần chạy chính xác sau đo được 462–897 ms trong khi các ứng dụng khác đang hoạt động, do đó thời gian trễ trung bình 291 ms không phải là một cam kết độ trễ cố định. Đây là các phép đo phát triển trên một yêu cầu lặp lại, không phải là một tiêu chuẩn chất lượng rộng rãi. Tất cả 303 ID token tham chiếu đều khớp, và sự khác biệt về xác suất tối đa so với tham chiếu Python là khoảng 0,00266.

Nguồn