Makine çevirisi · İngilizce aslı

Clef-flash: cihaz üzerinde Swift'te yerel kararlar

Geliştirme önizlemesi. Yerel metin desteği geliştirme aşamasında ve speech-swift'te henüz yayınlanmamıştır.

Clef-flash, bir durum ve bir soru setini okur, ardından izin verilen cevapları birlikte puanlar. Swift modülü, 9B modelini MLX ve 4-bit ağırlıklarla Apple Silicon üzerinde yerel olarak çalıştırır. Çıkarım sırasında Python işlemi veya barındırılan API kullanılmaz.

Swift'ten kullan

import Clef
let model = try await Clef.fromPretrained()
let result = try model.decide(
    state: "Please turn the kitchen lights on.",
    questions: [
        ClefQuestion(id: "action", instructions: "Which action?",
            kind: .choice(["on": "Lights on", "off": "Lights off", "other": "Other"])),
        ClefQuestion(id: "urgent", instructions: "Is this urgent?", kind: .noul())
    ])
print(result.decisions[0].probabilities)

Her seçenek için olasılıklar döner. noul sorusu, 'true'nun olasılığını döner. Puan sorusu, .score(["normal", "urgent"]) gibi sıralı bir liste alır ve sıfır tabanlı beklenen indeksi döner. Modül komut yürütmez.

Komut satırı

speech clef decide request.json
speech clef decide request.json --model-dir /path/to/Clef-flash-9B-MLX-4bit
speech clef decide request.json --offline --max-tokens 4096

Varsayılan model aufklarer/Clef-flash-9B-MLX-4bit. İlk komut gerekirse indirir. İndirmeyi önlemek için yerel bir dizin veya offline bayrağını kullanın.

Ayrı komut

swift build -c release --product clef-decide --disable-sandbox
scripts/build_mlx_metallib.sh release
.build/release/clef-decide /path/to/clef-flash-mlx-4bit request.json
{"state":"Turn the lights on.","questions":[
  {"id":"action","type":"choice","instructions":"Which action?",
   "choices":{"on":"Lights on","off":"Lights off","other":"Other"}}
]}

Çıktı, olasılıklar, giriş token sayısı ve model yükleme süresi hariç karar süresini içerir. Komut, sıralı bir soru dizisi kabul eder; SystemOne HTTP uç noktası değildir.

Nasıl çalışır

Bir Qwen3.5 omurgası metni ve şemayı okur. Ortak karar başlığı o bağlamı dikkate alır, soruların etkileşimini sağlar ve bağlamsal skorları modelin çıktı gömümlerinden gelen bir öncesel ile birleştirir. Seçenekleri doğrudan skorlar, JSON cevabını token token oluşturarak üretmek yerine.

Gereksinimler ve sınırlar

Yerel doğrulama

Ekim 3 güncellemesi: Her biri 20 ısıtma tekrarı içeren iki yeni çalışmanın, aynı 303-token, üç alanlı istek için ortalama 276 ms sürdüğü (gözlemlenen aralık 274–284 ms), model yükleme süresi hariç tutularak belirtildi. Aşağıdaki daha önceki 291 ms çalışması, ayrı RSS ve fiziksel ayak iz ölçümlerini sağlamıştır. Bu, tekrarlanmış bir metin isteğidir; ses tanıma, ses çıktısı ve görsel çıkarım ölçülmemiştir.

Bir M5 Pro'da, 48 GB birleşik bellek ile, model yükleme süresi hariç tutularak, ortalama 0.291 saniye (medyan 0.290; aralık 0.280–0.299) süren 20 ısınmış çalıştırma, 303 token, üç alanlı bir istek için yapıldı. Yerel GPU işlemleri ve 512 token'lık parçalar, orijinal 0.921 saniyelik ortalama süreyi yaklaşık %68 oranında azalttı, ağırlıklar ve seçilen cevaplar değişmeden. Zirve işlem RSS'i 5.11 GiB idi; zirve macOS bellek ayak izi 6.81 GiB idi. RSS tek başına tüm birleşik bellek kullanımını yakalamaz. Daha uzun girişler daha fazla bellek gerekebilir. Diğer uygulamalar aktifken yapılan daha sonraki doğruluk çalışması 462–897 ms ölçtü, bu nedenle 291 ms ortalama sabit gecikme garantisi değildir. Bunlar, geniş kapsamlı bir kalite benchmarkı değil, tek tekrarlı istek için geliştirme ölçümleridir. Tüm 303 referans token ID'leri eşleşir ve Python referansından maksimum olasılık farkı yaklaşık 0.00266'dır.

Kaynaklar