기계 번역 · 영어 원문

Clef-flash: Swift 에서 로컬 결정

개발 미리보기. 로컬 텍스트 지원은 개발 중이며 speech-swift 에 출시되지 않았습니다.

Clef-flash 는 상태를 읽고 질문 집합을 읽은 후 허용된 답변을 함께 점수 매깁니다. Swift 모듈은 Apple Silicon 에서 MLX 와 4 비트 가중치를 사용하여 9B 모델을 로컬로 실행합니다. 추론 중에는 Python 프로세스나 호스팅된 API 가 사용되지 않습니다.

Swift 에서 사용

import Clef
let model = try await Clef.fromPretrained()
let result = try model.decide(
    state: "Please turn the kitchen lights on.",
    questions: [
        ClefQuestion(id: "action", instructions: "Which action?",
            kind: .choice(["on": "Lights on", "off": "Lights off", "other": "Other"])),
        ClefQuestion(id: "urgent", instructions: "Is this urgent?", kind: .noul())
    ])
print(result.decisions[0].probabilities)

선택 질문은 각 옵션에 대한 확률을 반환합니다. noul 질문은 true 의 확률을 반환합니다. 점수 질문은 .score(["normal", "urgent"]) 과 같은 정렬된 목록을 입력받아 0 기반 인덱스를 반환합니다. 이 모듈은 명령을 실행하지 않습니다.

명령 줄

speech clef decide request.json
speech clef decide request.json --model-dir /path/to/Clef-flash-9B-MLX-4bit
speech clef decide request.json --offline --max-tokens 4096

기본 모델은 aufklarer/Clef-flash-9B-MLX-4bit 입니다. 첫 번째 명령은 필요할 경우 이를 다운로드합니다. 다운로드를 피하려면 로컬 디렉토리 또는 오프라인 플래그를 사용하세요.

독립 명령

swift build -c release --product clef-decide --disable-sandbox
scripts/build_mlx_metallib.sh release
.build/release/clef-decide /path/to/clef-flash-mlx-4bit request.json
{"state":"Turn the lights on.","questions":[
  {"id":"action","type":"choice","instructions":"Which action?",
   "choices":{"on":"Lights on","off":"Lights off","other":"Other"}}
]}

출력은 확률, 입력 토큰 수, 모델 로딩을 제외한 결정 시간을 포함합니다. 명령어는 정렬된 질문 배열을 허용하며 SystemOne HTTP 엔드포인트가 아닙니다.

작동 방식

Qwen3.5 백본은 텍스트와 스키마를 읽습니다. 공동 결정 헤드는 해당 컨텍스트에 주의를 기울이고 질문들이 상호작용하게 하며, 모델의 출력 임베딩에서 가져온 사전 지식을 컨텍스트 점수와 결합합니다. 이 방법은 토큰 하나씩 JSON 답을 생성하는 대신 옵션을 직접 점수 매깁니다.

요구 사항 및 제한 사항

로컬 유효성 검사

10 월 3 일 업데이트: 각각 20 회 반복을 2 회 실행한 결과는 동일한 303 토큰, 세 필드 요청에 대해 약 276 ms로 평균화되었으며 (관측 범위 274–284 ms), 모델 로딩을 제외합니다. 아래에 제시된 이전 291 ms 실행은 별도의 RSS 및 물리적 발자국 측정치를 제공했습니다. 이는 반복된 텍스트 요청 하나이며, 음성 인식, 음성 출력 및 시각 추론은 측정되지 않았습니다.

M5 Pro 48 GB 통합 메모리 환경에서, 모델 로딩 시간을 제외하고 303 토큰 3 개 필드 요청을 20 회 가온 런(run) 실행한 평균은 0.291 초 (중앙값 0.290 초, 범위 0.280–0.299 초) 입니다. 네이티브 GPU 연산과 512 토큰 청크는 원래 평균 0.921 초를 약 68% 줄였으며, 가중치와 선택된 답변은 동일하게 유지되었습니다. 프로세스 RSS 최대값은 5.11 GiB 이고, macOS 메모리 사용량 최대값은 6.81 GiB 입니다. RSS 만으로는 모든 통합 메모리 사용량을 포착하지 못합니다. 더 긴 입력은 더 많은 메모리가 필요할 수 있습니다. 다른 애플리케이션이 실행 중인 상태에서 측정한 후기 정확도 런은 462–897 ms 였으므로, 291 ms 평균은 고정된 지연 시간 보장이 아닙니다. 이는 단일 반복 요청에 대한 개발 측정치이며, 광범위한 품질 벤치마크가 아닙니다. 모든 303 참조 토큰 ID 가 일치하며, Python 참조와 최대 확률 차이는 약 0.00266 입니다.

출처