Машинный перевод · Оригинал на английском

Clef-flash: локальные решения в Swift

Предварительная версия для разработки. Поддержка локального текста находится в разработке и еще не выпущена в speech-swift.

Clef-flash читает состояние и набор вопросов, затем оценивает допустимые ответы вместе. Модуль Swift запускает модель 9B локально на Apple Silicon с MLX и весами 4-бит. Во время вывода не используется процесс Python или размещенный API.

Использовать из Swift

import Clef
let model = try await Clef.fromPretrained()
let result = try model.decide(
    state: "Please turn the kitchen lights on.",
    questions: [
        ClefQuestion(id: "action", instructions: "Which action?",
            kind: .choice(["on": "Lights on", "off": "Lights off", "other": "Other"])),
        ClefQuestion(id: "urgent", instructions: "Is this urgent?", kind: .noul())
    ])
print(result.decisions[0].probabilities)

Вопросы с выбором вариантов возвращают вероятности для каждого варианта. Вопрос noul возвращает вероятность истинности. Вопрос с оценкой принимает упорядоченный список, такой как .score(["normal", "urgent"]), и возвращает ожидаемый индекс с нулевым смещением. Модуль не выполняет команды.

Командная строка

speech clef decide request.json
speech clef decide request.json --model-dir /path/to/Clef-flash-9B-MLX-4bit
speech clef decide request.json --offline --max-tokens 4096

По умолчанию модель aufklarer/Clef-flash-9B-MLX-4bit. Первая команда скачивает её при необходимости. Используйте локальную директорию или флаг offline, чтобы избежать скачивания.

Отдельная команда

swift build -c release --product clef-decide --disable-sandbox
scripts/build_mlx_metallib.sh release
.build/release/clef-decide /path/to/clef-flash-mlx-4bit request.json
{"state":"Turn the lights on.","questions":[
  {"id":"action","type":"choice","instructions":"Which action?",
   "choices":{"on":"Lights on","off":"Lights off","other":"Other"}}
]}

Выходные данные включают вероятности, количество входных токенов и время принятия решения, исключая загрузку модели. Команда принимает упорядоченный массив вопросов; это не HTTP-эндпоинт SystemOne.

Как это работает

Бэкенд Qwen3.5 читает текст и схему. Совместная голова принятия решений обращается к этому контексту, позволяет вопросам взаимодействовать и комбинирует контекстные оценки с априорными данными из выходных эмбеддингов модели. Она оценивает варианты напрямую, а не генерирует ответ JSON по токенам.

Требования и ограничения

Местная валидация

Обновление от 3 октября: Два свежих запуска по двадцати повторениям с предварительным прогревом в среднем составили около 276 мс для того же запроса на 303 токена с тремя полями (наблюдаемый диапазон 274–284 мс), без учета загрузки модели. Ранний запуск на 291 мс, приведенный ниже, предоставил отдельные измеренияизмерения RSS и физического следа. Это один повторный текстовый запрос; распознавание речи, синтез речи и визуальное выведение не измерялись.

На M5 Pro с 48 ГБ объединенной памяти, двадцать разогретых запусков одного запроса на 303 токена с тремя полями в среднем заняли 0,291 секунды (медиана 0,290; диапазон 0,280–0,299), без учета загрузки модели. Нативные операции GPU и блоки по 512 токенов сократили исходное среднее значение 0,921 секунды примерно на 68%, при неизменных весах и выбранных ответах. Пиковое потребление RSS процесса составило 5,11 ГиБ; пиковая занимаемая память macOS — 6,81 ГиБ. Только RSS не отражает все использование объединенной памяти. Более длинные входные данные могут требовать больше памяти. Позднее тестирование корректности показало 462–897 мс при работе других приложений, поэтому среднее значение 291 мс не является гарантированной задержкой. Это измерения измерения измерения измерения измерения измерения измерения измерениямерения разработки на одном повторяющемся запросе, а не широком бенчмарке качества. Все 303 ID референсных токенов совпадают, и максимальная разница вероятностей с Python-референсом составляет около 0,00266.

Источники