Машинный перевод · Оригинал на английском
Clef-flash: локальные решения в Swift
Предварительная версия для разработки. Поддержка локального текста находится в разработке и еще не выпущена в speech-swift.
Clef-flash читает состояние и набор вопросов, затем оценивает допустимые ответы вместе. Модуль Swift запускает модель 9B локально на Apple Silicon с MLX и весами 4-бит. Во время вывода не используется процесс Python или размещенный API.
Использовать из Swift
import Clef
let model = try await Clef.fromPretrained()
let result = try model.decide(
state: "Please turn the kitchen lights on.",
questions: [
ClefQuestion(id: "action", instructions: "Which action?",
kind: .choice(["on": "Lights on", "off": "Lights off", "other": "Other"])),
ClefQuestion(id: "urgent", instructions: "Is this urgent?", kind: .noul())
])
print(result.decisions[0].probabilities)
Вопросы с выбором вариантов возвращают вероятности для каждого варианта. Вопрос noul возвращает вероятность истинности. Вопрос с оценкой принимает упорядоченный список, такой как .score(["normal", "urgent"]), и возвращает ожидаемый индекс с нулевым смещением. Модуль не выполняет команды.
Командная строка
speech clef decide request.json
speech clef decide request.json --model-dir /path/to/Clef-flash-9B-MLX-4bit
speech clef decide request.json --offline --max-tokens 4096
По умолчанию модель aufklarer/Clef-flash-9B-MLX-4bit. Первая команда скачивает её при необходимости. Используйте локальную директорию или флаг offline, чтобы избежать скачивания.
Отдельная команда
swift build -c release --product clef-decide --disable-sandbox
scripts/build_mlx_metallib.sh release
.build/release/clef-decide /path/to/clef-flash-mlx-4bit request.json
{"state":"Turn the lights on.","questions":[
{"id":"action","type":"choice","instructions":"Which action?",
"choices":{"on":"Lights on","off":"Lights off","other":"Other"}}
]}
Выходные данные включают вероятности, количество входных токенов и время принятия решения, исключая загрузку модели. Команда принимает упорядоченный массив вопросов; это не HTTP-эндпоинт SystemOne.
Как это работает
Бэкенд Qwen3.5 читает текст и схему. Совместная голова принятия решений обращается к этому контексту, позволяет вопросам взаимодействовать и комбинирует контекстные оценки с априорными данными из выходных эмбеддингов модели. Она оценивает варианты напрямую, а не генерирует ответ JSON по токенам.
Требования и ограничения
- Apple Silicon, macOS 15+ и MLX. Поддерживаемый экспортируемый аффинный формат с 4-битной точкой занимает приблизительно 5.3 ГБ; оперативная память во время выполнения требуется дополнительно.
- Только текст. Изображения, видео, модель Clef размером 27B и другие форматы весов не поддерживаются.
- Используйте каждый экземпляр последовательно. Ограничение по умолчанию составляет 4096 закодированных токенов, настраиваемое до 16384; запросы, превышающие этот размер, завершаются с ошибкой, а не обрезают состояние молча.
- Вероятности — это не гарантированные калиброванные значения. Отдельно выполняйте выполнение команд и подтверждение от оценки модели.
- Опубликованная задержка хостинга не является измерением этого локального Swift-реализации.
Местная валидация
Обновление от 3 октября: Два свежих запуска по двадцати повторениям с предварительным прогревом в среднем составили около 276 мс для того же запроса на 303 токена с тремя полями (наблюдаемый диапазон 274–284 мс), без учета загрузки модели. Ранний запуск на 291 мс, приведенный ниже, предоставил отдельные измеренияизмерения RSS и физического следа. Это один повторный текстовый запрос; распознавание речи, синтез речи и визуальное выведение не измерялись.
На M5 Pro с 48 ГБ объединенной памяти, двадцать разогретых запусков одного запроса на 303 токена с тремя полями в среднем заняли 0,291 секунды (медиана 0,290; диапазон 0,280–0,299), без учета загрузки модели. Нативные операции GPU и блоки по 512 токенов сократили исходное среднее значение 0,921 секунды примерно на 68%, при неизменных весах и выбранных ответах. Пиковое потребление RSS процесса составило 5,11 ГиБ; пиковая занимаемая память macOS — 6,81 ГиБ. Только RSS не отражает все использование объединенной памяти. Более длинные входные данные могут требовать больше памяти. Позднее тестирование корректности показало 462–897 мс при работе других приложений, поэтому среднее значение 291 мс не является гарантированной задержкой. Это измерения измерения измерения измерения измерения измерения измерения измерениямерения разработки на одном повторяющемся запросе, а не широком бенчмарке качества. Все 303 ID референсных токенов совпадают, и максимальная разница вероятностей с Python-референсом составляет около 0,00266.