Запуск локальных LLM на Mac

Это руководство проведет вас через запуск локального LLM-сервера на macOS с API, совместимым с OpenAI. Вы гарантируете полную конфиденциальность, нулевую стоимость API и высокую производительность Apple Silicon.

Мы рассмотрим два бэкенда:

Оба варианта имеют конечную точку /v1/chat/completions, совместимую с OpenAI. Hermes работает с любым из них — просто укажите http://localhost:8080 или http://localhost:8000.

Выбор модели

Для начала мы рекомендуем Qwen3.5-9B — это сильная модель рассуждений, которая комфортно размещается в 8 ГБ+ унифицированной памяти с квантованием.

Эмпирическое правило памяти: размер модели + КВ-кэш. Модель 9B Q4 занимает ~5 ГБ. КВ-кэш при девяти 128К с квантованием Q4 добавил ~4-5 ГБ. В стандартном (f16) КВ-кэш раздувается до ~16 ГБ. Флаги квантованного KV-кэша в llama.cpp — ключевой трюк для систем с ограниченной памятью.

Для более крупных моделей (27B, 35B) потребуется 32 ГБ+ унифицированной памяти. 9B — выбор модуля для машин с 8–16 ГБ.

Вариант А: llama.cpp

llama.cpp — это наиболее портативная среда выполнения локальных LLM. В macOS она использует Metal для ускорения графического процессора «из коробки».

Установка

brew install llama.cpp

Это даст вам глобальную команду llama-server.

Загрузка модели

Вам понадобится модель в формате GGUF. Проще всего загрузить ее с Hugging Face через huggingface-cli:

brew install huggingface-cli

Затем скачайте:

huggingface-cli download unsloth/Qwen3.5-9B-GGUF Qwen3.5-9B-Q4_K_M.gguf --local-dir ~/models
```<div class="admonition admonition-tip"><p class="admonition-title">💡 Tip</p> Модели с ограниченным доступом
Некоторые модели «Обнимающее лицо» требуют аутентификации. Если вы получили ошибку 401 или 404, сначала выполните `huggingface-cli login`.</div>
### Запуск сервера
```bash
llama-server -m ~/models/Qwen3.5-9B-Q4_K_M.gguf \
  -ngl 99 \
  -c 131072 \
  -np 1 \
  -fa on \
  --cache-type-k q4_0 \
  --cache-type-v q4_0 \
  --host 0.0.0.0

Вот что означает каждый флаг:

Сервер готов, когда вы увидите:

main: server is listening on http://0.0.0.0:8080
srv  update_slots: all slots are idle

Оптимизация памяти для систем с ограничениями

Флаги --cache-type-k q4_0 --cache-type-v q4_0 — наиболее эффективная оптимизация для систем с ограниченной памятью. Вот влияние на двадцать 128K:

На Mac с 8 ГБ используйте KV-кэш q4_0 и уменьшите контекст до -c 32768 (32K). На 16 ГБ комфортно можно работать с контекстом 128К. На 32 ГБ+ можно запускать более крупные модели или несколько параллельных слотов.

Если памяти всё равно не хватает, сначала уменьшите размер контекста (-c), затем сформируйте более сильное квантование (Q3_K_M вместо Q4_K_M).

Проверка

curl -s http://localhost:8080/v1/chat/completions \
  -H "Content-Type: application/json" \
  -d '{
    "model": "Qwen3.5-9B-Q4_K_M.gguf",
    "messages": [{"role": "user", "content": "Hello!"}],
    "max_tokens": 50
  }' | jq.choices[0].message.content

Получение имени модели

Если вы забыли имя модели, запросите конечную модель модели:

curl -s http://localhost:8080/v1/models | jq '.data[].id'

Вариант Б: MLX через omlx

omlx — это нативное приложение для macOS, которое управляет и обслуживает MLX-модели. MLX — собственный фреймворк машинного обучения от Apple, специальная специальность для построения унифицированной памяти Apple Silicon.

Установка

скачайте и установите с omlx.ai. Он обеспечивает графический интерфейс для моделей управления и встроенный сервер.

Загрузка модели

Используйте приложение OMLX для просмотра и загрузки моделей. Найдите Qwen3.5-9B-mlx-lm-mxfp4 и скачайте его. Модели хранятся локально (обычно в ~/.omlx/models/).

Запуск сервера

Omlx обслуживает модели на http://127.0.0.1:8000 по умолчанию. Запустите обслуживание из интерфейса приложения или через CLI, если доступно.

Проверка

curl -s http://127.0.0.1:8000/v1/chat/completions \
  -H "Content-Type: application/json" \
  -d '{
    "model": "Qwen3.5-9B-mlx-lm-mxfp4",
    "messages": [{"role": "user", "content": "Hello!"}],
    "max_tokens": 50
  }' | jq.choices[0].message.content

Список доступных моделей

Omlx может обслуживать несколько моделей одновременно:

curl -s http://127.0.0.1:8000/v1/models | jq '.data[].id'

Бенчмарки: llama.cpp против MLX

Оба бэкенда протестированы на одной машине (Apple M5 Max, 128 ГБ унифицированной памяти) с одной и той же моделью (Qwen3.5-9B) на прогрессивных уровнях квантования (Q4_K_M для GGUF, mxfp4 для MLX). Пять различных запросов, при запуске каждого, резервные копии тестировались последовательно, чтобы избежать конкуренции за ресурсы.

Результаты

Что это значит

• llama.cpp превосходит обработку промптов — его конвейер flash focus + квантованный KV-кэш выдает первый токен за ~66 мс. Если вы создаете интерактивные приложения, где важна воспринимаемая отзывчивость (чат-боты, автодополнение), это становится преимуществом.

• MLX потоки токенов примерно на 37% быстрее после начала генерации. Для пакетных вычислений, длинной генерации или любых задач, где важнее общее время, а не начальная задержка, MLX справляется быстрее.

• Оба бэкенда чрезвычайно стабильны — разброс между запусками был незначительным. На эти цифры можно полагаться.

Какой выбрать?

Подключение к Гермесу

После запуска локального сервера:

hermes model

Выберите Пользовательская конечная точка и следите за людьми. Вас спросят указать базовый URL-адрес и имя модели — финансовое значение вашего бэкенда.

Тайм-ауты

Hermes автоматически определяет локальные конечные точки (локальный хост, IP-адрес локальной сети) и сокращает тайм-ауты стриминга. Для большинства конфигураций настройка не требуется.

Если вы всё же сталкиваетесь с ошибками тайм-аута (например, очень большие контексты на медленном оборудовании), вы можете переопределить тайм-аут чтения стримы:

# В вашем.env — увеличьте со 120 с по умолчанию до 30 минут
HERMES_STREAM_READ_TIMEOUT=1800

Тайм-аут чтения стримы — тот, который чаще всего вызывает проблемы: это дедлайн на уровне сокета для получения следующего фрагмента данных. Во время префилла в больших контекстах локальные модели могут не выдать выводы в течение нескольких минут, пока обработка не будет выполнена быстро. Автоопределение обработки прозрачности.