🏠 Главная › user guide › computer use

Использование компьютера (macOS)

Агент Hermes может самостоятельно управлять столом вашего Mac — кликать, печатать, прокручивать, перетаскивать — в фоновом режиме. Ваш зонд не двигается, фокус клавиатуры не меняется, а macOS не переключает пробелы. Вы и агент работают совместно на одной машине.

В отличие от большинства интеграций, использующих компьютер, это работает с любой моделью, способом использования — Claude, GPT, Gemini или открытой моделью на локальной конечной точке vLLM. Нет необходимости беспокоиться о нативной форме антропного поведения.

Как это работает

Набор инструментов computer_use общается через MCP по stdio с cua-driver, драйвером macOS, который использует частный SPI SkyLight (SLEventPostToPid, SLPSPostEventRecordTo) и доступность SPI _AXObserverAddNotificationAndCheckRemote для:

Именно это решение использует «фоновое использование компьютера» OpenAI Codex. cua-driver — это эквивалент открытого исходного кода.

Включение

Выберите любой удобный путь — оба запускают один и тот же установщик:

Вариант 1: выделенная команда CLI (самый прямой).

hermes computer-use install

Эта команда загружает и запускает установщик cua-driver: curl -fsSL https://raw.githubusercontent.com/trycua/cua/main/libs/cua-driver/scripts/install.sh. Используйте «Состояние использования компьютера Hermes», чтобы проверить установку.

Вариант 2: включение набора инструментов в интерактивном режиме.

  1. Запустите «Инструменты Hermes», выберите «🖱️ Использование компьютера (macOS)» → «cua-driver (фон)».
  2. Установка запускает установщик (как в варианте 1).

После установки, независимо от пути подключения:

  1. Предоставьте разрешение macOS при запросе:
  2. Системные настройки → Конфиденциальность и безопасность → Специальные возможности → разрешить терминал (или приложение Hermes).
  3. Системные настройки → Конфиденциальность и безопасность → Запись экрана → разрешите то же самое.
  4. Начнём сеанс с включенным набором инструментов: hermes -t computer_use chat или добавьте computer_use в список включённых наборов инструментов в ~/.hermes/config.yaml.

Поддержание cua-driver в актуальном состоянии

Проект cua-driver регулярно выпускает исправления (например, v0.1.6 исправил ошибку фокуса окна Safari для рабочих процессов UTM). Hermes обновляет бинарный файл в двух местах, чтобы вы не застряли на устаревшей версии:

hermes computer-use status показывает установленную версию рядом с путём к бинарному файлу.

Краткий пример

Запрос пользователя: "Найди моё последнее письмо от Stripe и кратко изложи, что они хотят, чтобы я сделал."

План агента:

  1. computer_use(action="capture", mode="som", app="Mail") — получает скриншот Почты, где каждый элемент боковой панели, кнопка панели инструментов и строка сообщения пронумерованы.
  2. computer_use(action="click", element=14) — нажимает поле поиска (элемент #14 со скриншота).
  3. computer_use(action="type", text="from:stripe")
  4. computer_use(action="key", keys="return", capture_after=True) — отправляет и получает новый скриншот.
  5. Нажимает верхний результат, читает тело, обобщает.

Всё это время ваш курсор остаётся там, где вы его оставили, и Почта никогда не выходит на передний план.

Совместимость с провайдерами

Провайдер Vision? Работает? Примечания
Anthropic (Claude Sonnet/Opus 3+) ✅ ✅ Лучший в целом; SOM + сырые координаты.
OpenRouter (любая vision-модель) ✅ ✅ Поддерживаются многочастные сообщения инструментов.
OpenAI (GPT-4+, GPT-5) ✅ ✅ То же, что выше.
Локальный vLLM / LM Studio (vision-модель) ✅ ✅ Если модель поддерживает многочастный контент инструментов.
Только текстовые модели ❌ ✅ (с ограничениями) Используйте mode="ax" для работы только с деревом доступности.

Скриншоты отправляются встроенными в результаты инструментов как части image_url в стиле OpenAI. Для Anthropic адаптер преобразует их в нативные блоки изображений tool_result.

Безопасность

Hermes применяет многоуровневые защитные меры:

Сочетайте с approvals.mode: manual в ~/.hermes/config.yaml, если хотите подтверждать каждое действие.

Эффективность токенов

Скриншоты дороги. Hermes применяет четыре уровня оптимизации:

Сессия из 20 действий на дисплее 1568×900 обычно стоит ~30K токенов контекста скриншотов, а не ~600K.

Ограничения

Конфигурация

Переопределите путь к бинарному файлу драйвера (тесты / CI):

HERMES_CUA_DRIVER_CMD=/opt/homebrew/bin/cua-driver
HERMES_CUA_DRIVER_VERSION=0.5.0    # опциональная фиксация

Полностью замените бэкенд (для тестирования):

HERMES_COMPUTER_USE_BACKEND=noop   # записывает вызовы, без побочных эффектов

Устранение неполадок

Бэкендcomputer_use недоступен: cua-driver не установлен — Запустите hermes Computer-use install, чтобы загрузить бинарный файл cua-driver, или запустите hermes Tools и набор инструментов Computer Use.

Клики, кажется, не влияют — Захватите и проверьте. Возможно, модное окно, которое вы не заметили, блокирует ввод. Закройте его с помощью «escape» или кнопки закрытия.

Индексы элементов устарели — Индексы SOM действительны только до следующего захвата. Повторно захватите после любого действия, меняющего состояния.

"заблокированный шаблон в текстовом виде" — Текст, который вы попытались ввести, соответствует списку обработки шаблонов шаблонов. Разбейте команду или внесите изменения.

См. также