🏠 Главная › user guide › apple macos computer use

{/ Эта страница автоматически передается из навыков SKILL.md с помощью сайта/scripts/generate-skill-docs.py. Редактируйте исходный SKILL.md, а не эту страницу. /}

Использование компьютера Macos

Управление рабочим столом macOS в фоновом режиме — скриншоты, мышь, клавиатура, прокрутка, перетаскивание — без захвата пользователя, фокуса клавиатуры или Космос. Работает с любой моделью и хорошими инструментами. Загружайте этот навык всякий раз, когда доступный инструмент computer_use.

Метаданные навыки
Источник Встроенный (установлен по умолчанию)
Путь skills/apple/macos-computer-use
Версия 1.0.0
Платформы макос
Теги использование компьютера, macos, рабочий стол, автоматизация, gui
Связанные навыки браузер

Справочник: полный SKILL.md:::информация

Ниже приведено полное определение навыков, которые Hermes загружает при активации этого навыка. Это то, что агент видит в качестве инструкций, когда навыки активны.

Использование компьютера macOS (универсальный, любая модель)

У вас есть инструмент computer_use, который управляет Mac в телефоне. Ваши действия НЕ перемещают пользователя, не поворачивают фокусы ключей и не переключают Космос. Пользователь может продолжить печатать в своем редакторе, пока вы кликаете в Сафари в другом космосе. Это противоположность инновации в стиле pyautogui.

Всё здесь работает с любой моделью, поддерживающей инструменты — Claude, GPT, Gemini или открытую модель, запущенную через локальный интерфейс с конечной точкой OpenAI. Нет Необходимо изучить собственную схему Anthropic.

Канонический рабочий процесс

Шаг 1 — Первое захватывание. Почти победа начинается с:

computer_use(action="capture", mode="som", app="Safari")

Возвращает скриншот с пронумерованными приложениями на каждом взаимодействующем элементе И индекс AX-дерева, например:

#1  AXButton 'Back' @ (12, 80, 28, 28) [Safari]
#2  AXTextField 'Address and Search' @ (80, 80, 900, 32) [Safari]
#7  AXLink 'Sign In' @ (900, 420, 80, 24) [Safari]...

Шаг 2 — Клик по индексу элемента. Это самое важное привычка:

computer_use(action="click", element=7)

Гораздо надежнее, чем координаты координат для любой модели. Клод образование на верхних этажах; другие модели часто надежны только с индексами.

Шаг 3 — Проверка. После любого действия, изменяющего состояние, выполняется повторный захват. Вы можете Сэкономьте один раунд, запросив пост-действенный захват в той же строке:

computer_use(action="click", element=7, capture_after=True)

Режимы захвата

режим Возвращает Лучше всего для
сом (по умолчанию) Скриншот + пронумерованные наложения + индекс AX Модели с зрением; гарантия по умолчанию
видение Обычный скриншот Когда наложение SOM препятствует тому, что вы хотите проверить
топор Только AX-дерево, без изображения Текстовые модели или когда не нужно видеть пиксели

Действия

capture           mode=som|vision|ax   app=…  (по умолчанию: текущее приложение)
click             element=N     ИЛИ     coordinate=[x, y]
double_click      element=N     ИЛИ     coordinate=[x, y]
right_click       element=N     ИЛИ     coordinate=[x, y]
middle_click      element=N     ИЛИ     coordinate=[x, y]
drag              from_element=N, to_element=M        (или from/to_coordinate)
scroll            direction=up|down|left|right   amount=3 (тики)
type              text="…"
key               keys="cmd+s" | "return" | "escape" | "ctrl+alt+t"
wait              seconds=0.5
list_apps
focus_app         app="Safari"  raise_window=false   (по умолчанию: не поднимать)

Все действия принимают необязательный параметр capture_after=True для последующего получения. скриншот в том же инструменте вызова.

Все действия, ориентированные на элемент, принимают modifiers=["cmd","shift"] для зажатых клавиш.

Фоновые правила (в этом смысле)

  1. Никогда не воспользуйтесь raise_window=True, если пользователь явно не спрашивал вас вывести окно на передний план. Маршрутизация ввода без поднятия.
  2. Ограничивайте захватывающие приложения (app="Safari") — меньше шума, меньше элементы, не просачиваются, другие окна открываются пользователем.
  3. Не переключайте Space. cua-driver управляет элементами в любом Space. независимо от того, какой из них существует.

Шаблоны ввода текста

Перетаскивание

Предпочитайте индексы элементов:

computer_use(action="drag", from_element=3, to_element=17)

Для выделения резиновой ленты на пустом холсте воспользуйтесь координатами:

computer_use(action="drag",
             from_coordinate=[100, 200],
             to_coordinate=[400, 500])

Прокрутка

Прокрутка области просмотра под фактором (наиболее распространено):

computer_use(action="scroll", direction="down", amount=5, element=12)

Или в управлении помещения:

computer_use(action="scroll", direction="down", amount=3, coordinate=[500, 400])

Управление фокусом

list_apps возвращает запущенные приложения с идентификатором пакета, PID и окон. focus_app направляет ввод в приложение, не поднимая его. Вам редко нужно быть явным местоположение фокуса — автоматическая передача app=... в capture / click / type нацелится на переднее окно этого приложения.

Доставка скриншотов пользователю

Когда пользователь находится на платформе обмена сообщениями (Telegram, Discord и т.д.) и вы сделали скриншот, который он должен увидеть, сохраните его в надежном месте и подтвердите MEDIA:/absolute/path.png в его ответе. Скриншоты cua-driver — это PNG-байты; запишите их с помощью write_file или терминала (base64 -d).

В CLI вы можете просто описать, что видите — скриншот данных отображается в вашего разговора.

Безопасность — это строгие правила

Режимы отказ

Когда НЕ использовать computer_use