Hermes Agent

← На главную

Опубликовано

Web-инструменты для AI-агента: от trafilatura до Google Docs

Автор: Гусев Николай [портфолио]

Темы: ai-agents, prompting

curl - хорошая утилита. Пока сайт не начинает возвращать 403, а IP не попадает в blacklist. Для AI-агента, который читает десятки страниц в день, raw curl - это быстрый путь к бану.

Рассказываю, что мы поставили своему Hermes Agent для работы с вебом и документами, и как это использовать.

trafilatura: веб без банов

Что это: Python-библиотека для извлечения текста из HTML. Использует правильные HTTP-заголовки, обрабатывает кодировки, редиректы и сжатие. Результат - чистый текст без навигации, рекламы и footer-ов.

Когда нужен: агент находит URL через web_search и хочет прочитать содержание. Раньше мы делали curl | html2text - теперь trafilatura.fetch_url() + extract(). Результат: Wikipedia отдаёт 37K символов чистого текста, Habr - 2K, GitHub README - 7K.

Чего не умеет: JS-heavy SPA (React/Angular). Если контент рендерится на клиенте - нужен browser toolset, trafilatura не поможет.

Проверили: lenta.ru, wikipedia.org, habr.com работают. reuters.com, spiegel.de - нет (JS-only). Это нормальное ограничение - для JS нужен полноценный браузер.

Инструменты для документов

Менеджер работает не только с вебом. Вот полный набор, который мы поставили агенту для работы с файлами:

PDF

  • pymupdf (fitz) - извлечение текста, конвертация PDF в картинки, объединение файлов

  • pdfplumber - таблицы и структурированные данные из PDF (отчёты, счета)

  • pdftotext (system) - быстрая конвертация через poppler, для простых текстовых PDF

  • marker-pdf - PDF в Markdown с сохранением структуры (заголовки, списки, таблицы)

OCR (распознавание текста)

  • tesseract - OCR движок с поддержкой русского и английского

  • pytesseract - Python-обёртка, агент вызывает из execute_code

  • Применение: сканы документов, скриншоты, фото квитанций

DOCX и Excel

  • python-docx - чтение и создание Word-документов (отчёты, договоры)

  • openpyxl - работа с .xlsx файлами (таблицы, графики, бюджет)

Google Workspace

В Hermes Agent есть встроенный скилл google-workspace с OAuth2 авторизацией. Через него агент может:

  • Gmail - поиск, чтение, отправка писем

  • Calendar - просмотр и создание событий

  • Drive - поиск файлов

  • Sheets - чтение и запись таблиц

  • Docs - чтение документов

Почему не curl

curl отправляет минимальные заголовки и не обрабатывает HTML. Результат:

  • Cloudflare и аналогичные сервисы блокируют curl после 5-10 запросов

  • HTML нужно парсить отдельно (grep/sed через терминал - это боль)

  • Кодировки ломаются (utf-8 vs windows-1251)

  • Редиректы и сжатие (gzip) нужно обрабатывать вручную

trafilatura решает все эти проблемы из коробки. Один вызов - и у вас чистый текст статьи.

Отправь это своему Hermes Agent

Скопируй текст ниже и отправь своему агенту. Он сам всё установит.

Твоя задача: установить инструменты для работы с вебом и документами.

1. pip install trafilatura lxml_html_clean
2. pip install pymupdf pdfplumber python-docx openpyxl pytesseract
3. apt-get install -y tesseract-ocr tesseract-ocr-rus tesseract-ocr-eng poppler-utils pandoc
4. Создай скрипт ~/.hermes/scripts/web_fetch.py для быстрого fetch+extract через trafilatura
5. Проверь:
   python3 -c "import trafilatura; print('trafilatura OK')"
   python3 -c "import fitz; print('pymupdf OK')"
   python3 -c "import docx; print('docx OK')"
   python3 -c "import openpyxl; print('openpyxl OK')"
   python3 -c "import pytesseract; print('pytesseract OK')"
   tesseract --version
   pdftotext -v

Итог

Набор для работы с документами в AI-агенте: trafilatura (веб) + pymupdf/pdfplumber (PDF) + tesseract (OCR) + python-docx (Word) + openpyxl (Excel) + google-workspace (Google). Каждый инструмент решает свою задачу. Вместе они покрывают 90% того, с чем сталкивается менеджер при работе с файлами.