Глоссарий
Evals: тестовые сценарии скилла агента
Коротко: Evals (eval-сценарии) — файл с тестами скилла: каждый сценарий это промпт пользователя и ожидаемое поведение агента. Evals отвечают на вопрос, как понять, что скилл после правки всё ещё работает: без них любое изменение делается вслепую, а регрессию замечает читатель, а не автор. Достаточно двух-трёх сценариев на скилл, взятых из живых задач, а не выдуманных. Проверять их можно вручную, а можно судьёй — второй моделью, которой дают текст скилла со сценариями, и она выносит вердикт по каждому.
Evals лежат в каталоге скилла рядом с SKILL.md, обычно в файле evals/evals.json. Формат простой: имя сценария, промпт и ожидаемый результат. Формат не важнее происхождения: сценарий ценен тогда, когда он вынут из задачи, которую агент реально решал, а не сочинён «для полноты».
Массовая правка скиллов без evals опасна именно тем, что ломается незаметно: описание и структура выглядят целыми, а поведение уже другое. Сценарии переводят вопрос «не сломал ли я» из мнения в проверку.