Нейросети в играх: королева-собутыльник и зачем Minecraft-агенту зрение

Нейросети в играх: как ИИ-мод подсовывает тебе королеву-собутыльника и зачем Minecraft-агенту зрение

Мне прислали пост моего друга Александра Погольского из ВК. Прочитал, проверил по первоисточникам и понял, что тема интереснее, чем кажется из поста. Сначала слово автору - его пост приведён целиком, без последнего вопроса (вы поймёте, какой).

"Скажу прямо: мне большей частью нравится жить при киберпанке. VR-авиасимуляторы чертовски красивы и реалистичны, а VR-спорт укрепляет ничуть не хуже спорта обычного, только при этом еще и заставлять себя не нужно - все делается как-то само. Вчера же я был в очередной раз поражен до чего дошли технологии. Я установил на Crusader Kings 3 моды на нейросетевой ИИ и пропал. В 4 часа ночи я обнаружил себя на моменте, когда мы с королевой Арагона, моей давней подругой и известной любительницей бухнуть (черта "алкоголик" в CK3) прямо в диалоговом окне игры пели "Дорогу Сна" Мельницы, которую я выдал за песню, подслушанную во время моего путешествия в Швецию. Вы спросите "как такое возможно"? Отвечаю. "Voices of the Court" - это такой мод, который подключает OpenAI к игре Crusader Kings и персонажи игры уже разговаривают с тобой как (почти) живые люди. Интерфейс и куча окон взаимодействия уже не нужны - обо всем можно договориться (или не договориться) прямо в диалоговом окне. По сути получается полный эффект хорошей ролевой настолки с годным DM. Да. У меня еще стоит модификация Crusader Blade и в случае битвы меня перекидывает в M&B2:Bannerlord, где все мои 250 бронированных всадников и 300 человек бронированной пехоты появляются на поле битвы как... 250 бронированных всадников и 300 бронированной пехоты, а ты радостно лично шинкуешь врагов мечом в лучших традициях "Шашки & Коняшки". Осталось только дождаться полноценного VR-фехтования с нормальным взаимодействием на оружие противника и все будет совсем круто."

Теперь разберём, что там под капотом. Всё проверено по живым источникам, с прямыми ссылками.

Как устроен Voices of the Court

Первое, что важно понять: это не один мод, а связка из двух частей.

Первая - классический мод из Steam Workshop. Его работа - "уши и руки" внутри игры: он выгружает состояние персонажей (черты, отношения, воспоминания, титулы) в файлы в папке документов CK3 и принимает обратно команды.

Вторая - отдельное десктопное приложение, с открытым кодом в репозитории VOTC на GitHub (Electron + Node.js, лицензия GPLv3). Оно читает выгруженные файлы, собирает из них контекст персонажа, отправляет его в LLM вместе с твоей репликой, а ответ конвертирует обратно в игровые действия.

И вот тут самое интересное. Приложение работает не только с OpenAI. По README поддерживаются:

• OpenRouter - любой OpenAI-совместимый эндпоинт

• Player2 - платформа для ИИ-модов, о ней ниже

• Deepseek

• Ollama - локальная модель на твоей же машине

• "Custom OpenAI-Compatible" - вообще любой совместимый API

То есть "подключает OpenAI" из поста - частный случай. Королева Арагона может петь "Дорогу Сна" тебе голосом локальной модели с твоей же видеокарты, без единого запроса в интернет.

Вторая фишка - Action System. Персонажи не просто болтают: по контексту разговора они могут выполнять реальные игровые действия (свадьба, союз, интрига). Система расширяемая - моддеры добавляют свои действия. Это и даёт эффект "настолки с DM", о котором пишет Александр: договариваешься словами, а не кликаешь по окнам.

Player2: платформа под этим всем

VOTC размещён на player2.game - платформе от Elefant AI. Это буквально инфраструктура для ИИ-модов: локальное приложение-брокер, бесплатные модели плюс дневные кредиты на frontier-модели, API для мододелов. У VOTC там 1.3M загрузок, и это далеко не самый качавшийся мод.

Живой каталог игр с ИИ-модами на платформе (масштаб впечатляет):

• Crusader Kings III: Voices of the Court (+ Community Edition)

• Mount & Blade II: AI Influence (AI Diplomacy), ChatAi, Battle Shouts

• RimWorld: RimTalk (почти 12M загрузок - самый популярный), EchoColony, The Storyteller's Voice, EchoTales, RimChat

• Minecraft: AI NPC, MCA Reborn, CreaturePals, Touhou Little Maid

• Stardew Valley: The Living Valley, Social Valley

• Skyrim: Mantella - разговоры с NPC через микрофон: speech-to-text, LLM, text-to-speech, NPC помнят твои прошлые диалоги

• Kenshi, Barotrauma, GTA V, Terraria, Deltarune, The Sims 4, UBOAT, Elin

Модель индустрии простая: мод даёт "тело" (доступ к состоянию игры), платформа даёт "мозг" (LLM API). Player2 NPC для Minecraft описывает это прямо: "The Player2 app provides the AI brain for your NPC. The mod provides the body in-game."

Crusader Blade: два движка, один поход

Вторая половина поста - Crusader Blade. Это не ИИ вообще, это шина данных между двумя играми. Когда в CK3 начинается битва, программа запускает Bannerlord и передаёт туда состав армий. Ты дерёшься в реалтайме, и результат возвращается в CK3.

Деталь, которую стоит знать: перенос потерь пропорциональный. Потерял в Bannerlord 6% лучников - в CK3 6% лучников считаются погибшими. Небольшие армии переносятся один-в-один, огромные (крестовые походы) - пропорционально, потому что Bannerlord физически не держит на экране сотни тысяч юнитов.

Настройка, судя по обсуждению, незамысловатая: распаковать, указать пути к Bannerlord.exe и ck3.exe, выставить максимальный размер битвы. Это ровно тот же паттерн, что и у VOTC - брокер между игрой и внешним миром, только вместо LLM тут второй движок.

Нужно ли зрение модели, чтобы играть в Minecraft

А теперь продолжение, о котором автор поста не догадывался. Все моды выше обходятся без "глаз": игра сама отдаёт состояние мира текстом, модель его читает и отвечает. Но в Minecraft этот вопрос встаёт ребром - и у него есть проверенный научный ответ.

Вариант слепой: Voyager

Voyager (NVIDIA и партнёры, 2023) - первый LLM-агент для Minecraft с непрерывным обучением. И он полностью слеп: никакой видеовход, модель видит только текстовое описание состояния - инвентарь, ближайшие сущности, координаты, локальные наблюдения.

Вместо зрения - три компонента: автоматический учебный план (какую задачу решать следующей), растущая библиотека навыков в виде исполняемого кода и итеративный промптинг с обратной связью от среды. GPT-4 пишет код для Minecraft API, код исполняется, ошибки возвращаются модели, удачные навыки сохраняются для переиспользования.

Результат: на 3.3x больше уникальных предметов, в 2.3x большие дистанции, ключевые узлы техдерева проходились до 15.3x быстрее предыдущих методов. И навыки переносятся в новый мир без переобучения.

Вывод из Voyager: если игра умеет отдавать состояние структурированным текстом, зрение не нужно. LLM компенсирует отсутствие глаз богатым предобучением - GPT-4 и так "знает" Minecraft по интернету.

Вариант зрячий: VPT и STEVE-1

Но у слепого подхода есть потолок: агент управляет игрой через API-вызовы, а не как человек. Если задача - управлять мышью и клавиатурой по сырым пикселям, без зрения не обойтись.

Video PreTraining (VPT) от OpenAI: сеть обучена на ~70000 часов YouTube-видео Minecraft с размеченными только 0.2% пар "кадр-действие" - остальное доучено inverse dynamics моделью. Поведенческое клонирование на сырых пикселях: модель реально смотрит экран и двигает камерой.

STEVE-1 (2023) идёт дальше: instruction-tuned VPT-модель, которая выполняет короткие текстовые и визуальные инструкции. Методика вдохновлена unCLIP: адаптация VPT к командам в латентном пространстве MineCLIP, затем prior для предсказания латентных кодов из текста. Порог впечатляющий: весь процесс обошёлся в 60 долларов вычислений, модель выполняет 12 из 13 задач раннего этапа игры, управляя мышью и клавиатурой по пикселям.

Так нужна ли модельным игрокам картина

Итого по фактам:

• Для диалоговых ИИ-модов (Voices of the Court, RimTalk, Mantella) зрение не нужно в принципе. Игра экспортирует состояние текстом, LLM обрабатывает его как любой промпт. Дешевле, быстрее, надёжнее.

• Для агентных систем уровня Voyager зрение опционально: текстовое состояние мира плюс код-действия работают отлично и без пикселей.

• Зрение становится обязательным только когда агент управляет игрой как человек: мышь, клавиатура, сырые пиксели. Это территория VPT и STEVE-1, и она на порядок дороже.

Практический вывод для того, кто хочет собрать своего ИИ-незнакомца в игре: начинай с текстового пайплайна. Игра почти всегда умеет отдавать состояние структурированно - это дешевле и стабильнее скриншотов. Зрение подключай только когда упрёшься в задачу, которую текстом не описать: прицеливание, ориентация в 3D, чтение картинки.

А фехтование с честной физикой клинков, о котором мечтает автор поста, - это уже третий рубеж: там нужен не только vision, но и haptics. Модели дают картинку; возврат отдачи в кисть пока делают только перчатки, и этоhardware-проблема, а не модельная. Ждём.

Ссылки

VOTC: репозиторий и страница мода на Player2

Voices of the Court в Steam Workshop | Платформа Player2 (Elefant AI)

Player2 NPC для Minecraft | Mantella для Skyrim

Crusader Blade: обсуждение и настройка | обзор NME

Voyager: сайт проекта и статья | VPT: Video PreTraining | STEVE-1