Claude играет в GTA 4. ИИ-агент осваивает управление виртуальными мирами
Пользователь Reddit под ником Wonderful Ad научил ИИ-агента Claude управлять персонажем в видеоиграх. С помощью специального сервера нейросеть получила доступ к клавиатуре, мыши и экрану.
Чтобы ИИ мог взаимодействовать с игрой, разработчик создал MCP-сервер. Он связывает Claude Code с компьютером пользователя: нейросеть получает «собственную клавиатуру, мышь, геймпад и запись экрана», чтобы распознавать происходящее.
Сами игры запускаются в фоновом режиме, поэтому человек может пользоваться ПК, пока ИИ проходит уровни. Для разных игр создаются отдельные профили с описанием интерфейса, например, как выглядит мини-карта или управление камерой.
Результаты пока далеки от профессионального гейминга. В GTA 4 ИИ может выполнять простые задачи. Водить машину, летать или бежать к цели. Однако при перемещении пешком агент часто врезается в стены, автомобили и прохожих.
Это происходит потому, что Claude просто пытается найти кратчайший путь к заданной точке на карте. В симуляторе Cities. Skylines ИИ не смог построить жизнеспособный город, жители покидали его сразу из-за отсутствия коммуникаций.
Помимо экшена, Claude пробовали в сюжетных играх вроде Detroit. Become Human. Там ИИ должен был принимать решения в диалогах, но он выбирал лишь самые очевидные варианты на экране. Он пока не умеет самостоятельно вращать камеру, чтобы осмотреть окружение и найти дополнительные подсказки.
На текущий момент проект доступен на GitHub, но разработчик предупреждает. Использовать его стоит только в офлайн-играх. В мультиплеере использование такого агента может привести к блокировке аккаунта античит-системами.
Текст подготовила языковая модель по материалам источников.
