Разделение прав ИИ. Как не дать агенту переделать весь сайт
Автономный агент может решить, что для исправления одной ошибки нужно изменить десятки страниц. Чтобы такие «умные» решения не превращались в хаос, разработчики создают системы контроля изменений.
Когда ИИ-агент получает доступ к сайту, он может предложить технически верное, но нежелательное решение. Например, вместо правки одной страницы он решит изменить общий шаблон, затронув весь ресурс.
Чтобы такие действия не происходили по невнимательности пользователя, автор проекта Site Agent Runtime предложил разделить процессы принятия решений, подготовки плана и их исполнения. В такой архитектуре агент лишь предлагает варианты, а программная прослойка проверяет их на соответствие заданию.
Одним из ключевых компонентов такой системы стал ChangeSet. Этот инструмент не вносит правки на сайт напрямую, а формирует декларативный документ: описание изменений, зависимости, риски и условия отката. Метод bindscope() связывает каждую операцию с конкретной целью. Если агент предложит удалить ресурс вместо обновления, система отклонит такую операцию на уровне программного кода, а не простого текстового запроса.
При разработке системы возникла классическая проблема конкурентной записи. Если два процесса одновременно прочитают одну версию документа, подготовят разные изменения и по очереди их сохранят, результат первого процесса будет просто стёрт вторым. Даже атомарная замена файлов и блокировки не спасают от ситуации lost update, когда новая правка делается на основе устаревших данных.
Для разработчиков это означает, что контроль над ИИ должен быть зашит в архитектуру системы, а не полагаться на точность промптов. Пока ИИ-агенты остаются инструментом, требующим промежуточного слоя для проверки планов, чтобы случайная правка не превратилась в катастрофу.
Текст подготовила языковая модель по материалам источников.
