Агенты не умеют откатывать изменения. Как строить защиту вокруг ИИ
Написание кода, лишь часть работы ИИ-агентов, которая часто не поддаётся стандартному откату через git revert. Исследователи обнаружили, что при сбоях агенты часто теряют обратимость действий, меняя настройки среды или внешние API.
Авторы проектов UndoBench и EvoUndo провели испытания, чтобы проверить устойчивость агентов к сбоям. В 2880 парах тестов, где имитировались ошибки, агенты успешно завершали задачи в 84% случаев, но восстанавливались после сбоя лишь в 47% успешных прогонов.
В проекте EvoUndo на 600 задачах по самоэволюции агенты улучшали показатели в 478 случаях, но в 197 из них (около 42%) процесс восстановления ломался. Это происходит потому, что git отслеживает только файлы репозитория, а агенты могут менять конфигурации среды, маршрутизацию или базы данных.
Проблема усугубляется отсутствием привязки к состоянию и ограниченным языком отката. Попытки просить модель исправить ошибку через промпт в 197 случаях не дали ни одного успешного результата. При использовании стратегии с привязкой к состоянию (state grounding) восстановление выросло с нуля до 38 из 48 случаев. Расширение словаря операций в изолированном прогоне подняло показатель восстановления до 180 из 197 правок, что составило около 92%.
Для защиты от ошибок инженеры используют концепцию harness, программной обвязки вокруг модели. В EvoUndo внедрили проверку до допуска правки. Перед изменением сохраняется снимок состояния (state witness), а независимый верификатор сверяет итог с ним.
Если после внесения правки в тестовой среде качество не выросло или значения не вернулись к исходным, изменение отклоняется. В случае невозможности отката система останавливает агента и вызывает человека.
При работе с внешними API возникают риски дублирования действий. В тестах UndoBench при потере подтверждения от сервера наивные повторные запросы создавали дубликаты в 54% испытаний. Принципал-инженер Microsoft отмечает, что оркестратор видит только итоговый вывод, но не понимает объем работы за ним. Это может приводить к «грязному чтению», когда один субагент выдаёт выдуманные данные, а другие принимают их за истину и передают в отчёты.
Для решения проблем с распределёнными системами предложена схема SAFE. Она включает три правила: наличие источника данных с метками времени (Source-grounded), использование одноразовых разрешений для внешних записей (At-most-once) и ограничение параллельных стартов (Flow-controlled). Для предотвращения сбоев, как в случае с блокировками npm в MCP Pacemaker, используются временные задержки и строгая проверка статусов.
Что поменялось
Вместо простого написания кода фокус смещается на создание программной обвязки (harness), которая контролирует контекст, права доступа и возможность отката изменений.
· обновлено, версия 2
Источники · 2
Текст подготовила языковая модель по материалам источников.
