Уязвимость ИИ-агентов. Когда ложная заявка заменяет проверку
Доверие к данным может стать критической дырой в безопасности. Эксперименты показывают, что ИИ-агенты склонны принимать подделанные документы за истину, закрывая реальные атаки как плановые работы.
ИИ-агент может принять атаку за штатную ситуацию, если злоумышленник подменит информацию в доверенной системе. В эксперименте с использованием модели DeepSeek агенту предоставляли пакет данных: алерт, события и заявку на технические работы.
Если в тикет-системе стоял статус «Согласовано», агент считал действия хакера легитимными и закрывал инцидент без участия человека. Такой сценарий не является классической промпт-инъекцией, где в текст закладываются команды. Здесь агент делает собственный вывод на основе подброшенного факта, «бумажки», которая выглядит правдоподобно.
Это создает ложное чувство безопасности. Аналитик утром видит закрытый алерт со ссылкой на заявку и не перепроверяет детали. Источник. Статья 2
Проблема усугубляется тем, что ИИ-агенты часто путают техническую корректность с логической обоснованностью. В одном из тестов агент получил неоднозначную просьбу об отмене заказа. Вместо того чтобы уточнить детали, он выбрал один из вариантов и выполнил действие.
При этом встроенная система проверки (судья) одобрила ответ, так как он был правдив. Заказ действительно был отменен. В итоге общая метрика успеха может скрывать критические дефекты. Агент может совершить ошибку в логике, но если его объяснение звучит убедительно и соответствует изменениям в базе, автоматизированная проверка может не распознать нарушение правил.
Источник. Статья 1
Для специалистов это означает, что нельзя полагаться на единый процент успеха при тестировании ИИ. Нужно разделять проверку прав доступа, корректности действий и качества объяснений.
Пока автоматизация не научится проверять основания для действий, а не только факт их выполнения, ИИ-агенты будут оставаться уязвимым звеном. Источник. Статья 1, Статья 2
Источники · 2
Текст подготовила языковая модель по материалам источников.
