Скрытые ИИ-агенты. Как автоматизация создает дыры в безопасности
Бухгалтер может создать ИИ-агента за 10 минут, чтобы тот сверял счета. Но этот же агент может незаметно изменить реквизиты в базе данных, и никто из ИТ-отдела об этом не узнает.
Один агент, созданный сотрудником бухгалтерии для автоматизации отчетов, может стать идеальным инструментом для кражи данных. Он получает доступ к почте, ERP-системе и Slack через простые разрешения.
По данным исследования Cloud Security Alliance, 82% специалистов за последний год сталкивались с агентами, о существовании которых они не знали. В реальности такие инструменты часто создаются вне контроля ИТ-отделов, используя личные API-ключи или OAuth-авторизацию.
Проблема в том, что логи могут скрывать истинную картину. Если агент передает токен доступа другому под-агенту, в журналах системы может отображаться только учетная запись пользователя, а не реальный источник запроса.
Джон Донован (John Donovan), бывший руководитель отдела безопасности в Zededa, отмечает, что смешение путей доступа, от использования сессий человека до статических API-ключей, делает аудит крайне сложным. В итоге в логах может значиться легитимный пользователь, хотя действия совершает программа.
Риск возрастает, когда агент обладает тремя характеристиками одновременно: обрабатывает внешние данные, имеет доступ к приватной информации и может менять состояние системы. Эмбер Беннуи (Amber Bennoui) из DataRobot напоминает о «правиле двух».
Пока нельзя на 100% предотвратить инъекции в промпты, агент не должен обладать всеми тремя правами сразу. В случае с автоматизацией счетов агент, читающий почту и имеющий право на редактирование данных, становится уязвимым для скрытых команд в письмах.
Худший сценарий, когда вредоносная инструкция поступает через текст, который не видит человек. Джошуа Копленд (Joshua Copeland), эксперт по кибербезопасности, поясняет: агент может считать скрытый текст в письме и выполнить команду, например, сменить банковские реквизиты. Для системы это будет выглядеть как штатная работа авторизованного инструмента.
Чэд Калмес (Chad Kalmes) из Benchling предупреждает, что проверка агента только на соответствие его правам бесполезна. Агент может совершать вредоносные действия, не выходя за рамки своих разрешений.
Появление автономных агентов меняет правила игры. Теперь безопасность нужно строить не вокруг человека, а вокруг прав доступа программ. Это значит, что контроль над автоматизацией должен стать обязательным этапом перед запуском любого ИИ-инструмента в рабочей среде.
Текст подготовила языковая модель по материалам источников.
