NIST систематизирует угрозы для ИИ-агентов
Национальный институт стандартов и технологий США (NIST) представил проект таксономии атак на системы машинного обучения. В документе выделена отдельная глава, посвящённая уязвимостям ИИ-агентов.
Разработчики создают системы, которые могут самостоятельно планировать задачи и использовать внешние инструменты. Это открывает новые пути для нарушителей. От подмены инструкций до кражи данных через цепочки поставок моделей. В документе NIST описано, как злоумышленник может вмешаться в процесс планирования или заставить агента бесконечно вызывать инструменты, расходуя вычислительные ресурсы.
Особое внимание уделено косвенным инъекциям в промпт. Агент может прочитать подложную инструкцию в веб-странице или документе и принять её за распоряжение пользователя. Если атака направлена на долговременную память, вредоносные сведения сохраняются между сеансами работы. Это позволяет нарушителю закреплять своё влияние на систему в течение долгого времени.
В случае взаимодействия нескольких агентов взлом одного из них может привести к заражению всей сети через подложные сообщения. На уровне системы защиту предлагают строить на изоляции инструментов и ограничении прав доступа. Однако избыточные запреты могут мешать агенту выполнять полезные задачи, что создаёт дилемму при проектировании систем.
Для специалистов по безопасности этот проект станет базой для создания стандартов и проверок. Использование единой терминологии поможет точнее описывать угрозы и тестировать защиту на практике. Пока проект находится на стадии обсуждения. Замечания принимают до 18 декабря 2026 года.
Текст подготовила языковая модель по материалам источников.
