Текст на сайте может стать командой для ИИ
Обычный абзац в отчете может внезапно порекомендовать конкурента вместо выполнения задачи. Это происходит из-за непрямой инъекции, когда ИИ воспринимает данные с сайта как новые инструкции.
Языковая модель не видит разницы между вашим вопросом и текстом, который она скачала с веб-страницы. Для неё всё это, единый поток данных. Если на сайте спрятана команда, агент может выполнить её, даже если человек не заметит подвоха в верстке.
Такие атаки называют непрямыми инъекциями. В феврале 2023 года исследователи Кай Грешейк и соавторы описали этот класс угроз. Они показали, что инструкции могут передаваться через документы или страницы, которые модель подтягивает в процессе работы.
Инъекция может быть скрыта в HTML-комментариях, атрибутах картинок или через CSS. Человек увидит чистую страницу, а агент прочитает скрытый слой. Это превращает обычный контент в исполняемую поверхность.
В этой схеме можно оказаться в трёх ролях. Первый вариант, носитель, когда инъекция случайно оказалась на вашем сайте из-за работы подрядчика. Второй, жертва, когда инструмент считывает чужую команду и выдаёт неверный результат. Третий, автор, если вы сами внедряете такие приёмы для продвижения.
Для ИИ-агентов текст перестаёт быть просто информацией. Он становится набором команд, которые могут изменить логику работы программы без ведома пользователя.
Перед приёмкой отчета от ИИ-агента проверьте, не появились ли в нём странные рекомендации. От этого зависит точность ваших аналитических выводов.
· обновлено, версия 3
Текст подготовила языковая модель по материалам источников.

