IBM научила малые модели игнорировать скрытые команды
Скрытые инструкции в документах могут заставить ИИ выйти из-под контроля. Разработчики из IBM нашли способ защитить небольшие модели от подобных атак.
Проблема инъекций в промпт актуальна для малых моделей. В них проще спрятать команду, которая заставит ИИ выполнить вредоносное действие при чтении файла. Разработчики из IBM представили решение, обучающее модели игнорировать подобные команды. Это помогает защитить систему, если пользователь загружает документ с заложенной инструкцией.
Текст подготовила языковая модель по материалам источников.
