Microsoft и партнёры создают стандарты прозрачности для ИИ-агентов
Автономные ИИ-агенты могут самостоятельно использовать корпоративные данные и инструменты без пошагового одобрения человека. Чтобы такие действия можно было отследить, Microsoft запускает инициативу по созданию открытых стандартов безопасности и управления.
Проблема заключается в том, что текущие механизмы безопасности позволяют видеть лишь часть активности нейросетей. Сложно восстановить полный путь от запроса до результата или проверить, насколько описание действий модели соответствует реальности.
В рамках AI Transparency Initiative Microsoft объединилась с более чем 40 организациями, включая Adobe, Accenture, Mastercard и Volvo, чтобы разработать единые правила для закрытых и откры-весовых моделей.
Новый подход строится на трёх принципах: наблюдение, проверка и контроль. Наблюдение подразумевает фиксацию всех инструкций, прав доступа и использованных инструментов. Проверка исключает ситуацию, когда ИИ является единственным источником информации о своих действиях.
Данные должны сверяться с независимыми системами аутентификации. Контроль же даёт компаниям возможность ограничивать доступ агентов к данным и операциям, а также восстанавливать цепочку событий при инцидентах.
Разработчики планируют внедрить эти наработки в продукты Microsoft AI, Foundry и Copilot. Это позволит компаниям интегрировать доказательства активности ИИ в существующие инструменты аудита и безопасности. При смене базовой модели организации смогут сохранить привычные механизмы комплаенса.
Чтобы контроль стал эффективным, компаниям нужно понимать, что происходит внутри моделей. По словам Хайет Галлот (Hayete Gallot), вице-президента по безопасности Microsoft, для работы защитных механизмов необходима прозрачность внутренних процессов ИИ.
Пока стандарты находятся в стадии разработки, задача бизнеса, подготовить инфраструктуру для аудита. Перед внедрением автономных агентов проверьте готовность систем к кросс-верификации данных, от этого зависит возможность быстро остановить ошибку или атаку.
Текст подготовила языковая модель по материалам источников.
