Быстрый запуск ИИ-агентов через снимки состояния
Чтобы сократить время ожидания ответа, Amazon Bedrock AgentCore runtime переходит к модели мгновенного восстановления сессий. Вместо запуска контейнера при каждом запросе система будет использовать снимки состояния микровиртуальных машин.
В новой версии V2 процесс подготовки среды переносится на этап создания или обновления рантайма. Система запускает контейнер, дожидается подтверждения готовности через пинг и делает снимок памяти и диска. При появлении нового пользователя среда просто восстанавливается из этого снимка, возвращая все загруженные библиотеки и объекты в оперативную память. Это позволяет избежать повторной инициализации тяжелых библиотек при каждом обращении.
Скорость работы зависит от того, как распределена нагрузка. Если агент загружает данные в память во время инициализации, они будут доступны мгновенно. Однако кэш файлов при создании снимка очищается, поэтому чтение файлов с диска всё равно потребует времени. Для сценариев, где требуется субсекундный отклик, разработчикам придётся использовать дополнительные инструменты вроде хуков сборки или предварительного прогрева сессий.
Для оптимизации расходов и скорости в V2 реализовано освобождение неиспользуемой памяти. Это позволяет платить только за те ресурсы, которые потребляют активные сессии. Если агент требует работы с внешними инструментами вроде браузеров или CLI, которые не сохраняются в памяти процесса, может потребоваться переработка архитектуры для получения максимальной выгоды от новой версии.
Перед приёмкой ответа проверьте, какие задачи выполняются во время инициализации, так как от этого зависит скорость первого ответа пользователя.
Что поменялось
В версии V2 вместо запуска контейнера для каждой сессии используется восстановление снимка состояния, что ускоряет старт и позволяет экономить на ресурсах.
· обновлено, версия 3
Текст подготовила языковая модель по материалам источников.
