Технология оптимизации сокращает время работы ИИ-агентов на 47 процентов
Чтобы агент не тратил ресурсы на лишние раздумья, компания Nota представила технологию фулстек-оптимизации. Она позволяет ускорить выполнение задач и снизить нагрузку на оборудование без замены моделей или покупки новых GPU.
Новая система управляет рабочим процессом через оптимизацию ханеса. Она анализирует длину ответов и результаты работы инструментов, чтобы выбирать нужную интенсивность рассуждений. Это позволяет исключить повторные проверки уже подтверждённых данных и сфокусировать вычисления только на важных этапах.
Для ускорения генерации ответов используется технология спекулятивного декодирования на базе DFlash2 с повторным использованием контекста. Параллельно с этим код для вычислений на GPU адаптируется под конкретное железо, а настройки совместного запуска нескольких видеокарт сокращают время ожидания. В тестах на кодинг-агентах это позволило сократить время работы на 47% и объем выходных токенов на 60%.
Что поменялось
Пользователи могут выполнять больше задач на текущем оборудовании за счёт снижения избыточных вычислений.
Текст подготовила языковая модель по материалам источников.

