Nodul запустила DeepSeek V4.1 Flash на двух видеокартах
Для работы кодинг-агентов не всегда нужны восемь графических процессоров. Команда Nodul научилась запускать модель DeepSeek V4.1 Flash на двух картах Nvidia H200, доработав движок vLLM.
Стандартная настройка vLLM требует восемь видеокарт, чтобы вместить веса модели объёмом 147 ГБ и оставить место для контекста. Разработчики Nodul применили подход Lossless Expert Tiering. Самые востребованные подсети экспертов остались в видеопамяти, а остальные перенесли в оперативную память сервера. Это позволило при 20 одновременных сессиях увеличить медианную скорость генерации с 5,4 до 36,4 токена в секунду на одного агента.
Эффект достигается за счёт того, что модель обращается к разным экспертам с разной частотой. Сначала команда настроила раскладку по публичной статистике, а затем адаптировала её под задачи написания кода. Движок также научился менять размещение весов без перезапуска системы. При 30 параллельных сессиях скорость составила 20,1 токена в секунду на агента.
«Для команды примерно из 25-27 человек это около 15-20 тысяч рублей на разработчика. Этот вариант подходит для небольших и средних команд, которым служба безопасности запрещает отправлять код и документы во внешние API», сказал Александр Данилов, генеральный директор и основатель Nodul.
Готовую раскладку нельзя просто скачать, так как при смене задач набор задействованных экспертов меняется. Решение Nodul позволяет экономить на оборудовании, заменяя дорогостоящую стойку с восемью GPU двумя картами. Отказ от облачных API может стать необходимостью, когда защита данных требует держать ИИ внутри компании. Вы готовы переплачивать за аренду серверов, чтобы сохранить контроль над кодом?
Что поменялось
Модель DeepSeek V4.1 Flash теперь работает на двух видеокартах вместо восьми с сохранением высокой скорости генерации.
Текст подготовила языковая модель по материалам источников.

