Nodul запустила DeepSeek V4.1 Flash на двух видеокартах
Для работы кодинг-агентов не всегда нужны восемь графических процессоров. Команда Nodul научилась запускать модель DeepSeek V4.1 Flash на двух картах Nvidia H200, доработав движок vLLM.
Стандартная настройка vLLM требует восемь видеокарт, чтобы вместить веса модели объёмом 147 ГБ и оставить место для контекста. Разработчики Nodul применили подход Lossless Expert Tiering. Самые востребованные подсети экспертов остались в видеопамяти, а остальные перенесли в оперативную память сервера. Это позволило при 20 одновременных сессиях увеличить медианную скорость генерации с 5,4 до 36,4 токена в секунду на одного агента.