Запуск тяжелых моделей на старом железе. От Optane до Tesla V100
Запуск нейросетей с триллионами параметров или огромным контекстом на устаревшем оборудовании требует нестандартных решений. Энтузиасты и специалисты находят способы обходить ограничения архитектуры, используя специфическое железо или модифицированный софт.
В домашней лаборатории удалось запустить модель Kimi K3 с 2,8 трлн параметров без использования видеокарт. Для этого использовалась технология Intel Optane Persistent Memory 200 серии, которая работает как независимое пространство данных. Процесс выполнялся с помощью llama.cpp на 40-ядерном процессоре Intel Xeon третьего поколения.
Скорость работы в таком режиме оказалась крайне низкой. При использовании 1-битной квантования скорость генерации составила около 0,85 токена в секунду. После отключения функции прямого доступа (DAX) и перевода данных в кэш DRAM скорость выросла до 1,5 токенов в секунду. При использовании 3-битной квантования генерация 50 000 токенов заняла около 18,5 часов.
Другой сценарий решения проблемы нехватки современного оборудования, использование старых видеокарт Tesla V100. В Беларуси специалисты запустили модель Qwen3.8-27B на четырёх картах 2017 года выпуска, общим объёмом памяти 64 ГБ. Поскольку официальный софт vLLM не поддерживает архитектуру Volta (SM70) для 4-битных моделей, пришлось использовать специальный форк, 1Cat-vLLM.
Для стабильной работы пришлось вручную настраивать параметры памяти. Из-за ошибок в загрузчике форка веса модели не вычитались из общего бюджета, что приводило к переполнению памяти. Специалисты решили проблему через явное задание объёма KV-кеша.
Для окна в 262 144 токена выделили около 4,6 ГБ на карту. Это позволило поддерживать работу системы при одновременном использовании нескольких процессов.
Сравнение архитектур показало неожиданный результат. В тестах плотная модель (dense) оказалась быстрее MoE-модели (с разреженной структурой). На генерации плотная модель обогнала MoE на 9%, а скорость печати каждого токена была выше на 14%.
Перед использованием результатов работы на старом железе проверьте точность квантования, так как она напрямую влияет на скорость и стабильность системы.
· обновлено, версия 3
Источники · 2
Текст подготовила языковая модель по материалам источников.
