Домашний ИИ-сервер на базе старых видеокарт. Опыт сборки
Попытка собрать мощную нейросетевую станцию из серверного железа привела к неожиданным техническим ограничениям. Вместо ожидаемой фермы автор получил систему, где карты разных поколений не смогли работать вместе.
Сборка домашнего ИИ-сервера началась с покупки двух ускорителей Nvidia Tesla P100 16GB на вторичном рынке. Для работы системы также потребовался блок питания на 1200 Вт, так как одна карта потребляет до 250 Вт в пиковом режиме.
Главной проблемой стала несовместимость оборудования. При попытке установить две карты P100 в китайскую материнскую плату X99 система не запускалась. Как выяснилось, причиной стал BIOS, который не поддерживал одновременную работу нескольких ускорителей.
Попытки решить проблему через замену видеокарт на современные модели вроде GTX 3060 не помогли: движок Strata, используемый для запуска моделей, не умеет работать с картами разных поколений. В итоге суммарная память в 28 ГБ оказалась недоступна, так как система использовала только 16 ГБ с одной карты.
Несмотря на ограничения, использование одной Tesla P100 позволило запустить модель Qwen 3.8 Flash Next. Благодаря архитектуре движка Strata, который распределяет слои нейросети между видеопамятью и оперативной памятью (64 ГБ), удалось достичь скорости 30-60 токенов в секунду. Этого оказалось достаточно для локальной разработки кода через OpenCode.
Попытка собрать мощный ИИ-сервер из старых комплектующих превратилась в работу с одной видеокартой. Это значит, что при сборке систем на базе разных поколений архитектур возможности железа могут быть ограничены программными нюансами.
Источники · 1
Текст подготовила языковая модель по материалам источников.
