Сборка домашнего суперкомпьютера. Как соединить два сервера
Два сервера, соединённые через технологию InfiniBand, могут работать как единая вычислительная система. Чтобы превратить разрозненное железо в кластер, недостаточно просто воткнуть кабель, нужно настроить обмен данными и управление сетью.
Для создания мини-суперкомпьютера требуется общая задача, требующая обмена промежуточными результатами. Если серверы работают над независимыми процессами, дополнительное соединение не даст прироста скорости.
В задачах с искусственным интеллектом, например при разделении этапов обработки текста (prefill и decode), серверам необходимо передавать KV-кеш, рабочие записи модели. В этом случае технология InfiniBand с поддержкой RDMA позволяет передавать данные напрямую из памяти одного устройства в другое, минимизируя нагрузку на процессоры.
Процесс настройки включает четыре этапа: физическое соединение, настройку маршрутов через менеджер подсети (например, OpenSM), разделение сети на логические группы и автоматизацию управления. Чтобы серверы одного пользователя не конфликтовали с чужими машинами на общей фабрике, используются партиции. Доступ к ним регулируется ключами P_Key. Они позволяют ограничить круг общения внутри группы и защитить данные.
Перед покупкой оборудования стоит изучить симулятор ibsim это инструмент с открытым исходным кодом для моделирования топологии сети. Он помогает понять, как будут распределяться потоки данных без затрат на реальное железо. Однако стоит учитывать, что программная симуляция не всегда точно воспроизводит особенности физического оборудования.
Сборка кластера требует не только мощного железа, но и глубокой настройки сетевых протоколов. Это значит, что успех зависит не от количества серверов, а от скорости их взаимодействия.
Источники · 1
Текст подготовила языковая модель по материалам источников.


