SGLang теперь работает на чипах AWS Trainium
Интерфейс для запуска нейросетей SGLang получил поддержку чипов AWS Trainium. С помощью нового плагина SGLang-Neuron разработчики могут использовать привычный рабочий процесс для запуска моделей на облачном железе Amazon.
Amazon представила SGLang-Neuron, плагин, который связывает среду SGLang с чипами AWS Trainium. Инструмент позволяет запускать модели и генерировать ответы через знакомый интерфейс SGLang, используя мощности облачной инфраструктуры Amazon. При этом поддержка железа и основная логика системы развиваются независимо, что позволяет быстрее внедрять обновления.
В основе решения лежит работа с PyTorch. Плагин регистрирует платформу Trainium как нативное устройство (откроется в новом окне), а затем компилирует операции и ядра в исполняемые программы. Для ускорения работы используется механизм разделения задач.
Один сервер готовит кэш (prefill), а другой занимается генерацией токенов (decode). Передача данных между ними происходит через высокоскоростное соединение EFA.
Для пользователей это означает, что процесс развёртывания моделей на специализированных чипах Trainium не требует переписывания кода. Можно использовать те же API и рабочие процессы, которые применялись ранее. Это упрощает масштабирование вычислений для обучения и работы с ИИ в облаке AWS.
Текст подготовила языковая модель по материалам источников.
