Qualcomm запустила облачные тесты системы Dragonfly AI200
В облаке Cirrascale Cloud Services начались испытания стоечной системы Dragonfly AI200 от Qualcomm. Решение нацелено на запуск больших языковых и мультимодальных моделей с меньшими затратами на энергию, чем у систем Nvidia.
В систему Dragonfly AI200 включены ускорители с 768 ГБ памяти LPDDR на каждой карте. В стойке с жидкостным охладом, где размещают 56 таких карт, объём памяти достигает около 43 ТБ.
Архитектура поддерживает работу с моделями от 7 миллиардов до 10 триллионов параметров, включая задачи с длинным контекстом и агентные нагрузки. Вместо дорогой памяти HBM3e, которую использует Nvidia в системах на базе Blackwell, Qualcomm выбрала LPDDR, привычную для мобильных устройств.
Для управления задачами в стойке предусмотрен собственный софт Dragonfly AI Infrastructure Management Suite. Он отвечает за распределение ресурсов, мониторинг и обработку ошибок во всей инфраструктуре. По информации The Register, через Cirrascale Cloud Services клиенты могут протестировать архитектуру перед переходом к промышленному внедрению.
Инференс ИИ становится одной из самых крупных и важных вычислительных нагрузок в датацентре, и индустрии нужен более эффективный подход
Для владельцев датацентров перемена зависит от того, сможет ли новая архитектура оправдать экономию на электричестве при работе с тяжелыми моделями. Пока решение доступно только для тестирования в облаке.
Текст подготовила языковая модель по материалам источников.

