Project Maya позволяет запускать огромные ИИ-модели на одном GPU
Инструмент Project Maya объединяет видеопамять, оперативную память и SSD для работы с гигантскими нейросетями. Это позволяет запускать модели вроде GLM-5.3-Flash на пользовательском оборудовании, где объем данных превышает возможности одной видеокарты.
Технология использует архитектуру MoE, где вычисления распределяются между экспертными модулями. Часто используемые части модели загружаются в VRAM, менее активные, в оперативную память, а остальное хранится на SSD с последующей подгрузкой. Для модели Maya-XS требуется суммарно 88 ГБ памяти, для версии Maya-S, 128 ГБ, а для Maya-L, 192 ГБ.
Инструмент поддерживает до 8 одновременных запросов для работы с ИИ-агентами или группами пользователей. Благодаря совместимости с API OpenAI и Anthropic, Project Maya можно подключать к существующим приложениям. В тестах конфигурация с двумя RTX 5090 и одной RTX 4090 показала скорость генерации 148,6 токена в секунду.
Версия Maya-XS занимает 73,4 ГБ и сохраняет 92,4% точности оригинала, а Maya-L объемом 156,3 ГБ сохраняет 99,2% точности. Минимальное требование для запуска, наличие 32 ГБ оперативной памяти и SSD, однако при нехватке VRAM система может выдать ошибку загрузки.
Что поменялось
Для запуска моделей объемом в сотни гигабайт теперь можно использовать комбинацию VRAM, RAM и SSD через специализированный софт.
Текст подготовила языковая модель по материалам источников.
