Новый софт от AMD ускоряет работу 51 модели на чипах Strix Halo
Специальный набор инструментов позволяет запускать нейросети на процессорах AMD быстрее, чем стандартные решения. Разработчик из группы AMD представил стек hrx-loom для оптимизации моделей.
Инструментарий hrx-loom объединяет компилятор, среду выполнения и инструменты для развёртывания. Он позволяет создавать оптимизированные программы без изменения основного движка или сервера. Вместо ручной правки кода пользователь может использовать векторную модель программирования в файлах .loom. Это упрощает работу ИИ-агентов, которые могут сами писать ядра для моделей.
По результатам тестов на чипах Strix Halo новые решения работают быстрее, чем привычные llama.cpp Vulkan и ROCm. Автор протестировал 51 популярную модель из Hugging Face, адаптировав их под этот стек. Все модели успешно сохранили функции вызова инструментов, спекулятивного декодирования и работу с изображениями. На текущий момент инструменты доступны для Linux и Windows через пакет PyPI.
Вместо сложной настройки теперь можно использовать команды loom-fetch и loom-serve для быстрого запуска. Это освобождает время на ручную оптимизацию каждого веса. Для тех, кто использует железо AMD для локального запуска нейросетей, это означает появление альтернативного способа выжать максимум производительности. Пока разработчики работают над интеграцией этого бэкенда в llama.cpp, чтобы упростить переход на новый стек.
Текст подготовила языковая модель по материалам источников.

