Новый формат сжатия позволяет запускать тяжёлые модели на домашних картах AMD
Скорость генерации текста при высоком качестве может вырасти на 20% без покупки профессионального оборудования. Разработчик представил обновление Strata EXL3 для видеокарт AMD, которое меняет подход к работе с весами моделей.

Обновление Strata EXL3 для архитектуры AMD ускоряет процесс декодирования на 10-20%. В некоторых сценариях прирост скорости достигает 24%. Главная особенность формата EXL3 заключается в эффективном использовании памяти. При низком числе бит на параметр, например 3,05 bpw, качество работы модели остается на уровне стандартных 4-битных квантований.
Это позволяет получать высокую точность ответов при скоростях, характерных для гораздо более лёгких моделей. На двух видеокартах Radeon RX 7900 XTX скорость достигает 87 токенов в секунду.
Разработчик внедрил функцию перепаковки весов экспертов для более эффективного доступа к ним через оперативную память. Это помогает при использовании помощи процессора (CPU assistance) для инференса. Такая настройка позволяет ускорить работу, если видеокарты не справляются с объёмом данных.
При использовании двух графических ускорителей перепаковка обычно не требуется, но для конфигураций с одной картой она может быть полезна. Также реализована экспериментальная поддержка MiMo V2.6 Flash, которая выдаёт 25-30 токенов в секунду на двух картах с использованием квантования 2,20 bpw.
Для запуска тяжелых моделей на потребительском железе теперь можно использовать комбинацию GPU и CPU. На одной видеокарте Radeon RX 7900 XTX при использовании помощи процессора достигается скорость около 55-60 токенов в секунду с качеством, сопоставимым с 5-битными моделями.
Это делает работу с крупными языковыми моделями на домашних станциях более реалистичной задачей. Вместо ожиния отведов от облачных сервисов пользователи получают высокую скорость локально.
Обновление позволяет запускать качественные модели на потребительских видеокартах AMD с высокой скоростью. Это значит, что вы сможете использовать мощные ИИ-инструменты на обычном домашнем ПК.
Что поменялось
Скорость декодирования выросла на 10-20%, а качество моделей при низком количестве бит стало выше.
Источники · 1
Текст подготовила языковая модель по материалам источников.
