Модель Qwen3.5-9B работает на видеокарте PS4
Старая игровая консоль теперь может выступать в роли локального ИИ-сервера. Разработчик запустил модель Qwen3.5-9B на стандартной PS4, используя её графический процессор.
Для запуска нейросети веса перепаковали в кастомные 4- и 3-битные форматы. Это позволило уменьшить объем занимаемой памяти до 4,5 ГБ. Благодаря такой оптимизации модель работает полностью офлайн на стандартном железе консоли без установки Linux или облачных сервисов.
Он позволяет модели генерировать до двух токенов за один проход, после чего основная сеть проверяет их целиком. По данным автора проекта (leonardo_alegria, r/LocalLLaMA), это подняло скорость с 22 до 31-39 токенов в секунду на старой видеокарте.
Вместо облачных подписок и сложных настроек теперь можно использовать старую приставку для написания кода или общения. Это значит, что даже устаревшее железо может выполнять задачи современного ИИ при условии правильной оптимизации весов.
Источники · 1
Текст подготовила языковая модель по материалам источников.
