Сжатая модель Bonsai 27B заменяет платный ChatGPT на домашнем ПК
Модель Bonsai 27B позволяет запускать нейросеть с глубоким пониманием контекста на видеокарте объёмом всего 8 ГБ. Это делает локальный ИИ сопоставимым по возможностям с платными подписками вроде ChatGPT Plus.
Стартап PrismML выпустил Bonsai 27B, сжатую версию модели Qwen 3.6 от Alibaba. Благодаря использованию 1-битной архитектуры каждый вес модели занимает около 1,125 бита вместо стандартных 16. Это уменьшило размер модели в 14 раз, что позволило ей целиком поместиться на бюджетную игровую видеокарту.
В отличие от облачных сервисов, где настройки логики скрыты, локальная работа требует ручной настройки пресетов в таких программах, как LM Studio. Пользователь может самостоятельно регулировать температуру ответов и параметр Min P, который отсекает маловероятные слова для сохранения связности текста. В ChatGPT такие тонкие настройки недоступны даже разработчикам через API.
Для сложных задач, вроде математики или анализа условий договоров, в Bonsai можно включить режим размышлений (thinking mode). Это похоже на ползунок усилий в ChatGPT, но здесь процесс рассуждений виден пользователю в реальном времени. Режим потребляет много контекста и замедляет ответы, но помогает модели находить точные детали в длинных документах.
Для повседневных задач вроде анализа PDF-файлов или текстовых документов Bonsai справляется лучше моделей меньшего размера. Архитектура позволяет находить даты и суммы, спрятанные в середине длинных страниц. Однако работа с изображениями через отдельный 4-битный модуль пока уступает облачным решениям в точности мелких деталей.
Для работы с документами это даёт возможность обрабатывать конфиденциальные файлы без отправки их на сторонние серверы; по сравнению с облачными подписками, локальный запуск требует больше времени на настройку рабочего места.
Что поменялось
Модель Bonsai 27B позволяет использовать возможности мощных ИИ на видеокартах с 8 ГБ памяти за счёт экстремального сжатия весов.
Источники · 1
Текст подготовила языковая модель по материалам источников.

