Локальные модели научились работать на обычном железе
Домашние компьютеры с видеокартами среднего сегмента теперь могут запускать тяжелые нейросети с огромным контекстом. Новые движки и методы сжатия позволяют обходить ограничения памяти, не теряя в скорости.
Традиционный запуск больших моделей часто упирается в объём видеопамяти. Если веса не помещаются в VRAM, их выгружают в оперативную память, из-за чего скорость генерации падает до критических значений. Решение для архитектуры Qwen3.8, движок Strata, использует другой подход.
Он распределяет экспертов модели между видеопамятью, оперативной памятью и SSD. Это позволяет запускать модели объёмом более 50 ГБ на игровых ПК, сохраняя приемлемую скорость даже при контексте в 512 тысяч токенов.
Альтернативный способ работы с весами, использование LoRA для снятия ограничений. Вместо того чтобы скачивать сотни гигабайт специально «разблокированных» моделей, можно использовать крошечные файлы-надстройки. Они позволяют на лету менять поведение модели, например, убирать отказы на запросы.
Применение такой технологии через llama.cpp позволяет сохранить исходную точность модели, так как изменения вносятся только в определённые направления весов. Это работает почти без потери качества и позволяет переключать режимы поведения прямо во время диалога.
Сжатие моделей также эволюционирует. Троичные веса, где у каждого числа всего три значения (−1, 0, +1), позволяют уместить огромные модели в устройства с малым объёмом памяти. Например, модель Bonsai 2 27B была разработана так, чтобы помещаться в смартфоны.
Однако стандартные инструменты вроде Ollama пока не поддерживают такие специфические форматы без ручного патчинга программного кода. В тестах на старом железе 2017 года такие методы пока уступают обычным моделям меньшего размера по стабильности и скорости.
Что поменялось
Пользователи получают возможность запускать тяжелые модели на потребительском железе через оптимизированное распределение весов и LoRA-надстройки.
· обновлено, версия 8
Источники · 6
- LFM2.5-24B-A2B + Hermes is awesome!
- Testing agents without running a model in CI: record once, replay with zero calls, judge with a local model only when needed (open source, I'm the author)
- BigMoeOnEdge outperforms Strata and colibri on 8-16 GB cards and Mac and you can run any model
- Why download abliterated Flash Next models when LoRA exists?
- Нейросеть на железе со свалки, или Как Bonsai 2 27B проиграла Qwen3 8B
- У нас есть Claude дома — заметка о том, как я делал быстрый и дешёвый локальный LLM
Текст подготовила языковая модель по материалам источников.

