Локальные нейросети на мини-ПК. Как выбрать модель для работы
Чтобы перенести базовые ИИ-функции с облачных серверов на домашнее железо, автор протестировал 14 моделей на мини-ПК. Результаты помогли разделить быстрых собеседников и точных исполнителей.

Для работы с нейросетями на домашнем компьютере критически важен объём видеопамяти. В ходе тестов на мини-ПК с 96 ГБ общей памяти выяснилось, что операционная система влияет на доступный ресурс. Если в Windows удалось выделить только 48 ГБ, то в Linux этот показатель вырос до 80 ГБ. Это позволило запускать более тяжёлые модели.
Тестирование проводилось по двум направлениям: дисциплина (способность следовать формату и инструкциям) и практика (решение прикладных задач, например, написание SQL-запросов или составление планов). Скорость генерации сильно зависела от выбранной модели. Например, Gemma 4 26B выдавала 63 токена в секунду, тогда как Qwen3.8 27B работала медленнее, всего 12,8 токена в секунду.
При работе с длинным контекстом время ожидания значительно возрастает. Обработка 200 тысяч токенов занимала от 8 до 23 минут. В итоге автор выбрал две модели для повседневных задач. Gemma 4 26B Uncensored используется для разговорного бота, а Qwen3.8 27B, для более сложных фоновых задач из-за её точности при работе с длинным контекстом.
Выбор модели зависит от баланса между скоростью и точностью. Для простых диалогов подходят быстрые решения, а для работы с данными, те, что лучше справляются с длинными текстами.
Источники · 1
Текст подготовила языковая модель по материалам источников.
