Старый игровой ноутбук стал домашним ИИ-сервером
Видеокарта GTX 1060 с 6 ГБ памяти способна выдавать более 30 токенов в секунду. Так можно превратить старое железо в рабочую станцию для локальных языковых моделей.
Для работы ИИ-сервера на базе Proxmox автор использовал контейнер LXC с движком llama.cpp через Vulkan. Это позволило перенаправить мощности графического процессора на задачи генерации текста. Это позволило уместить вычисления в лимит видеопамяти старой карты.
Локальный сервер обслуживает несколько сервисов: Blinko для тегирования заметок, Karakeep для суммаризации веб-страниц и видео, а также Paperless GPT для обработки документов. Все эти инструменты обращаются к ИИ по IP-адресу сервера.
Постоянная работа ноутбука в качестве сервера создаёт риск вздутия аккумулятора из-за постоянной зарядки. Чтобы избежать пожара, автор настроил автоматизацию в Home Assistant. Умная розетка отключает питание при достижении определённого уровня заряда, а затем включает его снова.
Перед использованием самодельного сервера проверьте систему охлаждения. Если ноутбук будет работать с закрытой крышкой, перегрев может повредить экран или клавиатуру.
Что поменялось
Старое железо с видеокартой уровня GTX 1060 можно использовать как сервер для запуска легких LLM через контейнеры.
Текст подготовила языковая модель по материалам источников.
