Инструмент Inference Manager упрощает управление локальными ИИ-моделями
В Ubuntu появился новый инструмент для работы с нейросетями на домашнем компьютере. Inference Manager позволяет устанавливать и запускать ИИ-модели локально через командную строку.
Разработчики Canonical представили инструмент Inference Manager для управления ИИ-моделями. Он работает через командную строку и позволяет устанавливать нейросети прямо на компьютер пользователя. Для доступа к моделям используется HTTP-интерфейс через порт 8400.
Это позволяет подключать к ним любые программы, от чат-ассистентов до инструментов для написания кода. Интерфейс совместим с API от OpenAI. Это значит, что существующие клиенты и приложения смогут работать с локальными моделями без переписывания кода.
Инструмент поставляется в формате Snap и доступен в App Center. Установить его можно командой sudo snap install inference или через магазин приложений. Для работы с моделями, например Smollm2, предусмотрены специальные команды. Это превращает компьютер в локальный сервер для ИИ-задач.
В текущей версии Ubuntu 26.10 также появилась функция Myna. Это программа для преобразования речи в текст, которая позволяет диктовать сообщения прямо в любые текстовые поля на рабочем столе.
Вместо облачных сервисов Canonical делает ставку на Open-Weight модели. Они работают полностью на устройстве пользователя и не требуют интернет-соединения. Это обеспечивает приватность данных при выполнении задач. В планах разработчиков, контекстная помощь при поиске ошибок в коде, улучшенное распознавание речи и автоматизация через ИИ-агентов.
Все функции ИИ работают по принципу Opt-in. Пользователь сам решает, когда включать возможности нейросетей, и может удалить их в любой момент.
Локальные модели заменяют облачные сервисы, работая на вашем железе. Это значит, что ваши данные не уходят в интернет, а ИИ-ассистенты доступны без подписок и стабильного соединения.
Что поменялось
Появился инструмент для установки и управления локальными ИИ-моделями через командную строку с совместимостью к OpenAI API.
Текст подготовила языковая модель по материалам источников.
