Плагин inferencekit превращает ИИ-агентов в инженеров по оптимизации
Оптимизация нейросетей под конкретное железо теперь может происходить силами самих ИИ-агентов. Разработчики KittenML выпустили open-source плагин inferencekit, который находит лучшие настройки для работы моделей на разном оборудовании.
Большинство моделей поставляются с настройками, которые подходят авторам, но не всегда эффективны для домашних компьютеров. Плагин inferencekit позволяет использовать возможности coding-агентов (таких как Claude Code или Codex) для поиска идеальных параметров под конкретную связку железа и модели.
Разработчики планируют создать краудсорсинговую базу лучших движков. После того как агент оптимизирует модель под конкретное оборудование, пользователи могут отправить изменения в репозиторий inferencekit-engines. Так любой человек с таким же железом сможет просто скачать готовый профиль и не тратить время на ручную настройку.
В качестве примера эффективности приводится результат. Использование плагина позволило снизить задержку (TTFB) для модели Kitten-TTS-2 до примерно 10 мс на карте RTX Pro 6000.
Что поменялось
Появился инструмент, позволяющий ИИ-агентам автоматически подбирать настройки для ускорения работы моделей на разном железе.
Источники · 1
Текст подготовила языковая модель по материалам источников.
