Слежка за видеокартой. Scott Hanselman выпустил инструмент GPU Taskman
Терминальный менеджер задач для видеокарт теперь умеет распознавать нейросети. С Scott Hanselman выпустил инструмент GPU Taskman, который объединяет системные метрики с данными о запущенных ИИ-моделях.
Программа работает в терминале на Windows, Linux (включая WSL) и macOS на чипах Apple Silicon. Она собирает данные о температуре, энергопотреблении, частотах и занятой памяти, совмещая их со списком процессов. В отличие от обычных утилит, инструмент пытается определить, какая именно модель или среда выполнения (runtime) использует ресурсы видеокарты.
Для распознавания ИИ-моделей программа использует комбинацию методов: считывает данные через NVML (NVIDIA) и ADL (AMD), анализирует загруженные библиотеки и аргументы командной строки. Например, для файлов формата GGUF инструмент может показать название модели, количество параметров и уровень квантования. Он также оценивает объём памяти, необходимый для весов и KV-кэша, сопоставляя эти цифры с реальным потреблением памяти процессом.
Инструмент написан на Python и распространяется под лицензией MIT. Для установки через пакетные менеджторы требуется версия Python 3.11 или выше, а для Windows доступны портативные ZIP-архивы, не требующие отдельной установки языка. Версия 0.3.5 добавила поддержку графики Intel в Linux, а версия 0.4.0, функции записи JSON-снимков для отслеживания динамики использования памяти во время тестов.
Разработчики называют ПО экспериментальным. Это значит, что оценки объёма памяти или привязка процесса к конкретной модели являются лишь предположениями, а не прямыми измерениями. Если вы занимаетесь тестированием нейросетей или оптимизацией кода, этот инструмент поможет увидеть, как меняется нагрузка при изменении контекстного окна модели.
Текст подготовила языковая модель по материалам источников.
