Визуализация работы нейросети. Как увидеть экспертов модели на карте
Разработчик создал инструмент для визуализации работы движка Strata, который превращает работу сложной нейросети в живую карту. Теперь можно увидеть, как меняются активные узлы при смене задач.
В архитектуре MoE (Mixture-of-Experts) вместо одной плотной сети используются десятки «экспертов» на каждом слое. У модели Qwen3.8-Flash-Next их 24 576, по 512 на каждый из 48 слоёв. Чтобы такая огромная база данных помещалась в память видеокарты, движок Strata использует адаптивный кэш. Наиболее востребованные эксперты остаются в видеопамяти, а остальные подгружаются с диска или из оперативной памяти.
Для наглядности работы этой механики автор проекта разработал новую вкладку «Experts» в веб-интерфейсе. Она представляет собой сетку 48×512, где цвет каждой клетки показывает «теплоту» (частоту обращений) к конкретному эксперту, а рамка обозначает его физическое присутствие в видеопамяти. При смене темы запросов, например, с программирования на стихи, активные зоны на карте заметно смещаются.
Исследование показало, что около 38% узлов составляют стабильное «ядро», они работают почти на каждом запросе независимо от темы. Остальные эксперты ведут себя менее предсказуемо. При одинаковых запросах карта всё равно продолжает «тасоваться». Это происходит из-за недетерминированной генерации текста, когда каждый новый токен может активировать разные периферийные узлы.
Инструмент позволяет превратить «чёрный ящик» нейросети в понятную схему. Для пользователей это значит, что работа с тяжелыми моделями на слабом железе становится прозрачнее. Можно увидеть, как именно распределяются вычислительные ресурсы.
Источники · 1
Текст подготовила языковая модель по материалам источников.
