Удаление весов позволяет обучать ИИ новым навыкам без переписывания модели
Чтобы научить замороженную модель новым задачам, достаточно обнулить лишь малую часть её параметров. Метод Deletion Tuning позволяет адаптировать нейросеть через создание бинарных масок, не меняя сами веса.
Метод Deletion Tuning адаптирует предобученную модель, обучая бинарную маску для гейтовых проекций MLP. При таком подходе выбранные веса остаются нетронутыми, а остальные обращаются в ноль. На крупных моделях этот способ показал эффективность, сопоставимую с полным файнтюнингом.
В рамках тестирования на больших масштабах потребовалось занулить менее 0,05% параметров. При этом прежние способности модели не страдают. В случае обучения с подкреплением точность на старых задачах падает не более чем на 1 пункт от базовой модели. Однако малые модели могут набирать лишь 90% от точности при плотном обновлении весов.
Системы инференса могут переключать задачи с помощью битовых масок объёмом в мегабайты поверх одной общей модели. Это позволяет менять специализацию без потери накопленных знаний.
Пока не протестировано последовательное дообучение, а несжатые адаптеры ранга 1 часто меньше по объёму, чем предлагаемые маски. Само обучение требует больше памяти.
Что поменялось
Модель можно адаптировать к новым задачам, обнуляя менее 0,05% параметров через бинарные маски без изменения весов.
Текст подготовила языковая модель по материалам источников.

