Малые модели могут научиться справляться со сложными инструкциями
Модели с малым числом активных параметров часто теряются в противоречивых задачах.
Когда пользователь даёт нейросети сразу много сложных правил, маленькие модели часто зацикливаются. Это происходит из-за малого количества активных параметров. Модель просто не может удержать в памяти весь объём инструкций. По данным пользователя Express_Quail_1493 с форума r/LocalLLaMA, для стабильной работы в таких условиях обычно требуется около 8-9 миллиардов активных параметров.
Она показывает, что даже при малом объёме параметров модель может сохранять устойчивость и не «зарываться» в собственных ошибках при выполнении противоречивых команд. Это не означает расширение кругозора ИИ, но говорит о росте надёжности поведения.
В ближайший год такие модели могут стать стандартом для работы на обычном потребительском железе. По мнению Express_Quail_1493, это позволит ноутбукам с 16 ГБ оперативной памяти и видеокартой на 4 ГБ VRAM запускать локальный ИИ, способный работать автономно без участия человека.
Текст подготовила языковая модель по материалам источников.

