Правка одной строки весов устраняет циклы в рассуждениях ИИ
Одна строка в весах модели может остановить бесконечные размышления. Исследователь исправил проблему зацикливания в моделях Spark-X2.6, изменив лишь малую часть параметров.
У моделей Spark-X2.6 была критическая ошибка в логике. Достигнув верного ответа, нейросеть отказывалась его подтверждать и уходила в бесконечный цикл перепроверок. Она снова и снова переформулировала вывод или перечисляла инструменты, не совершая полезного действия. Это семантическая петля, которую сложно поймать обычными метриками повторов.
Вместо долгого дообучения автор применил хирургическое редактирование весов. Проблема заключалась в дефиците токена завершения при достижении правильного ответа. Решение заключалось в изменении всего одной строки выходного слоя.
Для модели 4B изменили 2 560 весов, что составляет лишь ничтожную долю от общего объёма. Для версии 1.7B правка затронула 2 048 параметров.
Результаты показали резкое снижение частоты циклов. В модели 1.7B количество ошибок упало на 92,9%, а в версии 4B, на 58,4%. При этом общие способности моделей не пострадали.
На некоторых тестах, например GSM8K, точность даже выросла. Это доказывает, что точечное вмешательство в геометрию весов может исправлять логические ошибки без потери интеллекта.
Метод работает точечно, не обрезая полезные рассуждения. Однако это решение исправляет только циклы в процессе «мышления». Проблемы с использованием инструментов в агентских задачах могут сохраняться. Это значит, что исправление логики, лишь первый шаг в управлении поведением ИИ.
Что поменялось
Вместо переобучения или изменения настроек генерации для исправления логических циклов используется точечное редактирование одной строки весов выходного слоя.
· обновлено, версия 2
Источники · 2
Текст подготовила языковая модель по материалам источников.
