Модель Qwen3.5 научилась самостоятельно исправлять свои веса
Искусственный интеллект может улучшать свои способности без дополнительного обучения, просто анализируя и переписывая собственные веса.
В ходе эксперимента ИИ анализировал свои ответы на математические задачи и находил причины ошибок. Вместо стандартного метода обратного распространения ошибки модель использовала среду для выполнения Python-кода, чтобы точечно менять значения весов. Это позволило достичь результата без привлечения огромных вычислительных мощностей, необходимых для классического дообучения.
Из четырёх протестированных моделей успех показала только самая крупная с 27 миллиардами параметров. Она смогла поднять точность решения математических задач с 57,2% до 63,8%. Меньшие модели либо не вносили изменения, либо ухудшали свои показатели случайными правками.
Метод показал эффективность и в задачах по восстановлению повреждённых данных. Точность модели при этом восстановилась с 7,3% до 70,2%, что составило около 83% от её исходной мощности.
Для работы с такими моделями в будущем может не потребоваться постоянное переобучение на гигантских датасетах. Самостоятельное исправление ошибок позволяет использовать улучшенные способности сразу при обычном запуске, не тратя ресурсы на дополнительные вычисления во время каждого запроса.
Что поменялось
Модель может самостоятельно изменять свои внутренние параметры для исправления ошибок и повышения точности без внешнего обучения.
Источники · 1
Текст подготовила языковая модель по материалам источников.
