Американские разработчики переобучили китайскую модель Qwen3.8
Лаборатория Nous Research представила Arete, версию модели Qwen3.8-27B, прошедшую дополнительное обучение для изменения её политических установок. Разработчики стремились убрать из весов нейросети поведение, соответствующее государственной идеологии Китая.
Проект был направлен на устранение влияния китайских ценностей в открытых моделях. По мнению исследователей, мощные нейросети с открытыми весами часто несут в себе заложенные разработчиками установки. Для переобучения использовали 50 млн токенов, что позволило изменить характер ответов без радикальной переработки всей архитектуры.
В ходе тестов доля ответов с пропагандой в модели Arete снизилась с 22% до 1%. При этом показатель фактической точности вырос с 2,32 до 2,98 по пятибалльной шкале. В качестве базы для обучения рассматривали даже модель Nvidia Nemotron 3 Ultra, но она тоже показывала неоднозначные результаты по темам, связанным с Китаем.
Для работы над Arete выбрали открытую модель Inkling от Thinking Machines Lab. Изменение политического пласта в Qwen3.8 оказалось поверхностным процессом, который поддался при работе с ограниченным объёмом данных.
Пока точность ответов не достигла уровня, при котором можно полностью доверять модели в сложных вопросах. Перед использованием подобных инструментов стоит учитывать, что их поведение зависит от набора данных, на которых проводилось финальное обучение.
· обновлено, версия 3
Источники · 1
Текст подготовила языковая модель по материалам источников.

