Самообучение на этапе создания. Новая модель 801-30B-A3B
Разработка ИИ может начать улучшать саму себя ещё до того, как будет готова первая версия. Команда представила модель 801-30B-A3B, созданную с применением рекурсивного самосовершенствования на этапе претренинга.
Обычно самосовершенствование ИИ происходит на этапе дообучения, когда у разработчиков уже есть готовая база. В этом случае можно запускать тесты и сравнивать результаты. Претренинг, когда модель обучается с нуля, работает иначе. Процесс занимает месяцы и требует сотен тысяч часов работы видеокарт, что делает повторный запуск практически невозможным.
Разработчики предложили разделить огромный процесс обучения на малые циклы. Каждый такой цикл исправляет ошибки в конкретном шаге производства. Так они создали модель 801-30B-A3B с архитектурой MoE. Она обучалась на 11,8 трлн токенов в течение трёх месяцев.
В тестах новая модель показала результаты выше, чем Qwen3-30B-A3B и Nemotron-3.5-Lightning-30B-A3B. Она уступает только более крупной Qwen3.5-35B-A3B. При этом на агентских бенчмарках модель с минимальным дообучением обошла полностью готовые системы, включая Qwen3.6-35B-A3B.
Применение самосовершенствования на этапе создания базы меняет фундамент, на котором строятся все последующие этапы. Это значит, что ошибки в архитектуре или данных могут быть исправлены самой системой ещё до выхода продукта. Пока это требует сложной декомпозиции процессов, чтобы контролировать качество на каждом шаге.
Источники · 1
Текст подготовила языковая модель по материалам источников.

