Текстовая модель превратилась в генератор изображений
Слабая в логике модель DiffusionGemma научилась рисовать картинки. Разработчик превратил текстовую нейросеть в инструмент для создания визуального контента.
Модель DiffusionGemma, построенная на базе Gemma 4, изначально создавалась для быстрой генерации текста. Она показывает низкие результаты в сложных задачах на логику и рассуждения, но отлично справляется с созданием длинных текстов. Автор проекта решил использовать эти особенности для новой цели, превращения текстовых токенов в визуальные образы.
Для реализации идеи пришлось создать отдельный декодер для визуальных токенов и разработать систему, где модель сама описывает изображения текстом. Это позволило превратить текстовый холст в визуальный. В итоге модель объёмом менее 300 миллионов параметров научилась генерировать узнаваемые изображения и манипулировать ими. Процесс обучения занял всего несколько часов на небольшом наборе данных.
Вместо полноценного ИИ-художника получился генератор, который работает на стыке текста и графики. Это не заменяет профессиональные инструменты, но показывает, как малые модели могут адаптироваться под новые задачи. Для обычного пользователя это пока лишь технический эксперимент, не имеющий практического применения в повседневной работе.
Текст подготовила языковая модель по материалам источников.
