ENIGMA восстанавливает образы по сигналам мозга за 15 минут
Нейросеть научилась воссоздавать увиденные человеком изображения на основе данных ЭЭГ. Модель ENIGMA от Alljoined предсказывает смысловые характеристики картинки, а не точную визуальную копию.
Вместо отрисовки пикселей система генерирует вектор CLIP, который затем преобразуется в изображение через SDXL Turbo. Это позволяет передавать суть сцены, например, наличие мебели или фруктов. Основное достижение заключается в скорости калибровки.
Если раньше обучение декодеров под конкретного человека занимало часы, то ENIGMA требует всего около 15 минут. Для этого используется общая архитектура и легкие слои под каждого пользователя, что занимает менее 1% от объема параметров предыдущих аналогов.
Испытания проводили на базе датасета Alljoined-1.6M с участием 20 человек и использованием потребительского оборудования Emotiv Flex 2. На лабораторных данных люди узнавали правильное изображение в 83,06% случаев, а на потребительских устройствах точность составила 65,43%. По данным science, такая точность достигается за счет того, что система считывает смыслы, а не детали.
Перед использованием подобных систем проверьте качество сигнала, так как точность сильно зависит от оборудования.
Что поменялось
Время калибровки модели под нового пользователя сократилось до 15 минут при использовании легких слоев поверх общей архитектуры.
Текст подготовила языковая модель по материалам источников.
