Пространственное внимание на RTX 3050. Ускорение обучения через геометрию
Замена полного внимания на разреженный граф позволяет ускорить обучение языковых моделей на длинных текстах. Эксперимент с прототипом SpatialLM-Mini показал, как геометрия может заменить классические вычисления.
В основе нового подхода лежит замена стандартного механизма внимания на разреженный граф. Вместо того чтобы каждый токен обращался ко всем предыдущим, он связывается только с ближайшими соседями и токенами на заданных расстояниях.
В SpatialLM-Mini веса этих связей определяются через обучаемые трёхмерные координаты, что имитирует геометрическое пространство. Это позволяет снизить вычислительную нагрузку: вместо квадратичного роста сложности при увеличении длины текста, количество операций растёт линейно относительно размера окна и логарифма максимальной длины.
Тесты проводились на видеокарте NVIDIA RTX 3050 с 8 ГБ памяти при работе с контекстом в 16 384 токена. При одинаковом числе параметров (около 9,3 млн) пространственная модель обучалась в 2,47 раза быстрее классического Transformer. Однако у этого преимущества есть цена.
Новая архитектура потребляла больше выделенной видеопамяти. При этом исследователи отметили, что текущий опыт пока не доказывает преимущество именно геометрического подхода перед другими методами оптимизации.
Для проверки гипотезы создали три варианта архитектуры: пространственную, классическую и гибридную, где блоки с геометрическим вниманием чередуются с полным. Обучение проводили на романе «Гордость и предубеждение» с использованием токенизатора GPT-2. Важно, что модели обучались с нуля на одной и той же видеокарте, чтобы исключить влияние разного железа на скорость.
Пространственный метод позволяет быстрее тренировать небольшие модели на длинных текстах, но требует больше видеопамяти. Это значит, что при работе с большими контекстами выбор между скоростью и объёмом памяти остаётся ключевым техническим компромиссом.
Текст подготовила языковая модель по материалам источников.


