Архитектура определяет, где модель прячет порядок слов
В разных типах нейросетей информация о позиции токена распределяется по слоям по-разному. Исследование архитектур RWKV-7 и трансформеров показало, что способ хранения порядка слов сильно зависит от структуры модели.
Для сравнения обучили 12 малых моделей с разными архитектурами: RWKV-7, трансформер с RoPE и трансформер без позиционного кодирования (NoPE). Исследователь проверял каждый слой с помощью линейных проб, чтобы понять, как именно нейросеть считывает положение слова в тексте.
По данным исследования, на малом масштабе заметнее всего различается именно работа с позицией токена. Другие аспекты, вроде синтаксиса или смысла, при равном уровне потерь (loss) выглядят почти одинаково во всех типах моделей.
В моделях NoPE, где нет специального кодирования позиции, линейная проба считывает положение токена почти идеально. В трансформерах с RoPE, использующих поворот запросов и ключей для задания порядка, точность заметно ниже.
У архитектуры RWKV-7 показатели оказались самыми низкими. Коэффициент R² на лучшем слое составил 0,99 для NoPE против 0,38-0,51 для RoPE и 0,29-0,42 для RWKV-7. Эти различия подтвердились на двух языках и разных размерах моделей.
Проверка глубины слова в дереве зависимостей показала гораздо меньший разрыв между архитектурами. Различия в синтаксических пробах составили всего от 0,02 до 0,06. У RWKV пик синтаксических способностей приходится на слои, которые на 1-4 уровня ниже, чем у трансформеров.
Однако автор отмечает, что это лишь наводка, а не доказанный результат. Поскольку модели были маленькими, а корпуса текстов скромными, отсутствие различий в других задачах может быть следствием масштаба, а не законом архитектуры.
Пока нет данных о работе на гигантских масштабах, рассчитывать на окончательные выводы об архитектурных преимуществах рано.
Текст подготовила языковая модель по материалам источников.
