Вектор отрицания. Как найти направление «не» в нейросетях
Поиск по смыслу часто путает утверждение с его отрицанием, потому что векторы слов «открыто» и «не открыто» в моделях почти идентичны. Исследование показало, что у таких моделей есть скрытое направление негации, которое можно использовать для исправления ошибок.
Векторы слов в современных моделях часто группируются по темам, из-за чего «не хороший» может оказаться ближе к слову «хороший», чем к его противоположности. Автор исследования проверил восемь моделей на наличие устойчивого направления негации, специальной оси, которая отделяет утверждения от их отрицания.
Метод DiffMean позволил найти эту ось. Она оказалась устойчивой и почти не зависела от темы текста или тональности. В английских моделях эффект проявляется сильнее, чем в русских, а само направление формируется лишь на последних слоях нейросети.
Просто вычесть «ось негации» из векторов, чтобы исправить ошибки, не получится. Это лишь сблизит противоположные понятия. Однако добавление этого направления как дополнительного признака при расчёте сходства (косинусного расстояния) помогает.
У метода есть побочный эффект. Он может штрафовать правильные ответы, которые сами содержат отрицание. Если в задаче верным ответом является фраза с частицей «не», использование оси может привести к тому, что модель сочтёт её ошибочной. Это происходит в 9 из 11 протестированных моделей, так как признак негации конфликтует с логикой утверждения.
Исследование подтвердило существование математической оси отрицания в эмбеддингах. Для пользователей это значит, что точность поиска и работы ИИ с текстами можно улучшить без переобучения моделей, если использовать специальные математические надстройки. Пока это работает только на коротких фразах и требует ручной настройки параметров.
Текст подготовила языковая модель по материалам источников.

