График важности признаков может искажать реальность
Случайный шум в данных часто получает на графиках столько же веса, сколько полезные параметры. Это происходит из-за особенностей работы алгоритмов машинного обучения.
В анализе данных часто используют графики важности признаков, чтобы понять, какие факторы влияют на результат. Например, если скидка стоит внизу списка, маркетологи могут решить урезать её бюджет. Однако стандартный метод MDI (mean decrease in impurity) часто подводит. Он оценивает, насколько хорошо признак помогает разделять данные на обучающей выборке.
Если у случайного шума или ID пользователя тысячи уникальных значений, дерево может использовать их для «чистого» разделения строк. В итоге случайный параметр получает высокий балл, имитируя значимость.
Проблема усугубляется при наличии дубликатов. Если в данных есть два похожих признака, например, доход в рублях и доход в долларах, модель может делить важность между ними поровну.
По данным Хабра, в таких случаях реальный драйвер может потерять лидерство на графике. Если при отборе признаков удалять те, что находятся в нижней части списка, можно случайно выбросить целую группу взаимосвязанных факторов, которые на самом деле критически важны для точности модели.
Чтобы отличить сигнал от шума, можно добавить в данные заведомо пустой столбец и сравнить его показатели с остальными. Если полезный признак стоит ниже «пустышки», значит, его значимость сомнительна. Также помогает метод Permutation importance.
Он измеряет, насколько падает точность при перемешивании значений признака. Но важно считать этот показатель на тестовых данных, а не на обучающих, иначе модель просто покажет важность тех параметров, которые она успела «зазубрить» в процессе обучения.
Вместо того чтобы слепо доверять картинкам из презентаций, стоит проверять устойчивость признаков. Это значит, что при работе с моделями нужно учитывать риск ошибки в оценке факторов, которые на самом деле не влияют на результат.
Источники · 1
Текст подготовила языковая модель по материалам источников.
