Разница между ранжированием и вероятностью. Почему модели врут в цифрах
Предсказание оттока клиентов часто опирается на вероятности, но метрика AUC лишь проверяет порядок объектов, а не точность самих чисел. Ошибка в калибровке может привести к завышению прогнозов потерь в три раза.
Для проверки точности предсказаний на синтетическом датасете из 60 000 строк с долей целевого класса 11% использовались пять моделей из scikit-learn. Хотя модели могли успешно ранжировать объекты, их выдаваемые числа сильно расходились с реальностью. Например, у одной из моделей значение 0,43 на деле соответствовало событию лишь в 6% случаев.
Использование весов классов, таких как class_weight="balanced", помогает поднять метрику recall, но искажает сами вероятности. Это привело к тому, что порог 0,3 отобрал 47% выборки, при этом реальный отток составил лишь 20%, а ожидаемое число уходов превысило фактическое в три раза.
Разные алгоритмы ошибаются по-разному. Случайный лес занижает уверенность, так как вероятность зависит от доли проголосовавших деревьев. Наивный Байес, напротив, завышает уверенность из-за перемножения вкладов коррелирующих признаков.
На тесте его показатель 0,9 оказался правдой лишь в 72% случаев. Градиентный бустинг с логистической функцией потерь показал себя наиболее калиброванным.
Для исправления сдвига, вызванного весами или сэмплингом, можно использовать аналитическую поправку. После применения формулы на основе отношения шансов среднее значение модели вернулось к 0,103, а оценка Бриера улучшилась с 0,136 до 0,060. Это позволяет вернуть предсказания к реальным пропорциям данных.
Для бизнеса это означает, что высокая точность ранжирования не гарантирует верного бюджета на удержание. Если модель завышает вероятности, отделы маркетинга и финансов получат списки клиентов и прогнозы потерь, которые в разы превышают реальные показатели.
Что поменялось
Проверка калибровки модели через сравнение среднего предсказанного значения с реальной долей класса позволяет избежать ошибок в расчетах бюджета.
Текст подготовила языковая модель по материалам источников.

