Отрицательные веса в ансамблях. Когда минус улучшает прогноз
Включение моделей с отрицательными коэффициентами в общий ансамбль может компенсировать систематические ошибки других алгоритмов. Хотя это кажется контринтуитивным, такой подход позволяет точнее настраивать вероятности в задачах вроде кредитного скоринга.
При объединении нескольких моделей в одну систему возникает вопрос выбора весов. В классическом подходе каждому алгоритму присваивают положительный коэффициент, чтобы его вклад просто суммировался с остальными. Однако математическая оптимизация может предложить отрицательное значение для одной из моделей, что фактически заставляет систему вычитать её прогноз из общего результата.
Такое решение помогает бороться с коррелированными ошибками. Если одна модель склонна систематически завышать вероятность события, а другая, занижать, отрицательный вес позволит сбалансировать эти смещения. Подобная логика используется в портфельной теории.
Инструменты с разной динамикой объединяются так, чтобы минимизировать общий риск. В эксперименте на 18 моделях кредитного скоринга исследователи сравнивали эффективность стратегий с ограничениями на веса и без них.
Безусловная оптимизация без ограничений на знаки коэффициентов позволяет минимизировать ошибку, но несет риски переобучения.
Высокая корреляция между моделями может сделать веса крайне неустойчивыми, а итоговый прогноз, выйти за пределы вероятности от 0 до 1. Ограничение весов только положительными значениями (long-only) делает систему стабильнее, но может лишить ансамбль возможности исправлять ошибки базовых моделей за счёт их специфических искажений.
Для аналитиков при работе с ансамблями важно понимать, что отрицательный вес это не ошибка расчёта, а инструмент коррекции. Перед принятием решения об использовании таких моделей стоит проверить их на устойчивость к изменениям входных данных, так как малейшая правка в весах может резко изменить итоговый результат.
Текст подготовила языковая модель по материалам источников.
