Количество дефолтов важнее размера выборки в кредитном скоринге
Для точности банковской модели важнее число пропущенных платежей, а не общее количество заявок. Эксперимент с кредитной историей показал, что миллионы строк не гарантируют качества, если в них мало дефолтов.
В задачах кредитного скоринга главная цель, минимизировать пропуск дефолтов. При этом банки часто сталкиваются с проблемой разного объема данных и смещенных пропорций рискованных заявок. Исследование на базе кредитных историй Альфа-Банка показало, что качество модели больше зависит от количества зафиксированных дефолтов.
При одинаковом числе дефолтов в 500 случаев качество модели CatBoost оставалось почти неизменным, даже если размер выборки отличался в 25 раз. Число дефолтов объясняло до 92% разброса качества, тогда как объем данных влиял лишь на 23-44%.
Сравнение классического бустинга CatBoost и новой модели TabPFN-2.5 выявило нюансы работы с малым объемом данных. TabPFN это foundation-модель, которая использует обучающую выборку как контекст без классического переобучения.
На малых наборах TabPFN показывает результаты не хуже, а иногда и лучше CatBoost. При 25 000 объектов модели становятся неразличимы. В бизнес-метриках TabPFN пропускает в среднем 75,0% дефолтов, а CatBoost, 77,7%.
Разница в точности на малых выборках объясняется тем, что TabPFN опирается на знания из предобучения. Бустингу же приходится выучивать всё с нуля. Однако у TabPFN есть ограничения. Некоммерческая лицензия и высокая стоимость вывода данных.
Время работы TabPFN растет быстрее, чем объем данных, так как через нейросеть проходит вся выборка. Для массового внедрения в банках бустинги остаются более дешевым и быстрым решением.
Для задач скоринга дефицит редкого класса, главная проблема. Если в данных мало примеров невозвратов, огромные массивы «хороших» анкет не повысят точность. Для работы с малым количеством данных TabPFN может быть эффективнее, но для промышленного использования лучше выбирать классические бустинги.
Что поменялось
Качество модели скоринга определяется количеством случаев дефолта, а не общим числом строк в выборке.
Текст подготовила языковая модель по материалам источников.
