Методы оценки рисков

Основная цель оценки — это точное предсказание рисков, связанных с компаниями.
Для этого применяются три системы:

ИДО (Индекс должной осмотрительности): Оценивает риск недобросовестного поведения компании. Система использует данные о судебных разбирательствах, налоговых схемах и других показателях, чтобы предсказать, может ли компания участвовать в незаконных действиях.
ИФР (Индекс финансового риска): Оценивает вероятность возникновения в будущем финансовых проблем или банкротства компании. Система анализирует широкий набор данных, таких как финансовая отчетность, данные о сотрудниках и динамику региональных факторов, чтобы дать более точную оценку финансовой устойчивости компании.
ИПД (Индекс платежной дисциплины): Отражает средний фактический срок исполнения клиентом своих обязательств по оплате дебиторской задолженности поставщикам по различным контрактам. В индексе учитывается наличие отсрочки оплаты, данной поставщиком.

Общая пояснительная записка для ИДО и ИФР

Производительность модели

Производительность модели — это способность системы точно предсказывать результаты, такие как возникновение в будущем финансовых проблем или вероятность банкротства или недобросовестного поведения компании. Для оценки производительности используются различные метрики, каждая из которых раскрывает определенные аспекты точности предсказаний.

1. AUC (Area Under Curve) и Gini-коэффициент

AUC и Gini тесно связаны. AUC измеряет, насколько модель может различать компании с высоким и низким риском. Gini используется для более интуитивного понимания этой способности в процентах.

2. Точность (Precision) и полнота (Recall)

Точность показывает, как часто компании, предсказанные как рисковые, действительно таковыми являются.
Полнота показывает, насколько хорошо модель находит все компании с высоким риском.

3. Точность классификации (Accuracy) и F1-score

Точность измеряет общую долю правильных предсказаний.
F1-score балансирует между точностью и полнотой.

4. NPV и специфичность

NPV оценивает вероятность того, что компании с низким риском действительно стабильны. Специфичность показывает, насколько хорошо модель распознаёт стабильные компании.

5. KS-статистика

KS-статистика измеряет, насколько чётко модель различает группы компаний с разным уровнем риска.

Стабильность модели: PSI (Population Stability Index)

PSI (Population Stability Index) — это показатель, который измеряет стабильность модели, анализируя, как сильно изменились входные данные модели на протяжении времени. Если данные существенно изменяются, модель может начать терять свою точность, что делает мониторинг PSI важным для поддержания эффективности системы.

PSI оценивает, насколько сильно отличается текущее распределение данных от исходного распределения (например, данных, использованных при построении модели). Чем больше различие, тем менее стабильна модель. Обычно, если значение PSI превышает 0,25, это указывает на значительные изменения, и модель может требовать доработки.

Пример:

Допустим, модель строилась на данных о компаниях за 2024 год, и с тех пор прошло полгода. Чтобы убедиться, что модель по-прежнему хорошо работает, нужно проверить, не изменились ли слишком сильно данные о компаниях в 2025 году. Если PSI между данными 2024 и 2025 годов составляет 0,1, то это означает, что данные стабильны, и модель продолжает работать корректно. Однако если PSI превышает 0,25, это может указывать на то, что распределение данных изменилось настолько, что модель больше не может эффективно предсказывать результаты, и её нужно обновить.

PSI помогает контролировать изменения в поведении компаний, особенно если внешние условия, такие как экономическая ситуация или законодательство, изменились. Это также важно для оценки компаний, которые недавно вошли на рынок или кардинально поменяли свою стратегию. Высокие значения PSI могут означать, что данные больше не отражают реальное положение дел, и это требует внимания.

Использование метрики PSI позволяет своевременно адаптировать модель к новым условиям, поддерживая её актуальность и точность предсказаний.