В литературе по кредитному скорингу в основном рассматриваются различные методы моделирования, которые используются для разработки и валидации скоринговых карт. В статье Дина Кэйри, специалиста по риск-менеджменту компании DAI Europe, основное внимание уделено использованию скоринговых карт по кредитам и управлению ими, независимо от того, как они были первоначально разработаны. Автор уверен, что любая разумно построенная скоринговая карта может использоваться для совершенствования бизнес-процессов и предоставления информации для других управленческих решений, таких как утверждение кредитов, установление цен, формирование резервов и взыскание задолженности.
Все скоринговые карты создаются разными способами, но после того как они созданы, к ним применяется одинаковый подход
Скоринговая карта для оценки заявок используется для измерения кредитного риска предполагаемого клиента, т. е. вероятности того, что клиент погасит свои обязательства, и позволяет нам ранжировать клиентов по этому параметру. В свою очередь, ранжирование, или относительный риск, позволяет нам предлагать различные условия кредита или методы обслуживания клиентов в зависимости от группы риска, в которой они находятся. Наконец, логичный критерий риска позволяет нам количественно оценить воздействие бизнес-решений, таких как ужесточение или ослабление решений по кредиту, на будущие прибыли.
Существует огромное количество литературы по техническим методам, используемым для разработки скоринговых карт по кредитам и оценки точности их прогнозов. Общее свойство всех этих методов заключается в том, что они берут информацию из прошлого (например, исторические данные по портфелю, информацию по рыночному ценообразованию и/или опыту старших кредитных инспекторов) для определения и присвоения коэффициентов индикаторам в зависимости от их связи с более высоким или более низким кредитным риском.
Независимо от того, как разрабатывается скоринговая карта, мы можем оценить ее эффективность, используя соответствующую систему показателей, определить ее достоинства и недостатки и выбрать соответствующую стратегию для ее осмотрительного использования. С этого момента все скоринговые карты становятся «равными», им необходим надлежащий мониторинг, периодическая валидация, корректировка или переделка. Все скоринговые карты также «равны» в еще одном важном аспекте: само уравнение скоринговой карты теперь является лишь одним из компонентов неизбежно более сложного процесса кредитного бизнеса.
После того, как скоринговая карта разработана, и независимо от того, является она внутрибанковской разработкой или разработана с привлечением третьей стороны, долгосрочный успех проекта по кредитному скорингу будет зависеть не только от того, насколько эффективно скоринговая карта ранжирует риск или оценивает вероятность дефолта (PD) у данного заявителя. Этот успех будет также определяться рядом факторов, в том числе:
• роль скоринга в бизнес-процессе и сам бизнес-процесс;
• программное обеспечение, используемое для внедрения скоринговой карты и управления ею, включая ее связи с другим программным обеспечением, отвечающим за управление процессом;
• тренинг для пользователей из фронт-офиса, их поддержка и связь с ними;
• «владение» скоринговой картой сотрудниками организации, находящимися на достаточно высоком уровне;
• регулярный мониторинг эффективности скоринговой карты, вместе с готовностью соответствующим образом корректировать скоринговую карту или переделывать ее;
• наличие всесторонней документации по разработке скоринговой карты и процессу валидации скоринговой карты.
Подведем итоги. Скоринговая карта не является окончательно завершенной после того, как она протестирована за пределами выборки, и не является «усовершенствованной», если мы превышаем какой-либо ориентировочный статистический показатель по точности модели. Напротив, скоринговая карта больше напоминает отдельную живую клетку в более крупном и сложном организме управления процессом кредитования. Скоринговая карта и ее применение с течением времени должны меняться, гармонично взаимодействуя со всем организмом. И что не менее важно, пользователи и руководство при использовании скоринговой карты должны не терять бдительности, т. е. следует применять ее одновременно с осознанным вниманием к текущим экономическим и рыночным условиям. По мере изменения условий скоринговая карта служит логичным критерием кредитного риска, с учетом которого мы можем корректировать кредитную политику и находить правильный баланс между риск-аппетитом и целями бизнеса.
При проведении скоринга иметь хоть что-то лучше, чем не иметь ничего, и не намного хуже, чем иметь нечто лучшее
Поскольку все скоринговые карты по кредитам требуют проведения постоянного мониторинга и валидации, фактическая тестовая статистика, измеряющая ее относительную эффективность, например область под кривой (AUC), кумулятивный профиль достоверности (CAP) или коэффициент Джини, практически имеет значение только на этапе разработки скоринговой карты, когда она является одним из критериев, используемых для выбора лучшей из конкурирующих моделей. Это включает в себя выбор между данной моделью и отсутствием модели, или тем, что называется «вероятностной моделью», и что в действительности означает кредитование без какой-либо формальной скоринговой карты. Наш опыт говорит, что даже в худшем варианте моделирования, скоринговая карта, разработанная без каких-либо данных, кроме знаний опытных кредитных аналитиков, существенно превосходит вероятностную модель, т. е. отсутствие модели, и поэтому дает нам разумную отправную точку для измерения и мониторинга портфельного риска. За пределами этой отправной точки целью будет совершенствование модели риска с течением времени с помощью проведения регулярного мониторинга и отчетности, соответствующих корректировок модели или политик по ее использованию и сбора новых и более качественных данных для моделирования/переработки скоринговой карты в будущем.
Если скоринговая карта не является «простым и верным способом» выработки точных и обезличенных кредитных решений, как это обычно бывает и в случае кредитов МСП, тогда возникает вопрос: каким образом и где скоринговые карты по кредитам повышают эффективность в процессе кредитования? Скоринговая карта, которая разумно ранжирует заявителей от низкого до высокого риска, может обеспечить следующие улучшения:
• более организованные и быстрые процедуры утверждения кредитов для заявителей, относящихся к категориям низкого риска;
• повышение уровней утверждения заявок, сопровождающееся стабильными или снижающимися уровнями просроченной задолженности;
• сегментация портфеля, основанная на риске, с целью установления кредитной политики: например, в некоторых секторах предоставление новых кредитов только клиентам с низким уровнем риска;
• ценообразование, основанное на риске: взимание с более рискованных заемщиков более высоких цен;
• формирование резервов на основе риска / дифференцированное формирование резервов, если органы банковского надзора утвердили скоринговую модель;
• установление приоритета регулярного мониторинга и направление имеющихся ресурсов на более рискованных клиентов, особенно в отношении просроченных кредитов;
• более качественный сбор и хранение данных в результате введения программного обеспечения для внедрения скоринговой карты. Часто введение скоринга также совпадает с первой попыткой финансового учреждения автоматизировать процесс кредитования.
Другими словами, введение системы скоринга дает основание рассчитывать на немедленное улучшение в управлении данными и ранжировании риска на основании одного логичного критерия и открывает возможности для повышения эффективности работы по андеррайтингу и взысканию задолженности. Эти преимущества присутствуют, если скоринговая карта может разумно ранжировать риск, и они не всегда зависят от сложности метода, использованного для разработки скоринговой карты.
Но как мы можем верить тому, что мы не можем проверить?
Каким образом проводится валидация скоринговой карты, зависит от количества данных, имеющихся в наличии для ее разработки и тестирования. В лучшем варианте имеется достаточное количество данных для проведения валидации модели за пределами выборки, или, другими словами, для того, чтобы разработать модель на одном комплекте данных и протестировать точность ее прогнозов на другом комплекте данных. В этом случае мы можем установить доверительные интервалы для прогнозов вероятности дефолта (PD) и ожидать, что модель будет работать с такой степенью точности, пока мы будем считать, что имеющиеся заявители и текущие экономические условия напоминают заявителей и условия того периода, за который у нас имелись исторические данные. Более высокая степень уверенности в прогнозах модели позволяет нам, например, более осмотрительно подходить к агрессивному использованию модели при рекомендации утверждения и отклонения заявок и более точно оценивать воздействие ценообразования, основанного на риске, на ожидаемые прибыли.
В сегменте заемщиков — МСП, особенно на менее развитых или на меньших рынках кредитов (т. е. за пределами Северной Америки и Западной Европы), нам часто приходится работать с недостаточным количеством исторических данных, в частности с очень небольшим количеством проблемных кредитов. В таких случаях для разработки модели мы не можем применять такие методы, как логистическая регрессия, в частности проводить валидацию скоринговой карты за пределами выборки. Вместо этого мы проводим «экспертную валидацию» путем сравнения расстановок модели с субъективной оценкой опытных кредитных аналитиков и проверки, имеется ли примерное соответствие с их оценками, по крайней мере в самом приближенном виде, на уровне «низкого», «среднего» и «высокого» риска. Механика этой работы будет зависеть как от того, какие виды систем рейтинга или классификации уже установлены, так и от структуры новой скоринговой карты, но результатом должно быть относительно близкое соответствие между мнениями аналитика и расстановками скоринговой карты, особенно в хвостах низкого и высокого риска. Если финансовые учреждения будут вооружены моделью, которая приближается к оценкам кредита, сделанным опытными кредитными инспекторами, они будут чувствовать себя уверенно, сильнее опираясь на модель для самых лучших и самых плохих случаев и постепенно сужая «серую» зону между ними, состоящую из случаев, требующих более полного стандартного анализа.
Движение вперед: универсальные отчеты об эффективности скоринговой карты и стабильность мониторинга
После того как скоринговая карта внедрена, процесс постоянного мониторинга и валидации будет примерно одинаков независимо от того, как первоначально разрабатывалась скоринговая карта. Есть несколько отчетов, которые помогают проводить мониторинг способности модели ранжировать риск и оценки изменения заявителей с течением времени. Ниже мы показываем шаблоны этих отчетов.
Отчет о просрочке по баллам
Данный отчет показывает концентрацию «плохих», или проблемных, кредитов по возможным диапазонам шкалы. Пример самого простого отчета о просрочке по баллам показан в табл. 1. Модель, которая точно ранжирует риск, с течением времени классифицирует непрерывно растущую долю просроченных кредитов (т. е. задолженность более 90 дней) по диапазонам шкалы, указывающим на более высокий риск. В табл. 1 более высокий скоринг указывает на более низкий риск, и, как представляется, модель достаточно хорошо ранжирует риск, так как уровень «плохих» кредитов постепенно увеличивается по мере снижения скоринга.
Таблица 1. Отчет о просрочке по баллам
В течение первого года после внедрения модели, когда опыт в области дефолтов ограничен, а также когда объемы портфеля малы, уровень «плохих» не всегда последовательно увеличивается по мере снижения скоринга. Однако с течением времени линия поведения проблемных кредитов должна показать, что у кредитов с более высоким скорингом уровни проблемных кредитов ниже. Для принятия решения об оптимальном месте для точек отсечения и для измерения кумулятивной эффективности модели (например, статистические показатели: область под кривой (AUC), кумулятивный профиль достоверности (CAP) или коэффициент Джини, упоминавшиеся выше) используются несколько более сложные расчеты, выполняемые по информации, представленной в табл. 1. Для выбора точек отсечения вместо того, чтобы использовать определенную формулу, мы предлагаем посмотреть на количество «хороших» и просроченных кредитов в каждом диапазоне шкалы, а затем рассчитать, по возможности более точно, ожидаемую экономическую выгоду или убытки от утверждения или отклонения всех заявителей выше или ниже данной точки отсечения.
В табл. 2 мы приводим данные из табл. 1 с дополнительным столбцом (G), показывающим процент кредитов со скорингом, находящемся в данном диапазоне шкалы (столбец A) или выше. Например, 2,49% кредитов имеют скоринг по 90 баллов или больше, 10,96% кредитов имеют скоринг 80 баллов или больше и т. д. Если бы мы автоматически утверждали все кредиты, имеющие скоринг больше 60 баллов в табл. 2, то мы бы утверждали около 50% заявителей (965/1970 = 0,4898) и ожидали бы уровень «плохих» менее 1%, или (2+5)/(965) = 0,00725. Если мы можем выразить экономию затрат на кредит цифрой в автоматическом утверждении или утверждении на основании скоринговой карты и также оценить затраты по каждому «плохому» кредиту, который мы принимаем, мы можем оценить экономическую выгоду или убытки от утверждения всех кредитов, имеющих скоринг 60 баллов или выше.
Таблица 2. Отчет о просрочке по баллам с дополнительной информацией о кумулятивном распределении
В качестве примера выбора политики отказа мы могли бы оценить последствия отклонения всех заявок на кредиты ниже определенного уровня отсечения. Для этого еще раз посмотрим на табл. 2. Даже если мы автоматически отклоняем только кредиты с самым низким скорингом (кредиты, имеющие скоринг 19 баллов или меньше), в прошлом мы бы отклонили 45 клиентов, из которых 93% (42/45 = 0,9333) фактически были хорошими клиентами. За исключением тех случаев, когда затраты по разрешению ситуации с проблемным кредитом очень высоки, нецелесообразно использовать модель в этом примере для автоматических отказов. В случаях когда модели слабы в хвостах высокого риска, мы бы рекомендовали подвергнуть все кредиты ниже определенной точки отсечения (в данном примере 60 баллов) дополнительному индивидуальному анализу.
Рисунок 1 иллюстрирует «область под кривой» (AUC), которую мы анализируем. Не фокусируясь на самой статистике области под кривой (подробнее – http://en.wikipedia.org/wiki/Receiver_operating_characteristic), мы можем визуально интерпретировать сильные и слабые стороны модели, изучив форму толстой черной линии, нашей модели, в сравнении с вероятностной моделью или отсутствием модели, обозначенной более тонкой диагональной линией. Чем ближе толстая линия к левой вертикальной оси, тем лучше модель может изолировать проблемные кредиты в зонах шкалы, обозначающих высокий риск, как в примере модели на рис. 2. Чем ближе толстая линия к верхней горизонтальной оси, тем лучше модель концентрирует «хорошие» кредиты в зоне низкого риска на шкале, как показано в примере модели на рис. 3.
Как мы уже указывали, модель лучше прогнозирует, что кредит будет «хорошим» (с низким риском), чем то, что кредит будет «плохим» (с высоким риском), но, по нашему мнению, это легче увидеть путем анализа табл. 2, которую мы также находим в высшей степени информативной для установления политики решений с помощью скоринговой карты. Цифровая статистика области под кривой является одним из нескольких факторов, которые могут быть использованы для проведения выбора между конкурирующими моделями.
Рис. 1. Область под кривой для примера модели. Источник: Управление риском в микрофинансировании (2009 г.); www.microfinance.com.
Рис. 2. Область под кривой, модель, которая лучше изолирует плохие кредиты в зонах высокого риска
Рис. 3. Область под кривой, модель, которая лучше изолирует плохие кредиты в зонах низкого риска
Интерпретация данных по бэк-тестированию, собранных по другому процессу кредитования
Когда отчет, подобный табл. 2, используется для анализа данных бэк-тестирования или данных по кредитам, к которым первоначально не применялся скоринг, но которые оценивались с использованием другого процесса, нам следует быть более осторожными, экстраполируя историческую просрочку по скорингу на ожидаемую эффективность в будущем. Наш опыт со скоринговыми картами для сегмента МСП говорит о том, что мы можем ожидать, что отчет о просрочке по баллам, созданный на основе данных бэк-тестирования или исторических данных, будет применим к новому процессу скоринга, если следующие элементы являются общими как для первоначального процесса андеррайтинга, так и для нового процесса скоринга:
• проверки на предмет мошенничества, такие как проверка личности заявителя и документов о регистрации, проверка реестров кредитов и «черных списков»;
• контрольный список минимальных критериев по кредитованию, иногда называемых стоп-факторами, когда не выполняется какой-либо из этих критериев. В таких случаях кредит должен быть проанализирован более тщательно или должен быть передан на утверждение на более высокий уровень компетентности;
• требует ли банк посещения места осуществления бизнеса, как части процесса анализа заявок на получение кредита.
Если указанные шаги включены как в стандартный процесс утверждения кредитов, так и в процесс утверждения кредитов на основе скоринга, сама скоринговая карта заменяет более глубокий аналитический процесс одним численным объективным критерием. После того как мы установим, что скоринг «согласуется» с прошлым опытом и/или суждением кредитного аналитика, мы можем быть уверены, что с некоторым допуском мы можем оценить будущую эффективность на основе эффективности скоринговой карты, основанной на прошлых данных.
Отчет о стабильности состава заявителей
Еще один важный аспект мониторинга скоринговых карт по кредитам — проверка того, похожи ли недавние заявители в плане характеристик риска на заявителей, чей опыт мы моделировали. Самый эффективный способ это сделать — сравнить распределение скоринга самых новых клиентов с распределением скоринга из разработки нашей модели и данных тестирования. Отчет о стабильности состава заявителей (табл. 3) показывает изменения в распределении скоринга между данными за последний период и данными для разработки модели. Поскольку распределение по диапазону скоринга указывается в процентах, а не в абсолютных числах, такой отчет может использоваться, даже когда модель первоначально разрабатывалась только на основе экспертного суждения и тестировалась на основе небольшой выборки заявлений, при условии что данные для этой выборки были сохранены.
Таблица 3. Отчет о стабильности состава заявителей
Столбец B в табл. 3 показывает наблюдения в каждом диапазоне шкалы как процент от всех наблюдений в последний период.
В столбце C та же информация по наблюдениям в комплекте данных для разработки. В столбцах D и E показаны изменения в распределении скоринга между данными за последний период и данными для разработки модели.
На рис. 4 представлена та же информация о стабильности заявителей (столбцы B и C табл. 3) в графическом виде. Анализ табл. 3 или рис. 4 подводит нас к заключению, что, по-видимому, имеющиеся заявители обладают профилями риска, аналогичными профилям риска в группе заявителей, использовавшихся для разработки модели.
Рис. 4. График стабильности заявителей, отсутствие существенных изменений
Напротив, на рис. 5, построенном на основе того же комплекта «ожидаемых» данных, но с другим комплектом «фактических» данных, виден выраженный сдвиг вправо в распределении скоринга «фактический %»; это указывает на то, что имеющиеся заявители, по оценке нашей скоринговой карты, в среднем являются более рискованными, чем заявители в выборке данных для разработки. Можно рассчитать индекс изменений, однако мы рекомендуем не фокусироваться на каком-либо определенном числовом показателе, а вместо этого интерпретировать общую форму изменений и затем глубже изучить изменения по отдельным факторам с использованием отчетов об анализе характеристик, чтобы ответить на вопрос: «Почему средние скоринги для наших новых заявителей ниже?»
Рис. 5. График стабильности заявителей, повышение риска
Отчеты об анализе характеристик
Отчеты об анализе характеристик помогают определить, что вызывает изменения в суммарных распределениях скоринга с течением времени. Как показано в табл. 4, в этом отчете рассчитывается показатель (в столбце E) как разница между ожидаемыми (столбец B) и фактическими (столбец C) распределениями скоринга на категорию ответа, умноженная на количество баллов на категорию ответа (столбец D). Общий показатель является суммой отдельных категорий ответа и интерпретируется как количество баллов, выше или ниже, которые имеют новые клиенты в среднем для этой характеристики.
Таблица 4. Анализ характеристик для переменной кредитной истории
В табл. 4 приводится пример отчета об анализе характеристик для переменной «Кредитная история». Мы видим, что клиенты в течение последнего («фактического») периода в среднем имеют скоринг на 7,5 баллов меньше, чем клиенты в нашей выборке для разработки модели. Внимательно посмотрев на столбцы B и C, мы видим, что большая процентная доля новых клиентов раньше кредитов не получала (66% по сравнению с 46% в выборке для разработки). Это также означает, что регулярные выплаты (0–7 дней) делает меньшая процентная доля клиентов (19% против 38% в выборке для разработки), а показатель (столбец E) демонстрирует нам, что разницу в 7,5 баллов можно проследить до этой категории ответа. В самом общем виде вывод таков: «вероятность того, что у сегодняшних клиентов есть кредитная история, ниже».
В целом анализ характеристик поможет определить, как изменился состав заявителей, однако общих правил, как реагировать на изменения, не существует. Если изменения очень значительны, настолько, что кажется, что наши последние заявители больше не похожи на заявителей, чье поведение в отношении погашения кредитов в прошлом мы моделировали, мы должны разработать скоринговую карту снова. Если изменения носят более тонкий характер, имеет смысл подогнать коэффициенты к определенным категориям ответа.
Следует подчеркнуть, что виды простых управленческих отчетов, представленные выше, должны создаваться и анализироваться для всех скоринговых карт, независимо от того, разрабатывались они с использованием логистической регрессии или только с использованием экспертного суждения. Надлежащий метод для разработки скоринговых карт зависит от качества и количества данных, имеющихся для построения модели, однако практическое использование скоринговых карт, включая постоянный мониторинг и управление, одинаково для всех скоринговых карт.
Когда необходимо переделывать скоринговую карту?
Это вопрос, на который нельзя дать однозначного ответа. Вот некоторые причины для переделки или корректировки скоринговых карт.
1. Имеется существенное улучшение в качестве или количестве данных. Например, первоначально в силу нехватки данных была разработана экспертная модель. Полтора года спустя, если предположить, что имелись просрочки более чем на 90 дней (или же для разграничения стандартных и проблемных кредитов будет выбрано другое определение), может быть использована логистическая регрессия для тестирования факторов действующей модели, выбора других потенциальных факторов и оптимизации коэффициентов скоринговых карт.
2. В отчете о просрочке по баллам указывается, что модель не ранжирует риск правильно. Независимо от первоначального подхода к разработке может потребоваться переделка или существенная корректировка. Однако мы еще раз упомянем, что эти корректировки должны быть сделаны только после нескольких нетривиальных просрочек, так чтобы отчет показывал линию поведения, а не результат нескольких конкретных случаев, некоторые из которых могли бы оказаться просроченными в результате воздействия факторов, не относящихся к кредитному риску (чаще всего это мошенничество).
3. Отчеты о стабильности состава заемщиков и/или об анализе характеристик показывают, что новые заявители существенно отличаются от заявителей, чей опыт использовался для определения скоринговой карты. Эта причина для переделки также не зависит от первоначальной методологии разработки и потенциально данная задача может решаться путем корректировки, а не полной переделки.
Заключение
В заключение скажем, что разработка скоринговой карты — это очень важный первый шаг в долгосрочном успехе проекта по кредитному скорингу, первый шаг — не более того. Успех проекта по скоринговым картам зависит от активности руководства, регулярности мониторинга и периодических корректировок, на основе чего качество управления риском с помощью скориноговой карты и ее роль в управлении риском могут только расти.
Автор выражает особую благодарность Марку Шрайнеру из компании Microfinance Risk Management и Мэри Миллер из компании DAI за помощь в подготовке данной статьи к публикации.
Если у вас есть вопросы, пожалуйста, направляйте их по адресу: dean_caire@dai.com.
© “Финанс Медиа”
