Ирина Ахватова: Практический опыт организации аналитической обработки данных коммерческого банка

05 Января 2009 17:00

Статья Ирины Ахватовой, консультанта отдела корпоративных информационно-аналитических систем ЗАО «Терн» рассказывет о принципах и практике использования аналитических технологий в банковском бизнесе.

Уже на ранних этапах становления новой финансовой системы России стало понятно, что создание в банках систем сбора, обработки и анализа накопленных данных способствует эффективному ведению бизнеса за счет сокращения рутинной работы сотрудников и концентрации их деятельности на предметной области. Однако по сложившейся традиции задача информационных систем банка сводилась к получению регламентной и/или обязательной отчетности, ориентированной на учетную политику, иными словами, анализ осуществлялся на основе бухгалтерских данных.

Эволюционное развитие банковской сферы меняет требования к процессу принятия решений, что влечет за собой изменение требований к исследуемой информации, развитие методов ее обработки и способов визуализации. Возрос не только объем обрабатываемой информации, но изменился и ее качественный состав. В банках все более востребованной становится аналитическая информация, которая характеризует объекты и субъекты, вовлеченные в бизнес-процесс, с финансовой точки зрения.

На сегодняшний момент в странах с развитой финансовой структурой уже сложились устойчивые традиции и направления в информационных технологиях финансовой сферы, которые ориентированы на оптимальное ведение бизнеса. Использование передовых технологий как в области обработки информации, так и в области ее анализа, является общепринятой в этом сообществе основой для принятия управленческих решений. Это позволяет не только развивать финансовые информационные системы в сторону передовых стандартов, но и коренным образом изменять структуру и способы ведения бизнеса. Качественные изменения в способах ведения бизнеса предъявляют новые требования как к программным продуктам, так и к разрабатываемым информационным системам.

Компания «Терн», один из ведущих поставщиков решений на рынке корпоративных информационно-аналитических систем, стремится своевременно отслеживать важнейшие тенденции в данной области. Направление по созданию и развитию корпоративных хранилищ данных и внедрению передовых информационно-аналитических технологий является ключевым в деятельности компании с 1996 г. Реализуемые компанией «Терн» проекты направлены на автоматизацию процессов принятия решений в области экономического и финансового анализа, долгосрочного маркетинга, а также на улучшение информационного обеспечения принимаемых оперативных решений.

Услугами компании «Терн» в различных областях воспользовались уже более 200 крупных предприятий и банков России, бывших союзных республик, стран Центральной и Восточной Европы, получившие в свое распоряжение инструменты управления и анализа, основанные на высокотехнологичных решениях. Внедряемые «Терн» решения основаны на стандартах и продуктах ведущих международных брендов, таких как Oracle, IBM, SAP и др. Компания «Терн» является платиновым партнером SAP в сфере Business Intelligence и активно осуществляет деятельность по поставке, сопровождению и внедрению Business Objects -- программного обеспечения, являющегося де-факто стандартом в своей области.

Создание эффективной информационной системы основывается на учете множества важных аспектов. Один из них -- ориентация на использование промышленных средств разработки, предполагающее применение апробированных инструментальных программных продуктов. Так, загрузка информации в хранилище или витрину данных, как правило, осуществляется с помощью программного обеспечения Business Objects Data Integrator или IBM WebSphere DataStage. И то и другое ETL-средство позволяет проектировать и выполнять процессы и процедуры по обработке и наполнению хранилищ и витрин данных независимо от того, под какой СУБД эти хранилища функционируют (Informix, Oracle, Microsoft SQL-Server, DB2 и т. д.). Нашей компанией накоплен многолетний опыт применения данных промышленных средств, каждый сотрудник является экспертом в нескольких из них.

Использование упомянутых высокотехнологичных ETL-средств позволяет справиться с одной из самых сложных проблем для разработчиков -- качеством данных. Некорректное или неполное заполнение обязательных атрибутов, отсутствие единых справочников, разнородные форматы и кодировки данных -- вот только небольшой перечень задач, которые приходится решать.

Переходя к вопросам организации работ по созданию системы, отметим, что технологическая сторона проекта хотя и значимая, но не самая главная: любой проект начинается с анализа предметной области и уяснения конечной цели -- что именно требуется клиенту. Поэтому предварительная работа с пользователями, определение их нужд, требований, а порой и личных предпочтений (в разрезе уже привычных для заказчика технологий) очень важна и является неотъемлемой частью общей работы над проектом. Всестороннее предпроектное обследование -- это необходимое условие правильно спланированной проектной деятельности, которое включает в себя, помимо выявления и согласования требований заказчика, анализ информационной инфраструктуры банка и тех источников данных, которые потребуются в работе. Источниками данных могут быть как базы данных, так и отдельные файлы произвольной структуры, содержащие в себе информацию, например, о действующих или потенциальных клиентах, банках-партнерах; специализированные базы данных (данные из различных внешних систем).

После анализа источников информации и разработки оптимальных алгоритмов извлечения и обработки данных с помощью ETL-средств происходит обработка и загрузка данных в витрину или хранилище, структура и содержимое которых удовлетворяет потребностям заказчика в анализе информации. Формируется структура данных хранилища и витрин, проводится их заполнение (как начальная загрузка исторической информации, так и регламентное пополнение).

Следующий этап работ направлен на представление данных конечному пользователю в виде аналитических отчетов и наглядных информационных панелей. В качестве промышленных средств анализа и представления информации конечному пользователю в проектах «Терн» используется платформа Business Objects. На ее основе разрабатываются семантические слои, которые позволяют пользователям системы оперировать привычными для них бизнес-понятиями и терминами конкретной предметной области, такими как «клиент», «сделка», «банковский продукт/услуга», «счет», «остатки и обороты по счетам» и т. д. С помощью Business Objects пользователи могут самостоятельно создавать отчеты и осуществлять многомерный анализ данных. Коллективная работа обеспечивается через «тонкого» и «толстого» клиента с разграничением прав доступа -- это немаловажный фактор для обеспечения конфиденциальности и безопасности информации.

В свете сложившейся в мире экономической ситуации потребности в интеграции различных систем неуклонно возрастают. Одновременно в одной организации могут использоваться различные СУБД, которые работают под разными операционными системами. В этом случае получение сводной информации по организации в целом и решение задачи консолидации данных весьма затруднительно. Актуальной задачей становится создание единой информационно-аналитической системы, которая обеспечит получение данных с учетом их разнородности и территориальной разобщенности.

Рассмотрим организацию аналитической обработки данных на примере проекта, реализуемого в одном из крупных коммерческих банков.

Банк, о котором далее пойдет речь, имеет достаточно разветвленную филиальную сеть. В филиалах используются различные АБС, как следствие, единые справочники отсутствуют, для хранения данных используются разные форматы и кодировки. Все эти факторы не могли не сказываться на сроках и качестве подготовки консолидированной информации. Зачастую отчеты для руководства компании приходилось готовить в формате таблиц Microsoft Excel, отвлекая сотрудников на продолжительную рутинную работу. Для обеспечения своевременного представления финансовой информации в целях прозрачности подготовки отчетов для надзорных органов и собственных нужд было принято решение о создании единой информационно-аналитической системы.

В качестве IT-партнера по созданию корпоративной системы была выбрана компания «Терн». В рамках одного большого проекта было выделено несколько этапов, в результате каждого из которых заказчик получал некий законченный продукт или часть системы, приносящую реальную практическую пользу. Первым реализовывался проект по обеспечению многоаспектного анализа клиентской базы банка. Источниками информации в этом случае стали как данные из нескольких информационных хранилищ на основе СУБД Oracle и MS-SQL, существовавших в организации, так и отдельные файлы произвольной структуры, содержавшие информацию, например, о действующих или потенциальных клиентах, банках-партнерах, а также данные из внешних источников, в том числе и CRM-системы. Целью этой разработки были не только извлечение и структуризация данных, но и приведение их к стандартному виду, создание справочников, агрегирование данных.

Загрузка информации по бухгалтерскому учету (данные по клиентам, счетам, остаткам по счетам и т. д.) и информации по учету сделок (данные по договорам банка) была реализована с использованием ETL-средств (DataStage, Business Objects Data Integrator). Затем на основе созданной витрины данных был разработан семантический слой (Universe), и персонал банка получил в свое распоряжение средство оперативной обработки и анализа накопленной информации о клиентах, а руководство -- аналитические отчеты для принятия управленческих решений. Для обеспечения необходимого уровня разграничения прав доступа было создано автоматически выстраиваемое иерархическое дерево организационной структуры банка (банковские аналитики, клиентские менеджеры, подразделения), позволяющее управлять доступностью информации.

В настоящее время при помощи системы многоаспектного анализа клиентской базы бизнес-аналитики коммерческого банка осуществляют оперативную обработку больших объемов информации о клиентах банка за любой отчетный период, включая автоматическое построение графиков и диаграмм по различным аналитическим срезам: подразделениям банка, странам, регионам, отраслям и многим другим. Для решения задачи анализа доходности клиента/продукта потребовалось реализовать возможность получения финансового результата деятельности банка в различных срезах. В рамках системы анализа был разработан аналитический функционал для получения в автоматическом режиме полной информации по сущности «Сделка» в разрезе клиентов и продуктов с возможностью последующей консолидации финансового результата по «Сделкам» как в разрезе одного продукта или клиента банка, так и в разрезе семейств продуктов или групп клиентов.

В настоящий момент система многоаспектного анализа клиентской базы банка учитывает и позволяет анализировать все направления работы с клиентами банка в части аналитической и управленческой отчетности. В рамках проекта обеспечивается анализ финансовых показателей, реализована возможность оперативно предоставлять необходимую информацию как высшему руководству для принятия управленческих решений, так и государственным исполнительным органам. Расчет показателей и составление отчетов, как правило, требуются в историческом разрезе, причем периоды, исследуемые финансовыми аналитиками, в отличие от контролирующих органов, носят плавающий (нефиксированный) характер. Для обеспечения подобного функционала система предусматривает наряду с наличием фактов в историческом разрезе соответствующую агрегацию и предварительный расчет наиболее характерных данных в различных временных срезах и соответствующий механизм доступа и переадресации при запросах.

Можно сказать, что изначально достаточно простая аналитическая система на данный момент развилась до уровня корпоративного хранилища данных и обладает всеми характерными для него составными частями и свойствами, такими как ETL-процедуры и Staging Area, Operation Data Store, Facts Area, Summary Area и Analitycs (Data Marts) Area.

Одним из последующих этапов разработки стало создание информационно-аналитической системы по предприятиям и организациям РФ на основе данных внешних источников, что породило отдельную область в хранилище, дополняющую своими сущностями и атрибутами уже существующие данные. Система содержит в себе сведения о регистрационных данных предприятий РФ, данные о выручке предприятий за различные периоды (квартал, год), объемы экспортно-импортных операций, осуществляемых предприятиями и т. д.

С помощью удобного интерфейса пользователи как головного банка, так и филиальной сети получили доступ к информации в интерактивном режиме и имеют возможность самостоятельно создавать всевозможные отчеты, делать аналитические группировки в различных разрезах. Создан альбом отчетных форм с информацией по компаниям РФ в части, например, балансовых данных, отчетов о прибылях и убытках, и т. д. Бизнес-аналитики банка получили возможность использовать полную и достоверную информацию о своих клиентах, учредителях, дочерних компаниях, а также полную информацию об экспортно-импортных операциях клиентов не только в «толстом» клиенте, но и в веб-интерфейсе, что позволило значительно повысить масштабируемость системы с точки зрения обеспечения доступа к данным большого числа конечных пользователей.

Рейтинг системы был повышен за счет использования современных средств визуализации консолидированной и «сигнальной» информации для топ-менеджеров банка. Была создана Информационно-Справочная Система Руководителя (основанная на средствах построения dashboards от BusinessObjects) на базе разработанной ранее системы многоаспектного анализа клиентской базы с отражением консолидированной информации по текущим и планируемым сделкам в разрезе бизнес-блоков и категорий бизнеса. Эта система состоит из инструментальных панелей визуализации с различными уровнями детализации, графическим представлением аналитических данных, которые гармонично вписались в контекст системы в целом.

В целях обеспечения более полного и всестороннего анализа информации был запущен этап проекта «Контрагенты банка» в части формирования основного списка контрагентов банка и создания основных отчетных форм. При реализации этой части проекта в качестве источника данных для справочников клиентов, контрагентов и банков-контрагентов были использованы как уже имеющиеся данные банковских систем, так и платежные документы, которые содержат в себе ИНН, наименование организации, БИК или S.W.I.F.T. банка и наименование банка. Витрина данных «Контрагенты» создавалась не классическим способом -- от справочников к фактам, а методом от обратного -- факты определяли состав справочников. Для создания аналитических отчетов, включающих в себя информацию о клиентах, контрагентах и банках, участвующих в расчетах, потребовался достаточно широкий атрибутный состав. Затем встал вопрос о дополнении справочников, полученных на основе платежных документов, информацией из внешних источников. Учитывая, что в нашу эпоху всеобщей компьютеризации большая часть информации, нужной банкам, лежит в открытом доступе (нужно только собрать отдельные факты в единую систему), был создан и реализован алгоритм, позволяющий, используя статистические методы сравнения строк, связать данные из открытых источников с данными, полученными из платежных документов. В итоге удалось не только получить недостающую справочную информацию, но и продолжить интеграцию нескольких уже существующих в банке аналитических систем.

  • В настоящий момент продолжается наращивание и расширение функциональных возможностей системы многоаспектного анализа клиентской базы банка. В том числе:
  • разрабатывается аналитический функционал для создания альбома отчетных форм типовых отчетов для бизнес-блоков, а также для получения нерегламентированной отчетности по запросам топ-менеджеров банка;
  • продолжается расширение функционала системы по предприятиям и организациям РФ с учетом подключения филиальной сети РФ и загранфилиалов, реализуется методика расчета сводных показателей для анализа финансового состояния организаций на основе форм бухгалтерской отчетности;
  • на основе анализа объемов выручки и количества входящих/исходящих платежей с клиентом банка в проекте «Контрагенты банка» сейчас реализуется алгоритм формирования группы «Топ-Контрагенты»;
  • параллельно с развитием уже созданных в банке аналитических систем с помощью уже созданных механизмов взаимосвязи данных из разных независимых источников продолжается объединение систем в единую Информационно-аналитическую систему, обеспечивающую поддержку принятия решений и получение аналитической и управленческой отчетности на всех уровнях управления.

Бизнес каждой компании, предприятия или банка имеет свою специфику, и каждый проект, реализованный нашей фирмой, -- это уникальный продукт. Компания «Терн» на своем опыте работы с крупными и средними банками выработала ряд основополагающих принципов, которые обеспечивают успешное завершение проектов. Эти принципы учитывают как общие аспекты, так и специфику бизнеса заказчика. Сюда входят:

  • углубленная предпроектная подготовка с формированием четких целей на всех этапах проекта;
  • постоянный контакт с представителями заказчика на всех этапах разработки проекта;
  • тесное сотрудничество с подразделениями (или выделенными менеджерами) заказчика на всех уровнях от разработчика до менеджера проекта;
  • обучение персонала заказчика работе с новыми технологиями;
  • получение ожидаемого практического эффекта от использования системы уже на первом этапе ее развертывания, еще до окончания всего проекта;
  • оперативная техническая поддержка как в процессе работы над проектом, так и после его окончания.

Наши клиенты -- это предприятия и банки, которые с уверенностью смотрят в будущее, обладают мощными информационно-аналитическими системами для анализа быстро меняющейся ситуации. Тесное сотрудничество, единое понимание целей разработчиками и представителями банка позволяют нам не только своевременно реализовывать поставленные задачи, но и делать это оптимальным способом, наиболее полно удовлетворять потребности заказчика.

вернуться назад

События

Новости

Корпоративные новости