— На каком этапе вы поняли, что для дальнейшего успешного освоения рынка необходимо создать хранилище данных?

— Хранилище было создано практически одновременно с началом работы «Русфинанс» в 2004 году. У руководства с самого начала было понимание того, что основным конкурентным преимуществом на современном финансовом рынке является владение оперативной и консистентной информацией. Первоначально было создано аналитическое хранилище.

На данный момент группа «Русфинанс» состоит из четырех юридических лиц — это компания «Русфинанс», Русфинанс Банк, СКТ-банк и банк «Столичный экспресс». Соответственно, задачи расширились, количество операционных и информационных систем увеличилось, повысились требования с точки зрения очистки данных, обеспечения их консистентности, непротиворечивости, а в связи с этим изменились и требования к инструментарию. В «Русфинанс» успешно функционируют порядка 40 различных аналитических кубов, которыми напрямую пользуются более тысячи конечных пользователей.

— Какую конфигурацию имеет хранилище данных?

— В группе «Русфинанс» имеется три хранилища (именно хранилища, а не витрины) — аналитическое хранилище, операционное хранилище, хранилище по формированию отчетности для Центрального банка, начаты работы по формированию специализированного финансового хранилища.

Стандартных решений организации хранилища нет, и существующую структуру мы придумали сами. Эти хранилища имеют различные предметное предназначение, набор сервисов и идеи организации. Например, центробанковское хранилище по сути хранилищем не является, поскольку ориентировано исключительно на создание «плоских» отчетов. Но для его формирования и организации хранения и использования данных применяются стандартные механизмы организации хранилищ данных.

Аналитическое хранилище — это классическое хранилище, используемое для проведения аналитических исследований и статистического анализа на историческом срезе данных. Оно не содержит детальной информации по каждому отдельно взятому клиенту, но включает информацию по его характеристикам, а также характеристикам продуктов, партнеров, региональной специфике и т. п.

Операционное хранилище содержит оперативную детальную информацию по конкретным клиентам, контрактам и счетам. Здесь мы можем посмотреть личные данные конкретного клиента, его контактную информацию, кредитный портфель и прочее.

— Приходилось ли вам за счет полученных аналитических данных корректировать продукты или программы?

— Очень активно аналитическими данными пользуется департамент Direct Sales, который проводит масштабные кампании по привлечению клиентов. Здесь нужно реально понимать, насколько кампании и продукты, которые они разработали, реалистичны, и какую прибыль они принесут, потому что большинство из проектов достаточно затратны. Например, когда делается адресная почтовая рассылка по России, должно быть охвачено не менее 100 тыс. клиентов. Отправка одного письма обходится приблизительно в 10–20 рублей. То есть в общей сложности расходы могут составить несколько миллионов. Соответственно, если эта рекламная кампания не принесет результата, то деньги пропадут. Поэтому нужен предварительный прогноз, который может быть сделан только при проведении определенного маркетингового исследования.

СПРАВКА

Русфинанс Банк — стопроцентная дочерняя компания Societe Generale в России, часть группы «Русфинанс», которая начала свою деятельность в июне 2004 года. Группа «Русфинанс» специализируется на выдаче потребительских кредитов через сеть 8000 партнеров (розничные сети и автодилеры) и собственные представительства региональной сети в 64 регионах России, а также предоставляет дистанционные займы (через call-центр). Группа «Русфинанс» обслуживает около 2 млн клиентов силами более 8000 сотрудников.

Русфинанс Банк занимает второе место по объему выданных автокредитов и первое место по автокредитованию в автосалонах. Русфинанс Банк на третьем месте среди банков-лидеров по кредитованию в местах продаж.

— Вы сказали, что сейчас создается четвертое хранилище — финансовое. Какие функции будет выполнять этот блок?

— Финансовое хранилище служит для построения внутренней финансовой отчетности для группы компаний и для построения IFRS отчетности для «материнской» компании. Раньше все финансовые показатели агрегировались в отдельных кубах и автоматического выхода на общий результат не было, а потому отчеты собирались вручную. Сейчас мы достигли такой степени зрелости, что хотим полностью автоматизировать этот процесс, а для этого нам необходимо выделить финансовые кубы в отдельное хранилище. В результате трудозатраты должны сократиться на порядок.

—Это, наверное, весьма трудоемкий процесс, создание нового хранилища?

— В принципе да, но у нас проведена достаточно серьезная подготовительная работа и создано большое количество наработок. Основная идея — максимальное разделение операционных систем и хранилищ данных.

Для этого в данный момент создается консолидированный промежуточный слой (staging area), который позволит в едином технологическом процессе осуществить выгрузку, очистку и конвертацию данных для всех используемых хранилищ банка. Естественно, для каждого отдельного хранилища такой слой существует на данный момент, но основная задача — это создание единой базовой совокупности исходных данных (raw data), позволяющей получать взаимно непротиворечивую информацию из любого хранилища.

Сам промежуточный слой разделен на три уровня. На первом уровне консолидируются данные из всех операционных систем в том виде, как они есть в этих системах. На втором — создаются общие сущности, единая модель данных, части которой потом могут быть использованы любым (!) хранилищем. На третьем уровне добавляются предрассчитанные данные, которые опять-таки могут использоваться любым хранилищем, питающемся из этого источника. Естественно, на уровне каждого отдельно взятого хранилища также формируются свои специфичные агрегаты.

В результате, имея такой промежуточный слой, мы решаем 80% задач создания хранилища — подготовку единых исходных данных. Далее, в соответствии с задачами каждого хранилища, мы можем крутить эти данные, как нам угодно. Мы можем делать статистические исследования, формировать выборки, формировать внутреннюю, российскую, международную и даже «китайскую» отчетность.

Как я уже говорил, исходные, первичные данные одни и те же, важна интерпретация и использование.

— А предоставляла ли «материнская» компания какую-то форму или, возможно, рекомендовала определенное решение?

— В общем, нет. Можно сказать, что как такового единого стандарта или готового решения не предлагалось, но в своей работе мы опираемся на единые внутрикорпоративные стандарты и технологии. В частности, мы широко используем платформу Informatica в процессах формирования всех хранилищ данных как ETL-платформы, являющейся стандартом компаний группы SG. Мы сотрудничаем с Microsoft и SAS, с которыми у нас налажены не просто партнерские отношения, а организовано использование ряда продуктов как части корпоративного стандарта.

— И как часто приходится вносить изменения в существующую модель?

— Как сказал основатель концепции корпоративного хранилища данных Ральф Кимбалл (Ralph Kimball), «хранилище — это процесс, а не проект!» Разработка и модернизация хранилища не имеют жестких временных рамок и должны проводиться постоянно.

Есть определенная модель данных, которая удовлетворяет на данный период. Но в определенный момент возникает необходимость анализа клиентской базы по каким-то другим измерениям, которые раньше не были интересны. Например, в условиях кризиса оценка жизнеспособности компании-работодателя через котировки на рынке акций. Такая модель никогда раньше не использовалась банками, потому что ситуация была стабильная и это было не нужно. А теперь эту информацию нужно каким-то образом собирать, хранить и использовать.

Основная проблема — это бизнес-постановка задачи, а затем ее дальнейшая конвертация в модель данных.

Держать аналитиков в каждом бизнес-подразделении удобно, но затратно для организации.

— А сколько всего человек работает у вас в IТ-департаменте и какого профиля эти специалисты?

— Всего в IТ-департаменте сейчас работает порядка 300 человек, из которых 15 сотрудников занимаются вопросами, связанными с хранилищами данных. Эти люди не столько разработчики, сколько высококлассные аналитики, имеющие, как правило, математическое или высшее техническое образование и хороший опыт статистических исследований.

Некоторые компании предпочитают держать аналитиков в каждом бизнес-подразделении, которое ставит задачи IТ-департаменту. С нашей точки зрения, это несколько разбросанный подход. Возможно, он более удобный для конкретного подразделения, но в итоге более затратный для организации. Аналитик видит картину в рамках своего узкого направления, а звена, которое бы собирало все эти фрагменты воедино, нет. Наша организационная структура удобна тем, что когда мы получаем требования от различных подразделений банка, мы можем их проанализировать стратегически на уровне всей организации и решать глобально. То есть мы строим общую модель, а не отдельные кубики.

— Может ли банк сегодня работать без хранилища данных?

— На мой взгляд, нет. На это существует несколько причин. Во-первых, необходимость получения консолидированной информации. Любой банк, даже самый маленький, имеет более одной информационной системы, поэтому для получения агрегированной информации ее необходимо предварительно где-то собирать, очищать и формировать. С моей точки зрения, это можно сделать только через хранилище. Самописное, покупное — не важно, но это должно быть хранилище. Во-вторых, информация должна поступать оперативно. Если операционные системы загружать произведением отчетности, то получится, что и операционные системы не будут работать нормально, и отчетность не будет поступать вовремя.

— А доступ к хранилищу данных каким-нибудь образом регламентируется?

— В банке регламентируется доступ к витринам данных хранилища, напрямую доступ к хранилищу есть только у сотрудников IТ. При этом доступ регламентируется, как в любой информационной системе. То есть существует система заявок на выдачу доступа. Сначала заявки верифицируются руководителями соответствующих подразделений, далее поступают в службу безопасности, а уже затем — в IТ-департамент. Возможно обеспечение нескольких режимов доступа. Первый вариант — это разовый доступ, базирующийся на конкретной заявке. В этом случае, как правило, определенная выборка или отчет формируются сотрудниками IТ-департамента и предоставляются конечному пользователю. Второй вариант — это предоставление сотруднику постоянного доступа к определенному кубу в связи с его служебными обязанностями, например, получение информации в рамках такого-то региона, продукта и т. д. В любом случае инициатором выступает руководитель. Причем руководитель должен занимать пост не ниже начальника управления.

— Ваше хранилище консолидирует информацию из четырех подразделений группы «Русфинанс». А есть какие-то еще промежуточные этапы?

— Четыре компании обслуживаются IТ-департаментом как единое целое. Наш IТ-департамент, по сути, является внешней аутсорсинговой компанией, которая может обслуживать одну, четыре и больше компаний. Кстати, кроме группы «Русфинанс» мы обслуживаем еще несколько организаций, которые принадлежат «материнской» компании. Здесь действует принцип синергии. Эти компании могут, конечно, самостоятельно развивать IТ-направление, но с точки зрения управления затратами это будет нецелесообразно. Потому что от этих организаций проект потребует инвестирования, а мы предоставляем уже готовые ресурсы. Существует перечень сервисов, которые мы предлагаем.

В условиях кризиса появилась новая модель — оценка жизнеспособности компаний-работодателей через котировки на рынке акций.

— То есть IТ-департамент работает, как коммерческое подразделение, и тоже приносит определенную прибыль?

— Если мы будем устанавливать маржу, то это вполне реальный сценарий. Но пока мы исходим из себестоимости наших затрат, то есть работаем на самоокупаемости. Зарабатывать на подразделениях «материнской» компании «Сосьете Женераль» некорректно.

Но IТ-департамент работает на привлечение бизнес-подразделениями прибыли в компанию. В частности, отдельные IТ-проекты и аналитические исследования запускаются не столько ради поддержания успешной работы бизнеса, сколько направлены на поддержку принятия стратегических бизнес-решений, таких как, например, привлечение новых клиентов в компанию и внедрение новых бизнес-направлений, что, по сути, можно рассматривать не только как обеспечение гарантированной, но и дополнительной прибыли в масштабах всей компании.

— А предусмотрено ли дальнейшее масштабирование системы?

— У нас есть бизнес-план, где четко прописаны объемы обслуживания на следующий год. Соответственно, под эти объемы мы готовим наше сервисное оборудование. Например, для кредитного рынка декабрьский период — это период кредитного бума, когда объем операций возрастает в три–пять раз к существующим объемам. То есть у нас заложен как минимум пятикратный объем мощности.

— Хранилище данных по набору своих функций схоже с CRM-системой. Эти два решения могут быть взаимозаменяемы?

— CRM делится на два класса — операционный и аналитический. Аналитический CRM — это то же самое хранилище данных. Операционный CRM многие тоже рассматривают как хранилище, но, с моей точки зрения, они принципиально отличаются. В самом названии заложено слово «операционный». Хотя операционный CRM также базируется на большом массиве данных (именно массиве), но к системе предъявляются абсолютно иные требования: on-line доступ, 24х7 и т. д. То есть организация и использование данных строятся по другим принципам.

Если операционные системы загружать произведением отчетности, то операционные системы не будут работать нормально, и отчетность не будет поступать вовремя.

— А какие требования предъявляются к отказоустойчивости хранилища данных?

— У разных систем разные требования к отказоустойчивости, все зависит от сервиса, предоставляемого системой.

У операционных систем требования к отказоустойчивости гораздо выше, так как они работают в on-line режиме. Соответственно, делается резервирование, синхронизация данных, кластеризация и т. п.

Для систем отчетности такая срочность, как правило, не требуется. Обычно системы отчетности могут восстанавливаться часами, а иногда днями. Если бизнес не получит в течение суток какую-то отчетность, это, конечно, плохо, хотя чего-то уж очень критичного не произойдет. Но здесь опять-таки важен уровень сервиса. Например, для обязательной отчетности абсолютно не принципиальна доступность в течение месяца, тогда как в первые дни месяца доступность должна быть 100%.

Олег Рубан директор направления BI компании «Неофлекс»

Внимание на контроле качества данных

Компания «Неофлекс» имеет компетенции в разработке хранилищ для подготовки обязательность и управленческой отчетности. По этому направлению нашими клиентами являются Русфинанс Банк, BNP Paribas, СДМ-Банк, Оргрэсбанк, Ханты-Мансийский Банк, представительства других западных банков в России.

При разработке хранилищ данных мы уделяем особое внимание контролю качества данных хранилища. Контроль производится ежедневно на этапе загрузки данных и включает проверки, выполняемые на трех уровнях. На первом, техническом уровне, при сведении однотипных данных из разных источников проверяются форматы и допустимые значения данных, а также их целостность. Затем данные хранилища проверяются на внутреннюю непротиворечивость, связность и достаточность информации путем их реконсиляции с данными систем-источников. Наконец мы проверяем сходимость бизнес-показателей. Например, остатки на конец дня должны быть равны остаткам на конец предыдущего дня плюс обороты за день. Для контроля мы используем автоматические процедуры, базирующиеся на более чем пятидесяти алгоритмах, визуальные интерфейсы для оперативного контроля данных пользователями, а также специализированные отчеты.

Роман Зейбот заместитель директора департамента вычислительных систем компании «КРОК»

Постоянно нарастающий объем информации вынуждает финансовые институты оптимизировать затраты, в том числе сокращать расходы на хранение данных, обеспечив высокий уровень их доступности. По мере насыщения рынка системами хранения данных (СХД) применение подхода многоуровневого хранения является наиболее практичным способом развития IТ-инфраструктуры большинства организаций.

На сегодняшний день можно выделить два пути построения многоуровневого хранилища. Первый — это модернизация существующей инфраструктуры хранения данных. Второй, лучшим образом подходит для вновь строящихся комплексов, — это установка новой комплексной системы хранения, реализующей внутри себя весь функционал для хранения данных с разными требованиями по уровню доступности.

Число крупных финансовых организаций, начинающих создавать многоуровневые хранилища данных, растет. Что неудивительно, поскольку, с одной стороны, потребности компаний в дисковых ресурсах все равно растут, с другой стороны, организация снижает расходы на IТ. В этом случае начинает реализовываться идея о многоуровневом хранилище: устаревшие данные остаются или перемещаются на существующие СХД, а наиболее востребованные и новые данные располагаются на современной мощной системе.

По моему мнению, наиболее популярными сегодня решениями по построению многоуровневого хранилища являются комбинированные решения, сочетающие в себе HSM-решения и решения по виртуализации СХД. Плюсы таких решений очевидны. Это, во-первых, единая точка распределения дисковых ресурсов и мониторинга инфраструктуры, а во-вторых, возможность автоматически, незаметно для конечного пользователя мигрировать данные между разными системами хранения. Добавление новой СХД не приводит к изменению схемы распределения ресурсов между потребителями, то есть масштабирование происходит наиболее простым способом. Все проекты по системам хранения и обработки данных должны строиться в рамках единой концепции управления жизненным циклом информации (ILM), разработанной и принятой в организации.

Виктор Сусойкин руководитель управления финансовых приложений компании «РДТЕХ»

Использование западных решений при создании хранилищ данных очень привлекательно, но, несмотря на возможность решить типовые задачи, такой подход не позволяет учитывать специфические требования российского банковского рынка, так как в приложениях отсутствует ряд необходимых в наших условиях методологий.

Оптимальным является вариант, при котором в основу хранилища данных заложена западная модель, прошедшая серьезную локализацию. Компания «РДТЕХ», предлагая услуги по внедрению бизнес-приложений Oracle Financial Services Applications (OFSA), адаптировала их к российским особенностям, усовершенствовав методологию реализации системы загрузки данных и создания единой модели данных.

В отличие от базовой версии OFSA, локализованное решение поддерживает историчность данных, позволяя фиксировать все изменения в справочниках, что облегчает поддержание системы связей между данными из разных таблиц и дает возможность отследить состояние хранилища на любую нужную дату в прошлом. Благодаря использованию механизма глобальных ключей для обработки в хранилище попадают только новые данные из источников, а следовательно, снижается требование к ресурсам хранилища и повышается производительность.

Поддержание историчности нормативно-справочной информации реализовано через разработанный «РДТЕХ» модуль управления НСИ, который представляет собой систему класса Master Data Management, интегрирован с хранилищем OFSA, адаптирован под российские банки и предоставляет гибкий подход к числу поддерживаемых источников для синхронизации, а также числу потребителей синхронизированной информации.

Ускорение процесса создания хранилища данных достигается за счет использования централизованной архитектуры, при которой модель в хранилище уже есть и ее необходимо наполнить данными. Локализованная модель данных, используемая «РДТЕХ», не зависит от особенностей приложений и включает в себя проработку российской специфики, в частности подготовку регламентной отчетности Банка России.

Алексей Михеев директор департамента аналитических систем компании R-Style Softlab

Насколько необходимо банку хранилище данных?

Все зависит от масштабов кредитной организации. На сегодняшний день невозможно представить себе крупный банк с распределенной организационно-финансовой структурой и территориально удаленными филиалами без собственного хранилища данных. Банкиры стремятся к совершенствованию процесса эффективного и своевременного принятия управленческих решений. Возрастает значение централизованного анализа и мониторинга движения денежных средств на счетах подчиненных подразделений и филиалов.

Как выбрать платформу для построения хранилища данных?

Банки нуждаются в постоянной обработке колоссальных объемов различных сведений, исходя из которых и выбирается ПО. К примеру, RS-DataHouse, которая эксплуатируется в ФГ «МДМ» и Северном банке СБ РФ, способна эффективно управлять хранилищем данных с терабайтами информации.

Крупные многофилиальные кредитные учреждения заинтересованы в масштабируемом и универсальном решении. Система должна быть максимально интегрирована с СУБД, что позволит значительно повысить производительность выполнения основных операций как в хранилище данных, так и в его аналитических приложениях. Это достигается за счет оптимизации информационной модели хранилища данных в рамках конкретного проекта. Очевидно, что такая возможность должна быть заложена в характеристики программного продукта изначально.

Наибольшей ценностью обладает качественная информация. Данные, поступающие в корпоративное хранилище из различных источников и в разных форматах, при загрузке обязательно проходят процедуру так называемой очистки. На этом этапе выявляются сведения, не соответствующие ограничениям и правилам, предъявляемым хранилищем, устанавливается причина их некорректности. От того, насколько эффективно в системе прописаны алгоритмы проверки качества информации, зависит и эффективность ее дальнейшего анализа.

Александр Хренков директор департамента по работе с финансовыми организациями «ТехноСерв А/С»

Одной из наиболее актуальных задач с использованием хранилищ данных в банках, является подготовка отчетности в соответствии с требованиями МСФО, российской регуляторной отчетности и отчетности для требований управленческого учета.

Очевидно, что подготовка отчетности без использования современных автоматизированных систем — процесс, требующий от банка существенных затрат, связанных с набором квалифицированных специалистов. Нельзя не учитывать человеческий фактор, ведь срыв сроков подготовки отчетности повлечет штрафы и возможный отзыв лицензий. В свою очередь, автоматизация подготовки отчетности на базе современных технологий хранилищ данных позволяет не только снизить затраты на персонал и минимизировать риски срыва сроков, но и обеспечивает гарантированную достоверность данных в любом типе отчетности.

В ходе работы с российскими банками консультанты «ТехноСерв А/С» детально изучили данную проблематику, включая формализацию методологии формирования отчетности в соответствии с требованиями МСФО. Результатом этой работы стала разработка автоматизированной системы подготовки требуемой отчетности на базе продуктов компании SAP.

Функциональность системы обеспечивает: формирование отчетности по МСФО, в том числе сбор и выверку исходных данных бухгалтерского учета, аналитических расшифровок и нормативно-справочной информации; трансформацию РПБУ в МСФО для каждого филиала банка; выполнение корректировок, отражающих мотивированное суждение специалистов, и выпуск отчетов по МСФО до консолидации; консолидацию отчетности с учетом спе-цифики банка и др.

Для построения отчетности и аналитических приложений используется набор инструментов хранилища данных SAP NetWeaver Business Intelligence Suite (BEx). Информацию из хранилища данных можно анализировать в различных аналитических срезах, с различной степенью детализации, выбрав наиболее удобный из доступных интерфейсов (Web, корпоративный портал, Microsoft Excel).