Информационная лавина

Ежедневно в мире производится и накапливается все больше данных. По оценке McKinsey Global Institute, их прирост составляет 40% в год, то есть с 2009 года по 2020 год общемировой объем данных увеличится в 40 раз. Аналитики Gartner считают, что уже в 2015 году более 90% бизнес-руководителей будут рассматривать информацию как стратегический актив. К сожалению, из-за недостатка нужных знаний или инструментов оценить реальный экономический эффект от ее использования смогут не более 10% из них.

В этой ситуации банки не являются исключением: объем данных, которые они накапливают, уже сейчас довольно велик. В скором времени поток информации станет таким обильным, что стандартные технологии уже не смогут с ним справиться, и финансовым институтам надо быть к этому готовыми.

Проблемы и решения

Классические реляционные СУБД, используемые для аналитических задач, имеют известные ограничения. При изучении клиентской базы риск-аналитики вынуждены использовать «репрезентативные» выборки, как правило, не превышающие 1% от общего числа клиентов. Кроме того, оценка динамики за длительные периоды времени требует значительных вычислительных ресурсов.

В скором времени поток информации станет таким обильным, что стандартные технологии уже не смогут с ним справиться, и финансовым институтам надо быть к этому готовыми

В итоге возникают две серьезные проблемы: огромный объем разнородных данных и низкая производительность аналитических систем. Простое наращивание мощностей уже не способно их решить. Поэтому для многих задач целесообразно использовать технологии массово-параллельных вычислений, которые обозначают термином Big Data — «большие данные».

Суть технологии — в распределении обработки данных по множеству независимых взаимозаменяемых узлов (серверов). Это позволяет выполнять задачу по частям и дает необходимый уровень производительности, устойчивости и масштабируемости. Кроме того, технологии «больших данных» оптимизируют загрузку данных, а также обеспечивают оперативный доступ к ним.

Анализ Big Data невозможно представить в отрыве от статистического инструментария. Применяемые средства показали свою эффективность в сложных научных исследованиях, в работе крупнейших мировых интернет-корпораций и финансовых организаций.

Формула успеха: VVV

Разговор о технологиях Big Data принято вести в контексте «трех V».

1. Volume (объем): увеличение объема корпоративных данных обусловлено как растущим числом транзакций, так и необходимостью обработки новых типов данных. Проблемой становится и хранение большого объема данных, и их анализ.

2. Variety (многообразие): само наличие информации не означает ее преобразования в приемлемую форму, позволяющую принять решение. Существует множество различных типов структурированных и неструктурированных данных: базы данных, документы, электронные письма, фото-, видео- и аудиоданные, данные социальных сетей, финансовые транзакции и т.д. Способность обрабатывать неоднородную информацию является отличительной чертой технологий Big Data.

3. Velocity (скорость): прежде всего ускоряется прирост объема данных. Как следствие, нужно быстрее их обрабатывать, формировать отчетность и предоставлять оперативный доступ к данным и аналитике по ним.

Эти «три V» позволяют строить эффективные аналитические системы, в т.ч. и для решения насущных банковских бизнес-задач.

Где нужны «большие данные»?

Развитие филиальной сети: анализ геоданных (адреса клиентов и отслеживание мест, где они чаще всего бывают) с привязкой к карте позволяет банку более эффективно размещать новые офисы и банкоматы.

Риск-менеджмент: «большие данные» расширяют информационную основу принятия решений и как следствие, повышают их качество.

Управленческий учет и финансовая аналитика: технологии Big Data ускоряют расчет показателей и расширяют число доступных функций.

Борьба с мошенничеством (фродом): «большие данные» позволяют применять более гибкие методы распознавания несанкционированных действий и оперативно пресекать их.

Маркетинг: «большие данные» помогают повышать лояльность существующих клиентов и привлекать новых. Обилие информации дает возможность создать более точный портрет клиента, включив в него сведения об интернет-активности и другие детали. Проведя высокоточный анализ профиля, можно сформировать индивидуальное предложение — например, выдать «плавающий» кредитный лимит в зависимости от текущей ситуации клиента. Стоит отметить и такой полезный инструмент, как мониторинг удовлетворенности клиентов и анализ реакции на маркетинговую кампанию в форумах и социальных сетях. Все это позволяет корректировать маркетинговую стратегию для формирования более актуальных продуктов и коммерческих предложений.

Продажи: еще один яркий пример — решение задачи Next Best Offer («лучшее следующее предложение»). Допустим, клиент приобрел у банка продукт А (автокредит). На основе характеристик клиента и поведения похожих клиентов банк может сразу предложить клиенту продукт Б (кредитную карту) и продукт В (ипотеку). То есть банк старается предложить именно тот продукт, в котором заинтересован конкретный клиент. За счет технологий Big Data предложить продукт можно точнее и раньше конкурентов.

Механизм действия «больших данных»

Описанные выше результаты достигаются с помощью систем класса Big Data c интегрированным и преднастроенным модулем прогнозирования (Prediction Engine). Производится их интеграция с источниками данных о клиентах (АБС, CRM, процессинг и т.д.). Можно также подключать внешние источники (Интернет, БКИ, системы операторов связи) и использовать агрегированные данные из хранилища данных или систем управления НСИ (Master Data Management, MDM).

В ходе реализации проекта происходит загрузка данных в специально организованное хранилище на базе Hadoop, создается аналитическая модель данных, настраиваются инструменты для работы с ними. В итоге можно, например, на основе последних действий клиента и его предпочтений предложить наиболее подходящие продукты, когда он обращается в отделение.

«Большие данные» — наш профиль

«Энвижн Груп» владеет технологиями «больших данных» и разрабатывает на их основе отраслевые решения для телеком-операторов, промышленных предприятий, финансовых и торговых организаций. Эти решения позволяют выстроить эффективное управление данными в условиях постоянного роста их объема и сложности.

Специалисты «Энвижн Груп» предлагают полный спектр услуг по внедрению технологий Big Data:

• консультирование по внедрению системы, включая бизнес-консалтинг;

• построение аппаратно-программных платформ на основе Apache Hadoop;

• развертывание средств доставки (импорта), обработки и анализа данных в составе архитектуры решения;

• обучение сотрудников работе с новым инструментарием;

• поддержка и развитие решения.