Вестник цифровой трансформации

Большие Данные: где искать полезные идеи?
Большие Данные: где искать полезные идеи?




Реализация проектов Больших Данных — возможность наконец заставить ИТ-инфраструктуру отрабатывать инвестиции.

22:02 12.01.2016  |  Николай Смирнов | Реализация проектов Больших Данных — возможность наконец заставить ИТ-инфраструктуру отрабатывать инвестиции.4976 просмотров



Задачи, которые приходится решать компаниям при реализации проектов Больших Данных, во многом являются методологическими. Извлечь из данных пользу получается далеко не всегда из-за дефицита бизнес-идей.

Много компаний в предыдущие годы вложили значительные средства в создание мощной ИТ-инфраструктуры. Реализация проектов Больших Данных — возможность наконец заставить ее отрабатывать инвестиции.

Задачи, которые приходится решать компаниям при реализации проектов Больших Данных, являются отнюдь не технологическими. Найти данные не проблема. Например, каждый человек оставляет в Интернете много «следов», которые различные организации могут использовать в своих целях. Однако извлечь из данных пользу получается далеко не всегда из-за дефицита бизнес-идей. Главная задача компаний — правильное предложение услуг, исходя из ситуации, в которой находится клиент, и адекватная реакция на его действия. Кроме того, корректное встраивание аналитики Больших Данных в операционные процессы становится ключевым фактором, во многом определяющим ее эффективность.

«Бизнес-аналитики в нашей компании работают с Большими Данными с 2005 года, задолго до того как получил распространение термин Big Data», — подчеркивает Виктор Булгаков, руководитель департамента управленческой информации «ВымпелКома». По его словам, большинство потоков данных больше 100 Гбайт в день можно относить к категории Больших Данных: они требуют определенной культуры работы, специфических процессов. Компании удалось создать эту культуру. Свидетельство тому — постоянный рост числа пользователей средств бизнес-аналитики, увеличение объема хранимых и обрабатываемых данных. В условиях повышения требований к качеству и оперативности информации это становится особенно востребовано бизнесом. Технологии ориентированы на повышение уровня клиентского сервиса, а также улучшение качества корпоративного управления.

«Бесцельно собирать все данные подряд — это путь в никуда. Данные без экспертов — балласт, тормозящий развитие бизнеса», Виктор Булгаков, руководитель департамента управленческой информации компании «ВымпелКом»

«Очень важно, когда руководитель принимает своевременные решения на основе достоверной информации. Это может быть как большим, комплексным отчетом, так и информационной панелью всего на один экран, за которой скрываются десятки терабайт данных и миллиарды записей», — говорит Булгаков.

«У нас действительно много данных — больше, чем у нефтяников, а в части информации о конкретном абоненте они даже шире, чем у Google. Поисковики “знают” все, с чем пришел к нему пользователь, а мы знаем, куда он ходил, кроме Google» — констатирует Алексей Мартынов, директор департамента развития и сопровождения ИТ-систем ОАО «МГТС». Кроме того, люди все чаще выходят в Интернет с мобильных устройств, что дает массу дополнительных знаний. Известно, где человек находится в данный момент, что смотрит, какую рекламу ему показывают, определен его круг общения. Способов организовать взаимодействие с человеком также гораздо больше: мобильный телефон у многих никогда не выключается.

«Появление технологий Больших Данных никак не сказалось на количестве новых продуктов, их качестве, скорости их вывода на рынок. Скорее, оно отразилось на понимании того, кому и какие услуги следует продавать — на таргетировании наших предложений», — считает Мартынов. Для любого телеком-оператора важно четко понимать, кому и какой продукт можно продать и с какой вероятностью предложение будет принято.

Проблема «операционной близорукости»

«Проблему правильной постановки вопросов решить гораздо сложнее, чем технические проблемы. Их действительно зачастую сложно сформулировать», — признает Алексей Благирев, директор по развитию систем аналитики и отчетности банка «Открытие». Это глобальная проблема «операционной близорукости»: наблюдаются сложности с формулированием гипотез, которые можно проверить. Компаниям нужен конвейер гипотез, которые накапливаются и в итоге становятся рычагами управления знаниями. Да, большинство источников данных — мягко говоря, не стопроцентного качества. Но они есть, и ключевой вопрос: как извлечь из них стоимость?

Отдельная проблема заключается в правовых и этических аспектах использования данных, а главное — сделанных выводов. Во-первых, далеко не все данные компания может легально использовать, и постепенно соответствующий контроль будет повышаться. Во-вторых, нужно провести допустимую границу использования данных о личности клиента. Нарушение такого правила может крайне негативно повлиять на бренд.

Маркетинг терминологий

Традиционные подходы к работе с данными перестают быть эффективными в связи с многогранностью возникающих задач. Бизнес демонстрирует неудовлетворенность результатами, и именно это становится причиной появления профессии «исследователь данных» — data scientist. Однако в широком смысле исследователи данных существовали всегда: это те люди, которые исходя из имеющейся информации могли найти выгоды для компании.

«В наблюдающейся тенденции заметна роль маркетинговой составляющей», — полагает Александр Аникин, руководитель клиентской аналитики группы «Связной». Если посмотреть статистику Google, четко можно увидеть падение запросов Business Intelligence и Data Mining и рост других — Big Data и Data Science. С маркетинговой точки зрения классический термин BI себя изживает, ему необходима замена, и в лице Больших Данных такая замена находится. Похожая ситуация наблюдается с Data Mining: на смену приходит Data Science.

Сегодня исследователь данных во многом является собирательным образом. Такие специалисты, обладающие широкими знаниями в статистике, ИТ и бизнесе, на рынке практически не встречаются. В большинстве случаев речь идет о построении сбалансированной команды сотрудников, вкупе обладающих необходимой экспертизой.

Объять ли необъятное?

Эксперты разделились на два лагеря: одни говорят, что нужно хранить все доступные данные, появляющиеся в поле зрения компании, другие же считают, что нельзя объять необъятное — а потому собирать и накапливать следует лишь те данные, необходимость в которых на данный момент реально существует.

«При определении потенциальной ценности данных следует действовать через исследовательские проекты», — рекомендует Мартынов.

Многое зависит от возможностей, которые есть у компании, но, как полагает Булгаков, правильно расставив приоритеты, можно выделить достаточные ресурсы. Если предстоит собрать по-настоящему большой объем данных, это должно быть продиктовано экономической целесообразностью. И опыт множества компаний является тому подтверждением.

«Должна быть отдельная команда, ориентированная на идеи. Пока известно очень мало случаев, когда такие генераторы идей равномерно распределены по подразделениям компании», Алексей Мартынов, директор департамента развития и сопровождения ИТ-систем МГТС

«Я могу себя отнести к людям, которые говорят, что бесцельно собирать все данные подряд — это путь в никуда. Необходимы приоритеты, и помочь в их определении способны эксперты по данным, — считает Булгаков. — Кстати, данные без экспертов — балласт, тормозящий развитие бизнеса. Повышение же уровня экспертизы, напротив, позволяет достичь максимальной отдачи инвестиций в технологии и данные».

Фразу «Давайте возьмем данные и извлечем из них пользу» многие часто слышат от руководителей после посещения конференций по Big Data. Это прекрасная возможность дать старт проекту и уже на первом этапе создать «фабрику идей». Фабрика идей — эффективный подход, когда идеи бизнеса централизованно собираются, тестируются для оценки их полезности и лучшие претворяются в жизнь. Это процесс непрерывного превращения идей в работающие решения.

«Должна быть отдельная команда, ориентированная в первую очередь на идеи. Пока известно очень мало случаев, когда такие генераторы идей равномерно распределены по подразделениям компании», — замечает Мартынов. По его словам, сейчас ситуация аналогична той, что была в начале компьютерной эры. Нужна группа «молодых и голодных», выдвигающих разные, иногда на первый взгляд безумные, идеи, реализацией которых занимается ИТ-департамент.

«Выделенные люди, освобожденные от рутины, могут быть более эффективны в творческих задачах», — согласен Булгаков. Однако оторванность от практических задач сужает круг возможностей, и здесь нужен разумный баланс креативности и технологий.

Не просто инструмент для обработки данных

Как полагает Евгений Степанов, руководитель направления HP Vertica в России, барьеры на пути Больших Данных — скорее ментальные, чем технологические. Подсчитано, что компании тратят 70% ресурсов на поддержание существующей инфраструктуры и только 30% — на инновации. Это утверждение более чем справедливо по отношению к работе с данными: большинство компаний продолжают идти по проторенной дороге.

Однако ситуация постепенно меняется, и в первую очередь речь идет о стартапах: у них отсутствует такое наследие, как существующая инфраструктура и традиционные подходы. Можно рекомендовать всем заказчикам создавать внутри себя стартапы, выделяя доступные ресурсы на принципиально новые проекты. Это тем более важно, что технологически стоимость входа на рынок Больших Данных близка к нулю.

«Очевидны радикальные изменения в подходе российского бизнеса к работе с данными», — уверен Юрий Попов, эксперт по технологиям бизнес-аналитики и Больших Данных Microsoft. В последнее время интерес к решениям Big Data значительно возрос, и причина заключается в том, что они перестали быть просто инструментами для обработки данных, а стали более бизнес-ориентированными. Они позволяют извлекать ценные для предприятий знания, расширяют возможности анализа и выявляют факторы, которые могут влиять на бизнес, особенно те, что раньше оставались за пределами внимания.

«Мы видим не только успехи в обработке данных, но и появление совершенно нового класса проблем, возникших во многом как следствие этого прогресса, — можно сказать, болезней роста», — говорит Илья Гершанов, руководитель направления «Большие Данные» компании Informatica. Например, в файловых системах Hadoop происходит накопление огромного объема разнообразных данных, что совершенно оправдано низкой стоимостью владения и отличными характеристиками систем. Но, начиная с какого-то момента, оказывается, что единственное место, где есть информация о данных в Hadoop, — это головы разработчиков. В случае ухода такого ключевого сотрудника уже непонятно, какие данные есть в системе, а каких нет, какова степень их достоверности и полноты, и вообще — откуда их взяли. Кроме того, разработчик может не представлять, есть ли в хранилище бизнес-критичные и персональные данные, что может привести к утечке данных. Другая подобная проблема, с которой компании иногда сталкиваются даже раньше, — последствия «рукописной» интеграции Больших Данных. Часто загрузка данных производится самодельным скриптом, который невозможно эффективно сопровождать или развивать.

По словам Вика Винча, директора по технологиям обработки Больших Данных компании Teradata, сейчас наблюдаются по меньшей мере две тенденции. Во-первых, это предотвращение потери нужных данных — компании начинают собирать и хранить все виды данных, в которых заинтересованы. Это решение становится стратегически важным. Во-вторых, появляется потребность в гибких инструментах, доступных для самостоятельного применения бизнес-пользователями. Такая потребность, равно как и дефицит компетенций, приводит к росту популярности модели Big Data as a Service.

Инструмент не для всех

«Часто поставщики ИТ-решений, говоря о Больших Данных, подразумевают некий бренд, который хорошо продается. В бизнес-среде такая технология воспринимается как элитная», — констатирует Булгаков. Но, несмотря на новые особенности обработки данных, ее суть осталось прежней. При этом в компаниях однозначно вырос уровень аналитической культуры. Многие перешли от Excel к работе с профессиональными статистическими пакетами, курс обучения работе с которыми занимает считанные дни.

Как полагает Булгаков, освоение технологий Больших Данных можно ускорить, эта технология — буквально шаговой доступности. Конечно, мечта стать за несколько дней полноценным исследователем данных (data scientist) слишком оптимистична, но такая мечта необходима.

Часто можно услышать высказывания, что ширина познаний важнее, чем их глубина. Например, исследователь данных в статистике разбирается лучше программиста, но хуже, чем профессиональный статистик, — это программист среднего уровня с навыками статистического анализа. Но главная сила исследователя данных — в знании предметной области: он знает, где искать столь необходимые «золотые крупицы».

В 2013 году «ВымпелКом» удивил ИТ-сообщество оригинальным стартом проекта Big Data. При нулевых начальных инвестициях за несколько недель удалось силами энтузиастов создать из подручных рабочих станций кластер Hadoop. Это позволило проверить несколько идей и выйти к бизнесу с новыми инициативами.

 

«Только что получивший автомобильные права человек на болиде “Формулы-1” уедет не дальше первого поворота», — иронизирует Мартынов. Он уверен, что Большие Данные — действительно не для всех: без выстраивания в компании «традиционной» системы бизнес-аналитики обойтись нельзя.

«Я выделяю три уровня аналитики: отчетность, data discovery и Большие Данные», — говорит Мартынов. Отчетность построить проще всего, ее задача — отвечать на вопрос, как разделяются покупатели, скажем, синих машин по возрасту, полу, доходам. Следующий уровень — аналитика, отвечающая на более абстрактные вопросы, например: что общего между покупателями синих машин и чем они отличаются от покупателей красных машин? Таким образом изучаются склонности клиентов. Третий уровень — Большие Данные, когда на базе огромного массива разнородных данных о покупателях компания пытается найти совершенно неочевидные взаимосвязи между покупкой синей машины и склонностью к потреблению Интернета.

«Не пройдя первые два этапа, невозможно применять на практике результаты, получаемые на третьем», — уверен Мартынов.

Для запуска проекта Больших Данных в первую очередь нужна вера руководства компаний в то, что эти решения могут иметь ценность для бизнеса, а такое пока неочевидно. Без Больших Данных сегодня работают многие крупные компании, и часто успешно. Кроме того, на рынке пока мало людей, имеющих опыт подобных проектов — позитивный или негативный — и готовых применить его в другой компании. Собрать сильную команду сложно и дорого.

Как уверен Мартынов, технологии Больших Данных, подобно инструментам data discovery (исследования данных), будут становиться все более простыми, ориентированными на конечного пользователя. Если раньше инструменты анализа даже относительно небольшого объема данных были инструментом ИТ-специалистов и требовали серьезных вычислительных мощностей, то несколько лет назад технологии исследования данных в десятки терабайт уже стали доступны бизнес-пользователям без специализированного образования.

Сейчас технологии Больших Данных находятся на стадии «бизнес думает, а ИТ исполняют». Но рано или поздно в массы придут инструменты, позволяющие без проблем оперировать петабайтами данных. Кроме того, будет наблюдаться объединение хранилищ разнородной информации с целью создания кросс-запросов. Выгода от поиска в никогда ранее не пересекавшихся данных может быть неожиданно большой.

Булгаков выделяет важность расширения функционала аналитических систем. Все игроки на рынке стараются создать универсальное решение, покрывающее все потребности компаний. Будем надеяться, что в будущем на столе бизнес-аналитика появится эффективный инструмент, поддерживающий все ключевые технологии и методы обработки данных, включая кластеризацию, машинное обучение, текстовый анализ, геоаналитику, визуализацию данных и т. п. Это позволит существенно повысить продуктивность фабрики идей и увеличить возврат от инвестиций.

Из данных не могут извлечь пользу

Как свидетельствуют результаты исследования, 56% ИТ-директоров российских компаний считают, что процессы ИТ в их нынешнем состоянии ограничивают возможности организаций в части управления данными. Таким образом, свыше половины организаций испытывают сложности с извлечением ценной для бизнеса информации из имеющихся данных из-за несогласованности ИТ- и бизнес-стратегии. Как подчеркивают эксперты Vanson Bourne, цели, которые ставит перед собой бизнес, необходимо согласовать с технологическими возможностями. При этом только 17% директоров по ИТ уверены в том, что обладают достаточным уровнем доступа к руководству организации, чтобы разрабатывать и воплощать эффективную ИТ-стратегию. Традиционный подход к хранению и управлению информацией мешает бизнесу извлекать аналитические данные. Основной причиной является то, что информация хранится в разрозненных системах и различных форматах. Более того, 43% российских компаний не занимаются активным поиском скрытой аналитической информации, а 42% из тех, кто этого не делает, даже не планируют начинать.

82% ИТ-директоров хотели бы, чтобы их компания инвестировала больше средств в инструменты аналитики Больших Данных для поиска аналитической информации, способной содействовать развитию бизнеса. Однако при этом 47% не уверены в том, что сотрудники их компании обладают необходимой квалификацией для работы с аналитическими данными, полученными в результате бизнес-анализа.

Потенциал данных

Особый успех у клиентов «Билайна» имела система антиспама, ставшая хорошим примером раскрытия потенциала данных. В конце 2013 года в контакт-центр «ВымпелКома» было много обращений на тему спама. В результате оперативно разработали специализированную систему, благодаря которой удалось снизить уровень спама более чем в 80 раз, радикально сократив число жалоб от абонентов.

«Исследуя петабайты данных, мы понимаем, что разрабатываем золотую жилу, и каждый день дарит новые открытия», — резюмирует Булгаков. В планах компании подключение большего числа источников данных. Целесообразность их подключения определяется ценностью для бизнеса.

В МГТС на направление Больших Данных выделены определенные средства, и его дальнейшая судьба во многом будет зависеть от эффективности реализуемых сейчас проектов. Разумеется, с развитием способов генерации идей начнется экспоненциальный рост объемов данных, которые потребуются для их реализации. Остается надеяться, что это отразится и на росте доходов.

Большие Данные: где искать полезные идеи?

Основные проблемы Больших Данных

Источник: Accenture, 2014

Валюта впечатлений

«Не следует давать клиентам скидки, бонусы и подарки. Наша задача — платить за лояльность валютой впечатлений, и именно тут аналитика Больших Данных должна сказать свое веское слово», — уверен Максим Мозговой, директор по CRM «Промсвязьбанка».

Нынешние маркетинговые инициативы большинства организаций направлены на то, чтобы купить лояльность клиента, а не на то, чтобы сделать эмоционально приятным его взаимодействие с компанией. Клиент чувствует, что его подкупают, и естественным в этом случае является желание продаться подороже.

Почему важно использовать все доступные данные о поведении клиента для предсказания его действий? Чем больше данных компания накопит, тем с большей точностью может быть предсказана вероятность снижения лояльности или приобретения того или иного продукта. Алгоритмы Больших Данных и машинного обучения позволяют с высокой степенью точности предсказывать тот или иной вариант развития событий. Однако все технологии упираются в бизнес-инициативы — идеи, которые должны быть подтверждены реальными изменениями в бизнесе. Сейчас большая проблема не в том, чтобы внедрить какую-либо систему, а в том, чтобы понять, какую ценность она будет приносить бизнесу.

«Что скажет владелец, если со склада вдруг исчезнет 10% товаров? Вероятно, такое событие стало бы поводом как минимум для служебного расследования. А что происходит, когда мы теряем 10% клиентов? Ничего, компания продолжает работать», — удивляется Мозговой. Это говорит о том, что бизнес не понимает ценности клиентов. Компания уподобляется дырявому ведру — наполняется новыми продажами, но и заметно теряет. И никто не знает, насколько ведро дыряво.

В результате ценностью клиентской базы никто не управляет и работа с ней не имеет особого смысла. Лишь относительно недавно телеком-операторы осознали это и начали активно внедрять решения для управления оттоком клиентов. В банках тоже стали анализировать ценность клиентской базы.

«Все зависит от денежного потока, который клиент не только генерирует в настоящий момент, но и сможет генерировать в будущем. По большому счету, надо предсказать, что нам принесет клиент в перспективе, и на основании этого понять его ценность. Только так можно определить потенциал этого клиента», — подчеркивает Мозговой.

Большие Данные уйдут в облака

Более половины крупных предприятий планируют использовать публичные облака для работы с Большими Данными.

Не секрет, что многие ИТ-менеджеры крупных компаний не слишком доверяют публичным облакам: они не уверены в их надежности и безопасности. Однако это мнение может измениться — по крайней мере, в отношении обработки Больших Данных.

Исследование, проведенное Gigaom Research, обнаружило, что 53% крупных компаний либо уже используют возможности облаков для аналитики Больших Данных, либо планируют делать это. Лишь 13% заявили, что для решения аналитических задач будут использовать исключительно собственные ЦОД.

Многие компании начинают рассматривать облачную модель использования аналитики Больших Данных как стратегически важную. Облака содержат в себе ключ к следующей фазе использования Больших Данных, когда анализ будет осуществляться по требованию пользователей, причем немедленно.

Отрасли, наиболее агрессивно движущиеся в сторону облачной модели, включают производство, ИТ и потребительскую электронику, а также финансовый сектор и торговлю. Они не просто думают о возможностях облачной модели, но и активно исследуют ее как свою будущую ИТ-платформу.

Использование облачных технологий для работы с Большими Данными

Источник: Gigaom Research, 2015

Как правило, нереализованный потенциал возникает из-за отсутствия релевантных предложений и эффективных кросс-продаж, а также прямого ухода клиента. Сумма этих показателей представляет собой упущенную выгоду от неверного управления клиентской базой. Бизнес не всегда понимает, что эти вещи могут быть посчитаны, и роль ИТ заключается в просвещении.

Можно привести простой пример того, как учет одного фактора позволяет коренным образом изменить взгляд на эффективность маркетинговых кампаний. Рассмотрим стандартную ситуацию: у компании есть база с данными 1 млн клиентов, и маркетинговая кампания в виде «ковровой бомбардировки» генерирует 1% отклика — при этом получается 10 тыс. откликов. Допустим, каждый отклик генерирует 125 руб. увеличения ценности клиента. Получаем общий эффект 1,25 млн руб. Обычно маркетологи на этом останавливаются и считают свою задачу выполненной. Но на самом деле это не так: клиенты, не ответившие из-за нерелевантного предложения, снижают вероятность отклика при последующих обращениях. Если вероятность отклика снижается хотя бы на 0,5%, организация в результате небрежно проведенной кампании теряет гораздо больше, чем получает: ценность клиентской базы разрушается быстрее, чем создается.

«Задайте себе вопрос: как быстро вы разрушаете ценность своей клиентской базы? Скорее всего, на такой вопрос никто ответить не сможет», — уверен Мозговой. В компании отсутствует не просто понимание ситуации, но и сама бизнес-функция. Это дает право ИТ-специалистам, осознавшим положение дел, выйти с предложением о ее создании.

Следует использовать существующие наработки, позволяющие управлять клиентским опытом как одним из факторов, влияющих на ценность клиентской базы. Одним из вариантов является создание центра управления клиентским опытом на основе данных о поведении клиента, получаемых в реальном времени, и информации из социальных сетей. Важно собирать не только то, что клиенты пишут в Интернете, но и их слова при звонках в контакт-центр, эмоции при взаимодействии с персоналом в точках продаж. Сейчас существуют решения так называемой эмоциональной аналитики, позволяющие распознавать речь и осуществлять поиск по ключевым словам — упоминаниям конкурента, негативным эмоциям, а также проводить анализ тембра голоса и мимики. Эти данные составляют единый поток для анализа поведения клиента, и именно они во многом помогают предсказывать его поведение в будущем.

Теги: ИТ-инфраструктура Большие данные Big Data

На ту же тему: