Машинное обучение

Всем нам время от времени звонят из разных компаний и желают что-то продать. В большинстве случаев предложения неуместны, а звонки раздаются не вовремя, и поэтому такие обращения часто вызывают негативную реакцию. Низкая эффективность подобных обзвонов известна, но далеко не во всех компаниях готовы решать эту проблему.

В компании «Финам», предоставляющей услуги на фондовом рынке, выстроили рекомендательную систему, которая позволяет предлагать услуги, с большой вероятностью способные заинтересовать клиентов. При этом звонки поступают в удобное для человека время. Как результат, растет конверсия — главный результат работы менеджера по продажам. О реализации этого проекта рассказывает Николай Саратовский, руководитель направления Data Science компании «Финам» и номинант на премию CDO Award 2021 .

— Как зарождался в компании интерес к работе с данными?

У нас всегда накапливалось довольно много информации о клиентах. Когда клиент открывает у нас счет, мы получаем его персональные данные. В ходе работы накапливается много сведений о том, чем человек торговал, как это делал, какие результаты получал. Формируется довольно большой пласт очень интересной информации. Кроме того, накапливается много данных по итогам совершенных менеджерами звонков, о проведенных встречах и т. п. Наконец, имеется статистика о действиях клиентов на сайте.

В таких случаях рано или поздно появляется идея использовать собранную информацию для более эффективной работы с клиентами.

— Но ведь информация неполная. Например, во время звонков и встреч с клиентами фиксируется не весь возможный контент.

Безусловно, фиксируется не все, хотя в этом направлении тоже ведется работа. Менеджер во время общения с клиентом расставляет галочки в определенных полях, обозначая содержание беседы. Кроме того, с этой целью можно выполнять распознавание аудиозаписей, но мы пока еще в самом начале пути.

Перед тем как идти в «дебри», следует решить относительно простые, но более серьезные проблемы. Например, в группе «Финам» существует большое количество разрозненных баз данных. В них находится много важной информации, которую надо добыть, очистить, осмыслить ее содержание.

Поначалу многие отнеслись скептически к идее использовать данные, люди сомневались в том, что история, связанная с Data Science, сможет быть полезной. Чтобы разрушить недоверие, мы запустили пилот по рекомендации клиентам новой услуги, которая появилась два года назад: было непонятно, кому и как ее продавать. Пилотный проект помог ответить именно на эти ключевые вопросы. После первых результатов у руководства появился определенный оптимизм и наш проект начал расширяться.

— С чего и когда вы начали? Что было сделано за это время?

Пилот был начат два года назад — в феврале 2019 года. К маю мы запустили решение и показали его эффективность. Далее все переросло в рекомендательную систему, помогающую менеджерам подбирать удобное время для общения с клиентом и подсказывающую наиболее интересные предложения по продажам. Это полноценный продукт, который уже на протяжении года работает и демонстрирует очень неплохие результаты. Сейчас идет работа еще над тремя продуктами.

— Какова цель реализуемых в компании проектов в области работы с данными?

Сейчас это работы, направленные на внутренние нужды компании. Мы разрабатываем системы, которые повышают эффективность компании, будь то работа менеджеров по продажам, разработка новых продуктов, маркетинговые активности. Заказчиками выступают многие подразделения. В последнее время приоритет отдается задачам, связанным с работой с клиентами: получение инсайтов, выдача рекомендаций, предсказание оттока и общее повышение эффективности работы менеджеров.

— Серьезная работа с данными подразумевает наличие некой стратегии.

У нас начинает формироваться культура работы с данными. В компании существует множество баз данных, с которыми очень сложно работать. Сейчас мы объединяем их в общее хранилище с быстрым и удобным доступом, что позволит подключать различные системы анализа и визуализации данных, а также мониторинга процессов. Речь идет о демократизации данных.

— Как решается вопрос качества данных?

Нам волей-неволей приходится с головой погружаться в работу бизнес-заказчика — например, менеджеров по продажам. Необходимо время, чтобы осмыслить данные, содержащиеся в базах. Во всех подразделениях существует внутренняя терминология, освоив которую, мы можем начинать работу с поступившими данными. Скажем, чтобы делать какие-то прогнозы по продуктам, нам приходится разбираться в работе фондового рынка. Погрузившись во внутреннюю кухню, мы начинаем работать с данными и использовать классические методы их очистки. Если вы знаете, что именно поступает на вход и что требуется получить на выходе, то вам проще обрабатывать данные.

— В чем заключалась наболевшая проблема бизнеса? В чем суть реализованного проекта?

Несложно понять, как происходят продажи в большинстве компаний, — вероятно, все сталкивались с ситуациями подобных звонков. Менеджер звонит клиенту и предлагает ему приобрести какой-либо продукт, не зная заранее, заинтересует ли этот звонок клиента, удобно ли ему разговаривать и нужен ли ему этот продукт. Менеджерам приходится совершать множество звонков, эффективность которых оставляет желать лучшего. Более того, в совсем неудачных случаях звонок не просто окажется «пустым», но и вызовет негатив со стороны лояльного клиента. Именно эту проблему и пытались решить: звонок должен выполняться в удобное время и касаться действительно интересных продуктов, которые человек приобетет с высокой вероятностью.

Кроме того, важно отслеживать историю уже открытых сделок с клиентом для выставления времени их завершения. Если у менеджера открыта кросс-продажа и она тянется уже пару недель, то итогом может стать проигрыш для компании, потому что клиент так и не воспользовался услугой. Чтобы такого не было, система отслеживает и анализирует ряд параметров, а затем сообщает менеджеру о том, что «клиент созрел» и пора позвонить ему, чтобы предложить закрыть сделку. То есть система работает в двух направлениях: рекомендует новую сделку по наиболее подходящему для клиента продукту и предлагает оптимальное время для ее завершения.

— Какие источники данных использовались в ходе проекта? И как в целом определяется, какая информация нужна?

Поначалу действительно непонятно, что важно, а что нет. Разработка всегда начинается с какой-то гипотезы и общего набора данных — это десятки баз с тысячами атрибутов. Понятно, что все их использовать невозможно, да и незачем. Например, если речь идет о конкретной задаче помощи сотрудникам отдела продаж в подборе продукта и оптимального времени звонка, то логично использовать социально-демографические параметры клиента (пол, возраст, местоположение). К ним добавляются все данные об уже совершенных сделках: какие продукты были приобретены, а от чего клиент отказывался. И конечно, важны периоды активности конкретного человека, его привычки: когда он посещает сайт, когда он сам нам звонит, в какое время раньше был готов разговаривать с нашими менеджерами. По анализу действий человека на сайте и истории предыдущих коммуникаций можно с большой уверенностью определить время, удобное для него. Наконец, используются данные по рискам клиента, чтобы понять, насколько он расположен к рискованным действиям и, соответственно, к каким доходностям стремится.

Прежде чем загружать эти данные в алгоритм, мы проводили корреляционный анализ, чтобы выделить значимые и незначимые показатели, а какие-то из них просто объединить. В результате из сотни параметров осталось около 30. Далее проводили обучение алгоритма и тестирование, а затем запускали решение сначала в пилотную, а затем в полноценную эксплуатацию.

— Какие ИТ-платформы применяются и почему именно они?

Конечно, мы использовали инструменты open source. Все данные хранятся в CRM, которая существует в компании уже много лет. Решение разрабатывали на Python, настраивали взаимодействие по Open API между скриптами и CRM. Раз в неделю скрипт запускается, обсчитывает поступившие данные и формирует для менеджеров звонки с предложениями на следующую неделю. После этого система формирует запрос и в качестве ответа получает план звонков.

— В чем заключалась самая большая проблема?

Подготовка данных. Понять, что именно нам нужно, какие данные являются значащими, как их увязывать между собой.

Еще одна большая проблема — скорость вычислений. Мы боролись за то, чтобы расчеты были максимально быстрыми и потенциально система могла делать их не раз в неделю, а ежедневно или даже в реальном времени — в потоковом режиме.

— Какие эффекты удалось получить и за счет чего?

Самое главное — улучшение коммуникаций с клиентами. Конечно, идеальная картина «один звонок — одна продажа» недостижима, но стремиться к ней необходимо. Второе важное направление усилий — корректность предлагаемых клиенту продуктов. Не имеет смысла предлагать то, что клиент точно не купит. Наконец, важно продвигать новые, только что появившиеся продукты, в отношении которых пока неясно, кому и как продавать. Все эти цели в той или иной степени были достигнуты.

Конверсия по открываемым сделкам, когда система рекомендует позвонить конкретному человеку и предложить ему определенный продукт, возросла на 8% по сравнению с обычными показателями обзвонов. Количество же успешных закрытий сделок возросло в 2,5–3 раза. При этом число успешных дозвонов увеличилось на 32%.

— А каких результатов вы ожидали сами?

Мы ожидали более скромных результатов — например, считали, что будет хорошо, если показатели открытия сделок повысятся на 5%. Хорошо, что удалось немного превысить их. По числу закрытых сделок ожидался рост конверсии на 10–20%, но никак не в разы. Рост числа дозвонов предполагался на уровне 10–15%.

Относительно возможностей новых технологий бизнес был настроен скептически и по большому счету считал создаваемое решение чем-то вроде гадания на кофейной гуще. Однако после получения результатов сначала в тестах, а затем и в боевой эксплуатации, было принято решение не только расширить этот эксперимент, но и запустить новые проекты.

— Вас в компанию взяли для выполнения этого проекта?

Создавая первый пилот рекомендательной системы, я был внешним сотрудником — меня пригласили именно для его запуска. После получения результата я был принят в штат и приступил к полноценной реализации проекта. Сейчас у меня есть команда — подразделение data science из четырех человек: два дата-сайентиста, дата-инженер и дата-стюард. Это уже полноценный отдел работы с данными, с которым мы занимаемся другими проектами. Бизнес оценил наши успехи в работе и увидел перспективы в развитии этого направления.

— Приведите несколько ключевых примеров инсайтов, которые «выстрелили».

Любопытные наблюдения касались риск-менеджмента. Все клиенты проходят риск-профилирование — это обязательное требование ЦБ РФ. С этой целью они заполняют специальные анкеты, в которых указывают свои приоритеты.

Оказалось, что данные, заявляемые клиентами при анкетировании, далеко не всегда соответствуют их поведению. Например, человек может говорить о готовности к высоким рискам (например, о возможности «просадки» в 30% и готовности терпеть убытки), однако, оценивая его действия, мы видим, что при проседании счета на 3% он уже закрывает позицию. То есть ни о каком агрессивном профиле речи быть не может. В случае таких клиентов система автоматически перестраивает всю модель дальнейших предложений, отказываясь от инструментов с высокими рисками и защищая их капитал.

Это оказало нам большую услугу. Вряд ли клиенты осознают такую заботу о себе, но их лояльность действительно повышается: людей всегда нервируют предложения, не соответствующие их ожиданиям. И наоборот, они готовы иметь дело с организацией, понимающей их потребности.

— Как вы думаете, чем вызваны заметные расхождения в заявлениях людей и их поведении?

Таких клиентов можно разделить на две группы. Первая — это новички, не понимающие, как устроен фондовый рынок. Как обычно, они хотят всё, сразу и даром. И есть люди, просто неправильно оценивающие свои желания.

Сделав выводы из своих наблюдений, мы стали работать в парадигме того, что все сказанное клиентом следует подвергать сомнению. Предоставленная информация слишком часто оказывается недостоверной, гораздо важнее реальное поведение людей. В результате мы стали иначе подходить к составлению анкет для опросов клиентов — встроили в них защитные механизмы, позволяющие определить, что человек слегка привирает.

— Какие результаты своей деятельности в компании вы сами считаете ключевыми? Что изменилось?

Самое главное — изменился подход к работе с данными. Сейчас к нам не просто начинают прислушиваться, но и приходят с идеями — скажем, «прикрутить» искусственный интеллект к тому или иному процессу. Бизнес-подразделения приходят со своими проблемами, и мы набираем себе портфель проектов.

— Эта популярность пришла сама собой или вы проводили дополнительную просветительскую работу?

Скорее, это итог достигнутых нами результатов. Но надо сказать, что когда мы беседовали с представителями бизнес-подразделений и задавали им вопросы об их работе, то видели в их глазах живой интерес. Обсудив проблемы с большей частью подразделений, мы стали завоевывать их доверие.

— Что дальше? Какими вы видите дальнейшие направления развития своей работы?

Созданная рекомендательная система находится на поддержке. Параллельно идет работа над крупным проектом по искусственному интеллекту с более широким функционалом, который в перспективе может поглотить рекомендательную систему и включить в себя еще несколько разработанных решений. Рассчитываю, что к концу года мы уже сможем говорить об этом публично. В ходе проекта мы получаем очень много интересной информации, которую нам не терпится применить на практике и затем рассказать о своем опыте.

Кроме того, мы прорабатываем возможности использования искусственного интеллекта для построения торговых алгоритмов и всерьез занимаемся предотвращением оттока клиентов. Крайне важно, чтобы клиенты были довольны и оставались с нами.

Более года назад был создан Альянс в сфере искусственного интеллекта, в который вошли шесть компаний: Mail.Ru Group, «Яндекс», Сбербанк, «Газпром нефть», РФПИ и МТС. Его изначальная цель – мероприятия, позволяющие ускоренными темпами развивать в России компетенции в области машинного обучения и искусственного интеллекта. Несколько дней назад альянс представил библиотеку AI Russia Works, в которой представлены лучшие примеры применения технологий искусственного интеллекта.

По словам организаторов, к созданию библиотеки решений привел целый ряд предпосылок. Например, IDC оценивает мировой рынок искусственного интеллекта в 2020 году более чем в 150 млрд долл., и через несколько лет он удвоится. В России же рынок решений на базе искусственного интеллекта ничтожно мал и не превышает 200 млн долл. – это существенно меньше, чем можно было бы ожидать. Однако очевидно, что у нашей страны огромный потенциал и ему надо помочь реализоваться – искусственный интеллект способен стать одним из драйверов развития экономики.

На пути к AI-вики

Роман Стятюгин: «Запуская эту библиотеку, мы даем старт самостоятельному проекту: он в дальнейшем будет поддерживаться и теми, кому интересно читать об успешном опыте, и желающими им делиться. Тогда в перспективе сформируется AI-вики»

«Мы стали оценивать возможности помощи рынку и увидели определенные барьеры, типичные для многих компаний», — отметил Роман Стятюгин, руководитель аналитических сервисов PREDICT Mail.ru Group, играющий роль одного из координаторов библиотеки кейсов. Например, на отечественных предприятиях (разумеется, если не говорить об общепризнанных лидерах рынка) отсутствует информация, как искусственный интеллект может улучшить их показатели – экономить или получать дополнительную выручку. Получается замкнутый круг: спрос компаний недостаточен для активного развития готовых продуктов, а уровень готовности решений пока недостаточен для стимуляции спроса на них.

Рынку требуется добавить прозрачности – информации о том, как решения с использованием искусственного интеллекта помогли их коллегам, и главное – какой экономический эффект был получен. При формировании библиотеки был сделан акцент не на технологии, а именно на бизнес-эффект. Как известно, получить такую информацию бывает непросто. Именно поэтому, по словам Стятюгина, в альянсе решили, что нужна авторитетная база знаний, верифицированная экспертами, о том, в каких индустриях внедряются технологии искусственного интеллекта и какие результаты приносят.

«Запуская эту библиотеку, мы даем старт самостоятельному проекту: он в дальнейшем будет поддерживаться и теми, кому интересно читать об успешном опыте, и желающими им делиться. Тогда в перспективе сформируется AI-вики, которую сообщество будет самостоятельно развивать и дополнять», — считает Стятюгин. Кроме того, ежегодно будут награждаться лучшие из представленных проектов.

«Мы демонстрируем кейсы, которые позволяют вдохновиться и заняться их тиражированием», — заявил Кирилл Булатов, генеральный директор Альянса в сфере искусственного интеллекта. По его словам, сейчас в библиотеке собраны более 40 примеров успешных внедрений в российских организациях самых различных отраслей с доказанной эффективностью. 80% кейсов уникальны и нигде не публиковались, причем 40% из них представляют внутренние разработки предприятий. Основные сферы их применения – производство, маркетинг и клиентский сервис, а один даже направлен на формирование стратегии.

Кирилл Булатов: «Мы демонстрируем кейсы, которые позволяют вдохновиться и заняться их тиражированием»

Составители библиотеки «целятся» в средний и топ-менеджмент компаний самых разных сфер. При отборе кейсов оценивают, насколько быстро окупилось решение, каким образом влияет на рост выручки или снижение расходов, рост производительности и качества продукции. При этом обязательно наличие внутри созданного решения не только «интеллектуальной начинки», но и доказанного количественного эффекта, в том числе подкрепленного финансовой отчетностью и проведением независимых аудитов.

Эффект – сто миллионов

Одним из проектов, описанных в библиотеке AI Russia Works, стал проект в Росэлторге – крупнейшей электронной площадке, на которой проходят государственные и корпоративные закупки; в год там проходит около миллиона тендеров на общую сумму 4-5 трлн руб. В компании накопился огромный объем информации о проводимых торгах, их участниках и победителях, а также исполнении ими договоров. Главной решаемой задачей стало повышение конкурентности торгов. В этом цели организатора и заказчика схожи: для «Росэлторга» тоже важно успешное закрытие тендеров – ведь они берут плату с победителей.

Андрей Кашутин: «Мы столкнулись с тем, что достигли потолка по успешному закрытию торгов. Повысить эффективность в этой области помогли именно технологии машинного обучения»

«Мы столкнулись с тем, что достигли потолка по успешному закрытию торгов. Повысить эффективность в этой области помогли именно технологии машинного обучения. Было важно более таргетированно приглашать поставщиков к участию в закупочных процедурах, не превращать эти приглашения в спам – разобрать несколько сотен приглашений в день абсолютно нереально», — рассказал Андрей Кашутин, первый заместитель генерального директора Росэлторга. На основе анализа данных удалось построить модель, которая позволяет четко понимать, кто из потенциальных участников с большей вероятностью будет участвовать в конкретной закупочной процедуре – с учетом его прошлых действий, географии, анализа семантики лота. После этого стали делать узкие, но таргетированные рекомендательные подборки для поставщиков – в 8 случаях из 10 удается угадать, что поставщику тендер интересен, и он подает документы на участие в нем. В результате площадка на 5,3% подняла число успешно закрываемых лотов, это довольно большие деньги.

Кроме того, требовалось предсказать, какие торги рискуют остаться незавершенными, а значит им требуется уделять повышенное внимание: настойчивее звать в них участников, обеспечивая конкурентность, – возможно, даже звонить и убеждать. Машинное обучение позволяет довольно хорошо выявлять такие закупки.

«В 30-40% случаев мы заблаговременно понимаем, что число участников не превысит одного, а значит лот не будет закрыт и мы не получим свою комиссию. В этих случаях все усилия маркетингового центра направляются на то, чтобы все-таки сделать торги конкурентными», — сказал Кашутин. И компании все лучше это удается: за первый год работы этого проекта была получена дополнительная выручка более 100 млн руб.

Маркетплейс моделей

«Создание библиотеки верифицированных кейсов крайне важно. Видя доказанный эффект, многим заказчикам будет проще сделать первый шаг – возможно, даже пропустив этап пилотного проекта или существенно сократив его. Это позволит российскому рынку развиваться быстрее зарубежного», — подчеркнул Дмитрий Дырмовский, генеральный директор группы компаний ЦРТ.

Не менее важно в рамках создания библиотеки «умных» решений каталога предобученных моделей для решения практических задач. Это принципиально важный вопрос: обмен информацией создает базис для развития технологий, а наличие готовых продуктов дает импульс для их внедрения.

«Мы бы очень хотели, чтобы наша деятельность привела к появлению библиотеки предобученных моделей или даже маркетплейса моделей», — признал Стятюгин. Перейти от информирования и популяризации непосредственно к предоставлению готовых решений было бы правильным шагом. Но для этого рынок должен немного созреть. Искусственный интеллект может выступать вишенкой на торте, но для нее нужна надежная основа – от инфраструктуры и наличия качественных данных до редизайна производственных процессов и встраивания в них интеллектуальных решений.

Кот в мешке?

Интерес к искусственному интеллекту (ИИ) стремительно растёт: всё больше и больше компаний решаются на внедрение связанных с ним технологий, призванных трансформировать их бизнес к лучшему. Истории успеха, гуляющие по рынку, поддерживают ажиотаж. Однако мало кто находит смелость сказать, что за образом волшебного чёрного ящика, печатающего деньги, скрываются многие проблемы. Производители готовых решений, заинтересованные в продаже своего продукта, равно как и организации-потребители, прошедшие этот путь и теперь отпугивающие своих конкурентов армией умных машин, предпочитают делать акцент на положительных результатах и умалчивать о проблемах. В этих условиях отсутствие у большинства компаний, не прошедших этот путь, глубокого понимания технологии порождает завышенные ожидания, а разочарование может стоить дорого. Со временем, доля таких компаний снижается, а слепой оптимизм заменяется осторожным или даже пессимизмом; опыт открывает глаза на ограниченность применения ИИ и те факторы, которые мешают повсеместному внедрению этой технологии.

Однако мы призываем не терять веры в пользу ИИ, но всё же оценивать перспективы трезво, с «холодной головой». Чтобы помочь разобраться, мы постараемся раскрыть суть проблем, стоящих на пути развития ИИ, и заодно развеять несколько мифов. При этом, под развитием ИИ мы будем понимать не столько совершенствование его «умственных способностей», сколько его проникновение в деятельность организаций.

Лучший друг человека

В последнее время не утихают разговоры о том, что из-за ИИ часть людей потеряет свою работу. Скептики успокаивают, утверждая, что представителям творческих профессий бояться нечего: ИИ не способен создавать что-то новое – нечто, чего он не видел раньше. Разработчики ИИ согласятся, но им известно, что этот аргумент стоит рассматривать несколько шире: на самом деле, любая деятельность содержит элементы творчества, за исключением рутинной, продиктованной строгой инструкцией.

Распознавание лиц или биометрию, например, можно смело отнести к этому классу задач, ведь человек решает эту задачу практически бессознательно, не используя свои аналитические способности; всё, что требуется – наличие в памяти «образцов», с которыми будет осуществляться сравнение видимого образа. Несмотря на технологическую сложность реализации, задачу можно назвать простой ввиду конкретности её формулировки. Монетизация достигается за счёт полной автоматизации этой деятельности.

Аналитические задачи, такие как выявление случаев мошенничества, даются ИИ с большим трудом, так как поведение мошенников регулярно меняется, не говоря уже о том, что само понятие «мошенник» крайне изменчиво, а некоторые сомнительные транзакции могут получить статус мошеннических через долгое время после их совершения. ИИ пока недостаточно умён для того, чтобы самостоятельно ставить собственные решения под сомнения, делать новые гипотезы, проверять их, изменять выборку и затем обучаться заново – активное вмешательство со стороны эксперта в предметной области обязательно. Таким образом, это пример бизнес-процесса, который нельзя отдать целиком во владение ИИ – он может быть лишь помощником для команды профессиональных аналитиков. Монетизация возможна за счёт повышения эффективности работы такой команды.

Искусственный интеллект – помощник человеку, а не вместо человека!

Расходы

Допустим, ваша организация намерена внедрить решение, основанное на ИИ, для автоматизации какого-то бизнес-процесса или помощи в принятии решений. В части доходов всё предельно ясно: сократятся операционные затраты, ошибки, цикл обслуживания и текучесть персонала. Спасибо популяризаторам за эту ясность. Но что с расходами? Реализация такого проекта потребует затрат на приобретение соответствующего оборудования (если, конечно, речь не идёт об облачных сервисах); на приобретение, внедрение и дальнейшее поддержание ПО. Вполне возможно, что текущий «человекоёмкий», теоретически неэффективный процесс окажется выгоднее роботизированного. Но эта мысль, на первый взгляд, кажется абсурдной.

На этом список «абсурдных» статей расходов не заканчивается. Внедрение сложных технологий приведёт к росту (по крайней мере, кратковременному) фонда оплаты труда, так как потребуются высококвалифицированные специалисты, способные поставить технологию «на ноги» и поддерживать её в дальнейшем. Хайп вокруг ИИ и Data Science приводит к росту количества таких специалистов на рынке труда, что увеличивает их доступность, но не стоит забывать о необходимости регулярно обучать их новым технологиям и нюансам предметной области. Опять противоречие: снижение фонда оплаты труда за счёт автоматизации – одна из целей внедрения ИИ; почему мы говорим о его росте?

Следующая проблема касается данных, которых не всегда много, которые не всегда точны и не всегда репрезентативны. Ведь именно наличие таких данных является главным условием работоспособности алгоритмов машинного обучения. Конечно, дефицит данных можно восполнить их приобретением у сторонних организаций или их трудоёмкой добычей руками собственных сотрудников – в любом случае, это можно смело добавить в список потенциальных расходов.

Человеческий фактор

Дополнительные трудности в получении выгоды от применения ИИ возникают в результате недоверия сотрудников к рекомендациям, выходящим из «чёрного ящика». Людям свойственно ошибаться, будучи уверенными в собственной правоте, поэтому они скорее поверят своему опыту, знаниям и интуиции, нежели ИИ, который не способен объяснить собственные решения. В итоге, технология может быть проигнорирована сотрудниками. Поэтому важно регулярно тестировать алгоритмы, что позволит не только выявить и затем устранить их недостатки, но и демонстрировать сотрудникам их эффективность.

Говоря о тестировании, полезно задаться вопросом, насколько его результаты репрезентативны. Как правило, тестирование выглядит следующим образом: создаются условия, приближенные к реальным, в которых алгоритму придётся работать; алгоритм запускается, даёт прогнозы или рекомендации; наконец, рассчитываются показатели эффективности (метрики). Качество работы алгоритма оценивается по значениям показателей эффективности. В чём подвох? Во-первых, условия, в которых происходит тестирование, могут оказаться далёкими от реальности, что не даст объективной оценки. Во-вторых, показатель эффективности выбирается либо разработчиком-математиком, который может не до конца понимать бизнес-процесс и отдавать приоритет математическим метрикам, либо бизнес-заказчиком, который, напротив, может придавать чрезмерный вес одним аспектам работы алгоритма, не учитывая другие. Оптимальный показатель стоит искать на пересечении двух миров, но доля субъективности всё равно останется. Таким образом, выбор методологии тестирования очень важен, и он ложится на плечи разработчика и заказчика – живых людей.

Ещё один из мифов касательно ИИ гласит, что алгоритмы машинного обучения обучаются самостоятельно – только данные подавай. Это не так: некоторые элементы их дизайна, опять же, ложатся на плечи разработчика, на его экспертное мнение. Классическим примером таких элементов являются мета-параметры моделей машинного обучения. Конечно, существуют методы их автоматического подбора, но и в этом случае выбор конкретного метода и его параметров остаётся за разработчиком.

Непрерывная аналитика – новый вызов

Даже тогда, когда собранных данных много и они достаточно точны, риск получить систематическую ошибку сохраняется: старые закономерности могут исчезать, могут появляться и новые. Поэтому алгоритмы необходимо регулярно обновлять, то есть либо запускать процесс обучения заново каждый раз, когда становится доступной новая порция данных, либо делать выбор в пользу алгоритмов, способных «дообучаться». Второй вариант предпочтительнее при больших объёмах данных и необходимости обновлять алгоритм быстро, вследствие чего он активно набирает популярность под термином «непрерывная аналитика» или «потоковая аналитика». Но он и дороже: потребуется мощное оборудование, а возможно, и полный перекрой существующей ИТ-инфраструктуры. При этом от риска систематической ошибки полностью избавиться не получится – то, что мы принимаем за новую закономерность, может оказаться краткосрочной аномалией. Тогда «дообучающийся» алгоритм будет забывать подлинное старое и запоминать ложное новое. Оптимальное решение, как всегда, скрыто в компромиссе: чувствительность алгоритма к новым данным должна быть определена на этапе разработки. Это можно сделать на основе результатов тестирования алгоритма при разных уровнях чувствительности.

Инфраструктура

Наконец, нужно обратить внимание на тот факт, что встраивание ИИ в бизнес-процесс требует инфраструктурных и организационных изменений. Аналитики и математики могут создать многообещающую математическую модель, но ответственность за её внедрение в ИТ-инфраструктуру организации ляжет на ИТ-подразделение. Эта задача не проще создания самой модели, а в случаях, когда системы, в которые предполагается встраивать ИИ, разработаны сторонним вендором, она и вовсе может оказаться неразрешимой. Чаще всего выход удаётся найти даже в тяжёлых случаях, но с некоторыми жертвами – например, с периодическими задержками, сбоями, низкой скоростью обработки. Всё это может снизить эффективность рекомендательной системы или вовсе обречь проект на провал.

Заключение

Подчеркнём, что развитие ИИ определяется двумя факторами: технологическими возможностями и потребностью со стороны бизнеса. Не всё технологически возможное является одновременно и практически ценным. Проблемы, с которыми сталкиваются организации при внедрении ИИ в свои бизнес-процессы, препятствуют его проникновению и дальнейшему развитию. Это не значит, что технология бесполезна и у неё нет будущего – просто от организации требуется системный подход к вводу технологии в эксплуатацию. В частности, обязательные условия успешной реализации подобных проектов – непредвзятая оценка потенциальной выгоды и грамотный план действий, направленный на устранение или облегчение возможных рисков. Разработку такого плана и приведение его в действие разумно доверить команде профессионалов, специализирующихся на разработке и сопровождении решений на базе ИИ. Это позволит снизить неопределённость, связанную со сложностью проектов, и максимизировать выгоду для организации.

Авторы:

• Юрий Сирота, старший вице президент банка УРАЛСИБ, руководитель дирекции искусственного интеллекта и анализа данных, центра компетенций BI

• Андрей Шишов, аналитик данных дирекции искусственного интеллекта и анализа данных банка УРАЛСИБ

При упоминании об искусственном интеллекте и машинном обучении себе часто представляют передовые отрасли наподобие изучения космического пространства или биомедицины, которые тесно связаны с научными исследованиями и разработками. На самом же деле к искусственному интеллекту и машинному обучению следует присматриваться буквально каждой отрасли. В конце концов мы живем в эпоху обслуживания клиентов, и даже небольшие отличия в характере этого обслуживания могут очень серьезно отразится на рыночной доле.

Компания Nvidia в марте провела виртуальную версию своей ежегодной конференции GPU Technology Conference, превратившейся в витрину реальных сценариев использования искусственного интеллекта и машинного обучения. В исторической ретроспективе это мероприятие всегда носило глубоко технический характер, но со временем превратилось в демонстрацию компаниями применения своих передовых технологий для трансформации бизнеса.

Инновации Domino’s – это пример использования искусственного интеллекта и машинного обучения в привычном бизнесе, ориентированном на массового потребителя. Компания продемонстрировала успешный рецепт изменения характера своей деятельности. Секретным ингредиентом здесь стала технология Nvidia, которую популярная сеть доставки пиццы использует для совершенствования операций в магазинах и при обработке заказов, улучшения клиентского опыта (Customer Experience) и поиска более эффективных маршрутов развоза.

В результате у Domino’s растет число довольных клиентов, а водители получают больше советов и рекомендаций. Но это лишь малая часть многослойного пирога. Итак, что же нужно сделать, чтобы доставить пиццу Domino’s домой покупателю? Ответ довольно сложен.

Команда исследователей данных в Domino's проверила скорость и эффективность работы компании, используя сервер Nvidia DGX-1 – специализированный интегрированный аппаратно-программный комплекс для исследований в области глубинного обучения. Для тех, кто не знаком с серверным семейством DGX, сообщим: Nvidia создала линейку готовых «к употреблению» программно-аппаратных комплексов. Альтернативой является самостоятельный подбор оборудования, программного обеспечения и платформ искусственного интеллекта с последующей настройкой всей системы. На это могут уйти недели.

Сервер Nvidia DGX-1 – специализированный интегрированный аппаратно-программный комплекс для исследований в области глубинного обучения. Источник: Nvidia

Команда Domino's создала модель прогнозирования доставки, в которой время готовности заказа планируется с учетом его параметров и ситуации в пиццерии Domino’s – числа сотрудников, менеджеров и клиентов, находящихся там в данный момент. Модель построена на основе большого набора данных, составленного на основе пяти миллионов заказов. Этого вполне достаточно для построения точных моделей. Все будущие заказы также обрабатываются системой, что способствует дальнейшему повышению точности модели.

В предыдущих моделях Domino’s использовались ноутбуки и настольные компьютеры с графическими процессорами. На их обучение уходило более 16 часов. Столь длительный интервал делал улучшение модели крайне сложной задачей.

Увеличение вычислительной мощности DGX-1 позволило исследователям данных из Domino’s выстраивать усложненные модели за более короткий промежуток времени. Время обучения сократилось до одного часа, а точность прогнозирования выросла с 75% до 95%. Испытания показали, что производительность труда можно увеличить за счет ускорения работы моделей обучения.

У этого процесса обнаружилось и еще одно преимущество: возможность совместного использования ресурсов. Каждый отдельно взятый графический процессор в DGX-1 обладает очень высокой вычислительной мощностью и большим объемом памяти (32 Гбайт), так что исследователи данных используют лишь часть его ресурсов, благодаря чему множество тестов выполняется одновременно. Имея в своем распоряжении восемь таких графических процессоров, исследователи данных делятся ресурсами и знаниями, организуя взаимодействие нескольких команд.

В прошлом взаимодействие команд – в том числе просмотр программного кода и проверка гарантии качества – вызывало серьезные трудности, поскольку исследователи данных работали в своих собственных локальных средах. Теперь, когда они имеют дело с общим сервером DGX-1, им проще совместно использовать полностью настраиваемые и воспроизводимые контейнеры Docker. Это открывает перед исследователями данных огромный простор для дальнейшей деятельности и доступ к необходимым им ресурсам, так что о простоях речи больше не идет. Решение Docker, интегрированное с DGX-1, упрощает также задачу организации выполнения программного кода в различных средах, поскольку данные содержатся внутри образа Docker.

Недавно Domino’s приобрела второй сервер DGX-1 и приступила к развертыванию системы управления контейнерами Kubernetes. Используя средства оптимизации управления Kubernetes, компания получает возможность динамически выделять ресурсы всем исследователям данных, запуская контейнеры быстрее. Как утверждают в Nvidia, даже исследователи данных, не имеющие опыта работы в среде Linux, могут запускать контейнеры Docker без каких-либо затруднений.

«На стороне развертывания» в Domino’s используют поддерживающую Kubernetes кластеризованную среду, и четыре графических процессора Nvidia. Исследователи данных организуют взаимодействие и выстраивают свои модели, используя ту же самую контейнерную структуру, которую они использовали на DGX-1.

Кроме того, Domino’s приобрела платформу машинного обучения Datatron, которая запускается поверх кластера Kubernetes с графическими процессорами и помогает компании выполнять специфичные функции машинного обучения. Datatron позволяет осуществлять мониторинг функционирования модели в реальном времени, а при необходимости повторного обучения модели исследователи данных получают соответствующее уведомление.

Искусственный интеллект и машинное обучение в зоне ответственности ИТ-служб

Использование собственного стека правил вывода позволяет Domino’s получить все преимущества, которые провайдеры облачных сервисов предлагают при хостинге моделей машинного обучения, сохраняя при этом все данные и ресурсы на своей территории. Изменился способ развертывания моделей исследователями данных. Они получают все более полный контроль над процедурой развертывания.

Другим компаниям, рассматривающим возможность развертывания соответствующих технологий на своей территории, в Nvidia рекомендуют заранее продумать вопросы совместной работы и сотрудничества исследователей данных. В данном случае взаимодействие между DGX-1 и исследователями данных осуществлялось в общем рабочем пространстве. Приобретая продукт, пользователям не пришлось задумываться об этом, что уже само по себе являлось немалой ценностью.

Исторически сложилось так, что исследователи данных работают в компаниях независимо от всех остальных. К ИТ-службам все чаще обращаются с просьбой взять на себя задачу выбора оптимальной технологии для внедрения средств искусственного интеллекта и машинного обучения. Для большинства компаний исследователи данных являются весьма дорогостоящим ресурсом, и их простой в ожидании завершения работы модели сродни выбрасыванию в окно хорошей пиццы. Правильный выбор инфраструктуры, как в случае с сервером DGX, помогает компаниям ускорить обработку, благодаря чему у исследователей данных сокращаются периоды ожидания, и они больше времени уделяют своим прямым обязанностям.

Заметную роль в повышении эффективности промышленных предприятий должна сыграть демократизация инструментов машинного обучения. То, что сейчас доступно лишь лидерам из-за сложности и дороговизны, скоро станет общепринятой практикой. Одним из вариантов развития этого направления является создание тиражируемых решений.

Иван Исаев, руководитель направления промышленного анализа данных МТС и соискатель премии CDO Award, рассказывает о накопившемся опыте решения задач промышленных предприятий и о развитии своих наработок на базе ресурсов крупнейшего мобильного оператора.

— Каков ваш путь в data science?

Моя история началась в Самаре. В этом регионе большинство ИТ-компаний имеют только по одному крупному заказчику и мечтают о развитии бизнеса. У компании Astera, в которой я был соучредителем, таким заказчиком являлся крупный американский телеком-провайдер, для которого мы проводили анализ данных (выявление вторжений, идентификация вирусов, анализ DNS-трафика и др.). В 2015 году, когда машинное обучение на широком рынке делало лишь первые шаги, нам удалось попасть в акселерационную программу МТС — мы занимались предсказанием необходимости ремонтов для базовых станций. В результате удалось решить задачу оптимизации выездов ремонтных бригад, но еще несколько кейсов в промышленную эксплуатацию так и не вышли.

Стало понятно, что в телекоме денег не так уж и много и что с наработанной экспертизой нужно идти в промышленность, поскольку у нас уже был опыт по прогнозированию поломок, идентификации аномалий и т. п. С учеными, знакомыми мне по Сколтеху, мы приступили к задачам с понятным экономическим эффектом. Работать в промышленности в этом плане гораздо проще (в телекоме зачастую оценить эффект весьма сложно), и главное — там нет огромного штата своих айтишников и остается непаханое поле для оптимизации.

— Какими были первые шаги?

Первым заказчиком в промышленности стало предприятие, занимающееся газотурбинными электростанциями. Изначально мы пытались прогнозировать поломки оборудования, однако там оказалось слишком мало событий для построения моделей. Зато нам удалось увидеть другую перспективную задачу — оптимизацию процесса промывок турбин, что ведет к их более экономичной работе и сокращению потребления топлива. Это стало нашим первым серьезным опытом на производстве.

Далее было партнерство с SAP, в рамках которого мы реализовали около 10 пилотных проектов. В то время за пилоты практически никто не платил: все боялись рисковать. Компании хотели сделать свой первый проект по анализу данных, но в партнерстве с большим игроком, готовым инвестировать в него свои средства. Так работали около двух лет: вместе с SAP решали задачи в непрерывном производстве, и нам платили за пилотные проекты. Помимо прогнозирования ремонтов, нам удалось освоить прогнозирование качества продукции.

— Когда началась «серьезная» работа?

Через два года работы с SAP у нас появился первый полноценный контракт с компанией «Уралхим». Мы приехали на большой завод в Кирово-Чепецке, занимающийся производством удобрений. Было ясно, что производство надо цифровизировать и что там «закопано» много денег, но никто не понимал, за что именно нужно браться. После ознакомления с производством мы разработали «дорожную карту» — описали слабые места в цехах, где можно применить машинное обучение. В числе прочих идентифицировали задачу с барабанным гранулятором — можно было существенно повысить его производительность. Этот агрегат нестабилен, в нем происходят волнообразные колебания, и это не позволяет загружать его на полную мощность. Объем подававшегося сырья составлял максимум 60% от проектной мощности, а требовалось достичь показателя хотя бы 80%. Мы долго общались с технологом, пытаясь выяснить, что не устраивает в работе агрегата; разговаривали с операторами, уточняя детали того, как они управляют барабаном (разумеется, «на глазок»). Стало понятно, что нужно создать рекомендательную систему, которая будет давать точные подсказки по управлению. После этого создание модели было делом техники.

Имея за плечами позитивный опыт на производстве, мы смогли попасть в «Газпром нефть», где решали задачу прогнозирования инцидентов при бурении. Среда под землей неоднородна: существуют зоны повышенного и пониженного давления. А любой инцидент обходится крайне дорого: день простоя буровой вышки означает потерю около 10 млн руб. Мы построили модель, позволяющую оптимизировать свойства бурового раствора для предотвращения инцидентов, и попутно обеспечили нефтяников интерактивной картиной происходящего под землей. В этом случае эффекты были не только и не столько экономическими — они касались промышленной безопасности: люди не должны гибнуть из-за газонефтеводопроявления.

Третий проект был реализован в крупной металлургической компании, где удалось оптимизировать потребление дорогостоящих фторсолей в процессе производства алюминия. Была достигнута экономия в 3 млн долл., сейчас идет опытная эксплуатация системы.

Сейчас я перешел в МТС, где рассчитываю вывести свои наработки на новый уровень. Здесь есть экспертиза в big data, свои облачные сервисы, центр кибербезопасности, даже свой акселератор стартапов — с его помощью можно находить новые интересные решения.

— Что может сделать команда «варягов» на предприятии, которое иногда вообще не готово к преобразованиям?

Бывают предприятия с низкой и высокой зрелостью, и в этих случаях все очевидно: первые только формируют стратегию цифровизации, а вторые уже достигли заметных результатов. Но есть и третья, промежуточная категория предприятий, которые и являются нашей целевой нишей. Как правило, у них есть управляющая компания, менеджеры которой ездят по производственным площадкам и оценивают возможности цифровизации. С полученными знаниями они ищут внешние команды, имеющие опыт реализованных проектов.

Кроме того, некоторые компании не нанимают собственных дата-сайентистов в силу своей стратегии. Например, у НЛМК нет задачи наращивать свою экспертизу в области data science. Они реализуют процесс подготовки данных и отдают задачу вовне — большинство проектов реализуется силами подрядчиков.

Сегодня отдать на аутсорс цифровизацию — проще, чем разрабатывать решения самостоятельно. Это экономит ресурсы, гарантирует безопасность, помогает избежать трат на дополнительное «железо».

— С какими проблемами приходится сталкиваться?

Данных теперь больше, но они стали хуже. Если год назад их раздобыть было невозможно, то сейчас это вполне реально, но они недостоверные. Приходится чистить, обогащать, запрашивать дополнительно, иногда — моделировать самостоятельно.

Кроме того, приходится глубоко погружаться в предметную область. Машинное обучение — это 20–30% проекта. Остальное время уходит на изучение регламентов. Но чем лучше ты разберешься в производственных процессах, тем эффективнее будет построенная модель.

Наконец, необходимо добиться того, чтобы специалисты предприятия тебя воспринимали как союзника, который поможет сделать работу легче и результативнее.

— Какие решения используются для создания моделей, на чем они основаны?

Мы, как и множество других команд, использовали Python. В большинстве проектов данные не так уж и велики, для работы платформы вполне хватает возможностей Microsoft SQL Server. С инфраструктурной точки зрения достаточно виртуальной машины, предоставленной местными айтишниками.

Наша задача — развернуть модель на том, что дадут. В большинстве компаний приходится иметь дело примерно с одним и тем же ландшафтом: они ориентируются на open source.

Что касается используемых методов, то у нас все достаточно просто: XGBoost, случайный лес (random forest), ансамбль моделей, иногда ансамбль регрессий и кусочно-линейные регрессии. Из-за того что данных относительно немного, нейронные сети не слишком применимы.

— Как искали заказчиков?

Ездил по конференциям, общался в Сколково. С самого начала было очевидно, что data science нельзя продать, — надо сделать так, чтобы его захотели купить.

Мы и сейчас готовы активно продвигать это направление на отраслевых мероприятиях.

— Во что инициативы небольшой команды превращаются в телеком-гиганте?

В маленькой компании все решается быстро, но постоянно страдаешь от недостатка ресурсов. В МТС принципиально другие возможности и ресурсы: здесь есть центр big data и искусственного интеллекта, собственные облачные сервисы, центр кибербезопасности, собственная инфраструктура. В то же время это требует более стратегического мышления: нужно понимать, куда движется компания, как твои идеи вписываются в общую концепцию, уметь обосновать свои решения.

Компания уже давно перестала быть просто телеком-оператором, теперь МТС играет на облачном рынке, разрабатывает решения для разных отраслей экономики, для умного города. Недавно из департамента интернета вещей выделился центр промышленной автоматизации — так что мы всерьез беремся за эту сферу.

Несмотря на то что МТС — одна из крупнейших компаний в России, наш блок живет по своим законам: к нам приходит много молодых специалистов из стартап-тусовки, мы остаемся гибкими и имеем возможность экспериментировать, предлагать новые продукты. Мне нравится такая рабочая атмосфера.

— В чем именно заключается ваша работа в МТС?

Еще несколько лет назад, когда я со своей командой выполнил множество пилотных проектов, у меня начала созревать идея. Я тогда почувствовал, что результаты работы фактически умирают, и решил, что было бы неплохо сделать «витрину», на которой достигнутые результаты можно продемонстрировать и — при наличии интереса у потенциальных заказчиков — повторно использовать.

Речь идет о том, что вполне реально строить тиражируемые модели. Вертикальные решения, созданные для конкретного предприятия, могут подойти и для других представителей этой отрасли. Например, модель прогнозирования расхода фторсолей для электролиза можно предложить всем производителям алюминия. Если удалось оптимизировать процессы барабанного гранулятора, то этот опыт можно предложить и другим предприятиям: такие установки есть на многих производствах — не только в химии, но и в золотодобыче и металлургии. Надо предлагать — и зарубежные телеком-операторы активно занимаются этим направлением бизнеса.

Кроме того, можно автоматизировать построение модели — написать решение для автоматического машинного обучения (AutoML), которое позволит быстрее строить модели, чистить данные и т. п. В МТС мы пытаемся развивать оба этих направления: и создаем вертикальные тиражируемые решения, и разрабатываем систему с тиражируемой платформенной частью, позволяющую ускорить и упростить создание моделей.

— То есть руководитель предприятия может зайти на сайт, увидеть интересующее его решение и нажать кнопку «Купить»?

Например, у финского оператора Elisa это выглядит как описание решения с указанной ценой. Его можно приобрести по подписке, в него не требуется инвестировать крупные суммы.

— Подписка? А как же доработка решения, которая всегда требуется?

В ряде случаев требуется лишь перестройка ETL, потому что структура баз данных у всех различна. Конечно, двух абсолютно одинаковых процессов не бывает, но здесь играет свою роль составляющая AutoML, позволяющая быстро переобучать и перенастраивать модель.

Скачать приложение, как из AppStore, и сразу начать работать — такого в ближайшее время точно не будет. А вот приобрести по подписке модель, созданную для одного из похожих предприятий, — вполне возможно. Выгодно всем: поставщик повторно использует результаты своего труда, а заказчик меньше платит.

— В чем вы видите свою роль в развитии этого направления?

Это роль идеолога проекта, который, с одной стороны, понимает потребности рынка, а с другой — глубоко погружен в предметную область. Сейчас стоит задача адаптировать свои подходы к большой компании.

Экспертиза по машинному обучению очень высоко ценится. В ходе проектов возникают весьма плотные связи, и поэтому зачастую заказчики «путешествуют» за специалистами. Если хороший специалист сменил компанию, то весьма вероятно, что с ним уйдет и значительная часть заказчиков.

— Как вы видите развитие проекта?

Сейчас у нас есть пара дюжин моделей, созданных в ходе предыдущих проектов. И их мы будем пытаться тиражировать по широким каналам МТС и через внутреннего интегратора. Возможности для продвижения решений на рынок здесь действительно велики. То, что недоступно горстке умельцев, не проблема для огромной корпорации с отлаженным механизмом.

В более отдаленной перспективе это может привести к созданию нишевого Kaggle — мы будем допускать сторонних разработчиков к построению моделей на основе своих данных и предоставлять им ресурсы.

Алгоритмы машинного обучения вполне способны работать на данных, содержащих выбросы, пропуски и ошибки. Но все же есть предел качества данных, после достижения которого даже самый высококвалифицированный специалист не сможет построить адекватную модель.

Выступая на конференции «Качество данных 2020», которую провело издательство «Открытые системы», генеральный директор компании Mechanica AI Александр Хайтин мастерски добавил «Ложку дегтя в озеро данных». Так он назвал свой доклад, в котором поделился опытом выполнения проекта для предприятия черной металлургии — весьма полезным для тех, кто работает с машиногенерируемыми данными.

Озеро или отстойник?

Прямой связи между ростом объемов данных и принятием лучших управленческих решений нет. Сами по себе данные — это источник затрат на их сбор, хранение, обработку. И очистку! «В реальной жизни data lake больше похоже не на альпийское озеро меж сосен, а на отстойник жидких отходов: подойти страшно, но теоретически полезная вещь», — пошутил Хайтин.

Чтобы превратить данные в бизнес-актив, к ним применяют технологии искусственного интеллекта и другие методы. По сути в Mechanica AI занимаются переработкой вторсырья, превращая его в три полезные вещи: в виртуальные сенсоры, применяемые там, где слишком долго или дорого измерять что-либо физическими сенсорами; в предсказания, позволяющие улучшить управление объектами за счет предотвращения проблем, и, наконец, в прямую оптимизацию и экономию.

Но чтобы получить результат, приходится отделять ценное вторичное сырье, которое можно переработать, от токсичных отходов.

Кунсткамера проблем

Подготовка данных занимает до 80% времени работы с ними, при этом накоплению исторических данных, необходимых для построения модели, часто не уделяется должного внимания.

«Мы по определению с самого начала работаем с мусором и собрали целую коллекцию проблем с данными», — сообщил Хайтин. Пропуски, в том числе из-за поломок сенсоров и сбоев архивирования, а также явные ошибки — самые дешевые из них, так как их легко обнаружить и от них легко избавиться. Главное условие для этого — большой объем данных и не очень большая доля пропусков и ошибок, чтобы не уничтожить весь датасет.

К категории дорогих и очень дорогих проблем он отнес так называемую эзотерическую схему данных — несколько тысяч полей с именами в виде сокращений, аббревиатур и индексов. Также дорого обходится бизнесу неаккуратное агрегирование с усредненными по времени показателями, сделанное в расчете на то, что эта информация уже никому не понадобится. «Данные за много лет, превращенные в бесполезные агрегаты, — это необратимые потери: фарш обратно в мясо уже не превратишь», — отметил Хайтин.

Между тем исторические данные — самые дорогие. Их нельзя купить, можно только накопить. При этом нестыковки исходных данных с результатами, а также нецелостность информации значительно обесценивают накопленный массив. Например, отсутствие сведений о нештатных ситуациях порождает артефакты в данных, приводя впоследствии к попыткам обучить алгоритмы на негодных датасетах.

Если при накоплении данных были допущены критические ошибки, оптимизация производства с помощью обработки больших массивов накопленных данных может оказаться недостижимой. Всего одна ошибка в информационном потоке, поступающем с производственной линии, способна привести к задержке проекта на годы и обесценить все усилия по сбору данных.

Традиционно накопление данных ведется в компаниях по функциональным подразделениям, и в результате «озера данных» на практике часто оказываются фрагментированными. «В этой ситуации достаточно того, чтобы одно подразделение не передало свои данные в озеро, — и тогда ценность всех накопленных в нем данных резко упадет. Не на полпроцента, соответственно объему непоступивших данных, а на все 90%», — подчеркнул Хайтин.

Но проблема-рекордсмен в практике Mechanica AI — сбитые отметки времени в разных информационных системах внутри организации. Причем в некоторых случаях — с плавающей разницей между часами. Для оператора, управляющего физическим процессом в реальном времени, эта разница не имеет значения, так как он собственными глазами одновременно видит показания приборов. А вот сопоставить исторические данные разных систем и использовать их — в этом случае уже нельзя. Чтобы спасти ситуацию, приходится строить интеллектуальные программные решения, что обходится гораздо дороже, чем время системного администратора на настройку часов.

Для предотвращения подобных проблем рекомендуется крайне аккуратно относиться к процессу накопления исторических данных. «Не надо выкидывать сырье, хуже всего бороться потом с алгоритмами агрегации и очистки», — предостерег Хайтин. Он также советует протестировать собранные данные на целостность, построив учебную модель. А также не забывать притчу: «Если лошадь сдохла, слезь с нее, а не пытайся ее оживить». Иногда не стоит «городить огород» интеллектуальных решений, а надо просто смириться с потерей данных.

Любая страховая компания заинтересована в том, чтобы ее клиенты покупали продукты самого широкого спектра. Но стоит ли страховому агенту тратить время на уговоры, если владелец полиса ОСАГО убежден в том, что КАСКО ему не нужен? При том, что другому клиенту, возможно, есть смысл предложить не только КАСКО, но и страховку квартиры и дачи. Как страховщикам угадать наши с вами предпочтения?

В компании «РЕСО-Гарантия» предпочли не угадывать, а построить математическую модель, которая позволит выявить клиентов с высоким уровнем спроса на продукты добровольного страхования среди владельцев полиса ОСАГО. Это поможет сделать кросс-продажи в агентской сети более эффективными.

Сергей Алешкин, руководитель по Data Science страховой компании «РЕСО-Гарантия» и номинант премии CDO Award, делится деталями проекта.

— Есть ли в компании стратегия работы с данными?

Мы только начинаем цифровизацию, и в ее рамках идет подготовка регламентов работы с данными. Сейчас взаимодействие организовано неформально, но все знают, кто за что отвечает и какие задачи должен решать. У нас есть ИТ-подразделение, которое обеспечивает стабильность работы систем обработки данных, есть специалисты, отвечающие за наполнение этих систем и за качество данных, и есть аналитики, которые работают с данными, в том числе строят математические модели.

— Что входит в зону вашей ответственности?

Я отвечаю за построение моделей, их внедрение в бизнес-процессы, поддержание их эффективности, мониторинг, переобучение при необходимости. Мне приходится тесно общаться с коллегами, обеспечивающими хранение и качество данных. Мою деятельность курирует заместитель генерального директора, отвечающий в компании за ИТ и аналитику.

— Каким образом вы выявляете задачи для применения машинного обучения?

«РЕСО-Гарантия» — коммерческая организация, поэтому во главу угла при выборе проекта ставится получение максимального бизнес-эффекта. На решение той или иной задачи может быть получен запрос от бизнеса, или же мы сами в процессе анализа данных можем обнаружить интересную зависимость и предложить бизнесу реализовать модель на ее основе. Но всегда запуску проекта предшествует анализ его окупаемости. Мы люди творческие, нам интересно экспериментировать с данными, но, приоритизируя проекты, мы исходим из того, что получит компания от внедрения конкретной модели.

— Как возникла идея проекта в области кросс-продаж?

Наиболее массовый продукт на рынке страхования — полис обязательного автострахования ОСАГО. Например, среди клиентов РЕСО порядка 15 млн человек покупают такие полисы. Но страховой компании нужно продавать и продукты добровольного страхования — полисы КАСКО, страхования имущества и др. Поэтому была поставлена задача увеличить кросс-продажи клиентам ОСАГО. Однако далеко не все они расположены покупать другие полисы.

Мы стали работать над выявлением кластеров клиентов с потенциально наибольшим спросом на продукты добровольного страхования. Значительная часть продаж компании идет через агентскую сеть. В процессе общения страховой агент может пропустить того самого покупателя, которому стоит предложить полис добровольного страхования, или сделать предложение формально и в результате упустить потенциального клиента.

Мы задумались над тем, чтобы создать модель, которая выявляла бы не просто клиентов ОСАГО с высоким спросом на продукты добровольного страхования, а именно тех из них, кто, скорее всего, еще не получал предложения от конкретного агента. То есть модель может сделать «работу над ошибками». Среди агентов есть новички, которые еще не научились всем тонкостям общения. Но и опытные агенты с большими портфелями тоже нуждаются в помощи, потому что им физически сложно уделить должное внимание всем своим клиентам. В зависимости от характеристик агента модель определяет, каких клиентов с высоким спросом на продукты добровольного страхования он мог пропустить, и передает ему полученную информацию. Анализируются около десятка параметров по каждому агенту: социально-демографические признаки (возраст, пол и т. д.), опыт и предпочтения по продажам страховых продуктов (срок работы в компании, история продаж по типам продуктов и т. д.).

В результате увеличиваются продажи, растут доходы агентов и их лояльность компании, а также доходы компании и лояльность клиентов, потому что они получают качественный страховой продукт, действительно необходимый в данный момент. Проект приносит выгоду всем сторонам.

— Тот самый случай, когда искусственный интеллект помогает сотрудникам, но не заменяет их?

Совершенно верно. Страховая компания работает через агентскую сеть, и наши клиенты, будучи лояльны бренду РЕСО, в значительной степени лояльны страховому агенту — конкретному человеку, с которым они взаимодействуют на протяжении долгого времени и которому доверяют. Поэтому задача заменить агента здесь не стоит — ему надо оказать эффективную помощь в поиске тех клиентов, которые купят продукты добровольного страхования.

Агенты, среди которых много людей в возрасте, отлично знают страховые продукты и умеют с ними работать, но при этом с недоверием относятся к ИТ. Поэтому поначалу проект был воспринят ими скептически, но, по мере работы, они оценили результативность такого подхода и попросили расширить возможности модели. Мы начинали с выявления потенциальных клиентов страхования имущества, затем добавили КАСКО.

— Как строится взаимодействие агентов с системой? Не возникают ли проблемы у не очень восприимчивых к ИТ сотрудников?

Вначале мы реализовали подсказку в момент продажи полиса о том, что данный клиент склонен к покупке определенного дополнительного продукта. Но потом поняли, что большинство агентов хотели бы заранее получать списки таких клиентов, чтобы спланировать свой визит или разговор с клиентом по телефону. Теперь мы готовим эти списки и передаем их агентам через руководителей агентской сети.

Агенты получают рекомендации искусственного интеллекта в CRM-модуле. Опытный специалист работает на страховом рынке несколько десятков лет, знает лично многих своих клиентов, и для него непривычен формат работы, когда ему рекомендуют, к кому обратиться в первую очередь. Для того чтобы пользоваться такой системой, агент должен убедиться на практике в том, что рекомендации действительно эффективны.

В адаптации агентов к работе с новым проектом очень помог опыт Школы РЕСО. У нашей компании одна из сильнейших агентских школ России, и мы задействовали ее потенциал. Все агенты проходят обучение кросс-продажам с помощью современных технологий.

Один из важных компонентов любого внедрения машинного обучения — постоянный мониторинг метрик модели. Если возникает существенное отклонение в качестве, модель необходимо переобучать. Помимо прочего, этот мониторинг позволил нам выявлять агентов, испытывающих трудности в работе с новой схемой взаимодействия с клиентами, и для них было организовано дополнительное обучение.

— На каких данных реализован проект? Какая технологическая инфраструктура используется?

Это полностью наша разработка. Данные собираются в базе данных Oracle, модель разрабатывается с использованием Python. Из методов машинного обучения используется ансамбль моделей, построенных с помощью логистической регрессии и XGboost.

Модель обучалась на данных около 5 млн клиентов. Учитывались социально-демографические данные, характеристики потребительских предпочтений (что страхуют, когда, как часто) и др. Использовалась вся клиентская информация, до которой может «дотянуться» страховая компания. Конечно, у нас меньше сведений, чем, скажем, у банка или телекома, но их было достаточно для того, чтобы обеспечить хорошую точность модели для кросс-продаж.

Сейчас модель еженедельно анализирует порядка миллиона клиентов.

— Какие проблемы возникли в ходе реализации проекта, как удалось с ними справиться?

Нельзя сказать, что мы построили сложную модель. Пожалуй, самое трудное и интересное связано с внедрением. Надо было убедить нашу агентскую сеть в том, что это действительно полезный инструмент, и настроить обратную связь от конечных пользователей. РЕСО регулярно проводит большие встречи руководителей агентских подразделений, съезды агентов. На всех этих мероприятиях мы презентовали модель, лично общались с агентами и их руководителями, рассказывали им о преимуществах системы, отвечали на вопросы. В ходе этого общения мы узнали о ряде важных показателей работы агентов. Их анализ позволил вывести интересные зависимости, в том числе увеличить точность модели.

— Насколько уникален такой сервис для страховой отрасли?

Уникальность нашего подхода — не в модели, а в процессе взаимодействия агентов с моделью. Строить модели, которые ищут клиентов с высоким спросом на те или иные продукты для кросс-продаж, пытаются большинство страховых компаний, но обычно ставка делается на роботизацию процесса. Наш проект отличает высокая степень вовлеченности людей — агентов и их руководителей. Не менее важна и постоянная обратная связь, которая позволяет, с одной стороны, совершенствовать модель, а с другой — делать более эффективной работу сотрудников.

— Как долго система находится в продуктиве? Каких финансовых преимуществ и качественных улучшений удалось добиться за это время?

Система активно применяется с середины 2019 года в 200 филиалах в 70 регионах России, ею пользуются около 3,5 тыс. страховых агентов.

По нашим данным, за это время в 10 раз выросла эффективность кросс-продаж благодаря снижению трудозатрат агентов и повышению результативности их работы. Декабрь и январь показали существенный рост продаж продуктов добровольного страхования. По прогнозам на 2020 год, 18% дополнительных сборов по страховым продуктам, к которым применяется модель, будут получены именно благодаря ее использованию.

Мы построили комплексное решение на базе машинного обучения, которое, с одной стороны, хорошо интегрируется в существующую технологию продаж, а с другой — создает новую ценность для компании с точки зрения расширения возможностей кросс-продаж и повышения эффективности агентской сети.

— Каковы планы по развитию системы?

Мы получаем очень много заявок на расширение перечня страховых продуктов, охваченных моделью, и планируем развивать аналогичные проекты для кросс-продаж по другим направлениям работы компании.

Сейчас также разрабатывается проект на базе машинного обучения для Школы РЕСО. Очень важно оценить потенциал человека в роли страхового агента на этапе рекрутинга, чтобы можно было сосредоточить усилия на обучении наиболее талантливых сотрудников, удерживать их у себя и развивать. Мы делаем модель, которая будет искать таких кандидатов, а также выявлять их среди претендентов, которые к нам уже обратились.

Деятельность и потребности исследователей данных имеют много общего с деятельностью и потребностями разработчиков программного обеспечения. И исследователи данных, и инженеры-программисты связаны с планированием, проектированием архитектуры, написанием программного кода, тестированием и развертыванием программного обеспечения для достижения своих целей. Для разработчиков программного обеспечения это зачастую выливается в написание специального кода для приложений и микросервисов. Исследователи же данных интегрируют данные с помощью проводимых над ними операций, выдавая прогнозы при помощи аналитических моделей и создавая панели мониторинга, помогающие конечным пользователям отслеживать нужные им результаты.

DevOps-профессионалам, рассматривающим возможность автоматизации и сотрудничества с операционными инженерами, необходимо расширять спектр своих возможностей и предоставлять исследователям данных необходимые им услуги в рамках существующих договоренностей.

Крупные организации с многочисленными командами исследователей инвестируют в платформы исследования данных (Alteryx Analytics, Databricks и Dataiku), представляющие собой набор инструментов для разработки, тестирования и развертывания аналитических моделей. Эти инструменты конкурируют друг с другом с точки зрения операций с данными, аналитических возможностей, средств интеграции, управления, инструментов для бизнес-пользователей и функций развертывания.

Отличия потребностей в DevOps у исследователей данных и разработчиков приложений

В инструменты науки о данных готова инвестировать не каждая организация. Некоторые команды исследователей данных настолько малочисленны, что нуждаются лишь в базовых операционных средствах. В таких случаях лучше ограничиться практиками DevOps, не тратя сил и ресурсов на выбор и настройку платформы.

Многие методики гибкого проектирования и DevOps, используемые командами разработчиков программного обеспечения, могут найти приложение и к процессам, с которыми имеют дело исследователи данных. Но для этого потребуется внесение существенных корректировок. Хотя процессы исследователей данных и похожи на процессы разработчиков, между ними имеются некоторые важные отличия.

Работа в области науки о данных требует проведения дополнительных экспериментов с наборами данных, моделями и конфигурациями. Циклом планирования, сборки, тестирования и развертывания, характерным для разработки программного обеспечения, дело здесь, как правило, не ограничивается.

В моделях разработки и тестирования единый вычислительный стек может и не использоваться. Некоторые модели создаются простыми скриптами Python, тогда как в других используются Apache Spark и другие крупные платформы управления данными. Характер вычислений существенно отличается даже в ходе разработки моделей. Исследователю данных, желающему протестировать на крупном наборе данных шесть вариантов модели, придется выполнить гораздо больше вычислительных операций и операций хранения по сравнению с исследователем, тестирующим только одну модель на небольшом наборе данных.

Модели, развернутые в производственной среде, требуют непрерывной поддержки, причем помимо изменения базового кода здесь возникают и другие вопросы. Необходимо сохранять обновленные наборы данных, изменять конфигурацию операционных параметров и адаптировать инфраструктуру. Все это может потребовать нового развертывания.

При мониторинге данных зачастую нужны более сложные проверки. Одного лишь знания того, что процесс обработки данных выполняется, а модель обрабатывает данные здесь недостаточно. Инструменты, используемые в производственной среде, необходимо контролировать, проверяя их пропускную способность, причины возникновения ошибок, аномалии источника данных и другие условия, оказывающие влияние на общие результаты.

Чтобы добиться успеха, исследователи данных должны сотрудничать с разработчиками, инженерами и руководителями бизнес-подразделений, а это может оказаться более сложной задачей по сравнению с налаживанием взаимодействия с разработчиками и операционными подразделениями в процессе разработки приложений. Кроме того, многие исследователи данных не входят в состав ИТ-службы, что еще более затрудняет внедрение единых стандартов и управление этими группами.

Поддержка исследователей данных требует понимания имеющихся отличий. Только после этого можно переходить к внедрению практик DevOps. Начать же следует вот с чего.

Формирование у исследователей данных необходимого опыта

Как и разработчики приложений, исследователи данных нацелены прежде всего на решение конкретных задач. Они увлечены настройкой своих инструментов и зачастую проявляют меньший интерес к настройке инфраструктуры. Но в отличие от разработчиков программного обеспечения исследователи данных не обладают опытом и подготовкой, которые позволяли бы им полностью настроить среду разработки. В результате для внедряющих практики DevOps они выступают в роли клиентов, которым нужно помогать в процессе определения требований и подготовки решений.

Начать имеет смысл с инфраструктуры для исследователей данных. На каких языках они пишут программный код: на Python, R или чем-то еще? Какие инструменты (Jupyter, Tableau, Apache Kafka или NLTK) используются для анализа и моделирования? Какие базы данных и облака выступают в роли источников данных и служат для хранения данных, используемых в обучении, и для развертывания моделей?

DevOps-консультант может помочь в выборе и стандартизации среды разработки. Традиционно соответствующие задачи решаются на вычислительном устройстве или виртуальном рабочем столе. В любом случае зеркальное отображение приложений и конфигураций в среде разработки представляет собой важный первый шаг в работе исследователя данных.

После этого DevOps-консультант должен проверить, где исследователи данных хранят свой программный код, как осуществляется контроль версий, каким образом код упаковывается для развертывания. Некоторые исследователи данных не имеют опыта работы с инструментами контроля версий, такими как Git; другие, возможно, и используют репозитарий кода, однако процесс интеграции у них не автоматизирован. Второй задачей, с которой профессионалы DevOps должны помочь исследователям данных, является проведение непрерывной интеграции. Необходимо сформировать соответствующие стандарты и исключить операции, выполняемые вручную при тестировании новых алгоритмов.

Следует учитывать, что в некоторых сервисах SaaS и платформах корпоративных данных нет встроенной системы контроля версий и отсутствуют интерфейсы со средствами управления версиями, применяемыми при написании программного кода. У многих из этих платформ имеются API для проведения интеграции и развертывания или какие-то другие средства, позволяющие имитировать процесс непрерывной интеграции и развертывания (CI/CD).

Формирование конвейеров развертывания и настройка инфраструктуры

При стандартизации среды развертывания и непрерывной интеграции DevOps-консультантам следует обратить внимание и на другие аспекты тестирования автоматизации и построения производственных сред. Это можно сделать путем внедрения конвейеров развертывания с инструментами наподобие Jenkins и настройки инфраструктуры с использованием Chef, Puppet, Ansible или каких-то других инструментов.

Контейнеры Docker, средства управления контейнерами и инструменты настройки наподобие Kubernetes также находят достаточно широкое применение при решении задач науки о данных. Среды науки о данных зачастую представляют собой сочетание платформ для операций с данными, управления ими и их моделирования. Развертывание и управление данными при этом требует интеграции.

Важно понимать масштабы и частоту выполнения операций интеграции данных, машинного обучения и анализа данных. DevOps-консультанты, вероятно, займутся поиском соответствующих шаблонов, поскольку исследователи данных имеют дело с разной рабочей нагрузкой: регулярным тестированием новых моделей на различных подмножествах данных, спланированным переобучением производственных моделей машинного обучения, выполнением специализированных заданий по обучению новых аналитических моделей. Эти типы рабочей нагрузки должны помочь при внедрении практик DevOps решить, насколько хорошо настройка и масштабирование облачной инфраструктуры отвечают различным потребностям в вычислительных ресурсах и ресурсах хранения.

Союз разработчиков, ИТ-администраторов и исследователей данных

Наиболее важные аспекты внедрения DevOps связаны с налаживанием сотрудничества между разработчиками и инженерами, цели которых не совпадают. От разработчиков требуют частого внесения изменений в приложения, в то время как инженеры отвечают за надежность и скорость выполнения производственных процессов. Взаимодействие разработчиков и инженеров в ходе автоматизации и стандартизации конфигураций способствует достижению обеих целей.

Исследователи данных становятся третьей стороной в этом сотрудничестве. От них требуют проведения анализа в интересах высшего руководства и бизнес-менеджеров. Кроме того, они разрабатывают модели, используемые разработчиками в приложениях. Исследователям данных нужна инфраструктура с часто меняющимися параметрами, и они даже в большей степени по сравнению с разработчиками заинтересованы в проведении экспериментов с новыми платформами, библиотеками и конфигурациями инфраструктуры.

Сотрудничество с разработчиками и инженерами помогает исследователям данных при проведении анализа. Для успешного взаимодействия и достижения новых бизнес-результатов этим группам необходимо четкое понимание стоящих перед ними задач, определение целей и совместное выстраивание DevOps.

Полтора года назад компания Mr. Cooper запустила интеллектуальную систему рекомендаций для своих агентов по обслуживанию, которая должна была помочь в решении проблем клиентов. (Компания, ранее известная как Nationstar, — крупнейший игрок рынка небанковского ипотечного кредитования в США с 3,8 млн клиентов.) Казалось, проект сэкономит предприятию огромные деньги. Потребовалось девять месяцев, чтобы выяснить, что агенты не использовали его, признает ИТ-директор компании Шридхар Шарма. И еще полгода, чтобы понять, почему.

Рекомендации, которые предлагала система, не были релевантными, обнаружил Шарма. Но проблема заключалась не в алгоритмах машинного обучения, а в том, что обучение полагалось на данные, основанные на технических описаниях проблем клиентов, а не на том, как клиенты описывали их своими словами.

«Мы проделали недостаточно хорошую работу, поэтому не поняли того, что суть проблемы пользователей кроется в словах, которые употребляют именно они, – сказал он. – Мы же в своей программе использовали только те термины, которые сами используем внутри компании».

Кроме того, механизм обратной связи, в котором агенты записывали результаты звонков, имел перекрывающиеся категории проблем, что, по словам ИТ-директора, еще больше усугубило проблему. Шарма отказался сообщить, во сколько проект обошелся компании.

Такая неудачная «вылазка» Mr. Cooper в область искусственного интеллекта — не аномалия. Согласно недавнему опросу IDC, только около 30% компаний сообщили, что 9 из 10 их проектов, связанных с искусственным интеллектом, были успешны. У большинства провальны около половины подобных проектов; 3% опрошенных заявили, что более половины их проектов искусственного интеллекта потерпели неудачу.

В качестве основных проблем более четверти респондентов назвали нехватку квалифицированного персонала и нереалистичные ожидания в отношении этой технологии. Еще 23% заявили, что их проекты потерпели неудачу из-за отсутствия необходимых данных.

«При первых признаках неудачи все пытаются приложить дополнительные усилия, чтобы "вытащить" проект, – говорит Шарма. – Но если вы ввязываетесь в это, то вы обречены».

Mr. Cooper вернется к проекту в области обслуживания клиентов в следующем году в рамках общей перезагрузки своей системы CRM; компания по-прежнему настроена иметь дело с искусственным интеллектом. Ее последний проект машинного обучения, который включает в себя анализ неструктурированных данных, уже имеет положительный бизнес-эффект и помогает готовить лучшие данные для обучения.

«Эти уроки недешевы», – признает Шарма, добавляя, что требуется вовлеченность генерального и финансового директора: они должны быть в курсе, если что-то идет не так.

Нехватка данных

Проблемы с данными — одна из главных причин, почему проекты искусственного интеллекта не оправдывают ожиданий. Согласно докладу, опубликованному McKinsey прошлой осенью, две из самых больших проблем, ограничивающих применение технологий искусственного интеллекта, связаны именно с данными.

Во-первых, подобно Mr. Cooper, многие компании испытывают трудности с получением правильно размеченных данных для обучения алгоритмов машинного обучения. Если данные не классифицированы должным образом, нужно время, чтобы разметить их, что может задержать работу или вообще привести проект к провалу. Вторая проблема с данными – это отсутствие нужных данных для проекта.

«У компаний часто нет необходимых данных или же они не могут строить модели с данными, поскольку те не размечены», – говорит Ананд Рао, партнер и глобальный лидер по искусственному интеллекту в PricewaterhouseCoopers.

Национальное Одюбоновское общество использует искусственный интеллект, чтобы защитить диких птиц. Так, в июле организация опубликовала результаты анализа того, как изменение климата повлияет на 38 видов луговых птиц.

«Если мы ничего не сделаем, чтобы замедлить изменение климата, то 42% видов луговых птиц окажутся очень уязвимыми, – говорит Чад Уилси, вице-президент по исследованиям в области сохранения видов. – Но если мы сможем принять меры, то уменьшим этот показатель до 8%».

Не все аналогичные проекты Одюбоновского общества были столь же успешными. Прошлым летом в организации попытались использовать машинное обучение для подсчета количества коричневых пеликанов и черных водорезов на пляжах. Пилотный проект был основан на наборе изображений, собранных добровольцем, который запускал дрона над островом у побережья Техаса.

«Нам было интересно понять, как ураган, который прошел над островом, повлиял на популяцию птиц», – говорит Уилси.

По словам Уилси, потребовалось 2 тыс. размеченных изображений коричневых пеликанов, прежде чем точность системы была достаточно хороша для их нужд. Но изображений черных водорезов было недостаточно. «Для других приложений компьютерного зрения вы можете использовать то, что доступно в Интернете, – говорит он. – Но в данном случае, образы птиц очень специфичны».

Так, большинство доступных фотографий птиц сделаны людьми, которые находятся на уровне земли, а не дронами, «смотрящими» прямо вниз. И поскольку это было пилотное исследование, у Одюбоновского общества не было ресурсов, чтобы продолжить сбор данных и сделать больше снимков.

«Однобокость» данных обучения

Другим примером проекта, которому помешала нехватка данных, является попытка Fritz Labs создать модель для идентификации волос на фотографиях людей. Fritz помогает разработчикам создавать модели, которые могут работать непосредственно на телефонах, без необходимости отправлять данные на центральный сервер для обработки.

«Мы хотели создать функцию, которая будет "обнаруживать" волосы в живом видео и прямо в нем изменять их цвет», – сказал Джеймсон Тул, технический директор компании.

Сначала все выглядело хорошо, говорит он, но у алгоритма обнаружился существенный изъян, который привел бы к очень серьезным проблемам, стань приложение публичным.

«К счастью, мы много тестировали функцию на самих себе и с людьми, которых привлекли специально для этого, и обнаружили, что функция работает не очень хорошо для определенных этнических групп, – отметил Тул. – Мы еще раз просмотрели исходные данные — и, конечно же, среди них не было изображений представителей этих групп».

По его словам, для обучения доступно множество наборов изображений, как бесплатных, так и коммерческих. Но необходимо убедиться — достаточно ли тех данных, которые нужны.

«Требуется время и усилия, чтобы сформировать собственный набор тестовых случаев, который исчерпывающим образом представляет пользовательскую базу вашего приложения», – подчеркнул Тул.

В Fritz Labs собрали недостающие изображения и разметили их вручную. «Это, безусловно, подчеркивает тот факт, что в подобных системах может легко случиться какой-то перекос, когда вы ограничены данными, которые у вас есть», – добавил он.

Согласно недавнему опросу PricewaterhouseCoopers, более половины компаний не имеют формального процесса оценки данных приложений искусственного интеллекта на «необъективность» данных. Кроме того, только 25% опрошенных заявили, что будут уделять приоритетное внимание этическим последствиям проектов искусственного интеллекта перед их реализацией.

Проблемы интеграции данных

Иногда проблема заключается не в недостатке данных, а в том, что их слишком много и они – во многих местах. Так было в одном глобальном банке, по словам руководителя отдела искусственного интеллекта и аналитики данных розничного подразделения банка, который не уполномочен говорить об этом «под запись».

По его словам, если бы он мог вернуться назад во времени, банк бы раньше начал собирать данные из разных каналов: «Мы этого не делали, и это было большой ошибкой. Наши данные были разрозненны, и как следствие у нас не было полного представления о наших клиентах».

Это ограничило возможности банка генерировать эффективные маркетинговые предложения и привело к снижению доходов; теперь банк переходит к многоканальному представлению данных клиентов, включая онлайн, мобильные и личные взаимодействия.

«Мы все еще не добились этого, – признал он. – Изолированные данные – одна из самых больших проблем, которые у нас были и есть».

Проблема не столько техническая, сколько деловая; первый шаг – соблюдение требований и регламентация: «Есть определенные типы данных, которые мы не можем смешивать».

Другой вопрос связан с приоритетами компании. «Есть так много других проектов, которые работают. И кто заплатит за объединение данных? Это само по себе не является добавочной стоимостью для банка», – указал он, добавив, что с подобными проблемами может столкнуться каждый банк.

Однако приступать к интеграции данных необходимо тогда, когда стартует первый проект в области искусственного интеллекта. «Не думаю, что мы когда-нибудь будем готовы полностью, ведь есть так много источников данных, – резюмировал он. – Я не думаю, что есть компания, которая к этому полностью готова».

В банке рассчитывают, что основные источники данных будут подключены в ближайшие полтора-два года. Сейчас в данном направлении выполнено лишь 10-15% работы.

«Дрейф» данных

Еще одна проблема для проектов искусственного интеллекта заключается в том, что компании полагаются на исторические данные вместо активных транзакционных данных для своих учебных наборов. Во многих случаях системы, обученные на статических исторических снимках, не очень хорошо работают при переходе на данные реального времени, отметил Андреас Браун, который возглавляет работу с данными и искусственным интеллектом в европейском отделении компании Accenture.

«Вы выгружаете некие данные, тренируете модель и получаете довольно хороший результат в лаборатории. Но как только вы запускаете это в работу, начинаются проблемы», — сказал он.

Существует значительная разница между историческими выборками данных и данными, поступающими через живую систему, например, для обнаружения фрода в реальном времени или выявления случаев отмывания денег, потому что модели оказываются не обучены улавливать небольшие изменения в поведении.

«Если вы копируете данные в какой-то момент времени, скажем, ночью, или в субботу или воскресенье, то "замораживаете" ситуацию, – отметил он. – Это делает аналитику в лаборатории очень легкой. Но когда модели машинного обучения встраивают в живую систему, они работают намного хуже».

Решение, по мнению Брауна, заключается в том, что аналитики данных не должны сидеть в бункере, отрываясь от реального бизнеса. Когда модели строятся с использованием «живых» данных, интеграция моделей в производственные среды происходит намного быстрее: «И успехи гораздо, гораздо лучше. Это полностью меняет игру».

Забытые неструктурированные данные

Согласно недавнему опросу Deloitte Consulting, 62% компаний по-прежнему обходятся электронными таблицами и только 18% при анализе используют неструктурированные данные — изображения продуктов, аудиофайлы разговоров с клиентами или комментарии в соцсетях.

Кроме того, многие исторические данные, которые собирали компании, оторваны от контекста, который должен быть полезен для решений искусственного интеллекта, или хранятся в сводной форме, полагает Бен Стиллер, руководитель стратегической и аналитической практики в области розничных и потребительских продуктов компания Deloitte Consulting. Ограниченность в данных, безусловно, может с самого начала приговорить проект к неудаче.

Компании, которые используют неструктурированные данные, например, Mr. Cooper, согласно опросу, на 24% чаще добиваются своих бизнес-целей.

«То как вы работаете с данными, действительно требует фундаментального пересмотра», – считает Стиллер.

Mr. Cooper, например, владеет огромными объемами неструктурированных данных – около полутора миллиардов документов клиентов. В результате агенты по обслуживанию клиентов тратят слишком много времени на поиск нужных документов, и иногда, не находя их, бывают вынуждены перезванивать клиентам.

Поэтому компании пришлось отсканировать все 1,5 млрд документов и с использованием технологии машинного обучения внимательно проанализировать набор из 150 млн документов, которые попали в число двухсот самых используемых типов.

«Этот проект на базе машинного обучения, который действительно приносит пользу, нашел реальное применение», – говорит Шридхар Шарма из Mr. Cooper.

Мало того, что обзвон клиентов стал быстрее, анализ документов помогает создать лучший словарь для будущего использования, когда компания вернется к своему ранее проблемному проекту обслуживания клиентов с использованием искусственного интеллекта.

Культурный вызов

Не только проблемы с данными, но и организационные вопросы вставляют палки в колеса проектов искусственного интеллекта.

Например, Шарма признался, что если бы он вернулся назад во времени, то начал бы работать с языком, который клиенты используют при объяснении своих проблем, и связал бы экспертов по предметной области с разработчиками приложений искусственного интеллекта: «Людей из бизнеса надо объединить с технологическими группами, чтобы контекст всегда был во главе угла. Вы должны заставить их сидеть вместе весь рабочий день».

И если не учиться на такого рода ошибках, шансы на то, чтобы извлечь выгоду из искусственного интеллекта, могут сократиться: неудачные проекты не только отпугивают тех, кто распределяет финансовые средства, но и негативно влияют на удовлетворенность сотрудников и клиентов.

Из-за ранних провалов проектов инвесторы теряют значительные средства, не получая никакой отдачи, а предприятие рискует начать отставать от конкурентов.

Все начинается сверху. Как показывает опрос Deloitte, участие высшего руководства для проектов искусственного интеллекта жизненно важно. «Если проект спонсирует генеральный директор, шансы достичь целей повышаются на 77%», – говорит Стиллер.

Не позволяйте неудаче ослабить вашу приверженность технологиям искусственного интеллекта — долгосрочный подход окупится, уверен он: «Чем больше проектов вы с течением времени вы делаете, тем выше становится их ROI».

Для борьбы с отмыванием денег, обналичиванием, фиктивными зарплатными схемами, а также для ведения фрод-мониторинга и выявления подставных лиц и так называемых дропперов, участвующих в транзите обналиченных денег, банки берут на вооружение самые современные средства и концепции работы с данными. Ретроспективный анализ обогащают прогнозированием, встраивая в инструменты бизнес-аналитики технологии машинного обучения. Эту концепцию называют дополненной аналитикой. А когда дополненная искусственным интеллектом BI встраивается во фронт-офисные системы и анализ ведется в реальном времени — это уже концепция непрерывной аналитики. Чтобы эти концепции работали, нужны соответствующие BI-инструменты и специалисты, которые будут моделировать интересующие их явления и встраивать прогностические модели в интерфейсы BI-систем.

Юрий Сирота, старший вице-президент, руководитель департамента искусственного интеллекта и анализа данных банка «УралСиб» и претендент на премию CDO Award, рассказал на примере проекта Anti Money Laundering, как его подразделению удается монетизировать работу с данными.

- Как организована математическая работа с данными в вашем банке?

Исторически математические функции развивались в двух направлениях: в рисках и розничном бизнесе. Но большинство задач, требующих математического моделирования, оставались нерешенными. Поэтому было создано новое подразделение — департамент искусственного интеллекта и анализа данных или Artificial Intelligence and Data Analytics Office (AIDA), призванный развивать аналитическую культуру и реализовывать математические проекты исключительной сложности. В нем сосредоточены функции, связанные с математическим изучением данных, бизнес-аналитикой, искусственным интеллектом и интеллектуальной роботизацией процессов.

AIDA напрямую подчиняется заместителю председателя правления, поскольку руководство банка понимает перспективность этих направлений для бизнеса. Наше взаимодействие с заказчиками строится по принципу партнерства. Тематический лидер приходит от заказчика, а математическая и ИТ-имплементация проекта – задача AIDA.

Cтратегия развития аналитической функции в банке предусматривает ликвидацию барьеров между ИТ, центром аналитических компетенций и бизнесом, разработку подхода для интеграции результатов аналитики в бизнес-процессы, а также инвестиции в инфраструктуру и компетенции.

Основных компетенций три: инженерия данных, математический анализ данных и BI. Подготовка данных для анализа — процесс кропотливый, и в общей трудоемкости его доля составляет порой 90–95%, но иначе невозможно добиться реальных конкурентных преимуществ. Монетизация упомянутых технологий и навыков достигается в основном благодаря внедрению методологий исследования данных (data science).

Традиционно исследование данных применяется банками при оценке рисков, в маркетинге и продажах. Есть много примеров использования математики для сегментации клиентов, определения вероятности их оттока, покупки и кросс-продаж и, конечно, для рискового скоринга. Но этим применение данных методологий не ограничивается. По большому счету, предиктивной математике можно адресовать вопрос, касающийся любой финансовой сущности: куда она движется и как добиться того, чтобы она двигалась туда, куда нам надо? Предиктивное моделирование помогает понять, к примеру, какова будет выручка, как сделать, чтобы прибыль была больше, а отток клиентов — меньше.

- Какие задачи решались в одном из последних ваших проектов — Anti Money Laundering?

Этот проект нацелен на выявление токсичных, то есть совершающих противозаконные транзакции, клиентов. Главным образом это физические лица, малый бизнес и индивидуальные предприниматели с незаконными оборотами. Математические методы использовались, чтобы прогнозировать вероятность токсичности. Проект выполняла кросс-функциональная команда специалистов AIDA и службы финансового мониторинга.

- Почему такая работа важна для банка и отрасли в целом?

Объем токсичных операций контролируется Центральным банком в конце каждого квартала: за очень большие объемы банк могут наказать, и не только штрафом. Санкции предусмотрены достаточно серьезные, вплоть до отзыва лицензии.

Задача определения того, какой клиент токсичен, а какой нет, решается всеми банками, разница только в методах и точности. Если мы сильно «закручиваем гайки», отказываем многим клиентам в открытии расчетного счета, то получается, что «душим бизнес». Если же плохо выявляем токсичных клиентов, тогда через банк проходят токсичные обороты, несущие потенциальные риски. И то и другое — плохо, все банки в этом смысле зажаты между молотом и наковальней. Чаще всего банки идут по пути именно «закручивания гаек» — грубо отсеивают из входного потока клиентов предприятия малого бизнеса и индивидуальных предпринимателей, и это оборачивается ущербом для бизнеса.

- Какой подход выбран в вашем банке?

Чем точнее мы оценим вероятность токсичности, тем больше запустим в банк хороших клиентов и, соответственно, меньше плохих. Вопрос заключается в том, как отличить «хорошего» от «плохого». И этот вопрос — к аналитикам.

Нам удалось разработать достаточно точные предиктивные алгоритмы, которые показывают вероятность того, что клиент будет токсичным. Когда клиент обращается в банк за открытием счета, мы выводим коэффициент, показывающий вероятность его токсичности, по профилю, состоящему из 60 параметров. На основании полученного коэффициента банк принимает решение — открыть счет данному клиенту или отказать ему.

- На основе каких данных рассчитывается этот коэффициент?

Часть данных берется из анкет, заполняемых клиентом. Помимо внутренней базы банка, мы используем также базы ФНС и системы «Спарк» информационного агентства «Интерфакс». Когда клиент заходит в банк, мы уже имеем информацию о его деятельности, оборотах в других банках, взаимодействии с физическими и юридическими лицами, включая как добросовестных контрагентов, так и находящихся в черных списках. Всю совокупность информации обрабатываем, используем для моделирования и отсеивания клиентов в ходе всего их жизненного цикла в банке.

- В чем были основные сложности?

Сложно скомбинировать множество признаков таким образом, чтобы по 60 показателям присвоить клиенту итоговый балл и получить в итоге скоринг по степени токсичности. Слишком большая размерность. А в совокупности на разных этапах жизненного цикла клиента в банке анализируется порядка 320 характеристик. Сопоставить их и превратить множество значений в один-единственный скоринг нелегко.

Но математики с такими задачами справляются лучше, чем эксперты и инструментарий а-ля Excel. По профилям всех клиентов строится математическая модель, алгоритм предусматривает ее самообучение. Процесс обучения модели практически эквивалентен процессу ее создания.

- То есть токсичных клиентов она учится распознавать так же, как Google — котиков?

Да. В отличие от искусственного интеллекта человек не способен мыслить в пространстве 60 признаков, человеческий мозг не справляется с решением задач высокой размерности. Математический алгоритм под управлением человека решает задачу идентификации хороших и плохих клиентов гораздо лучше, нежели человек.

Самая большая проблема — подготовка данных, которые инженеры собирали и раскладывали «по полочкам» в базе данных. Это 90% всех трудозатрат. Затем математики разработали модель, при этом мы используем стек свободно распространяемого программного обеспечения, языки R и Python.

В дальнейшем во фронт-офисные системы банка внедрили шаблоны для заполнения сотрудниками. Из этих шаблонов информация уходит на серверы банка, там обрабатывается, и результат возвращается в офисную систему в реальном времени. Таким образом, при обслуживании в офисах банка каждому клиенту ставится в соответствие некоторая степень токсичности, и в зависимости от полученного результата счет ему открывают или не открывают. Эта модель уже больше года функционирует во всем банке и показала свою значимость.

- Каких бизнес-результатов удалось достичь?

Доля счетов, открываемых малым бизнесом и индивидуальными предпринимателями, выросла в полтора раза. Значительный темп роста малого бизнеса — это огромные прибыли для банка, полученные благодаря точному прогнозированию и разделению хороших и токсичных клиентов. Мы можем увидеть, в каких городах и отраслях доля токсичных клиентов выше, а также насколько она выше в компаниях с упрощенной системой налогообложения и там, где бухгалтер и генеральный директор — одно лицо. Кроме того, налицо очевидная монетизация деятельности крупнейшего департамента банка.

Проект оказал влияние на весь банк. После его реализации предиктивная математика стала применяться и в решении других задач. Число наших проектов растет, и общая стоимость портфеля проектов оценивается числом с очень большим количеством нулей. Это весьма значимый для банка результат, которого добилась небольшая команда математиков и разработчиков в партнерстве с бизнес-заказчиками.

- Что проект дал бизнесу, помимо финансового эффекта? Может ли идти речь о появлении новой бизнес-модели, развитии нового направления бизнеса?

Для любого бизнеса главный эффект — финансовый, притом что степень рискованности не растет. В данном случае степень потенциальных рисков не выросла, а финансовый эффект очень осязаем. Но, естественно, когда растет клиентская база, вполне могут появиться и новые направления для бизнеса.

- Достаточно ли накопленных за год данных, для того чтобы оценить эффективность модели? Может быть, «одобренные» алгоритмом клиенты покажут себя с нехорошей стороны только в следующем году?

Возможно. Ведь у компаний меняются собственники, руководители и, соответственно, меняется поведение. Не исключено, что кто-то неконтролируемо совершит противозаконное действие. Но соотношение риска и доходности значительно улучшилось.

Всё контролировать невозможно, как и выдавать кредиты только клиентам, которые никогда не обанкротятся. Всегда есть доля таких клиентов, но чем меньше эта доля, тем лучше. Бизнес у нас вырос, а риски не выросли.

- Что вас ждет впереди?

Постоянная работа над поддержанием моделей, повышением их точности. Точность достигается как добавлением новой информации, так и применением новых математических методов. У нас появилось много других моделей, которые оценивают информацию от службы безопасности и выявляют токсичных клиентов в ходе всего жизненного цикла в банке. Когда компания достигает порогового значения в неких действиях, мы можем говорить о вероятности того, что данный клиент токсичен. То есть формируется целая экосистема матмоделей, направленная на то, чтобы пресекать противозаконные действия клиентов и в то же время оптимально содействовать развитию бизнеса.

И, конечно, новые заказчики внутри банка, новые задачи и новые модели!

- Как еще вы применяете методы машинного обучения в банке? И какие варианты применения рассматриваете?

Мы изучаем имеющиеся на рынке решения для улучшения операционной эффективности. Применяем искусственный интеллект для анализа данных в продажах и маркетинге, для автоматического прогнозирования котировок на фондовом рынке, для прогнозирования потребности в наличных в банкоматах, кассах и допофисах, для предсказания выхода из строя ИТ-инфраструктуры.

Очень значимое направление — ИИ в работе с должниками, для определения вероятности того, что клиент выйдет в дефолт. Если вероятность высока, с клиентом начинают работать службы банка. Для банкротов рассчитывается вероятность погашения задолженности в течение определенного времени целиком или частично. Для управления воздействием на должника определяется, какая комбинация звонков, уведомлений и выездов повысит вероятность взыскания долга.