Система АБ-тестирования помогает принимать решения на основе «сырых» данных: в ежедневном режиме информация о покупках систематизируется, анализируется и используется для формулирования выводов относительно каждой из сотен выдвигаемых гипотез. Основная цель проекта – ускорить рост бизнеса X5 за счет увеличения количества проводимых экспериментов. Система оперирует всем масштабом данных из хранилища X5 – десятках миллионов записей ежедневно. Сейчас платформа проходит стадию тестирования и доработки ряда модулей. Планируемый объем оценки экспериментов – более 1 тыс. в год.
В рамках пилотного этапа платформа АБ-тестирования тестировалась торговой сетью «Пятерочка» для проверки целого ряда проектов: расширение ассортимента категории «Готовая кулинария», эффективность новых холодильных установок, влияние установки пекарен на РТО и т.д. Возможности платформы позволили за минимальный срок и без участия человека рассчитать финансовый эффект проведённых экспериментов, рост категории и иные экономические показатели, что позволило принять решение о быстром внедрении или закрытии проекта.
В рамках тестирования каждой гипотезы магазины в указанных географических пределах равномерно делятся на две группы. В первой группе в системе аккумулируются необходимые показатели в рамках эксперимента. В контрольной группе продолжается стандартная операционная деятельность без изменений. После окончания пилота производится замер релевантных метрик и определяется успешность пилота.
Платформа АБ-тестирования является собственной разработкой Х5 Group. Для обработки тысячи терабайт данных используются технологии машинного обучения. В ходе реализации проекта создана ИТсистема, состоящая из комплекса решений на основе технологий Hadoop, Spark, Kafka, Docker. Все модули запускаются в корпоративном центре обработки данных под управлением системы Kubernetes. Используются технологии виртуализации для обеспечения масштабируемости и отказоустойчивости системы, работающей на нескольких десятках физических серверов. По сложности решаемых задач и масштабу обработки данных продукт является уникальным для рынка.
Как отмечает Антон Мироненков, управляющий директор Х5 Технологии, в стратегии развития Х5 Group одним из ключевых управленческих принципов зафиксирован data-driven подход – принятие решений на основе данных. Каждый год специалисты по большим данным проводят сотни AdHoc анализов. Сейчас у бизнес-подразделений появился удобный инструмент для самостоятельной проверки гипотез. Собственная АБ-платформа за счет автоматизации процесса позволит быстро оценивать результата пилота проекта, ускорить показатель Time to Market. Внедрение платформы означает еще более глубокую интеграцию инструментов аналитики в повседневные процессы компании.