Прокси-метрики в e-commerce. Часть 1

Делимся исследованием Retail Rocket Group о метриках, на которые стоит ориентироваться для увеличения долгосрочной выручки интернет-магазина.

В первой части обсудим проблемы, которые возникают при оценке долгосрочной ценности пользователя интернет-магазина, и как можно их решить с помощью прокси-метрик. Расскажем, как компании из разных сфер ищут подобные метрики, и поделимся собственным списком разработанных метрик, которые применимы в e-commerce.

Во второй части рассмотрим, как метрики работают, смогут ли их использовать магазины с разными категориями товаров, как можно отобрать полезные прокси-метрики из множества вариантов, и насколько хорошо они предсказывают долгосрочную ценность пользователей.

В третьей части обсудим бизнес-интерпретацию полученных метрик и как можно использовать их для оптимизации долгосрочной ценности пользователей, а значит и долгосрочной выручки интернет-магазина.

Проблема оценки влияния изменений на Lifetime Value

Одна из ключевых метрик, которую оптимизирует большинство компаний — LTV (Lifetime Value) — показатель прибыли, которую получает бизнес за всё время работы с клиентом.

Знание LTV позволяет прогнозировать выручку, планировать затраты на рекламу, оценивать окупаемость инвестиций, вычислять самых лояльных посетителей, сегментировать аудиторию по ценности и т.д. Соответственно, это очень важный показатель, и когда планируется какое-либо значимое изменение, важно знать, как оно повлияет на LTV.

То, как изменение повлияло на показатель, оценивают по отношению к другому изменению или его отсутствию. Обычно для этого проводится проверка гипотез с помощью тестов. Если при этом используются долгосрочные показатели — такие, как фактический LTV, то возникают следующие проблемы:

• Проверка гипотез занимает больше времени и, как следствие, изменения долго внедряются;
• Если проводится сразу несколько тестов, не всегда понятно, какое именно изменение в итоге увеличило или уменьшило LTV;
• При длительном тестировании нужно всё время поддерживать и рассчитывать все тестируемые версии алгоритмов;
• Онлайн-магазины часто вносят не связанные с гипотезой изменения, которые с высокой вероятностью затрагивают поведение теста;
• Чем дольше проводится тест, тем чаще возникают ошибки в работе магазина, которые делают результат недостоверным;
• В e-commerce уникального пользователя обычно идентифицируют с помощью cookie-файлов, которые часто теряются при длительном тесте. Например, в этой статье описан эксперимент Facebook, где на одного пользователя  приходилось несколько разных cookie – они попадали в разные сегменты теста и усложняли выявление реального эффекта от изменения.

Из-за перечисленных проблем тестировать улучшения, ориентируясь на изменения фактического LTV, практически невозможно. В качестве решения предлагаем использовать прокси–метрики LTV, на обнаружение изменений в которых требуется гораздо меньше времени.

Что такое прокси-метрики и зачем они нужны

Прокси–метрика — косвенная мера целевой метрики, с которой она сильно коррелирует. По изменению в прокси-метрике мы как минимум должны понять направление изменения целевой метрики. Например, ВВП на душу населения может быть прокси-метрикой качества жизни в некотором регионе.

Часто наши клиенты (интернет-магазины) выбирают в качестве прокси-метрик LTV признаки, связанные с заказами: например, конверсию в покупателя, среднее количество заказов на пользователя, средний чек, среднюю выручку на пользователя в прошлом и т.д. Эти признаки коррелируют с будущим LTV, так как если пользователь совершил покупку в прошлом, то вероятность повторной покупки в будущем увеличивается.

Но остается открытым важный вопрос: нет ли прокси-метрик более полезных для оценки влияния на будущий LTV текущих изменений в магазине?

Как выбирают и используют прокси-метрики вне e-commerce

С помощью прокси-метрик формируется общий критерий оценки изменений — OEC (overall evaluation criterion, подробнее — в статье от Microsoft). Это количественный показатель цели эксперимента, который должен отражать бизнес-цели компании – например, быть связанным с LTV. Он нужен, чтобы автоматизировать и формализовать процесс принятия решения о внедрении тех или иных изменений. При формировании OEC метрики всех целей эксперимента сводят к единому показателю.

Современная проблематика онлайн-экспериментов хорошо освещена в обзорной статье от сотрудников Microsoft, Google, Facebook, LinkedIn, AirBnb, Netflix, Amazon, Yandex, Uber, Twitter. В ней рассмотрены проблемы, возникающие при оценке долгосрочного эффекта, и перечислены свойства хороших прокси-метрик для OEC:

• Прокси-метрики должны быть связаны с долгосрочным целевым показателем, например, с LTV. Как минимум, должно быть понятно, в какую сторону изменится показатель при изменении метрик;
• Хорошие прокси-метрики сложно улучшить, делая «неправильные» вещи. Например, в YouTube вместо конверсии в клики (CTR) используют метрику long CTR, где клик засчитывается, только если пользователь просмотрел существенную часть видео. Это связано с тем, что CTR можно увеличить, используя «кликбейт» в названии и вводя пользователя в заблуждение о содержании ролика, что в итоге снижает удовлетворенность сервисом;
• Прокси-метрики должны быть чувствительны к изменениям, которые влияют на долгосрочный целевой показатель. Например, пользователи отдельного типа устройств могут существенно влиять на долгосрочный целевой показатель, но увеличить эту долю довольно сложно;
• Вычисление прокси-метрик не требует много ресурсов. К примеру, в качестве таких метрик не подойдут опросы общественного мнения;
• Критерий, сформированный на основе прокси-метрик, может учитывать новые сценарии. Пример негибкого критерия — в магазине продавали телевизоры и взяли метрику, основанную на диагонали экрана. Затем в ассортименте появились пылесосы, к которым эта метрика не применима, поэтому ее нельзя использовать для учёта нового вида товара.

Найти подходящие прокси-метрики для OEC не всегда просто. В материале Microsoft приведен пример, как в поисковой системе Bing от Microsoft выбрали интуитивно понятные метрики для оптимизации: количество запросов к поиску и выручку. В какой-то момент возник баг, и поисковые выдачи стали работать явно хуже – пользователям показывали по 10 рекламных строк за выдачу в начале списка. Чтобы найти нужный результат, людям приходилось делать больше запросов, соответственно, рекламы тоже стало больше, а с ней увеличилась и выручка.

Данные изменения краткосрочно увеличили количество запросов на одного пользователя на 10%, а выручку — на 30%, но если бы их внедрили, это уменьшило бы лояльность пользователей и те в конечном счете ушли бы к конкурентам. Этот пример наглядно показывает, как краткосрочные показатели могут расходиться с долгосрочными целями компании.

Подобное несложно сделать и в интернет-магазине — увеличить все цены, что, возможно, приведет к увеличению среднего чека и выручки, но в долгосрочной перспективе пользователи предпочтут конкурентов.

Еще одним минусом использования признаков о заказах в качестве прокси-метрики является их слабая чувствительность, так как часто из всего потока пользователей заказы совершает малая его часть — обычно до 5%. Поэтому, чтобы зафиксировать значимые изменения по этим метрикам, нужно проводить длительные тесты.

Какие прокси-метрики выбрать

Для поиска кандидатов в прокси-метрики к LTV использовали алгоритмы машинного обучения. Далее, выбрали наиболее полезные и понятные бизнесу. В исследовании опирались на данные 27 магазинов с различными категориями товаров. Такое разнообразие позволило найти наиболее универсальные и полезные прокси-метрики, которые должны работать на многих магазинах.

Чтобы предсказать LTV для набора магазинов, использовали следующие метрики:

• Количество заказов;
• Факт подписки пользователя;
• Давность последнего посещения магазина;
• Количество просмотренных разных товаров;
• Длительность взаимодействия пользователя с магазином;
• Сколько раз посетитель пользовался внутренним поиском магазина;
• Количество добавленных в корзину товаров.

На графике — результат работы модели, которая работает на основе перечисленных выше прокси-метриках (пример одного из магазинов). Разделили пользователей на три сегмента в зависимости от их действий в прошлом:

• Покупали
• Добавляли товары в корзину, но не покупали
• Ничего не добавляли в корзину

Затем в каждом сегменте разбили пользователей на группы по вероятности покупки в соответствии с моделью. В каждой группе показано число и процент пользователей, которые совершили покупку в следующие полгода. Как видно, модель умеет выделять более склонных к покупке в будущем посетителей даже среди тех, кто ничего не покупал и не добавлял в корзину.

Авторы исследования

Айбатов Серик, Носков Артем — аналитики Retail Rocket Group