- Аналитика
Что такое прокси-метрики и зачем они нужны в e-commerce
Делимся исследованием Retail Rocket Group о метриках, на которые стоит ориентироваться для увеличения долгосрочной выручки интернет-магазина.
Во второй части рассмотрим, как метрики работают, смогут ли их использовать магазины с разными категориями товаров, как можно отобрать полезные прокси-метрики из множества вариантов, и насколько хорошо они предсказывают долгосрочную ценность пользователей.
В третьей части обсудим бизнес-интерпретацию полученных метрик и как можно использовать их для оптимизации долгосрочной ценности пользователей, а значит и долгосрочной выручки интернет-магазина.
Проблема оценки влияния изменений на Lifetime Value
Одна из ключевых метрик, которую оптимизирует большинство компаний — LTV (Lifetime Value) — показатель прибыли, которую получает бизнес за всё время работы с клиентом.
Знание LTV позволяет прогнозировать выручку, планировать затраты на рекламу, оценивать окупаемость инвестиций, вычислять самых лояльных посетителей, сегментировать аудиторию по ценности и т.д. Соответственно, это очень важный показатель, и когда планируется какое-либо значимое изменение, важно знать, как оно повлияет на LTV.
То, как изменение повлияло на показатель, оценивают по отношению к другому изменению или его отсутствию. Обычно для этого проводится проверка гипотез с помощью тестов. Если при этом используются долгосрочные показатели — такие, как фактический LTV, то возникают следующие проблемы:
- Проверка гипотез занимает больше времени и, как следствие, изменения долго внедряются;
- Если проводится сразу несколько тестов, не всегда понятно, какое именно изменение в итоге увеличило или уменьшило LTV;
- При длительном тестировании нужно всё время поддерживать и рассчитывать все тестируемые версии алгоритмов;
- Онлайн-магазины часто вносят не связанные с гипотезой изменения, которые с высокой вероятностью затрагивают поведение теста;
- Чем дольше проводится тест, тем чаще возникают ошибки в работе магазина, которые делают результат недостоверным;
- В e-commerce уникального пользователя обычно идентифицируют с помощью cookie-файлов, которые часто теряются при длительном тесте.
Из-за перечисленных проблем тестировать улучшения, ориентируясь на изменения фактического LTV, практически невозможно. В качестве решения предлагаем использовать прокси–метрики LTV, на обнаружение изменений в которых требуется гораздо меньше времени.
Что такое прокси-метрики и зачем они нужны
Прокси–метрика — косвенная мера целевой метрики, с которой она сильно коррелирует. По изменению в прокси-метрике мы как минимум должны понять направление изменения целевой метрики. Например, ВВП на душу населения может быть прокси-метрикой качества жизни в некотором регионе.
Часто наши клиенты (интернет-магазины) выбирают в качестве прокси-метрик LTV признаки, связанные с заказами: например, конверсию в покупателя, среднее количество заказов на пользователя, средний чек, среднюю выручку на пользователя в прошлом и т.д. Эти признаки коррелируют с будущим LTV, так как если пользователь совершил покупку в прошлом, то вероятность повторной покупки в будущем увеличивается.
Но остается открытым важный вопрос: нет ли прокси-метрик более полезных для оценки влияния на будущий LTV текущих изменений в магазине?
Как выбирают и используют прокси-метрики вне e-commerce
С помощью прокси-метрик формируется общий критерий оценки изменений — OEC (overall evaluation criterion). Это количественный показатель цели эксперимента, который должен отражать бизнес-цели компании – например, быть связанным с LTV. Он нужен, чтобы автоматизировать и формализовать процесс принятия решения о внедрении тех или иных изменений. При формировании OEC метрики всех целей эксперимента сводят к единому показателю.
Свойства хороших прокси-метрик для OEC:
- Прокси-метрики должны быть связаны с долгосрочным целевым показателем, например, с LTV. Как минимум, должно быть понятно, в какую сторону изменится показатель при изменении метрик;
- Хорошие прокси-метрики сложно улучшить, делая «неправильные» вещи. Например, в YouTube вместо конверсии в клики (CTR) используют метрику long CTR, где клик засчитывается, только если пользователь просмотрел существенную часть видео. Это связано с тем, что CTR можно увеличить, используя «кликбейт» в названии и вводя пользователя в заблуждение о содержании ролика, что в итоге снижает удовлетворенность сервисом;
- Прокси-метрики должны быть чувствительны к изменениям, которые влияют на долгосрочный целевой показатель. Например, пользователи отдельного типа устройств могут существенно влиять на долгосрочный целевой показатель, но увеличить эту долю довольно сложно;
- Вычисление прокси-метрик не требует много ресурсов. К примеру, в качестве таких метрик не подойдут опросы общественного мнения;
- Критерий, сформированный на основе прокси-метрик, может учитывать новые сценарии. Пример негибкого критерия — в магазине продавали телевизоры и взяли метрику, основанную на диагонали экрана. Затем в ассортименте появились пылесосы, к которым эта метрика не применима, поэтому ее нельзя использовать для учёта нового вида товара.
Найти подходящие прокси-метрики для OEC не всегда просто. В материале Microsoft приведен пример, как в поисковой системе Bing от Microsoft выбрали интуитивно понятные метрики для оптимизации: количество запросов к поиску и выручку. В какой-то момент возник баг, и поисковые выдачи стали работать явно хуже – пользователям показывали по 10 рекламных строк за выдачу в начале списка. Чтобы найти нужный результат, людям приходилось делать больше запросов, соответственно, рекламы тоже стало больше, а с ней увеличилась и выручка.
Данные изменения краткосрочно увеличили количество запросов на одного пользователя на 10%, а выручку — на 30%, но если бы их внедрили, это уменьшило бы лояльность пользователей и те в конечном счете ушли бы к конкурентам. Этот пример наглядно показывает, как краткосрочные показатели могут расходиться с долгосрочными целями компании.
Подобное несложно сделать и в интернет-магазине — увеличить все цены, что, возможно, приведет к увеличению среднего чека и выручки, но в долгосрочной перспективе пользователи предпочтут конкурентов.
Еще одним минусом использования признаков о заказах в качестве прокси-метрики является их слабая чувствительность, так как часто из всего потока пользователей заказы совершает малая его часть — обычно до 5%. Поэтому, чтобы зафиксировать значимые изменения по этим метрикам, нужно проводить длительные тесты.
Какие прокси-метрики выбрать
Для поиска кандидатов в прокси-метрики к LTV использовали алгоритмы машинного обучения. Далее, выбрали наиболее полезные и понятные бизнесу. В исследовании опирались на данные 27 магазинов с различными категориями товаров. Такое разнообразие позволило найти наиболее универсальные и полезные прокси-метрики, которые должны работать на многих магазинах.
Чтобы предсказать LTV для набора магазинов, использовали следующие метрики:
- Количество заказов;
- Факт подписки пользователя;
- Давность последнего посещения магазина;
- Количество просмотренных разных товаров;
- Длительность взаимодействия пользователя с магазином;
- Сколько раз посетитель пользовался внутренним поиском магазина;
- Количество добавленных в корзину товаров.
Разделили пользователей на три сегмента в зависимости от их действий в прошлом:
- Покупали
- Добавляли товары в корзину, но не покупали
- Ничего не добавляли в корзину
Затем в каждом сегменте разбили пользователей на группы по вероятности покупки в соответствии с моделью. В каждой группе показано число и процент пользователей, которые совершили покупку в следующие полгода. Как видно, модель умеет выделять более склонных к покупке в будущем посетителей даже среди тех, кто ничего не покупал и не добавлял в корзину.
