Войти

Прокси-метрики в e-commerce. Часть 3

https://gallery.retailrocket.net/5c22030f97a5253d1c97a677/proxy_p3_logo.png

В цикле статей, который состоит из трёх частей, поделимся исследованием Retail Rocket Group о метриках, на которые стоит ориентироваться для увеличения долгосрочной выручки интернет-магазина.

В первой части обсудили проблемы, возникающие при оценке LTV пользователей онлайн-магазина, и как можно решить их с помощью прокси-метрик. Также мы рассказали, как ищут подобные метрики компании из разных областей и поделились собственным списком найденных метрик, применимых в e-commerce.

Во второй части мы описали техническую сторону отбора прокси-метрик: объяснили, как можно найти и выбрать наиболее полезные из множества вариантов, насколько хорошо они предсказывают LTV покупателей, смогут ли магазины с разными категориями товаров их использовать и т.д.

Третья, финальная часть, получилась более прикладной. В ней мы обсудим, как отбирать метрики с точки зрения смысла для бизнеса и на их основе принимать решения, повышающие LTV пользователей, а вместе с ним и долгосрочную выручку онлайн-магазина.

Интерпретация полученных прокси-метрик с точки зрения бизнеса

Напомним, что во второй части мы отобрали следующие прокси-метрики:

  • Количество заказов;
  • Посетитель оставил email;
  • Тип браузера;
  • Тип устройства;
  • Давность последнего посещения сайта;
  • Количество разных просмотренных товаров;
  • Длительность взаимодействия пользователя с сайтом в днях (разница в днях между первым и последним посещением);
  • Количество запросов в поисковой системе сайта;
  • Количество добавленных в корзину товаров.

Думаем, не нужно особо объяснять наличие в нашем списке связанных с заказами признаков – их влияние на LTV понятно: согласно RFM-анализу, чем больше заказов совершил пользователь, тем он лояльнее к компании и тем вероятнее продолжит покупать у вас в будущем.

Теперь постараемся объяснить, как остальные признаки способны предсказывать LTV:

  • Посетитель оставил email. То, что клиент передал свои контактные данные – явный признак лояльности к магазину. В некоторых магазинах нельзя сделать заказ, не оставляя email, и можно предположить, что оставленный email – это просто следствие заказа. Но мы проверили и выяснили, что сам по себе оставленный email без совершения заказа может положительно повлиять на будущий LTV. Вероятно, это связано с тем, что зная email пользователя, магазин может коммуницировать с ним, стимулируя к дальнейшим покупкам. Однако в этом случае многое зависит от эффективности рассылок.
  • Тип браузера. Эта метрика может влиять на LTV, причем для каждого магазина все будет индивидуально: в одном с наибольшей вероятностью в будущем совершат покупку пользователи Safari, в другом – пользователи Firefox. Это может зависеть от категории товаров в магазине. Например, если у магазина большой ассортимент техники Apple, скорее всего, пользователи Safari будут к нему более лояльны. Другая причина заключается в том, что сайт по-разному выглядит и функционирует в зависимости от браузера.
  • Тип устройства. По сути, здесь только две опции: компьютер и смартфон. На примере многих магазинов мы видим, что покупатели, использующие компьютер, в будущем более склонны к покупке. Возможно, это связано с тем, что с него удобнее заказывать и в целом пользоваться сайтом, чем с мобильного устройства.
  • Давность последнего посещения сайта. Метрика напрямую связана с лояльностью пользователя. Например, если человек не заходил на сайт более двух месяцев, возможно, он уже забыл о нем или не нашёл интересный ему товар, поэтому вряд ли вернется в будущем.
  • Количество просмотренных разных товаров. Чем больше пользователь посмотрел разных товаров, тем больше эффективный размер каталога и тем лучше человек знаком с магазином и выше вероятность, что он вспомнит про него, когда захочет что-то купить.
  • Длительность взаимодействия пользователя с сайтом в днях. Если человек продолжительное время посещает сайт в разные дни, это говорит о том, что интернет-магазин интересен пользователю и он знает, что может найти там нужные товары.
  • Количество запросов в поисковую систему сайта. Регулярное взаимодействие пользователя с поисковой системой интернет-магазина говорит о том, что она работает и хорошо помогает пользователю решать его задачи.
  • Количество добавленных в корзину товаров. Этот признак может коррелировать с связанными с заказами признаками, так как часть корзин трансформируется в заказы. Но его покрытие может быть в разы больше, если в магазине много «брошенных корзин», то есть незавершенных заказов. Далее мы покажем, почему добавление товара в корзину даже без последующего заказа – это положительное событие для магазина.

Подведем промежуточный итог: все эти признаки в той или иной степени говорят об активности пользователя на сайте и его лояльности к интернет-магазину. На их основе можно построить модель, которую будет легко интерпретировать и использовать в дальнейшем.

Модель предсказания LTV по прокси-метрикам и формирование общего критерия оценки (OEC)

Мы построили модель логистической регрессии. При этом, чтобы по коэффициентам модели можно было количественно оценивать силу каждого признака в предсказании LTV, мы их все нормализовали и таким образом привели к единому масштабу.

Чтобы узнать вероятность совершения покупки в будущем, нужно взять линейную комбинацию признаков и применить к ней сигмоидальную функцию. Данную линейную комбинацию можно использовать для составления OEC (этот термин ввели в первой части исследования. По сути это то, что нужно оптимизировать магазину для достижения долгосрочных целей).

Например, если магазин считает, что способен повлиять на все признаки, кроме типа устройства и браузера, то его OEC может быть представлен следующим образом:

Прокси-метрики в e-commerce. Часть 3

В качестве примера используем сильно отличающиеся друг от друга «Магазин 1» и «Магазин 2», которые ввели в предыдущей части статьи

Из формул можно увидеть, что признаки работают в одном направлении (знаки перед переменными одинаковые) для обоих магазинов. Это также оказалось справедливо и для остальных 25 магазинов из нашего исследования. Поэтому можно сказать, что по изменению прокси-метрик в некотором направлении можно сделать оценку изменения LTV для самых разных типов магазинов.

А вот значения коэффициентов по величине могут существенно отличаться. Например, для двух приведенных выше магазинов коэффициент при «Количестве разных просмотренных товаров» отличается более, чем в два раза. Это говорит о том, что данная прокси-метрика имеет разный вес в предсказании LTV в этих магазинах.

Использовать модель OEC можно напрямую. Например, провести эксперимент, измерить разницу в показателях у двух сегментов, подставить эти разницы в линейную комбинацию и посмотреть, в какую сторону меняется OEC.

Можно упростить – посмотреть на изменения отдельных прокси-метрик, отобрать сильные изменения, проконтролировать неизменность оставшихся прокси-метрик и ждать соответствующее изменение в LTV. Например, часто в тестах среднее «количество заказов» на пользователя сильно не меняется, так как доля покупателей обычно мала, но в то же время среднее «количество добавленных в корзину товаров» или среднее «количество разных просмотренных товаров» на пользователя определены для большой части пользователей и они изменятся сильнее.

Качество работы модели

Мы построили линейные модели для всех 27 магазинов. Они довольно точно предсказывают факт покупки в течение следующих 6 месяцев. Их качество для разных магазинов варьируется от 0.8 AUC до 0.93 AUC.

По графику ниже можно оценить точность работы модели на «Магазине 1» и «Магазине 2».

Прокси-метрики в e-commerce. Часть 3

На графике также видно, что модель хорошо разделяет пользователей по вероятности совершения покупки в будущем. С её помощью можно выделить сегменты с очень высокой вероятностью покупки (>80%) и практически нулевой (<1%).

Проверка стабильности работы модели по времени

Во второй части статьи проверяли стабильность работы прокси-метрик по времени. Аналогично убедимся, что и сама модель, созданная на основе этих признаков, работает стабильно.

Прокси-метрики в e-commerce. Часть 3

Из графиков видно, что модели работают стабильно по времени.

Работа модели по разным сегментам пользователей

Модель включает признаки, которые имеют полезные для предсказания LTV значения почти для всех пользователей, а не только тех, кто совершал заказ. Посмотрим, как она способна разделять посетителей по будущему LTV в трёх сегментах:

  1. Посетитель не добавлял товары в корзину и не совершал заказов;
  2. У посетителя были добавления товаров в корзину, но не было заказов;
  3. У посетителя были заказы.

На графике ниже мы разбили каждый сегмент пользователей на группы по вероятности покупки в соответствии с моделью. В каждой группе показано число и процент пользователей, которые совершили покупку в следующие полгода.

Прокси-метрики в e-commerce. Часть 3
Прокси-метрики в e-commerce. Часть 3

Как мы видим, модель способна выделять более склонных к покупке (даже если она произойдет спустя длительный период времени) пользователей среди тех, кто ничего не покупал и не добавлял в корзину. То есть любая активность пользователя на сайте говорит о его потенциальной ценности для магазина. Отсюда напрашивается вывод, что повышая активность пользователя на сайте, магазин может рассчитывать на увеличение своей итоговой долгосрочной выручки.

Выводы

Проведя исследование, мы нашли прокси-метрики, с помощью которых можно предсказывать будущую ценность пользователя интернет-магазина. Они будут также полезны для оценки ценности изменений в интернет-магазине.

Прокси-метрики характеризуют разнообразную активность пользователя на сайте. Например, «количество разных просмотренных товаров» говорит о вовлеченности пользователя, «длительность взаимодействия пользователя с сайтом в днях» и «давность последнего посещения сайта» – о возвращаемости на сайт, «посетитель оставил email» и «количество запросов в поисковой системе сайта» – об использовании функционала сайта, «количество добавленных в корзину товаров» и «количество заказов» – о решении своих текущих задач (поиск нужного товара).

Найденные нами прокси-метрики соответствуют рекомендации из обзорной статьи фокусироваться на HEART: Happiness — удовлетворенность, Engagement — вовлеченность, Adoption — использование функционала сайта, Retention — возвращаемость и Task success — решение задач.

Мы также показали, что, помимо метрик, связанных с заказами: «средний чек», «конверсия в покупателя», «выручка на посетителя» – которые мониторит и оптимизирует большинство онлайн-магазинов, есть и более полезные метрики. Большим плюсом предложенных нами метрик мы видим то, что они гораздо чувствительнее к изменениям, чем обычно используемые признаки о заказах, так как имеют полезные для предсказания LTV значения для большинства пользователей магазина.

Используя прокси-метрики, можно сформировать OEC. В статье мы предлагаем сделать это с помощью логистической регрессии, учитывая при построении формулы OEC экспертизу в конкретном бизнесе.

Для нахождения хороших прокси-метрик онлайн-магазин может провести такое же исследование или воспользоваться найденными нами прокси-метриками. Их актуальность была проверена на 27 магазинах разных типов, поэтому с высокой вероятностью они будут полезны и для многих других интернет-магазинов.

Авторы исследования

Айбатов Серик, Носков Артем — аналитики Retail Rocket Group

Предыдущая запись

Новая статистика по товарным рекомендациям и обновление алгоритма Next best offer

Следующая запись

Прокси-метрики в e-commerce. Часть 2

Понравилась статья? Подпишитесь на рассылку, чтобы получать свежие статьи на почту.

Подписаться на рассылку

Еще статьи по теме