Что такое иерархия метрик и для чего она нужна?
Иерархия метрик — это структура, которая помогает ориентироваться в большом количестве разнообразных показателей и принимать обоснованные решения для дальнейшего развития продукта. Она показывает не только сами метрики (показатели), но и то, как они связаны между собой, как влияют друг на друга и, в конечном итоге, на успех продукта в целом.
Используя иерархию метрик, можно:
1. Достичь более четкой приоритизации
Иерархия метрик может помочь эффективнее приоритизировать бэклог (список) задач по продукту - вы выбираете какую метрику хотите вырастить и определяете связанные с ней задачи, которые помогут улучшить эту метрику. Это позволяет более точечно выбирать задачи в релиз[1] и команде понятнее для чего делается тот или иной функционал.
2. Обеспечить четкую визуализацию
Это хороший инструмент для визуализации продуктовых метрик, не всегда в большом объеме информации можно увидеть метрики, которые являются важными и влияют на успешность продукта
3. Показать связанность и достичь прозрачности
Иерархия метрик помогает установить связанность их между собой. Часто в крупных организациях у каждого отдела свои KPI, но не всегда понятно влияния на продукт, чьи действия повлияли на результаты продукта.
В итоге иерархия метрик — это не просто модный термин, а мощный инструмент, который делает работу над продуктом более эффективной, прозрачной и результативной.
Как построить иерархию метрик?
Построение иерархии метрик — это процесс, который потребует небольшого анализа продукта и его целей. Вот некоторые шаги, которые помогут вам в этом:
- Определите основную цель вашего продукта - вершину иерархии
- Разбейте цель на составляющие - какие факторы влияют на достижение главной цели?
- Декомпозируйте каждый фактор - продолжайте разбивать факторы на более мелкие составляющие, пока не дойдете до метрик, которые можно измерить напрямую.
- Выстройте иерархию - расположите метрики по уровням, начиная с главной цели наверху. Свяжите метрики линиями, чтобы показать их взаимосвязь.
- Проверьте логику - убедитесь, что каждый уровень метрик логично вытекает из предыдущего. Если какая-то метрика не связана с главной целью, возможно, ее стоит убрать или переместить.
Как правильно декомпозировать метрики?
Группы, на которые возможно поделить метрики в иерархии зависят от продукта и целевой метрики, которую развивает финансовая организация. В целом, можно выделить три основные группы:
- Бизнес метрики – это обобщенные цели бизнеса, они обычно находятся на вершине, так как являются самыми приоритетными для компании. В банке или финансовой организации, такими метриками будут прибыль, размер кредитного портфеля, объем депозитной базы и т. д.
Однако на основании данных метрик не всегда есть возможность оценить реальную картину взаимодействия с продуктом, так как многие из них являются “запаздывающими” – есть возможность отследить невыполнения ожидаемых показателей постфактум, когда уже снизилась прибыль или упал кредитный портфель. Поэтому отдельно выделяют категорию метрик, которые позволяют отслеживать ситуацию каждый день и корректировать действия оперативно - необходимо найти “опережающие” метрики для продукта и добавить их в иерархию.
- Продуктовые метрики – это метрики, которые показывают, как взаимодействует ваш пользователь с вашим продуктом.
К таким можно отнести, к примеру, следующие метрики: DAU (daily active users), MAU (monthly active users), NPS (Net promoter score), количество успешных кредитных заявок, LTV, CAC и т. д.
Отслеживание продуктовых метрик помогает контролировать бизнес метрики, вносить в продукт изменения и продолжать развивать его. Существует большое количество продуктовых метрик, и они также делятся на группы. С целью организации всех продуктовых метрик, разработано множество фреймворков для определения продуктовых метрик и каждый из них можно использовать для более эффективной визуализации - AARRR, North Star, OMTM, HEART (представлены ниже в Диаграмме 1).
- Промежуточные метрики (их еще называют метриками качества продукта) - сами по себе они не показывают конечные показатели, но очень помогают в использовании продуктовых метрик.
Например, расчет конверсии заявки в одобренный кредит, «Time to Yes» - время, за которое клиент получает одобрение по кредиту. Или скорость заполнения кредитной заявки. В эту группу также входят технические метрики, связанные с количеством ошибок, например, количество неуспешных транзакций и т. д.
Промежуточные метрики позволяют рассмотреть детали взаимодействия пользователя с продуктом.
Диаграмма 1: Существующие фреймворки для визуализации продуктовых метрик
Пример построения иерархии метрик
Возьмем мобильное приложение банка и попробуем построить простой пример иерархии метрик.
Уровень 1
Сверху будет включена метрика, которую финансовая организация хочет увеличить - чаще всего это прибыль.
Уровень 2
Спустимся на уровень ниже. Для этого, ответим на вопрос: что влияет на прибыль мобильного приложения? Обычно это следующие показатели:
- Новые пользователи приложения - чем больше у пользователей приложения, тем больше вероятность, что они совершат транзакции, которые принесут доход
- Вернувшиеся пользователи - лояльные активные клиенты, которые регулярно пользуются приложением.
Уровень 3
3) Идем дальше и на каждом уровне определяем метрики, которые оказывают непосредственное влияние на уровень выше:
От чего зависит количество новых пользователей?
- От количества скачиваний приложения: чем больше скачиваний, тем больше вероятность новых пользователей.
- Однако здесь нужно учесть промежуточную метрику, как «конверсия в регистрацию». Ведь важно, чтобы пользователи не только скачали приложение, но и стали полноценным пользователем и успешно прошли процесс регистрации в приложении.
От чего зависит количество вернувшихся пользователей?
- От количества активных пользователей. Оцениваем: сколько человек регулярно пользуются приложением? Здесь можно добавить такие метрики, как DAU (daily active users), MAU (monthly active users) и отслеживать уникальных пользователей, которые зашли и сделали целевые действия в вашем приложение в течение дня или месяца.
- От количества реактивированных пользователей. Задаем вопрос: удалось ли вернуть тех, кто перестал пользоваться приложением?
Уровень 4
4) Транзакции. Следующая группа метрик, которая влияет на прибыль — это сколько транзакций и на какую сумму совершают наши пользователи
- Количество кликов по услугам: интересуются ли пользователи банковскими продуктами?
- Конверсия в транзакцию: сколько кликов превращаются в реальные действия, приносящие прибыль?
- Доля успешных транзакций vs не успешных транзакций?
Далее определяя каждый следующий уровень иерархии метрик, вы раскладываете сложный механизм работы мобильного приложения на понятные составляющие. И можете увидеть, какие факторы влияют на успех продукта, и можем целенаправленно работать над их улучшением.
Построение иерархии метрик для кредитного продукта
Составим пример иерархии метрик для кредитного продукта, следуя описанному выше алгоритму.
Уровень 1
Главная цель кредитного продукта - доходность, значит эта метрика будет на вершине иерархии.
Уровень 2
На следующем уровне определяем важные составляющие, которые влияют на доходность кредитного портфеля:
- Количество кредитных заявок - чем больше заявок, тем больше потенциальных кредитов может выдать банк
- Lifetime value - прибыль от одного клиента за все время работы с ним
Диаграмма 2. Итог построения иерархии метрик (уровень 2)
Уровень 3
Спускаемся ниже на следующий уровень иерархии.
Отвечаем на вопрос: от чего зависит количество кредитных заявок?
- От количества новых клиентов: чем больше у новых клиентов, тем больше вероятность, что они оставят кредитные заявки.
- От количества повторных клиентов: Сколько повторных клиентов, которые ранее уже получали кредит в нашем банке, мы смогли удержать и повторно выдать им новые кредиты?
От чего зависит Lifetime value?
- От средней суммы кредита - увеличение средней суммы выдаваемых кредитов напрямую увеличивает объем портфеля, в случае с данной метрикой обязательно учитываем риски и платежеспособность заемщиков.
- От процентной ставки по кредиту.
- От срока кредита - как долго клиент будет платить проценты по кредиту.
- Уровень дефолта - если количество невозвращенных кредитов очень большое, то это существенно может уменьшить LTV.
- Customer acquisition cost (CAC) - стоимость привлечения клиента.
Диаграмма 3. Промежуточный итог построения иерархии метрик (уровень 3).
Уровень 4
Далее следующий уровень:
От чего зависит количество новых клиентов?
- От количества встреч с кредитным экспертом, количества звонков от колл-центра, количества посещений сайта, от количества скачиваний мобильного приложения - в зависимости от канала привлечения.
- От конверсии в успешную кредитную заявку - какой процент от всех заявок новых клиентов был успешно получен банком.
- От времени заполнения и сложности по заполнению кредитной заявки (количество полей, длительность сессии).
- От процента одобренных кредитов для новых клиентов - показывает, насколько эффективно работает система скоринга и оценки рисков.
- Time to Yes (Время получения ответа по кредиту) - чем быстрее клиент получает решение, тем выше его лояльность и вероятность одобрения.
- Time to Money (Время получения денежных средств) - важный фактор в современном мире, и клиенты ценят оперативность.
От чего зависит количество повторных клиентов?
- От процента удержания клиентов (Retention - коэффициент удержания, Churn - коэффициент оттока)
- От клиентского опыта - чем отличается повторное получение от первичного
- Net promoter score - коэффициент
- Customer satisfaction index
От чего зависит средняя сумма и срок кредита?
- От типа продукта: потребительские кредиты зачастую это мелкие суммы, ипотека или автокредиты суммы побольше.
- На этом уровне можно начать измерять метрики эффективности команды по разработке продуктов: Lead time (Время от взятия обязательств командой до релиза и использования клиентом нового функционала); Time to release (время от готовности задачи до момента ее попадания на продуктивную среду)
Диаграмма 4. Итог построения иерархии метрик (уровень 4).
Иерархию можно декомпозировать очень долго, но мы остановимся на этом шаге и начнем ее анализировать:
- Добавить данные по каждой метрики, это позволит проверить правильно ли определены связи между метриками и все ли метрики вы учли.
- Проанализировать иерархию и выявить узкие места.
- Составить и приоритизировать гипотезы, влияющие на рост слабых метрик.
- Обновить бэклог вашего продукта с учетом вышеизложенного.
Тщательно отслеживая все эти метрики, возможно получить четкое представление о том, насколько эффективно работает кредитный продукт на каждом этапе, выявить слабые места и оперативно их улучшить. Ведь конечная цель — не просто привлечь клиентов, а выстроить с ними долгосрочные и взаимовыгодные отношения!