Привет! Я Лена Маёркина, работаю CPO в AGIMA. Мы тут занимаемся классными вещами: развиваем продукты для больших компаний и придумываем планы по захвату мира. Чтобы преуспеть в обоих направлениях, приходится много работать с метриками. Мы разбираем, какие метрики релевантны продукту, где его сильные стороны, а что надо исправить. А наш главный инструмент — фреймворк «Пирамида метрик». В этой статье объясню, за что мы его любим и почему вы тоже его полюбите. Если вы продакт или аналитик, то текст точно для вас.
Когда мы хотим сделать продукт успешным, первым делом нам нужно понять критерии успеха. В нашем случае такими критериями будут значения метрик. Правильное развитие — это правильные метрики: относимые, сравнимые, понятные, измеримые и изменяющиеся.
Мы следим за метриками, управляем их значением, и в итоге это влияет на бизнес-показатели. Иногда корреляция прямая, иногда не очень, но она есть всегда. Поэтому важно помнить именно о тех метриках, в которых состоит ценность для пользователя. Свет не сошелся клином на Retention и LTV.
Чтобы выяснить, какие метрики релевантны продукту, больше всего подойдет фреймворк «Пирамида метрик». Это крутой инструмент, часто он живет только в головах продакт-оунеров и для продуктовой команды недоступен. При этом универсальной пирамиды метрик не существует, всё и всегда зависит от бизнеса и продукта.
Пирамида метрик и иерархия метрик
Пирамиду метрик и иерархию метрик часто путают. Они действительно похожи: то и другое — иерархические модели. Но мы здесь сконцентрируемся на их различиях.
Пример иерархии метрик
Во фреймворке «Иерархия метрик» мы раскладываем ключевой показатель успеха на метрики, которые напрямую на него влияют. Их, в свою очередь, на ещё более точечные. И так далее. Иерархия помогает систематизировать метрики, определить зависимости и понять, с какой метрикой стоит активно поработать для достижения наиболее существенного результата.
В итоге мы:
- понимаем, как влияет на улучшение показателей продукта изменение процессов (в динамике, в том числе и долгосрочный эффект);
- знаем, какие показатели могут ухудшиться при улучшении выбранной метрики;
- видим порядок в бэклоге и упрощение приоритизации задач.
Очевидно, что иерархия метрик полезна. Но в этом фреймворке мы не всегда можем понять, какие метрики более значимы, какие являются промежуточными, на чем стоит сфокусироваться в очередном спринте и при этом глобально избежать гиперфокуса.
В этом поможет пирамида метрик. Мы выделяем четыре уровня, которые расположены от микропроцессов (платформенные метрики) к макроструктуре (бизнесовые метрики). Об этом расскажу ниже.
Метрика полярной звезды
Напомню, что такое North Star Metric (метрика полярной звезды, метрика всевластия). Считается, что NSM — это показатель, отслеживая и влияя на который, компания точно достигнет целей. Иногда эту метрику называют утопией, но часто она работает.
NSM подойдет для конкретной фичи или задачи в рамках определенной стратегии на ограниченный период времени. В этом случае можно найти действительно хорошую метрику. Например, часы просмотра в месяц у Netflix, DAU у Facebook и Twitter, количество досок для совместной работы у Miro и т. п. Иерархию метрик часто строят именно как декомпозицию NSM.
Но у этого подхода есть недостатки. Возьмем, например, расчетный счет для бизнеса. Рассмотрим две метрики: количество новых клиентов (фокус на маркетинг) и количество ежемесячно активных (фокус на продукт). Что интереснее? Зависит от целей. А если взять в качестве метрики всевластия Revenue, она будет универсальна для всех продуктов, но не сильно поможет в части декомпоза.
Пирамида метрик нужна, чтобы не допустить гиперфокуса и держать руку на пульсе продукта и бизнеса, а иерархия метрик нередко работает наоборот. Это как если пациента будет лечить врач, который уверен, что, если температура достигнет 36.6, остальные симптомы болезни пройдут сами.
Как мы строим пирамиду метрик
Мы не упарываемся в NSM и ее составляющие. Работа с такой пирамидой возможна только с вспомогательными и контрольными метриками, что так или иначе делает такой декомпоз лишней тратой времени. NSM мы рассматриваем как показатель ценности для клиентов, поэтому в качестве NSM у нас выступают метрики эффективности и добавочной ценности. Повышение добавочной ценности продукта — основная задача продуктовой команды, а продуктовые метрики не всегда могут помочь с оценкой эффективности решения задачи клиента/пользователя.
Измерение значений таких показателей не тривиальный вопрос. Так что здесь просто ограничимся верхнеуровневыми определениями:
- метрики эффективности решения задачи показывают, сколько усилий и ресурсов требуется для решения задачи пользователя или достижения определенного прогресса в рамках ее решения;
- метрики добавочной ценности показывают, насколько эффективнее один продукт решает задачу, чем другой.
Соответственно, построение пирамиды метрик у нас идет чуть иначе:
- на этапе аудита мы определяем данные, которые отслеживаются и которые нужно отслеживать;
- далее классифицируем показатели с целью избавления от гиперфокуса;
- потом добавляем базовую иерархию;
- выстраиваем связи между метриками.
В итоге получается пирамида метрик, которая помогает не допустить возникновения гиперфокуса. И состоит эта пирамида из четырех основных «кирпичей»: платформенных, интерфейсных, продуктовых и бизнесовых метрик.
Платформенные метрики
В основании пирамиды расположены метрики, связанные с доступностью и технической надежностью нашего продукта. Если продукт нельзя использовать «по техническим причинам», то и мерить будет нечего.
Интерфейсные
Далее идут интерфейсные метрики, которые показывают взаимодействие пользователя с продуктом. Сюда относится и эффективность рекламных кампаний, и конверсии форм, которые заполняет пользователь, и конверсии кнопок типа «оставить заявку».
Продуктовые
Характеризуют поведение пользователей и экономику продукта, отвечают на вопросы о самом продукте. Позволяют понять, как продукт превращает новых пользователей в другие сущности.
Вот несколько примеров:
- Retention показывает, как новые пользователи превращаются в активных;
- LTV показывает, как новые пользователи превращаются в прибыль за все время использования продукта;
- Конверсия в первую покупку показывает, как продукт превращает новых пользователей в платящих.
Бизнесовые (они же метрики роста)
Если метрики продукта описывают сам продукт, то метрики роста описывают бизнес, который построен вокруг этого продукта, показывают итоговый результат превращения новых пользователей с помощью продукта в другие сущности. То есть продуктовые — КАК брюки превращаются, а бизнесовые — во ЧТО они превращаются. (В элегантные шорты, да.)
Примеры метрик роста:
- DAU или дневная активная аудитория (New Users * Retention).
- Прибыль (New Users * LTV).
- Количество пользователей, отправляющих сообщения (New Users * Retention into Sending a Message).
- Количество новых подписчиков (New Users * Conversion into Subscriber).
- Revenue, Profit, маржа, объем реализованной продукции и т. п.
Когда мы оцениваем продуктовые изменения, нельзя ориентироваться на метрики роста, так как эти показатели зависят не только от характеристик продукта, но и от притока новых пользователей.
Что дальше?
Когда мы построили пирамиду метрик, проверили мэтч показателей с нашей бизнес-моделью и изучили значения метрик, начинается самое интересное. Это работа с метриками и контроль их изменений, предиктивная аналитика и влияние на достижение нужных показателей — то есть постоянное развитие продукта и, как следствие, бизнеса.
Пирамида метрик и OKR
Сочетание OKR (целей и ключевых результатов) и пирамиды метрик — мощный инструмент для продуктовой команды. Сейчас объясню, почему это полезно.
– Выравнивание целей. OKR помогает продуктовой команде выявить основные цели и ожидания, связанные с продуктом или функциональностью. Пирамида метрик позволяет перевести эти цели в измеримые метрики производительности, которые могут быть отслежены и проанализированы. Сочетание OKR и пирамиды метрик помогает команде понять, как их работа влияет на общие цели организации и обеспечивает выравнивание на всех уровнях.
– Измерение прогресса. Пирамида метрик предоставляет команде набор измерений производительности, которые отражают различные аспекты работы продукта или функциональности. Эти метрики позволяют команде отслеживать свой прогресс и оценивать, насколько успешно они достигают своих целей. OKR в свою очередь предоставляют ясные и конкретные результаты, которые команда стремится достичь. Сочетание OKR и пирамиды метрик помогает команде измерять и демонстрировать свой прогресс на пути к достижению целей.
– Фокус на ключевых метриках. Пирамида метрик помогает команде определить ключевые метрики производительности, которые наиболее важны для достижения целей продукта или функциональности. Фокусирование на этих ключевых метриках даст возможность ориентироваться на конечные результаты и принимать обоснованные решения, чтобы улучшить эти метрики. OKR помогают команде определить приоритеты и направление работы, а пирамида метрик помогает команде сосредоточиться на тех метриках, которые наиболее существенны для достижения успеха.
– Адаптация и улучшение. Сочетание OKR и пирамиды метрик позволяет команде оценить свои результаты и адаптировать свою работу в соответствии с обратной связью и измерениями производительности. Пирамида метрик помогает идентифицировать слабые места и найти возможности для роста.
– Постоянное обучение и улучшение. OKR и пирамида метрик стимулируют постоянное обучение и улучшение в продуктовой команде. Регулярный анализ метрик производительности позволяет команде идентифицировать области, требующие улучшений, и принимать соответствующие меры для оптимизации продукта. Команда может использовать полученные данные и результаты для принятия более информированных решений, проведения экспериментов и внесения изменений в продукт с целью достижения лучших показателей.
- Давайте на примере. У нас есть бизнес-цель — увеличить продажи на сайте на 30% в следующем квартале. Для ее достижения мы ставим OKR — увеличить конверсию на сайте с 2% до 4%, а также поднять долю поискового трафика на 15%. Чтобы измерить прогресс в достижении этих результатов мы можем использовать пирамиду метрик. На верхнем уровне пирамиды будут общие бизнес-метрики, такие как общее количество продаж и общий доход. Ниже могут быть метрики, связанные с каналами маркетинга, такие как количество кликов на рекламное объявление и количество новых посетителей на сайт. Далее будут более детализированные метрики, связанные с конкретными действиями пользователей на сайте, такие как количество добавлений в корзину, количество завершенных заказов, количество брошенных корзин и т. д. Чтобы измерить прогресс в достижении ключевого результата — увеличить конверсионный показатель на сайте с 2% до 4%, помимо отслеживания самой конверсии мы анализируем значения и влияем на ряд связанных метрик, отражающих поведение пользователей. Так, снижая значение показателя отказа, работая с количеством брошенных корзин и т. д., мы идем к нашей ключевой цели, параллельно фиксируя результат.
Предиктивная аналитика
Здесь мы чуть подробнее остановимся на теме предсказательной (предиктивной) аналитики. Если мы сможем предсказывать ожидаемые показатели прибыли, оттока и другие, то развивать продукт можно будет гораздо эффективнее. Для того, чтобы заняться гаданием на метриках, нужно понимать, что это вообще такое.
Предиктивная аналитика — процесс использования данных и статистических моделей для предсказания будущих результатов и поведения пользователей в контексте продукта. Ключевые аспекты предиктивной аналитики метрик:
- Сбор данных.
Предсказательная аналитика требует доступа к историческим данным о продукте, то есть по всем составляющим блоков нашей пирамиды в ретроспективе. - Идентификация целевых метрик.
Определение ключевых показателей, которые для нас сейчас являются основными для оценки эффективности и успеха продукта. - Моделирование данных.
После сбора и агрегации данных они прогоняются через алгоритмы ML для анализа и прогнозирования. Примеры моделей включают линейную регрессию, временные ряды, деревья решений и другие методы. - Прогнозирование и оптимизация.
Прогнозы могут быть представлены в разнообразных формах: числовых значениях, графиках, прогнозных диапазонах и т. д. Всё ависит от того, о чем вы договоритесь с вашим Data-аналитиком. Оптимизация основывается на цикле экспериментов и постоянного анализа результатов для проверки эффективности предполагаемых изменений. - Оценка точности моделей.
Сравнение фактических значений метрик с прогнозируемыми позволяет оценить точность предиктивных моделей. Сюда входит вычисление значений метрик оценки точности, таких как MAE (средняя абсолютная ошибка), MSE (среднеквадратичная ошибка), коэффициент детерминации и других. Оценка точности моделей помогает определить их надежность и применимость в реальных сценариях. По мере накопления данных по конкретным показателям модели делают всё более корректные прогнозы. - Принятие решений.
На основании прогнозов можно определить приоритеты развития продукта, инвестиции в маркетинг, оптимизацию пользовательского опыта и другие стратегические активности.
Выглядит это всё непросто. Поэтому удобнее использовать калькулятор предсказания изменений.
Калькулятор предсказания изменений
Калькулятор предсказания изменений — это инструмент, который в основном используется в Digital-маркетинге для оценки планируемых изменений в эффективности рекламной кампании. Простой пример — «Прогноз бюджета» в Яндекс.Директ. Но использовать его можно не только в маркетинге, прогнозировать изменения по метрикам тоже возможно.
Принцип работы калькулятора предсказания изменений эффектов по метрикам может варьироваться в зависимости от конкретного кейса, но он всегда основывается на статистических методах, моделях и алгоритмах ML. Работа с таким калькулятором (независимо от источника его получения) будет базироваться на этих шагах:
- ввод данных;
- анализ данных;
- прогнозирование изменений;
- визуализация результатов;
- интерактивность (опционально).
Калькулятор работает на основе данных, предоставляемых пользователем, и может предсказать, как изменятся ключевые метрики при различных изменениях конкретных параметров.
Однако не стоит забывать, что он не может учитывать все факторы влияния, поэтому, результаты, полученные с помощью калькулятора, могут быть лишь примерными. Всегда следует учитывать реальные условия и наблюдать за метриками в режиме реального времени для более точной оценки прогнозируемых изменений.
Мы живем в бесконечном HADI-цикле для постоянного масштабирования и используем разнообразные инструменты на каждом шаге. Но это уже совсем другая история. Коллеги иногда делятся ее частями, например,про дашборды и их помощь (или нет) в принятии бизнес-решений, тут можно прочитать про качественные исследования, а здесь про количественные — рабочие методологии для этапов формирования и валидации гипотез.
Про отдельные этапы и методы я рассказываюв телеграм-канале «Эффект продакта // Канал Лены Маёркиной». Подписывайтесь и задавайте мне там вопросы. Буду писать еще.
Комментарии и обсуждения статьи на habr.