Открыть список
Как стать автором
Обновить
84,19
Рейтинг
Alconost
Локализуем на 70 языков, делаем видеоролики для IT

Кратко о продуктовых метриках

Блог компании AlconostУправление разработкойРазвитие стартапаАналитика мобильных приложенийУправление продуктом
Перевод
Автор оригинала: Alex Reeve

Продуктовые команды часто применяют такие термины, как «инструментарий» и «телеметрия», и не только потому, что это звучит солидно. Представьте, что вы летите на самолете ночью. Как пилот узнает, в каком направлении движется самолет, достаточно ли топлива, нет ли горы прямо по курсу? С помощью телеметрии.

А теперь представьте, что вы отвечаете за рост вовлеченности на Ютубе. У вас миллиарды пользователей, сложная экосистема. Как узнать, повышается ли вовлеченность пользователей? Почему кто-то использует ваш продукт больше, а кто-то — меньше? И что вообще такое эта «вовлеченность»?

Согласно представлению Эндрю Гроува, изложенному в книге «Высокоэффективный менеджмент», без инструментария, телеметрии и индикаторов (далее будем называть всё это метриками) наш продукт представляет собой «черный ящик», в котором есть вход (код, дизайн, оборудование, время) и выход (доход, пользователи продукта). Метрики помогают количественно оценить выход и прорезать «окна» в черном ящике, чтобы понять, почему мы получаем тот или иной выход. Метрики помогают:

  • «Измерять» выход (например, успешность продукта): количественно оценивать движение в направлении бизнес-цели.

  • Анализировать выход: получать ответ на вопрос, почему мы видим тот или иной выход.

  • Принимать решения: проводить эксперименты и решать, как должен развиваться продукт.

  • Реагировать и адаптироваться: метрики предупреждают о проблемах с работоспособностью продукта и о тенденциях, которые ставят под угрозу наши цели.

  • Концентрировать усилия: направлять работу команды в одном направлении.

Типы метрик для продуктовых команд

Использование метрик определяется отраслью, компанией и конкретной задачей. Я не буду пытаться охватить всё, а лишь сосредоточусь на основных понятиях, применимых к наборам продуктовых метрик в большинстве случаев.

Успех, эмпатия и работоспособность

  • Успех (измерение выхода). В правильном ли направлении движется продукт? В чем причины?

  • Эмпатия. Можем ли мы определить смысл метрик? Знаем ли мы, что пользователи думают о продукте?

  • Работоспособность. Контролируем ли мы состояние продукта? У какого процента пользователей он работает надежно?

Истинный север, указатели и контрольные метрики

Истинный север: должен остаться только один.
Истинный север: должен остаться только один.

Истинный север — единственная метрика, используемая для отслеживания успеха продукта (или выхода — в аналогии с черным ящиком). Она должна быть только одна, но ее можно дополнить указателями и контрольными метриками. Метрика «истинный север» обычно представляет собой «воронку поздних этапов», т. е. кульминацию, включающую в себя множество различных шагов, — поэтому повлиять на нее сложно. Вот пару примеров из наверняка известных вам сервисов:

  • Spotify — общее время прослушивания.

  • Facebook — количество активных пользователей в месяц (MAU).

  • Slack — количество активных пользователей в день (DAU).

Указатели — это метрики, которые не определяют успех продукта, однако (вспомним аналогию с черным ящиком) помогают понять, почему истинный север или иные важные части продукта, которые нужно отслеживать, движутся в определенном направлении. Например, если истинный север для Spotify — общее время прослушивания, то указателями могут быть (1) количество уникальных пользователей, (2) количество уникальных композиций, прослушанных одним пользователем, и (3) средняя продолжительность композиции.

Контрольные метрики используются при проведении A/B-экспериментов: они позволяют следить за тем, чтобы вносимые в одну часть продукта изменения не повлияли отрицательно на другую часть. Например, можно провести эксперимент по увеличению количества купленных подписок, предложив значительную скидку за первый месяц. Контрольной метрикой в этом случае может быть удержание пользователей на протяжении двух месяцев — этот показатель поможет выяснить, достаточно ли удовлетворены пользователи, чтобы продолжать пользоваться вашим продуктом. Если значение контрольной метрики оказывается удовлетворительным, можно продолжать инвестировать в привлечение пользователей.

Факты и смысл

  • Количественные метрики характеризуются высокими объемами и низкой связью с контекстом; они дают фактические данные и помогают понять поведение пользователей: это количество активных пользователей в день (DAU), отток, вовлеченность, объем продаж и т. д.

  • Качественные метрики — это низкие объемы и высокая связь с контекстом; они придают смысл количественным данным и ставят их в определенный контекст: это могут быть беседы с клиентами, записи экрана, результаты опроса фокус-групп.

При достаточно большом размере выборки качественные данные могут становиться количественными. Например, из большого количества записей пользовательских взаимодействий можно получить тепловую карту, а из масштабного опроса — тенденции по ключевым словам. При этом, однако, есть риск потерять смысл обратной связи.

Помните: какой бы набор метрик вы ни выбрали, у вас должна быть возможность получить факты и выяснить их смысл.

Практические советы по работе с метриками

Определение, внедрение и использование метрик — несовершенный процесс, который приходится регулярно повторять. Однако есть три принципа (может, и больше — мне просто нравится это число), которые я постоянно использую.

Слепо используемые в качестве целей метрики утрачивают смысл

Изменение метрики не должно быть целью. Цель — это достижение бизнес-результата или определенного «выхода» для продукта, а метрика — это способ количественно оценить, достигнута ли обозначенная цель. Представьте, что вы запускаете новый интерфейс входа в систему, чтобы привлечь больше пользователей. Вам нужно определить метрику истинного севера, которая покажет, лучше или хуже новый интерфейс. У вас два варианта:

  1. Коэффициент «показ — сеанс»: процент вошедших в систему пользователей относительно количества открывших экран входа.

  2. Коэффициент «попытка входа — сеанс»: процент вошедших в систему пользователей относительно количества воспользовавшихся интерфейсом экрана входа.

Как и на любую общедоступную веб-страницу, сюда могут заходить боты. Количество просмотров страницы ботами (показы) большое, при этом их трудно отделить от пользователей, но боты редко взаимодействуют с интерфейсом (попытки входа) и никогда не выполняют вход. Учитывая это, можно предположить, что более точной метрикой успеха будет показатель «попытка входа — сеанс», верно?

Давайте разберемся. Представьте, что ваши пользователи делятся на две категории — взрослые и пожилые:

  • взрослые технически грамотны, показатель «попытка входа — сеанс» для них составляет 71%,

  • пожилые ориентируются хуже, поэтому в их случае это будет 50%.

Вы запускаете эксперимент, который увеличивает количество попыток входа в систему пожилыми. Их доля увеличится, но только 50% таких попыток будут успешными, поэтому используемая в качестве истинного севера метрика «попытка входа — сеанс» снизится с 65% до 63%:

Метрика истинного севера снизилась, а значит, внедрять новый интерфейс не стоит, правильно? Неправильно. Ваша цель — не увеличение количества успешных попыток входа, а привлечение большего числа людей в продукт, и в эксперименте этот показатель поднялся на 12%:

Значит ли это, что метрика «показ — сеанс» лучше? Необязательно: на нее по-прежнему влияет трафик от ботов. Редко можно найти идеальную метрику, и структурный сдвиг, проиллюстрированный выше, — один из примеров сложностей, с которыми можно столкнуться. Здесь важно понимать, где метрики могут вводить в заблуждение, и устанавливать соответствующие контрольные показатели. Повторюсь: цель — не изменение метрики, а достижение бизнес-результата или определенного «выхода».

Метрики должны быть понятными

Метрики не только оценивают прогресс в достижении цели — они помогают сплотить команду и позволяют сотрудникам действовать с большей автономностью. Для этого метрика должна быть понятна большой группе самых разных людей — иначе это плохая метрика. Для высокотехнологичных команд (например, работающих над поиском) есть исключения, но, как правило, чем проще, тем лучше. Подумайте, сможете ли вы быстро объяснить суть метрики генеральному директору?

В основе самых важных решений почти никогда не бывает идеальных данных

Данные и метрики не существуют сами по себе — они встроены в более широкую экосистему принятия решений. В сфере разработки продуктов у метрик есть два «родственника»: «чутье» и «эмпатия». Обычно про них вспоминают реже, но от этого они не становятся менее важными. Иногда их называют «продуктовой интуицией» — это интуитивное ощущение относительно того, как должен выглядеть идеальный продукт.

  • Чутье сложно выразить количественно, но это — важный элемент в принятии решений: оно представляет собой кульминацию предыдущих решений и петель обратной связи. И, к счастью, чутье со временем обостряется.

  • Эмпатия представляет собой интуитивное понимание пользователя или клиента — их проблем, ценностей и мировосприятия.

  • Каждое наше решение — это результат взаимодействия метрик, чутья и эмпатии. Если хороших метрик нет, приходится полагаться на эмпатию — и наоборот.

Продуктовые команды часто хотят получить как можно более точные данные, и я понимаю это желание: они боятся принять неправильное решение. Но бездействие в ожидании данных тоже стоит денег, поэтому, принимая сложные решения в отношении продукта, всегда помните о двух факторах:

  1. Обратимость. Насколько обратимо это решение? Превышает ли цена принятия неправильного решения издержки от ожидания точных данных?

  2. Эмпатия. Можно ли заменить нужные данные эмпатией? Без одного из этих ориентиров обойтись можно — но без обоих обойтись нельзя.

Резюме. Десять важных вопросов

Инструкции по выбору метрик давать бесполезно, поскольку они в значительной степени определяются конкретными условиями, но я могу предложить несколько вопросов открытого типа, которые можно задавать при определении набора метрик для продукта:

  1. Какой цели вы пытаетесь достичь? Какие у вас миссия и видение?

  2. Как узнать, что цель достигнута?

  3. Как оценивать прогресс в достижении этой цели?

  4. Какие действия вам нужны от пользователей и как оценить, выполняются ли они?

  5. Как измерить совокупное поведение пользователей, определить контекст и выработать эмпатию?

  6. Метрики абсолютные или относительные? Цель — привлечь определенное количество пользователей или определенный процент?

  7. Как понять, что продукт надежно работает у 99,9% пользователей?

  8. Можете ли вы объяснить выбранный «истинный север» максимум двумя предложениями?

  9. Какие контрольные метрики вы отслеживаете в экспериментах?

  10. Как пользователи относятся к продукту?

Здесь есть над чем подумать. Тема продуктовых метрик — очень широкая, и в ней множество нюансов. Однако одно из самых эффективных действий, которые может предпринять продуктовая команда, — вложить ресурсы и время в определение и построение правильных метрик.

Если статья оказалась полезной — можете ознакомиться с остальными в блоге reeve.blog, которые появляются там регулярно (более-менее).


О переводчике

Перевод статьи выполнен в Alconost.

Alconost занимается локализацией игр, приложений и сайтов на 70 языков. Переводчики-носители языка, лингвистическое тестирование, облачная платформа с API, непрерывная локализация, менеджеры проектов 24/7, любые форматы строковых ресурсов.

Мы также делаем рекламные и обучающие видеоролики — для сайтов, продающие, имиджевые, рекламные, обучающие, тизеры, эксплейнеры, трейлеры для Google Play и App Store.

Теги:alconostпродуктовые метрикипродукт менеджментпродуктметрикиметрики продуктауспешность продуктаконтрольные показатели
Хабы: Блог компании Alconost Управление разработкой Развитие стартапа Аналитика мобильных приложений Управление продуктом
Всего голосов 3: ↑3 и ↓0 +3
Просмотры1.8K

Комментарии 1

Только полноправные пользователи могут оставлять комментарии. Войдите, пожалуйста.

Похожие публикации

Лучшие публикации за сутки

Информация

Дата основания
2004
Местоположение
США
Сайт
alconost.com
Численность
201–500 человек
Дата регистрации

Блог на Хабре