Pull to refresh

Comments 12

UFO just landed and posted this here
Ниже написали, зачем нужны AA-тесты, это полезная штука, чтобы понять, вообще можно ли проводить AB-тест, насколько большой разброс и неоднородность, но ни как не помогает понять, какому пользователю что показывать и по какой ветке customer journey его вести.

Странно, что в рассуждениях о "аудитория неоднородна, поэтому а/б не работает" не нашлось места упоменнанию о сегментации и а/а тестах, как подготовке к а/б что и решает/уменьшает масштаб обозначенной проблемы.

Автор статьи специально пропустил все технические аспекты проведения AB-тестов, в том числе AA-тесты, чтобы сконцентрироваться на рассмотрении идеи суперкастомных пользовательских сценариев, а в таких условиях AA-тесты никак не помогут.
Что, если мы будем поддерживать оптимизированную мобильную версию для пользователей, которые заходят на сайт через телефон?


А что если ресурсы есть только на то, чтобы поддерживать какую то одну версию? Вообще странная статья. Лично я так и не понял о чем она и зачем написана.
Статья о светлом будущем, когда разработка ПО будет позволять полностью индивидуализировать customer journey для каждого конкретного пользователя.
> Понятие A/B-тестирования основано на в корне неверном предположении, что существует
> единственное решение, которое в среднем лучше для всех клиентов.

Оно основано на предположении, что множество решений мы скорее всего не сможем потянуть по ресурсам. И да одно решение может быть не лучше, но оно и не должно быть. Оно должно быть недостаточно хуже, чтобы клиенты не перестали пользоваться.
Согласен. Но по мысли автора, в будущем ресурсов будет хватать для поддержки множества решений для каждого пользователя или сегмента пользователей.
> Но по мысли автора, в будущем ресурсов будет хватать для поддержки множества
> решений для каждого пользователя или сегмента пользователей.

А дальше идет математика на уровне арифметики. Поддержка двух решений стоит в два раза дороже, а если первое решение как-то удовлетворяет 80% пользователей, то второе будет давать 16%, третье 3.2% и чем больше тем меньше отдача.

Разумеется я упрощаю, но и в статье упрощения.
Когда технология позволяет, мы добираемся до длинного хвоста распределения пользователей и придумываем, как на нем заработать.
Штука в том, что одно решение удовлетворяет далеко не 80% пользователей и далеко не в лучшей степени.
Конечно Netflix мог тоже продолжать всем пользователям рекомендовать одно и то же, те же блокбастеры, которые удовлетворяют 80% пользователей, но вместо этого они сделали персонализированные рекомендации и научились на этом зарабатывать гораздо больше.
> Штука в том, что одно решение удовлетворяет далеко не 80% пользователей и
> далеко не в лучшей степени.

Это чаще всего показатель того, что кто-то плохо проанализировал потребности и поведение своих пользователей (грубо говоря решение строили на основании каких-то смутных догадок, а не анализа).

> Конечно Netflix мог тоже продолжать всем пользователям рекомендовать одно и то
> же, те же блокбастеры, которые удовлетворяют 80% пользователей

И netflix, и mcdonalds, и boeing, и ford, и apple, и много кто еще. Диверсификация — это способ работы с рисками и чаще всего является признаком того, что принимающий решение не уверен в нем. Недостаточно информации. И кстати A/B тестирование — способ исправить ситуацию малой кровью.

> но вместо этого они сделали персонализированные рекомендации и научились на
> этом зарабатывать гораздо больше.

Да сделали. Они сначала сделали решение, покрывающее потребности 80%, а затем, когда 16% стали достаточно серьезной суммой, чтобы перекрыть рассходы на поддержку — сделали второй шаг. Еще более глубокая кастомизация тоже может случиться, если a) netflix станет еще больше, причем значительно (что вряд ли) b) рынок станет еще более конкурентным и им придется внедрять такую поддержку себе в ущерб (дилемма заключенного). c) прогресс приведет к тому, что поддержка более глубокого ветвления станет дешевле (разработка и поддержка еще существенно подешевеют) — но это тоже вряд ли.
Ну вот вся статья как раз про твой пункт c) — потенциальное будущее, в котором будут для этого дешёвые готовые решения
Sign up to leave a comment.