Comments 12
Ниже написали, зачем нужны AA-тесты, это полезная штука, чтобы понять, вообще можно ли проводить AB-тест, насколько большой разброс и неоднородность, но ни как не помогает понять, какому пользователю что показывать и по какой ветке customer journey его вести.

Странно, что в рассуждениях о "аудитория неоднородна, поэтому а/б не работает" не нашлось места упоменнанию о сегментации и а/а тестах, как подготовке к а/б что и решает/уменьшает масштаб обозначенной проблемы.

Автор статьи специально пропустил все технические аспекты проведения AB-тестов, в том числе AA-тесты, чтобы сконцентрироваться на рассмотрении идеи суперкастомных пользовательских сценариев, а в таких условиях AA-тесты никак не помогут.
Что, если мы будем поддерживать оптимизированную мобильную версию для пользователей, которые заходят на сайт через телефон?


А что если ресурсы есть только на то, чтобы поддерживать какую то одну версию? Вообще странная статья. Лично я так и не понял о чем она и зачем написана.
Статья о светлом будущем, когда разработка ПО будет позволять полностью индивидуализировать customer journey для каждого конкретного пользователя.
> Понятие A/B-тестирования основано на в корне неверном предположении, что существует
> единственное решение, которое в среднем лучше для всех клиентов.

Оно основано на предположении, что множество решений мы скорее всего не сможем потянуть по ресурсам. И да одно решение может быть не лучше, но оно и не должно быть. Оно должно быть недостаточно хуже, чтобы клиенты не перестали пользоваться.
Согласен. Но по мысли автора, в будущем ресурсов будет хватать для поддержки множества решений для каждого пользователя или сегмента пользователей.
> Но по мысли автора, в будущем ресурсов будет хватать для поддержки множества
> решений для каждого пользователя или сегмента пользователей.

А дальше идет математика на уровне арифметики. Поддержка двух решений стоит в два раза дороже, а если первое решение как-то удовлетворяет 80% пользователей, то второе будет давать 16%, третье 3.2% и чем больше тем меньше отдача.

Разумеется я упрощаю, но и в статье упрощения.
Когда технология позволяет, мы добираемся до длинного хвоста распределения пользователей и придумываем, как на нем заработать.
Штука в том, что одно решение удовлетворяет далеко не 80% пользователей и далеко не в лучшей степени.
Конечно Netflix мог тоже продолжать всем пользователям рекомендовать одно и то же, те же блокбастеры, которые удовлетворяют 80% пользователей, но вместо этого они сделали персонализированные рекомендации и научились на этом зарабатывать гораздо больше.
> Штука в том, что одно решение удовлетворяет далеко не 80% пользователей и
> далеко не в лучшей степени.

Это чаще всего показатель того, что кто-то плохо проанализировал потребности и поведение своих пользователей (грубо говоря решение строили на основании каких-то смутных догадок, а не анализа).

> Конечно Netflix мог тоже продолжать всем пользователям рекомендовать одно и то
> же, те же блокбастеры, которые удовлетворяют 80% пользователей

И netflix, и mcdonalds, и boeing, и ford, и apple, и много кто еще. Диверсификация — это способ работы с рисками и чаще всего является признаком того, что принимающий решение не уверен в нем. Недостаточно информации. И кстати A/B тестирование — способ исправить ситуацию малой кровью.

> но вместо этого они сделали персонализированные рекомендации и научились на
> этом зарабатывать гораздо больше.

Да сделали. Они сначала сделали решение, покрывающее потребности 80%, а затем, когда 16% стали достаточно серьезной суммой, чтобы перекрыть рассходы на поддержку — сделали второй шаг. Еще более глубокая кастомизация тоже может случиться, если a) netflix станет еще больше, причем значительно (что вряд ли) b) рынок станет еще более конкурентным и им придется внедрять такую поддержку себе в ущерб (дилемма заключенного). c) прогресс приведет к тому, что поддержка более глубокого ветвления станет дешевле (разработка и поддержка еще существенно подешевеют) — но это тоже вряд ли.
Ну вот вся статья как раз про твой пункт c) — потенциальное будущее, в котором будут для этого дешёвые готовые решения
Only those users with full accounts are able to leave comments. Log in, please.
Information
Founded

18 September 2012

Location

Россия

Employees

1,001–5,000 employees

Registered

30 June 2015

Habr blog