Как стать автором
Обновить
4
0

Пользователь

Отправить сообщение
Интерсно посмотреть на более подробный статистический анализ. В идеале — диаграмма (таблица) респределения ответов. От 1-10 ответило столько-то народу, 10-20 столько и т.д.

Мне интересно как ответы «разбросаны» около среднего. Нет ли перевеса в большую/меньшую сторону.

Вообще, в таких вещах правильнее считать медиану, а не среднее. Медиана — значение, меньше которого ответила половина респондентов, ну и больше соответственно тоже. Большие значения (500, 1000) очень смещают среднее, чему не подвержена медиана.

А в целом — интересный эксперимент.
Я тоже так думал, но все оказоль хитрее. Смотри мой комент в корне дискуссии: http://habrahabr.ru/blog/eCommerce/46866…
Еще раз внимательно изучил что же показывает Ozon. Дело не только в названии блока.
Под блоком "Персональные рекомендации" скрывается выборка из персональных рекомендаций (что уже было раньше), а под блоком "возможно вас заинтересует" - рекомендации к недавно просмотренным товарам.

То есть тестируется 2 разных инструмента, а не просто название блока. Это уже не просто демонстрация A/B-тестинга, а реальная бизнес-задача.
Примеры есть? Все в комментариях пишут про существование систем, позволяющих реализовать и пеомерить AB (MVT) тестинг, но примера применения кроме (price.ua) я пока не увидел. У меня есть основание полагать, что в рунете таких примеров нет, поэтому мне я и счел нужным отметить эксперимент Озона.

По поводу success метрики вы совершенно правы - вопрос не тривиальный, но один из ключевых. Будет ли это клик / добавление в корзину / заказ или заказ свыше определенной суммы (вариантов еще много) нужно выбирать в зависимости от задачи / тех. возможностей. Главное, что мы используем одну и ту же метрику для обоих (или более) вариантов.

Кстати, мерить cart addition не так уж неправильно (вряд ли разный дизайн повлияет значимо на конверсию из cart addition в заказ), но ход ваших рассуждений поддерживаю.

P.S. не все так гладко с использованием гугло-сервисов на сайтах масштаба Озона. Как минимум эти сервисы становяться платными.
Спасибо! Посмотрю.
1. Не путайте инструмент и процесс. Как вы собираетесь определять что лучше подходит пользователю, пришедшему с торрента? Фильмы - это гипотеза, которую можно подтвердить/опровергнуть A/B тестингом.

2. Слова "компании, профессионально занимающиеся предоставлением таких услуг, могут придумать..." навевают мысль о горе-консультантах, которые с удовольствием придумывают супер-пупер методики, неимеющие отношения к жизни. Не скажу, что все консультанты такие, но таких много. (ничего личного)

3. "какие сайты посещает пользователь помимо тестируемого" - круто! А можно какой-нибудь пример, где такое испольузется? Можно не только из рунета. Только, чтобы посещаемость сайта была больше 10 K уников (отсекаем сайты под методику) и не больше 200 K уников (поисковиков с барами и Амазонов с Алексами не так много).
Полностью согласен. У Озона траф переваливает за 100 К уников.
Рекомендации на первой странице появились еще осенью. Сейчас я говорю про тестирование дизайна блока, в частности про название, через A/B тестирование. А механизм построения рекомендаций - отдельная тема, но очень интересная.
Я написал провакационный заголовок, чтобы увидеть в комментариях другие примеры использования A/B тестинга в рунете. При пример нужен:
1. На большом сайте. Если на сайт ходит 20 человек, 10 видят одно, 10 - другое, то это не аналитический инструмент, а красивая фича.
2. Тестирование, из которого делатся выводы. Опять же нужен не красивый фетиш, а инструмент принятия решений.

Я очень рад, что в России делались (и делаются) сервисы для реализации A/B тестинга (и прочего). Кстати, Omniture купил подобный сервис Offermatica год назад за 65 млн $: ссылка Omniture и Offermatica. Но наличие инструмента, еще не означает факт его использования, что вы сами и подтвердили "раскрутить мы его не смогли".

Если у вас есть примеры использования - кидайте. С удовольствие поизучаю.
Очень тонко намекаю: не стесняемся плюсовать карму :)
Очень тонко намекаю: не стесняемся плюсовать карму :)
Готово! Лови!
Делюсь инвайтами. Пишите в эту ветку. И ... кармуйте :)
Спасибо! Была бы карма побольше — проголосовал бы...

Информация

В рейтинге
Не участвует
Откуда
Москва и Московская обл., Россия
Зарегистрирован