Как стать автором
Обновить

Комментарии 19

Желательно сделать несколько профилей испытуемых — секретарша, эникейщик, опытный пользователь других CMS.
Желательно, но сильно удорожает :( Если найдется сильно богатый спонсор, то конечно.
Затея сродни задаче сравнения: блондинки, экскаватора и кота… А мне нужно поесть приготовить, кто лучше?

А если мне нужен магазин, блог и форум? Что удобнее?
Не совсем понял ваш комментарий. Не могли бы расшифровать?
Вы пытаетесь систематизировать субъективные ощущения очень узкого круга людей по нескольким тысячам несвязанных показателей. Вы считаете это возможно?

1) А как быть если заказчик имеет какой то опыт работы с сайтом (а таких подавляющее большинство)?
Ваш рейтинг для них абсолютно бесполезен…
Это как рекламировать достоинства нового двигателя спортивного автомобиля среди гонщиков по рейтингам от «блондинок» (цвет, звук, вибрации...)

2) Что более важное среди нескольких тысяч показателей?
Один WEB магазин позволяет удобно редактировать карточку товара, другой полностью заинтегрирован с 1С и обходится без ручного труда… Как сравнивать будем?

3) Как можно систематизировать набор критериев для сравнения?
У одного движка удобно искать и редактировать сообщения, в другом можно это делать не переключаясь в админскую часть, а в третьем и так и так…

Опять же мнения о «визуальных» редакторах минимально знакомых с Web движками людей и «блондинок» диаметрально противоположные… и т.д. и т.п.
Не совсем понял, о каких нескольких тысячах показателей вы говорите.

«А как быть если заказчик имеет какой то опыт работы с сайтом».
Спокойно :) Понимаете, что бы вы ни делали, всегда найдется кто-то, кому это не нужно :) Не говоря уже о том, что в данном случае это не так. Или вы никогда не смотрите, скажем, топ100 на основании того, что уже видели один сайт? :)

«Что более важное среди нескольких тысяч показателей?»
Насчет тысяч показателей не знаю, а важное — для каждого свое. В вашем примере просто покажем каким образом какие пользователи решали эту задачу и что у них получилось — сколько справилось и за какое время. А читатель рейтинга уже будет сам решать насколько данный показатель ему важен. А разработчики увидят что именно надо доделать :)

«Как можно систематизировать набор критериев для сравнения?»
Легко. В отличие от разработчика, пользователю надо не поэкспериментировать с кучей вариантов решения задачи, а решить эту задачу. Вот и посмотрим как он это будет делать и какая из систем позволяет решить задачу проще и быстрее.

«мнения о… диаметрально противоположные»
А мы собираемся не мнения учитывать, а смотреть как люди выполнят поставленные задачи.
«А разработчики увидят что именно надо доделать :)»
Разработчики, заказываю тестирование юзабилити в специализированных конторах, которые профессионально занимаются этим и их выводы о юзабилити, в разы будет полезнее, чем толпа «блондинок». Опять же если это нужно разработчикам.

«Легко. В отличие от разработчика, пользователю надо не поэкспериментировать с кучей вариантов решения задачи, а решить эту задачу.»
Не сочтите за джинсу, но например в Drupal большинство вещей можно сделать как минимум 3-4 способами. А само построение структуры сайта, при одинаковом ТЗ, настолько может быть разным, что и говорить не приходится.
По личному опыту ещё и пользователи очень и очень разные…
— Зачастую, многие, первый раз увидев изнутри админку и потыкавшись самостоятельно бывают в шоке. Но после 2-3 часов краткой экскурсии и внутреннему перевариванию с утра(или через неделю) начинают сами фонтанировать идеями и предложениями по улучшению и развитию сайта.
— Некоторые, строго по записям по бумажке тыкают по кнопкам. Им все равно в какой CMS, лишь бы кнопки с инструкцией совпадали.

В любом случае, ваша затея будет очень и очень дорогостоящая, а результат будет очень слабо что отражать. Искренне — удачи вам, если хватит терпения и энтузиазма ;).

з.ы. глюкти с тегами в сообщении только у меня одного тут?
(если недоступны — то отключили бы..)
«Разработчики, заказываю тестирование юзабилити в специализированных конторах»
Ну да, заказывают время от времени. В том числе и у меня. В том числе и «на блондинках».

«построение структуры сайта, при одинаковом ТЗ, настолько может быть разным»
Вот именно поэтому я и предлагаю создать «тепличные условия» для CMS — чтобы разработчик ее настроил для наиболее удобного решения вполне определенных задач.

«пользователи очень и очень разные»
Разумеется. Но при этом в большинстве своем, будучи поставленными перед необходимостью решить какую-то задачу — действуют достаточно схожим образом.
Я, пожалуй остановлюсь на коте…
А если серьезно, то pvasili и eRaider правы.
Практически каждая CMS ориентируется на свой сектор, и интернет не сошелся клином на
«CMS для небольшого корпоративного сайта: десяток страниц, новости компании, пара блогов»
В идеале нужно тестировать цмски в категориях "секретарша, эникейщик, опытный пользователь других CMS" для разнообразных задач: корпоративный сайт; блог; магазин; СМИ; городской портал и тд.
Так кто бы сомневался, что правы. Все упирается в деньги и время. Расчет очень простой.

Предыдущая практика исследований интерфейсов говорит, что в среднем на 1 юзера-испытателя будет уходить около часа при тестировании одного сайта (несколько заданий). Для получения достоверных данных нужно, чтобы в группе было хотя бы 10 респондентов. Этих респов еще нужно найти.

Теперь начинаем перемножать цифры. Вы перечислили 5 видов сайтов умножаем на три группы по 10 респов получаем 50 часов чистого тестирования на одну CMS. Эти данные затем надо обработать и проанализровать — еще 3-4 дня. Итого 2 недели на тестирование одной CMS без учета времени набора групп и возможных сбоев.
А что мешает ввести интерактивный тест который одновременно смогут проходить допустим 100 респондентов+ развернутый опрос на хабре? Можно также записывать видео тестирования респондента и трекинг его действий на ПК.
Мне кажется в итоге сложность будет только в обработке результатов, но и тут можно найти несколько энтузиастов(или заинтересованных компаний) которые согласятся Вам помочь
отсутствие айтракера. Айтракинг позволяет получить намного более точные и важные данные при тестировании интерфейсов.
Не забудте учитывать возможность переключения языка админки.
А то у некоторых даже английского нет.
Язык интерфейса и удобство его переключения имеют отношение к юзабилити.
Тут момент, кстати, спорный :) В «хорошо юзабельном» интерфейсе, люди порой вполне интуитивно понимают что и для чего предназначено. Но в целом я согласен, хотя язык — это скорее «техническая характеристика», хоть и имеющая отношение к юзабилити.
Многие люди не догадались бы как разблокировать iphone если бы там надписи не было
Тоже верно. Но кто ж мешал рисунок сделать? :)
Судя по моему трехлетнему сыну, надпись там все-таки не главное :-)
Помню, делал сайт для одного журнала. Сделали на одной phpnuke-подобной CMS (в бюджет и требования ничего другого не вписывалось). Все были довольны.

Захожу через полгода на сайт — смотрю, контент тот же. Поменялся частично дизайн и сайт уже на битриксе. Интересуюсь у заказчика — как же так? Говорит — не смогли организовать ведение журнала в электронной форме на сайте. Заказали переделку у другой конторы. Ну ладно…

Из интереса, захожу на сайт время от времени. Не обновляют.
Ещё полгода спустя домен на парковке. Видимо так и не разобрались.

И такие примеры бывают время от времени — с теми клиентами, которые не отдали наполнение сайта разработчикам. Вне зависимости от CMS. А вы говорите юзабилити с точки зрения клиента. Хорошо, если клиент в состоянии разобраться в визуальном редакторе и новость разместить.

Техническая грамотность заказчиков очень-очень разная.

Пользователю, хорошо знакомому с CMS — будет проще работать с ней, независимо от юзабилити. Пользователь, знакомый с другими CMS — быстрее разберется и в этой. И сможет их немного сравнить.
Пользователь не знакомый ни с чем, про любую CMS скажет что это кошмар и ужас.

Лучше студии опросите. А точнее тех, кто контентом у них занимается и имеет опыт работы с разными CMS. Скажем, спрашивать на каком уровне работали с каждой CMS (эксперт, опытный пользователь, пользователь, только пробовал, не работал) и вводить какие-то коэффициенты на разные типы пользователей. И в зависимости от количества знакомых CMS тоже (чем больше знакомо — тем адекватнее будут ответы)
Да, разумеется, такое бывает. Бывает и что хорошо разработанный сайт забрасывают по каким-то причинам. Много чего случается. Но здесь я стараюсь говорить немножко о другом.

Вот, например, сайт ресторана: ksobranie.ru (взят совершенно случайно через поиск). Простой — может быть собран на любой CMSке. Есть новости, которые обновляются очень время от времени. Иногда требуется что-то в меню изменить. Может, еще какую-то мелочь. И все. Вопрос заключается в том, сможет ли, например, метродотель тратить 20 минут чтобы забить новость, или каждое добавление новости потребует созвона со студией, пересылки новости и т.д. и т.п.

Я вполне понимаю, что с точки зрения разработчика, правильным будет обучить заказчика управлению сайтом, верстке и еще чему-нибудь и чтобы он постоянно платил за поддержку сайта. Но с точки зрения заказчика важно минимизировать стоимость владения сайтом.
Только полноправные пользователи могут оставлять комментарии. Войдите, пожалуйста.