Представляю вашему вниманию мой перевод интервью с Рольфом Моликом — известным специалистом в области оценки качества пользовательских интерфейсов, опубликованного в издании UPA Voice. Ссылка на второе интервью в самом низу статьи.
Рольф Молик чрезвычайно любопытен. Он говорит, что именно любопытство привело к идее CUE – это английская аббревиатура сравнительной юзабилити-оценки (Comparative Usability Evaluation). В этом довольно известном исследовании рассматриваются варианты проведения юзабилити-тестирований и экспертных оценок и вопросы воспроизводимости их результатов. Однако деятельность Рольфа не ограничивается только CUE.
Ранние годы
Рольф всегда был любопытным. Несмотря на свое техническое образование (он имеет диплом в области инженерии ПО), когда Рольф познакомился с юзабилити в 80х годах, то сразу понял, что то, чем он хочет заняться. Как и ряд других пионеров-практиков, он вспоминает, что занимался фактически тем же самым, еще не зная, что это так называется: «Я просто разговаривал с пользователями. О юзабилити-тестировании тогда никто не знал».
Объединение с Якобом Нильсеном было плодотворным. Они оба работали над проектом для Датского правительства. В результате этого союза родится курс обучения, книга и длительная дружба.
Среди тех, с кем сотрудничал Рольф в те годы, были Клэйтон Льюис, Джеф Раскин, Бен Шнайдерман и Патрисия Райт. Рольф тогда был заядлым посетителем всех конференций, особенно когда «ИТ индустрия была настолько маленькой, что одна конференция могла покрыть все темы». Некоторых докладчиков Рольф затем привозил в Данию.
После долголетнего сотрудничества с рядом различных компаний, Рольф «осмелился стать независимым специалистом». В 1997 году он основал компанию Dialog Design. Кроме «желания полностью сосредоточиться на юзабилити», Рольф также был воодушевлен возможностью иметь свободное время и независимость, которые может дать владение собственной компанией. И это, а также желание удовлетворить собственное любопытство, привело его к первой сравнительной юзабилити оценке (CUE).
CUE
Рольф отмечает: «Масса людей говорили тогда о том, каким удивительным методом является юзабилити-тестирование. Я склонен был согласиться с ними, так как сам наблюдал, каким мощным политическим воздействием оно обладает. Но любопытство подтолкнуло меня к следующему вопросу: „Насколько результаты тестирования воспроизводимы?“».
Он поделился своими мыслями с участниками списка рассылки и получил первых четырех специалистов-добровольцев, которые помогли запустить первый этап CUE. В этом исследовании специалисты взяли Windows-приложение и каждый из них тестировал его так, как считал нужным, стараясь найти значимые юзабилити-проблемы.
Результаты были представлены на конференции UPA 1998. Несмотря на то, что «все нашли это интересным», со стороны многих специалистов возникло некоторое сопротивление, которое с того времени стало для Рольфа привычным. «Люди говорили, что это просто не может быть правдой. Не может быть такого существенного расхождения в результатах»,— рассказывает Рольф.
Но расхождения были. Во втором исследовании Рольф обнаружил, что из всех проблем, которые нашли девять независимых команд, проводя юзабилити-тестирование почты Hotmail, 75% не повторялось. Примерно такой же результат был и в первом исследовании.
В третьем исследовании был применен иной подход. Вместо юзабилити-тестирования двенадцать команд сделали экспертную оценку сайта по аренде автомобилей (avis.com). Несмотря на то, что «результаты третьего исследования нигде не были подробно опубликованы», оно было использовано как стартовая площадка для четвертого.
Четвертое исследование (самое масштабное из всех) было проведено в виде семинара на конференции CHI 2003. Всего было 17 команд, половина из которых проводила юзабилити-тестирование, а другая половина — экспертную оценку. Рольф говорит: «Одной из наших целей было проверить, есть ли разница между этими методами? Тестирование гораздо дороже. Но действительно ли оно дает лучший результат — более качественный, более надежный и более воспроизводимый? Мы обнаружили, что это не так».
Рольф продолжает: «Практически было невозможно определить разницу в результатах работы команд. Было только одно различие – команды, применявшие экспертную оценку, были чуть более производительны. Они тратили меньше ресурсов. В остальном отличий практически не было».
CUE-5 был проведен в рамках конференции User Interface Conference в 2005 году. 13 команд исследовало специальное средство IKEA, позволяющее пользователям самостоятельно конфигурировать мебель. На этот раз не все команды состояли из экспертов (на которых Рольф опирался в прошлых исследованиях). Тем не менее, «за исключением некоторых, кто просто не успел вовремя подготовить тщательный отчет, некоторые непрофессионалы сработали также хорошо, как и эксперты из четвертого исследования».
Последнее, шестое исследование было также выполнено в рамках UIC конференции в октябре 2006 года. 13 команд исследовали еще один сайт по аренде автомобилей (enterprise.com). Рольф затем обсуждал результаты с участниками в рамках семинара, проводившегося на конференции.
Превентивный удар
Без сомнения, наиболее важным открытием данных исследований является то, что имеется явное расхождение в результатах юзабилити-оценок. Рольф поясняет это, оперируя простыми числами: «Если нетривиальный веб-сайт содержит 500 проблем, то юзабилити-тест, обычно обнаруживает около 40 более-менее случайных проблем, и неудивительно, что каждый раз вы получаете новые результаты».
Каков же выход? Как ни странно, Рольф не видит смысла в увеличении количества пользователей или других методических изменениях. «Решение более радикально»,— твердо заявляет он: «Оно состоит в предотвращении проблем. Большинство проблем юзабилити не должны были появиться на веб-сайте с самого начала».
Но каким образом предотвратить ошибки? «Разработчики должны владеть базовыми эвристиками вроде тех, что мы с Якобом Нильсеном пропагандируем уже 30 лет»,— рекомендует Рольф. На самом деле, хотя многие связывают эти знаменитые эвристики с именем Якоба Нильсена, впервые они были опубликованы в их совместном труде на конференции CHI 90.
Юзабилити-тестирование
Так для чего же нужно тестирование? «Я все равно считаю, что юзабилити–тестирование — это очень важный метод, но не для обнаружения проблем юзабилити. Гораздо важнее, чтобы люди осознавали необходимость предотвращения юзабилити проблем. Юзабилити-тестирование — это очень и очень важный политический инструмент. Это абсолютно уникальный метод для того, чтобы разработчики осознали, что проблемы в их продукте существуют. Ваш ребенок отталкивающе безобразный, и надо что-то предпринять. Но метод слишком дорог для того, чтобы выловить абсолютно все юзабилити проблемы или даже чтобы выловить наиболее серьезные из них».
Рольф отмечает другую потенциальную проблему тестирования. Слишком часто разработчики не внедряют те рекомендации, которые были с ними оговорены. И тут снова сработало любопытство Рольфа: «Почему часто игнорируется то, что юзабилити специалисты сказали и продемонстрировали? Сразу после тестирований все полны энтузиазма, но потом они [разработчики] переключаются на иные вещи, и результаты тестирования оказываются заброшенными. Ведь очень важно не забывать о том, что проблемы юзабилити не исправляются сами собой».
У Рольфа есть догадка о причине этой проблемы — ее стоит искать в отчетах по тестированию. «Временами я бываю шокирован тем, что вижу в профессиональных отчетах о тестировании»,— сообщает по секрету Рольф,— «Они занимаются юзабилити, но юзабилити их отчетов совершенно не пригодно, что, как мне кажется, совсем не хорошо».
Рольф советует: «Делайте свои презентации максимально доходчивыми, так чтобы у разработчиков не было причин для их игнорирования». В частности Рольф рекомендует включать в отчет список проблем, отсортированный по серьезности (от 30 до 40 пунктов), а также включать в отчет одно-страничный вывод для лиц, принимающих решения («Я видел вывод из 10 страниц, что, на мой взгляд, нелепо»), а также не забывать писать о позитивных результатах («Этим вы покажете, что не только критикуете, но и хвалите»).
Будущее
Рольф переходит к главной проблеме: «Наша профессия страдает от того, что есть некоторое количество людей, продающих ее под видом волшебства. Качество — вот очень важный параметр в нашей профессии». В качестве способов повышения качества Рольф называет «широкие знания, опыт и склонность к занятиям в данной предметной области. Однако еще раз повторю, что опыт очень важен».
Рольф продолжает: «Сегодня юзабилити-профессионалы должны позиционировать себя в качестве специалистов, владеющих знаниями. Наша работа весьма специфична. Необходимо тратить много времени на то, чтобы не отстать от развития отрасли в целом. Нам необходимо развивать в себе определенные качества и постоянно их совершенствовать». Вероятно, особое любопытство здесь тоже не помешает.
Также Рольф любезно ответил и на мои вопросы. Второе интервью находится здесь: Вопросы Рольфу Молику для издания GUI.RU
Автор статьи: Cliff Anderson
Перевод статьи: Алексей Копылов
Оригинал статьи: Thumbnail: Rolf Molich
