Контур corporate blog
IT systems testing
Web services testing
Product Management
February 20 2018

«Календарь тестировщика» за февраль. Узнай своего клиента

Мы продолжаем цикл статей «Календарь тестировщика», где каждый месяц тестировщики Контура делятся опытом и рабочими секретами. В предыдущей статье Максим Захаров рассказал как разобрать бэклог.

В этот раз Илария Тарасова и Максим Колодкин из Контур.Эльбы, расскажут, почему тестировщику нужно общаться с клиентом и какие инструменты для этого есть в Контуре. Чтобы не пропустить новую статью, подписывайтесь на телеграм-канал.

В нашей команде разработчики сами хорошо и быстро пишут тесты. Поэтому мы не тратим время на автоматизацию, а боремся за качество продукта во всём, что касается взаимодействия с пользователями.




Сейчас у нас есть несколько каналов связи. Например, техподдержка общается по телефону, отвечает на сообщения в почте, Телеграме и онлайн-чатике в сервисе. Все собранные проблемы анализирует наш эксперт и передаёт команде в виде готовой статистики.


За 8 лет число пользователей сильно выросло, поэтому увеличилось и число консультантов. Сейчас их 70, они работают по жестким правилам и регламентам ради эффективности. С одной стороны, это помогает выстроить работу большой команды, а с другой, делает процесс очень негибким. Консультант может решить конкретную проблему, но у него не хватает времени, чтобы подумать шире и найти её истинную причину (например, в интерфейсе). В итоге такие проблемы не всплывают в ежемесячной статистике, а так и лежат на дне, пока не накопится критическая масса недовольных пользователей.


Кроме техподдержки, у нас есть Лайки и ЮзерЭхо. Сейчас оба канала ведёт техподдержка. Раньше этим занимались мы, но теперь мы отвечаем редко, скорее пользуясь ими в режиме read only, и как тестировщики получаем от этого много плюшек. О них мы вам и расскажем, а вы убедитесь, что близкий контакт с пользователем повышает качество продукта (if you know what I mean).


Лайки


Этот канал придумали дизайнеры как инструмент для оценки эмоциональной составляющей страницы, то есть личного ощущения комфорта-удобства или раздражения-непонимания. Выглядит как небольшое «ушко» с возможностью поставить лайк или дизлайк, а ещё написать подробнее, что именно понравилось или не понравилось.



«Ушко» с лайками в правом верхнем углу страницы.



По клику открывается форма для развёрнутого комментария.


Все обращения с Лайков приходят на отдельный электронный ящик с информацией, на какой странице Эльбы пользователь оставил лайк. В большинстве случаев контекст страницы помогает сразу понять проблему.


Со временем пользователи начали использовать этот канал как обычную техподдержку, поэтому мы передали Лайки в их распоряжение. Но мы до сих пор просматриваем то, что нам написали, на отдельной странице.




От быстрой и доступной обратной связи есть большой плюс — это мобильность. Представим, что мы зарелизили новую возможность и она не совсем понятна пользователю. В Лайки начинают поступать обращения об этом, мы их мониторим и задаем уточняющие вопросы пользователям, если нужно. Выясняем, в чем причина, и начинается работа с командой. В этот момент тестировщик уже непросто прокликивает набор сценариев, а начинает взаимодействовать с командой, чтобы унять боль большого количества пользователей.


Если бы этим занималась техподдержка, то процесс обратной связи был возможен только при наличии отдельного человека, аккумулирующего обращения, и это бы затягивало работу.  


Лайки — это способ видеть в текущий момент «среднюю температуру по больнице»: понять, где только симптомы, а где уже пора вызывать врача.


Ну и ещё пара побочных плюсов в придачу:


  • Когда вчитываешься в обращения людей, то встаёшь на их место, и со временем накапливаешь ещё больше тестовых сценариев. Иногда удивляешься: оказывается, вот как они пользуются фичей! А при очередном прогоне вспоминаешь тех людей, и, пытаясь мыслить как они, проверяешь ещё больше test case-ов. Это также помогает в наших обсуждениях узкими кругами, о которых рассказывал Саша Ахметов.
  • Решая проблему пользователя, начинаешь лучше понимать, как работают разные части системы. Так что, если хочешь, чтобы твой стажёр начал лучше разбираться в сервисе, пускай разгребёт немножечко обращений :)

ЮзерЭхо


Другой канал связи — ЮзерЭхо.


Для нас это банк проблем и давних хотелок. Этот сервис, как социальная сеть пользователей Эльбы, позволяет создавать топик каждому и голосовать за чужие топики. Таким образом, у нас есть количественная оценка пожеланий клиентов: накручивать голоса там проблематично, поэтому данным можно верить. Когда задача идёт в разработку, у топика меняется статус с «На рассмотрении» на «В работе». После окончания переходит в «Завершенные» с пояснением что мы реализовали со скриншотами из сервиса.



Если есть конкретное количество нуждающихся в фиче, то у тебя больше шансов убедить всех сделать именно ее. Или как минимум попросить юзабилиста провести исследование на эту тему и подтвердить или опровергнуть гипотезу.


Да, кстати, респондентов на такое тестирования даже искать не нужно, они уже все отписались в комментах к созданному топику. Единственная проблема — эти топики устаревают, и с годами появляется ощущение, что мы ничего не делаем. Типичный комментарий в таких темах-долгожителях: «Теме-то вон уже 5 лет, а вы так и не закодили! Тут работы-то на пару минут, я знаю, потому что сам программист». И с этим что-то нужно делать, чтобы не было негатива у старых пользователей и демотивации у новых.


Что мы решили с этим делать?


Спустя 7 лет ведения этого канала, написали честный текст:


Здесь команда Эльбы собирает предложения по улучшению сервиса. Чтобы решить, какую задачу взять в первую очередь, разработчики учитывают изменения в законодательстве, сложность задачи и её полезность. Иногда нам помогают пожелания на ЮзерЭхо:

— Если ваша идея наберёт 100 голосов, разработчики обсудят её и опишут решение в теме.

— Если ваша идея наберёт меньше 50 голосов за год, мы закроем обсуждение».

Минусы процесса


Чтобы у вас не создавалось ложного ощущения, что близкое общение с пользователем имеет только положительные аспекты, мы перечислим пару минусов:


Замыливание взгляда на первых порах. Разговариваешь с конкретным пользователем → решаешь проблему пользователя → думаешь, что такая проблема есть у всех. Со временем этот минус исчезает, потому что начинаешь лучше различать общие и частные проблемы.


Разнообразие каналов обращений не позволяет посчитать в одном месте все обращения по однотипным проблемам. Техподдержка справляется с этим хорошо, ребята заводят обращения в единую базу. А вот Лайки и ЮзерЭхо стоят в стороне. Нам хочется иметь удобный инструмент, который не требует большого количества времени, чтобы считать все голоса в одном месте. Если вы уже решили для себя эту проблему или нашли удобный инструмент, напишите об этом нам.  


Мы работаем в Эльбе уже 5 лет и почти всё это время общаемся с теми, кто использует наш сервис. После этого воспринимаешь пишущих более лично. Ты понимаешь, КОМУ помогаешь. Это не сферический конь в вакууме, а тот парень, который подтролливает тебя в топике. А ещё он на Новый год написал пост с благодарностями, который ты перепостил в общекомандный чатик, и все поумилялись и, может, даже начали работать с большим энтузиазмом.


В конце концов, знаешь, что ради помощи сотням, а то и тысячам таких хороших людей, ты и ходишь на работу каждый день, и делаешь лучше не только свой продукт, но и мир в целом :)


Список статей календаря:
Попробуй другой подход
Разумное парное тестирование
Обратная связь: как это бывает
Оптимизируй тесты
Прочти книгу
Тестирование аналитики
Тестировщик должен поймать баг, прочитать Канера и организовать движуху
Нагрузи сервис
Метрики на службе у QA
Протестируй безопасность
Узнай своего клиента
Разбери бэклог

+14
2.7k 15
Leave a comment
Top of the day