Прежде, чем начинать разработку или улучшение продукта, команда должна собрать необходимые вводные: востребованность продукта на рынке, ожидаемые целевой аудиторией характеристики, ценовой коридор, портрет аудитории (реальной или потенциальной), конкурентные решения и так далее. Для работы над новым продуктом отлично подходят панельные опросы – онлайн-опросы, проводимые на специализированной платформе.
Из плюсов онлайн-панелей можно выделить:
- Наличие своей базы зарегистрированных респондентов,
- Возможность настраивать логику последовательности показа вопросов.
Это позволяет опросить широкую аудиторию в рамках одного опроса, распределяя сегменты респондентов по разным веткам анкеты.
Помимо этого большинство панелей обладают функционалом, повышающим удобство анализа полученных данных:
- Количественные и процентные данные по каждому ответу,
- Просмотр ответов по каждому респонденту,
- Графики и другая понятная визуализация результатов,
- Возможность применения кросс-табуляции,
- Дополнительные данные, например, время прохождения опроса для каждого респондента.
Стоит также отметить, что панельные опросы – относительно недорогой вид исследований. Стоимость опроса зависит от количества вопросов в анкете, специфики и объема выборки респондентов. Так, полное прохождение анкеты на 15-20 вопросов одним респондентом обходится, в среднем, в 100-150 рублей (в зависимости от онлайн-панели).
Подробнее про панельные опросы можно почитать в статье Нины Куликовой «Опрос-ответ: как панельные опросы влияют на жизнь продукта».
Количество онлайн-платформ для исследования аудитории постоянно увеличивается. В этой статье расскажем вам о сервисе, о котором слышали далеко не все исследователи, и который крайне редко показывается в инфополе.
Google Surveys
Сервис появился в 2012 г. под названием Google Consumer Surveys, в 2016 г. название сократилось до нынешнего Google Surveys. Кто-то может подумать, что этот сервис нечто похожее на, всем известные, Google Формы, но это не так.
Оба сервиса, Surveys и Формы, являются инструментами для проведения опросов. Их основное различие в том, что анкету Surveys вы можете не только интегрировать на сайт для сбора данных, но и использовать в формате онлайн панели.
В этой статье подробно рассмотрим возможности системы и пройдем все шаги от регистрации в сервисе до получения результатов опроса.
Регистрация
Первая проблема, с которой можно столкнуться уже на этапе регистрации, – отсутствие в списке стран России. Как выяснится дальше, даже если страны нет в списке, это не мешает запустить опрос для ее граждан.
Создание опроса
После регистрации можно приступать к созданию опроса. Исследователю предоставляется широкий выбор форматов вопросов (13 типов), причем различие между некоторыми трудно определить:
- Единственный вариант ответа,
- Два варианта ответа с изображением (выбор между одним из двух ответов + изображение),
- Несколько вариантов ответа (множественный выбор),
- Несколько вариантов ответа с изображением (множественный выбор + изображение),
- Шкала рейтинга (ответ на вопрос отмечается на шкале — 1/5, 3/7 и т.д.),
- Шкала рейтинга с текстом (текст, вопрос по тексту + ответ отмечается на шкале),
- Шкала рейтинга с изображением,
- Открытый (ответ вписывается в текстовое поле),
- Открытый с изображением,
- Ряд изображений (выбор из двух изображений при помощи клика),
- Меню с изображением (единственный вариант ответа с изображением),
- Выбор между крупными изображениями (ряд изображений, но до 5 вариантов),
- Видео (вопросы становятся доступны после просмотра видео).
Стоит учитывать, что Google Surveys имеет значительное ограничение на количество вопросов: не более 10 в одной анкете. Это напрямую связано с используемой технологией поиска респондентов – замена пейволла на прохождение опроса (к вопросу качества и достоверности ответов таких респондентов мы еще вернемся). Существует и другой тип респондентов – пользователи Android приложения «Google Opinion Rewards», но в России при создании опроса невозможно выбрать таких респондентов.
После составления списка вопросов нужно выбрать один из двух типов респондентов: сочетание посетителей обычного и мобильного веб-сайтов или пользователи «Google Opinion Rewards». Для ряда стран можно указать настройки выборки: пол, возраст и географию пользователей внутри страны.
Для России таргетинг аудитории не предусмотрен, в опросах используется только произвольная выборка (без настроек), сочетание посетителей обычного и мобильного трафика. Таким образом, единственным фильтром аудитории для РФ остаются скрининговые вопросы (в одной анкете может быть до 4 вопросов для отбора респондентов).
При добавлении скрининговых вопросов нужно помнить о том, что они имеют свои ограничения в связи с политикой сервиса:
- Нельзя уточнять город проживания,
- Место работы (компанию),
- Финансовую информацию (наличие долгов, кредитов и т.д.),
- И так далее.
После составления анкеты и настройки параметров аудитории, нужно указать целевое количество ответов и частоту проведения опроса (от однократного до регулярного раз в квартал). Стоимость одной заполненной анкеты, по умолчанию, варьируется от 0,1 € до 1,50 €, и может быть выше при использовании специфического скрининга. После того, как вы настроили анкету, ее необходимо отправить на проверку в службу сервиса, а также получить итоговую стоимость. Этот этап может оказаться самым трудным моментом в запуске опроса.
Сама по себе процедура занимает не более суток, но пройти проверку по всем правилам сервиса (особенно при наличии скрининговых вопросов) может получиться далеко не с первого раза. Все зависит от заданий в вопросах и ограничений, которые накладывает сервис. При этом правила разбросаны по нескольким страницам справки сервиса, и на стадии проверки анкеты могут появиться неожиданные проблемы. Так, например, по какой-то причине нельзя оставлять открытый ответ для числовых значений. Еще больше проблем возникает из-за человеческого фактора при проверке анкеты. Часто получается, что отправив одну и ту же анкету на проверку, можно получить совершенно разные правки.
Следует отметить, что в большинстве панелей условия составления анкет прописаны явно, как и запрещенная к распространению информация, например:
- Использование нецензурной лексики,
- Вопросы об нелегальных услугах и товарах,
- Оскорбительные высказывания,
- Информация о насилии и противоправных действиях,
- Любые сведения порнографического характера,
- Вопросы о наркотических, психотропных веществах,
- Любые другие моменты, связанные с нарушением действующего законодательства.
Обычно валидация анкеты связана с настройкой ее логики, т.е. правилами перехода респондентов между вопросами, в зависимости от ответов. При этом создать опроса остается ответственным за содержание анкеты, формулировки вопросов, варианты ответов и прочее.
При использовании Google Surveys для сбора данных в виджете на своем сайте нужно быть готовым к оплате каждого ответа на анкету. Все функциональные сервисы для запуска опросов (даже на своем сайте) необходимо оплачивать. Но при активном использовании такого инструмента оплата “лицензии” на определенный период чаще всего выгоднее, нежели оплата каждого ответа.
Для запуска опросов на своей стороне стоит рассмотреть более широкий круг сервисов, например, Анкетолог, Survey Monkey, Survey Gizmo. Оценить их возможности и стоимость в применении к своим задачам, а также визуализацию виджетов сбора данных на сайте. И после этого принимать решение.
Функционал анализа результатов
После того, как служба поддержки провалидировала анкету, она отправляется респондентам, и мы начинаем получать ответы. Функционал анализа результатов вполне стандартный.
- По каждому ответу есть график с результатами.
- Есть возможность создания кросс-диаграмм.
- Можно применять фильтры по полу, возрасту и географии (где применимо).
- Выгрузка результатов доступна только формате в Excel-таблицы.
При этом отсутствует возможность исключения ответов в рамках сервиса, это можно сделать только вручную в Excel-выгрузке. В отличие от других онлайн-панелей, в которых есть возможность исключить уже собранные ответы (например, невалидные исходя из небольшого времени прохождения анкеты) и не оплачивать их, в Google Surveys необходимо оплачивать все собранные ответы.
Опросы в Google Surveys показываются как альтернатива пейволлу на сайтах различных изданий. Из-за этого возникают сомнения в качестве ответов респондентов. По сути, мотивация респондентов направлена на преодоление пейволла, т.е. быстрое прохождение опроса, что, естественно, сказывается на ответах. При этом в самой анкете отсутствует какая-либо проверка на очевидно некорректные / шумовые ответы.
В итоге, ожидаемо, качество ответов сильно страдает: в нашем тестовом опросе бессмысленные ответы на открытые вопросы достигали 30%, а сколько из них были проставлены в случайном порядке в закрытых вопросах остается загадкой. Какое-либо согласование результатов после завершения опроса невозможно, так что все исключенные респонденты только уменьшают итоговую оплаченную выборку.
Этот фактор оказывает крайне негативное влияние на результаты опроса. Так, в большинстве панелей всегда есть возможность оспорить качество ответов респондента.
Резюме
При сопоставимой стоимости пройденной анкеты, а также с учетом трудозатрат на запуск опроса, Google Survey проигрывает таким аналогам, как Анкетолог или Oprosso по ключевым параметрам:
Организация опроса на стадии создания: ограничение по числу вопросов и трудности с запуском из-за неочевидной валидации.
Отсутствие настройки логики прохождения анкеты: нет возможности разделить аудиторию на сегменты в рамках анкеты, только фильтрация.
Подбор респондентов. К сожалению, предлагаемых фильтров крайне мало, а для России таргетинг невозможен в принципе.
Качество предоставляемых ответов.
Отсутствие возможности исключать и обжаловать заведомо неправильные ответы.
Стоит ли попробовать этот сервис – решать только вам, но по итогам нашего знакомства с ним, вывод сложился однозначный: для серьезных продуктовых исследований Google Survey неприменим.
Статья подготовлена совместно с UX-аналитиком AGIMA Максименко Кириллом.
