Осенью 2019 года мы запустили исследование сопроводительных писем продуктовых дизайнеров.
Цель — понять, насколько важно сопроводительное письмо, что в нём будут указывать, как оно влияет на самый верх воронки найма: пропустят отклик дальше по цепочке или нет?
Исследование проводилось в сентябре-ноябре 2019 года.
16 приглашенных экспертов из Яндекса, Альфа-Банка, Почты, Мэйл.Ру Групп, Интеркома, Миро, Революта, Сбербанка, Акрониса (и других) проанализировали 243 отклика на вакансию дизайнера цифровых продуктов.
Эксперты
Главный критерий отбора экспертов — этот человек должен был принимать решение о найме дизайнеров в продуктовые команды за последние полгода (на момент проведения оценки). Эксперты работают в продуктовых компаниях или командах на ведущих/управляющих позициях.
Вторым важным условием было сформировать экспертную команду так, чтобы женщины и мужчины были представлены поровну. Это условие поддержано алгоритмом оценки (распределение показов откликов): каждый отклик получал минимум две оценки женщинами, две оценки мужчинами, далее — контрольные голоса без учёта пола эксперта: не менее одного но не более трёх.
Юрий Ветров (Mail.ru Group), Михаил Жашков (TRA Robotics), Владимир Зимин (Почта России), Юлия Урасова (Qiwi Russia), Костя Горский (Intercom), Алина Ермакова (Сбербанк), Николай Березовский (Revolut), Саша Ермоленко (Mail.ru Group), Денис Кортунов (Acronis), Сергей Кондауров (Яндекс), Ксения Стернина (Mail.ru Group), Александр Ковальский (CreativePeople), Евгения Малкова (Shelly), Алексей Чупин (МТС), Влад Зелинский (Miro, ex-Realtime Board), Анастасия Попова (Альфа-Банк).
Ключевые выводы
Мы хотели выяснить степень влияния сопроводительного письма на успешность отклика на вакансию. Коротко: влияние огромное. Больше 60% откликов окажутся в мусорной корзине, а некоторые будут отправлены в спам.
Основные факторы, которые влияют на успешность сопроводительного письма, это наличие подтвержденных фактов о профессиональных достижениях, понимание ежедневной рутины дизайнера в команде, знание и применение технологий разработки и точность изложения.
Угасание интереса к вакансии
Интерес к вакансии постепенно угасает (это мы видим на графике).
В ходе эксперимента мы использовали три источника привлечения кандидатов и в двух случаях видели увеличение переходов с постепенным затуханием.
Интерес к вакансии нужно поддерживать постоянно и смотреть на качество аудитории каждого канала.
Это наблюдение подтверждается некоторыми экспертами.
Этот фактор важно учитывать нанимающей стороне: как мы выяснили позже, в реальности эксперты не располагают временем отсматривать потоки входящих даже если им требуются люди прямо сейчас. Из-за большого расстояния между откликами и оценкой кандидаты теряют интерес к вакансии или находят другую.
У экспертов нет времени
Как мы видим из графиков разбора откликов экспертами, у подавляющего большинства есть небольшие отрезки времени когда они могут отсмотреть отклики.
Постоянно, каждый день отсматривать кандидатов смог один человек (только один эксперт превзошел алгоритм и оценил 100% откликов).
Ставить оценки — тяжело
Пятеро экспертов явно заявили, что большое количество откликов отсматривать тяжело (изнурительный труд).
В неявной форме это выражалось отторжением: по скорости и распределению оценок видно, что некоторые эксперты ставят оценки небольшими группами внутри одной сессии. Видимо, чтобы отсмотреть серию откликов, нужно физически себя преодолеть.
Это связано в том числе с двумя факторами:
- низкое качество откликов (поток сознания, рассказ)
Необходимость принять решение, влияющее на жизнь другого человека, даже в простом формате ответа (да/нет)
Всем желающим предлагаем сделать это самостоятельно: попробуйте оценить 50 откликов. Тем, кто это сделает, мы пришлём статистику: насколько ваши оценки совпадают с оценками экспертов. Так вы сможете оценить свои навыки и сравнить их с оценками экспертов, прочувствовать объём работы на себе. Для участия нужно зарегистрироваться в сервисе, рассказать о себе (ваш отклик тоже оценят другие участники сообщества)
Кандидаты фокусируются на себе, а не на профессиональных достижениях
Среди откликов с негативными оценками преобладает тренд рассказов о себе, своих навыках, без подтверждения фактами. Если рассказывать о проектах, роли в проектах, достижениях (или провалах — важна осмысленность рассказа), то шансы увеличатся.
Портфолио?
Лаконичный сайт с примерами работ лучше профиля на Бихансе.
Профиль на Бихансе лучше отсутствия такового.
Биханс невозможно смотреть на мобильном устройстве, а часть экспертов отсматривала отклики именно с телефонов.
Папка на диске — сомнительное решение. Особенно если вы перемещаете файлы или у вас закончился платный аккаунт и работы невозможно найти через неделю/две.
Трое экспертов в явном виде вернули обратную связь о недоступности некоторых портфолио на телефоне — невозможно смотреть.
Ссылка на сайт агентства — плохое решение. Ссылки на конкретные работы в портфолио студии/компании/агентства более приемлемый вариант.
Ссылка на аппстор без комментария не лучшее решение: мало кто будет устанавливать приложение и разбираться в нём.
Дриббл не попал в анализ и не упоминался экспертами. Выводы по площадке пока что отсутствуют.
Сопроводительное письмо скорее всего откроют именно на телефоне. И если можно сразу понять, что человек подходит, шансы увеличиваются. Если нужно открывать письмо с рабочего компьютера и искать его, и смотреть портфолио и после этого делать выводы, то растягиваются сроки и шансы уменьшаются.
В любом случае, в 2019 году Mobile First уже должен доминировать, и лучшие дизайнеры это понимают.
Влияние стажа
Стаж не влияет на позитивную оценку.
В группу с лучшими откликами попали вчерашние студенты и люди с опытом больше десяти лет.
Большой стаж влияет негативно если в письме нет упоминаний/фактуры об актуальных проектах и достижениях за последние три года.
Кого ищут эксперты
Несмотря на общее понимание роли и состава работ дизайнера цифровых продуктов, потребности экспертов могут немного отличаться: кому-то нужнее сотрудник с навыками 3D и анимации интерфейсов, кому-то люди с навыками разработки или аналитики.
Поэтому довольно большой оказалась группа «Скорее да» — отклики, которым один или два из семи экспертов отказали: либо по причине фокуса кандидата на одном дополнительном навыке, либо по причине отсутствия (в рассказе) этого специфичного навыка, за которым охотится эксперт.
Придумывать несуществующие навыки точно не нужно, потому что если они перечисляются без фактуры (подтверждения), то такие перечисления работают в минус. (Прелесть исследования в том, что оценки ставили живые люди, а не алгоритмы, а люди быстро отсекают выдумки или плохое изложение.)
Важно то, что разные эксперты ищут разных кандидатов, поэтому если отклик набирает больше 60%, значит профиль хороший, но не подходит одному конкретному человеку, и шансы найти хорошую работу в другом месте довольно велики.
У вашего отклика есть 50 секунд
Сложнее всего экспертам принимать негативное решение. Если отклик слишком сложный и вызывает большую нагрузку, то его проще отправить в спам (что несколько раз и происходило).
Длина письма не влияет на скорость принятия решения, важно изложение. Среди группы «Экстра» самый короткий отклик был длиной в 107 слов, самый длинный — 538 слов. Если повествование захватывает и интересное, при этом понятное и простое, то времени уделят больше. Хотя бы из любопытства.
При этом общая рекомендация — вычитать свой отклик и понять, что вы хотите донести до нанимающей стороны в 30-50 секунд. Явными ошибками оказались ссылки на рассказы (например, Я. Дзен) и изложение понимания дизайнером базовых вещей (как работать в Фигме с компонентами или что такое Jobs to be done).
Кстати, в эти 50 секунд входит и просмотр портфолио, если оно есть.
50 секунд. Это не опечатка: секунды.
Кому-то может показаться обидным, что решение принимается так быстро, но у приглашенных экспертов огромный опыт и намётанный глаз. При этом у некоторых экспертов с максимальной точностью скорость оценки оказалась самой большой (то есть они тратили ещё меньше времени на решение).
Мнения одного эксперта недостаточно
Как мы увидели, мнения экспертов могут отличаться, поэтому идеальной моделью работы на стороне найма представляется анонимный разбор откликов внутри команды.
Пример:
- Поступает новый отклик
- Минимум три эксперта дают свою оценку безотносительно друг друга (никто не знает кто как проголосовал)
- Средняя оценка выносится на обсуждение факта
Анонимность имеет решающее значение, потому что исключает влияние одного участника команды на других.
Фактор анонимности снимает предубеждения. Это я прочувствовал даже когда делал анализ оценок экспертов: в момент, когда я переименовал настоящих людей в цветы, отношение к оценкам откликов стало абсолютно непредвзятым.
Немного статистики
Отклики распределились по шести группам
Мы получили 243 отклика. Из них:
- Искали работу: 228 человек;
- Участвовали из любопытства: 15 человек.
Группы
- Экстра:
8 (3.3%). Все эксперты пропустили бы отклик на следующий этап. - Точно да:
20 (8.2%). Больше 80% положительных голосов. - Скорее да:
62 (25.5%). От 50% до 80% положительных голосов. - Скорее нет:
52 (21.5%). Между 30% и 50% положительных голосов. - Отказать:
97 (39.9%). До 30% положительных голосов. - Спам:
4 (1.6%). Все эксперты отметили отклик как «спам».
Более подробная статистика по группам и по каждому эксперту доступна в полной версии исследования на гитхабе.
Как голосовали эксперты
Чтобы у эксперимента был понятный финал, мы попросили экспертов успеть дать оценку за месяц. В реальности процесс занял пять недель. Интересно посмотреть распределение голосов во времени.
- Дата предоставления доступа к откликам: 7 октября 2019 г.
- Первый голос: 7 октября 2019 г.
- Последний голос: 10 ноября 2019 г.
График распределения откликов по дням, сумма всех откликов
Из графика видно, что экспертам было удобнее всего просматривать отклики большими порциями и ближе к концу мероприятия.
За эти недели эксперты успели побывать в командировках и отпусках, запустить несколько образовательных программ (курсы и корпоративные школы), выступить на конференциях, поболеть и сменить работы и переехать жить в другие страны. Почти у всех перечисленная деятельность была дополнением к работе (кроме отпусков и тех, кто в моменте официально не работал). Иными словами, рассмотрение откликов было максимально приближено к реальным условиям, которые наблюдались в других компаниях и боевых условиях. Были и те, кто разбирал отклики каждый день по мере поступления.
При том что средняя скорость принятия решения (с учётом времени на ознакомление с письмом и ссылками) обычно находится в пределах одной минуты, процесс требует большой эмоциональной вовлечённости (ощущение большой ответственности, даже в рамках эксперимента).
Индивидуальная статистика экспертов
Учитывая распределение по группам и голоса экспертов, мы можем понять насколько «точно» угадывали эксперты группы откликов. Здесь эксперту необходимо было соблюдать баланс между количеством голосов за и против. Чем больше доля голосов за группы 1-3 (Экстра, точно да, скорее да), тем точнее работает эксперт.
Чтобы исключить влияние личного бренда на восприятие оценок, я заменил реальные имена на названия цветов.
Для каждого эксперта есть:
- График голосов по дням, от начала до завершения эксперимента
- Точность
- Цифры
Понятие «точность»
Понятие описывает распределение положительных оценок эксперта относительно групп распределения откликов.
Например:
- Эксперт оценил 100 откликов
- Из них 70 «нет», 28 «да» и 2 «спам»
- Точность описывает только 28 положительных оценок
- Эти 28 положительных оценок сопоставляются с группами, в которые распределились одобренные экспертом отклики.
Для визуализации идеи я сделал графики с метафорической мишенью — чем больше мишень, тем больше эксперт проверил откликов. Каждый цветной круг обозначает группу: в центре — «Экстра» и далее по убывающей. Конечно, это не научный график, но он позволяет быстро сравнить распределение голосов у эксперта.
При этом важно понимать, что у всех экспертов свой подход к найму: кто-то пропустит больше людей на первом этапе чтобы увеличить поток (например, найм открыт сразу в несколько команд), кто-то напротив будет отказывать большинству потому что ищет специфичного кандидата. Поэтому точность — скорее показатель подхода к найму, чем определение навыка эксперта.
Заключение
Конечно, эксперимент не отражает полной картины процесса найма и далёк от реальных действий. Несмотря на это, в отличии от опросов и мнений мы исследовали реальные данные настоящих людей и объективные действия экспертов.
То есть здесь надо было читать, вникать, переходить по ссылкам, смотреть и принимать решение.
Действия говорят сами за себя и лучше слов.
В момент рассылки результатов по участникам мы запустили новый эксперимент — пригласили кандидатов оценить друг друга, и больше половины участников поддержала идею в первые дни с момента рассылки.
У некоторых откликов по 20-30 оценок, и на таких количествах уже можно смело говорить о статистике: скорее всего такая оценка будет близкой к экспертной. Это мы планируем проверить.
Упражнение по оценке других откликов даёт другим кандидатам огромное количество идей и понимание того, как поток входящих видят на стороне работодателя.
Получается идеальный тренажер для кандидатов: пока вы оцениваете других кандидатов, вы тренируетесь распознавать негативные паттерны (как не надо делать) и формируете свой будущий рассказ о себе.
Мы считаем что такая форма обезличенной обратной связи сработает лучше всего для кандидатов, нацеленных найти работу мечты.
Лучше получить обратную связь и научиться писать о себе и своих проектах, чем рассылать стандартные резюме, по которым особо ничего не понятно.
Каждый кандидат уникален, и рассказ о себе, самопрезентация — важнейший навык.
Мы не призываем «продавать себя», но лаконичное изложение фактуры и тренировка — залог успеха работы дизайнера в повседневных задачах, не так ли?
Приглашаем к участию в проекте
На момент публикации этого материала мы запустили версию сервиса в которой дизайнерам предлагается выступить в роли экспертов и поставить оценки друг другу.
Для участия нужно заполнить простую форму (почта и рассказ, больше ничего) и дать оценку другим дизайнерам.
Какую проблему решает участие?
Одной из проблем найма является отсутствие обратной связи кандидатам. То есть не отвечают кандидатам.
Работодатели не всегда в состоянии детально прорабатывать каждого кандидата — особенно крупные компании, с сильным брендом и потому с большим потоком входящих заявок.
В то же время, отсутствие обратной связи мешает развиваться хорошим специалистам с потенциалом — они не знают, что плохого в их работе или подходе, и было ли что-то плохое в принципе — и это тормозит их развитие. Потому что неопределенность обидна.
По совокупности всех этих условий обезличенная оценка шансов оказаться на собеседовании даёт соискателю мощный сигнал: например, у тебя почти гарантированный отказ, или пятеро из семи готовы рассмотреть дальше — тогда шансы большие. При этом ты не знаешь, кто именно готов тебя рассмотреть, но понимаешь какие шансы превратиться в собеседование имеет твой рассказ.
Несколько сотен человек уже присоединились и получается хорошее сообщество.
Тем кто хочет найти работу тоже есть смысл участвовать — лучшие отклики уходят напрямую нанимающим дизайн-директорам. На момент публикации через наш сервис нанимают сотрудники Мэйл. Ру Групп, Альфа-Банк, Яндекс, ВТБ, МТС, Ютэйр, Почта России и другие (см. на сайте). Если вы работодатель — свяжитесь с нами.
Я буду признателен всем за обратную связь, потому что из исследования начал получаться полезный отраслевой продукт, и несколько человек уже получили предложения о работе в топовых продуктовых компаниях.
В следующей части я расскажу как мы шлифовали алгоритмы, проектировали сервис, как собирали и обрабатывали статистику и какие результаты будут после запуска новых частей сервиса.
P.S. Ссылки.
- Обезличенный датасет, все тексты исследования с графиками, интервью с экспертами и т.п. я выложил на гитхаб.
- Сайт проекта
