Расскажу о сабже на примере одного из проектов, которым занимался в 2019-м году, когда я ещё работал в одной известной онлайн-школе английского языка.
Вы узнаете, как мы научились по изображениям с камеры во время урока в реальном времени распознавать эмоции учителей и учеников, как использовали это в продукте, чтобы повысить удовлетворенность клиентов, сколько денег на этом потратили и заработали.
Заодно покажу, как устроен цикл разработки и внедрения моделей машинного обучения.
Какую проблему решали
Мы провели глубинное исследование, чтобы понять причины, почему наши ученики бросают либо продолжают учиться. Для этого опросили выборку из десятков учеников в разных сегментах (кто недолго проучился и быстро бросил, кто долго проучился, но потом перестал, а также тех, кто продолжает заниматься).
Среди ряда факторов, которые называли наши ученики, всплыла довольно очевидная вещь, что учить английский объективно тяжело, на уроках наши клиенты неизбежно испытывают разнообразные трудности (когда они что-то не понимают или что-то у них не получается или сложно им даётся) и связанные с ними негативные эмоции, и что это уменьшает их желание продолжать обучение.
Оказалось, что у многих новых учеников первоначальный энтузиазм быстро заканчивается и при малой внутренней и внешней мотивации они склонны бросать уроки. Это в очередной раз подтвердило гипотезу о том, что помимо собственно обучения нужно давать клиентам хорошие эмоции.
User Story: «Как ученик, я хочу, чтобы мои уроки были не только полезными, но и приятными»
Школа получает тем меньше прибыли с каждого клиента, чем меньше уроков суммарно он купил. Если школа не сумела удержать нового ученика, а его первый купленный пакет уроков был небольшим, то операционная прибыль и вовсе может оказаться меньше затрат на привлечение этого клиента.
Бизнес-задача, которая перед нами стояла: повысить удовлетворенность новых клиентов прошедшими уроками, чтобы мотивировать их на продолжение обучения и покупку дополнительных пакетов уроков.
В качестве целевой метрики мы выбрали т.н. конверсию во вторую покупку, C2 — это доля новых учеников, купивших второй пакет уроков в течение 70 дней с момента покупки первого пакета уроков.
Как подошли к решению
Мы исходили из того, что удовлетворенность ученика прошедшим уроком зависит в первую очередь от его воспоминаний об уроке, а не от хода самого урока. Это выяснилось во время многих интервью с учениками о пройденных ими уроках. Даже если урок был трудным, ученик много ошибался, но в конце урока получил похвалу от учителя, его впечатление от урока оказывалось положительным.
По Канеману и Тверски: «Наше “вспоминающее я” выносит суждения о перенесенном опыте на основе пиковых и последних ощущений, полученных в процессе»
Тогда мы подумали, а что если в конце урока показать ученику самые приятные моменты урока, чтобы превентивно сформировать у него наилучшие воспоминания об уроке?
Технически нам нужно было придумать, как выделять самые приятные моменты урока. Для этого мы решили парсить видеопоток с платформы, на которой проходит обучение, и раз в 30 секунд определять эмоции на стоп-кадрах с урока с помощью коробочного сервиса распознавания эмоций.
Из этих изображений мы отбирали те, где по результатам распознавания человек улыбается, выглядит счастливым или удивленным, склеивали из них гифку и в конце урока показывали её ученику и преподавателю на странице с результатами урока.
Пример результата
Эта последняя версия, на мой взгляд, выглядит довольно миленько, но кому-то наверняка бы даже она не понравилась, поэтому мы сразу сделали кнопку выключения этого функционала. А чтобы прийти хотя бы к такому результату, нам пришлось поиграться с настройками склеивания гифки и пройти через несколько релизов разных вариантов оформления и размещения этих картинок.
Ещё тут нужно рассказать про то, что на самом деле распознают сервисы распознавания эмоций. Эти сервисы работают на основе моделей машинного обучения, построенных на большой выборке изображений, для которых вручную были проставлены оценки эмоций. Фактически они обучены стереотипным представлениям о том, как выглядят эмоции на лице человека.
Используя такие сервисы, мы не можем определить настоящие эмоции. Но для нашей бизнес-задачи это и не важно, потому что нам нужно найти те моменты, которые на вид кажутся позитивными.
Как оценивали результат
Для оценки результата мы провели классический A/B тест. Случайным образом помещали в контрольную либо тестовую группы эксперимента часть случайно выбранных взрослых новых учеников при покупке ими первого пакета уроков с 1 по 30 июня 2019 года. Проконтролировали гомогенность групп по размеру купленного пакета уроков, региону местонахождения, каналу привлечения, рейтингу их преподавателей и другим ключевым факторам. В дальнейшем, для каждого участника эксперимента определили факт покупки им второго пакета уроков в течение 70 дней после покупки первого пакета уроков. Получилось вот что:
Результаты A/B теста
| Группа | Учеников | Совершивших покупку 2-го пакета уроков в течение 70 дней с момента первой покупки | С2 |
|---|---|---|---|
| Тестовая | 2505 | 688 | 27,47% |
| Контрольная | 2565 | 642 | 25,03% |
То есть в тестовой группе почти на 2.5 процентных пункта повысилась доля тех, кто совершает вторую покупку, и этот результат статистически значимый.
В предположении, что прирост в конверсии C2 в покупку второго пакета уроков сохранится при раскатке теста на всех учеников, и при текущем размере компании и параметрах юнит-экономики ожидаемый прирост прибыли от внедрения этой фичи составил 12 млн руб. в месяц.
Но при этом расходы на распознавание эмоций при помощи коробочного сервиса при текущем количестве часов уроков составили бы порядка 4 миллионов рублей в месяц.
Как удешевили решение
Мы решили сделать собственный сервис распознавания эмоций. Для этого обучили на открытом наборе изображений, размеченных эмоциями, собственную нейронную сеть вида EfficientNet B0.
За 6 месяцев с начала A/B теста мы собрали около 40 млн изображений, размеченных при помощи коробочного сервиса. На этом наборе данных мы дообучили собственную модель распознавания эмоций и улыбок.
Благодаря использованию этой модели расходы на распознавание эмоций уменьшились на порядок.
Что осталось за кадром
Описанная история звучит очень гладко, какие молодцы, запилили фичу, получили прибыль :) Но на самом деле за этим всем стояла большая слаженная работа профессионалов — рисерчеров, разработчиков, аналитиков, дизайнеров, дата сайентистов и менеджеров.
Перед тем как начинать что-то пилить, нужно было сделать исследование сервисов распознавания эмоций:
- Какие есть сервисы?
- Что умеют распознавать?
- Сколько стоят?
- Как быстро работают?
Затем разобраться с нашими данными:
- Что из себя представляют?
- Где лежат?
- Как их достать?
- Как их скормить в сервис распознавания?
Продуктовая идея, как использовать распознанные картинки, пришла во время мозгового штурма уже после того, как сделали прототип.
Но надо было еще подключить сервис в продакшен-окружение, пройти через несколько итераций продуктовой разработки, аккуратно спроектировать, спланировать, провести на небольшой группе пользователей и проанализировать A/B тест, чтобы убедиться, что идея действительно работает и приносит прибыль.
Хорошо, что у команды, в которой я работал, есть все необходимые компетенции для решения таких задач:
- большой кругозор по теме AI, чтобы знать, куда копать,
- навыки быстрого поиска и анализа, чтобы понять, что есть на рынке
- навыки быстрой разработки и прототипирования
- понимание продукта и бизнеса, чтобы придумать применение
- опыт разработки высоконагруженных риалтайм решений и сервисов
Итог
Мы использовали распознавание улыбок и эмоций на фотографиях ученика и преподавателя во время урока, чтобы в конце урока продемонстрировать им наиболее приятные моменты урока и закрепить для них положительные впечатления о прошедшем уроке.
Сначала использовали коробочный сервис, затем при помощи накопленных данных построили собственную модель распознавания эмоций с приемлемым качеством и значительно меньшей стоимостью использования.
В результате статистически значимо увеличили конверсию в повторную покупку уроков учениками и кратно окупили затраты на разработку и использование этой модели.
Ну а главное, ученики остались более довольны прошедшими уроками.
Примечания
- Заглавное фото сделано Mitchell Luo.
- Названия школы английского и коробочного сервиса распознавания не могу раскрывать по условиям NDA.
