Как стать автором
Обновить

Как с помощью нейросети определить лучшую дату отправки email и повысить доход рассылки в 8,5 раз

Время на прочтение6 мин
Количество просмотров6.7K
Всего голосов 23: ↑12 и ↓11+1
Комментарии24

Комментарии 24

Однажды я сделал пару покупок в известном онлайн магазине и потом меня завалили спамом. И что характерно — ни разу не прислали что-то реально нужное или интересное, только то, что самому магазину интересно было мне продать со «скидкой 70%.» И даже если бы эти письма приходили в точно рассчитанное нейросетью время и повысили эффективность рассылки в 8,5 раз — 8,5*0 = это все равно был бы ноль. А вот что стало в 23 раза больше целевых отправок email — охотно верю)
в 2 раза
уменьшилось число отписок

Ну выж понимаете — их просто занесли в спам. При хорошем почтовом клиенте это так же просто, как отписаться, или даже проще.
ни разу не прислали что-то реально нужное или интересное, только то, что самому магазину интересно было мне продать со «скидкой 70%.»

И это абсолютно рационально, хоть мне самому тоже не нравится. Нет смысла рекламировать то, что и так купят. Нет смысла продвигать то, что и так интересно. Идея рекламы (а значит, и рекламных рассылок, как частного случая) в том, чтобы продать товар, который просто так бы не купили (потому что просто не требуется, завышенная цена и пр.).


С учетом того, что соотношение стоимости/эффективности рекламы снизилось (из-за технологий во многом — таргетинг и пр.), сейчас выгоднее всего тратить деньги не на качество/клиентоориентированность, а на рекламу.


Так что Вы полностью правы — зачастую в рассылках совсем не то, что требуется клиенту на самом деле. Рассылки необходимы прежде всего для продавца, а не для покупателя (по моим наблюдениям).

>И это абсолютно рационально
Чтож рационального в том, что вас в спам занесут? Вот скажем, я реально покупаю в одном магазине. И он меня легально спамит время от времени. Иногда глупо — например, присылая мне товары из моего же избранного, которые я все равно сейчас не куплю, потому что хотел бы — купил бы сразу. Избранное — оно вообще не для того, чтобы сразу купить. Но иногда присылают и что-то новенькое. Вот за второе я рассылку и терплю — а иначе бы просто отписался бы.

Ну т.е., зачем слать человеку заведомо одно гавно, ведь кроме цели продать может быть и цель намного более простая — чтобы от вас тупо не отписались.
Чтож рационального в том, что вас в спам занесут?

Не "вас", так как я не имею никакого отношения к автору поста, плюс я не занимаюсь рекламой ни прямо, ни косвенно. Я сужу о процессе как получатель вороха спама, не более.


Отписываться от рекламы будет, по моим предположениям, малое число людей. А уж в спам добавлять будет и того меньший процент, хотя бы потому, что для этого недостаточно действий в email клиенте на телефоне, а надо открыть сайт почты и там уже пометить письмо как "спам".


Я не уверен в предположении выше, однако, если оно верно, то спамеры действуют вполне рационально — они увеличивают прибыль с основной аудитории (путем грязных техник), однако, параллельно теряя малый процент от изначальных клиентов. Я подозреваю, что это выгодно для бизнеса, а потому мы имеем огромный поток рекламы и маркетинга.


Причем, с моей точки зрения, техническими средствами такую проблему не решить, так заваливать рекламой просто экономически выгодно. Однако, я знаю как минимум одно решение — в Германии, если я не ошибаюсь, человека нельзя по-умолчанию подписывать на подобные рассылки (таков закон). И раз в год человек должен изъявлять явное согласие получать их. Мне кажется, подобная мера должна снижать как минимум объем безусловного спама. Но есть и другая проблема, когда компания вместе с полезной рассылкой автоматически шлет ворох маркетинговой шелухи (как Вы и сказали). И вот я не знаю, как можно бороться с подобным, кроме жесткого регулирования (которое тоже имеет очевидные минусы).

>Не «вас»
Я это прекрасно понимаю. Я тоже говорю с позиции тех, кто рассылает. Какой им смысл слать только то, что выгодно продать им, если это закончится понятно чем?

Мне кажется, вы как-то очень пессимистично оцениваете сложность занесения в спам. В моих клиентах, а это gmail, это делается одной кнопкой, что в вебе, что в мобильной версии. И это обычно намного проще, чем найти способ отписаться.

>потому мы имеем огромный поток рекламы и маркетинга
Возможно поэтому я его и не имею? Ну т.е. я бы сказал, что у меня на сегодня по двум ящикам, один из которых совсем мусорный, поток спама минимален. Ну т.е. одно письмо в неделю, например, или реже. Это какие-то единицы процентов, примерно.
Какой им смысл слать только то, что выгодно продать им, если это закончится понятно чем?

Они оставляют возле себя аудиторию, которая готова потреблять спам. Мне кажется, что эта аудитория достаточно большая. И эту аудиторию можно побудить на покупку. Похожим образом, по моим заметкам, зачастую действует и политическая пропаганда — не обязательно убедить всех, главное — убедить побольше колеблющихся.


Мне кажется, вы как-то очень пессимистично оцениваете сложность занесения в спам. В моих клиентах, а это gmail, это делается одной кнопкой, что в вебе, что в мобильной версии. И это обычно намного проще, чем найти способ отписаться.

Верю. А я не использую клиент GMail, так как у меня почтовые ящики на разных ресурсах. И мне надо сделать еще один шаг, чтобы отписаться. Мне казалось, что большинство людей сейчас не использует Gmail клиент на телефоне (даже если почта у гугла). И спамерам не надо дописаться до всех, главное — чтобы охват был бы побольше.


Возможно поэтому я его и не имею? Ну т.е. я бы сказал, что у меня на сегодня по двум ящикам, один из которых совсем мусорный, поток спама минимален. Ну т.е. одно письмо в неделю, например, или реже. Это какие-то единицы процентов, примерно.

У меня аналогично. И это не меняет того, что спам сейчас выгоден (как минимум, автор данного поста им занимается, и, я думаю, прибыль присутствует). Как я уже написал, мне кажется, что вся выгода строится на том, что большинство людей не будет отписываться, отсюда и плюсы массовой отправки рекламы.

>Они оставляют возле себя аудиторию, которая готова потреблять спам.
А, ну да. В такой постановке это логично.

>А я не использую клиент GMail, так как у меня почтовые ящики на разных ресурсах.
А он прекрасно умеет smtp и imap, вообще-то. Так что можно попробовать. Вся почта в одном месте имеет некоторый смысл.
А он прекрасно умеет smtp и imap, вообще-то. Так что можно попробовать. Вся почта в одном месте имеет некоторый смысл.

Не совсем. У меня в телефоне корпоративная почта и личная. Корпоративную почту я не могу отдавать никакому внешнему провайдеру, ибо такая политика безопасности компании (что довольно разумно).


На ноутбуке у меня нативный почтовый клиент, который мне удобнее. Да, это спорный вопрос и вкусовщина, но это так.


И ради блокирования назойливых рассылок я иногда открываю web интерфейс и "жалуюсь на спам". Но только если кнопка "отписаться" не сработала как надо (например — попросили залогиниться в личный кабинет).

Да, я понимаю, как раздражает, когда валится спам. Это как раз про те случаи, когда шлют наугад, лишь бы отправить и впарить. Мы, наоборот, работает над алгоритмами, чтобы спрос и предложение совпали и можно было показать клиенту ровно те товары, которые ему нужны именно сейчас.

Например, купил человек корм для собаки, наполнитель для кошки и всякие другие расходники. Мы понимаем, что через месяц ему понадобится ещё, ведь собаку и кошку надо кормить и ухаживать за ними. Направляем письмо-напоминалку. Если клиент нажмет на кнопку из письма, то сразу попадёт в корзину, где лежит весь предыдущий заказ. Ему не придётся ходить по сайту и собирать его заново. Кажется, польза и магазину, и клиенту.

А по поводу 8,5 раз. Речь идёт не об эффективности, а о реальном доходе. Если люди купили, значит товары были им нужны и мы вовремя их показали.
Значимость A/B теста на чем считали? Клики, открытия, покупки?

Кажется, что доход на отправку упал: 12000 / 470 = 25.5, а 102000 / 10600 = 9.6. Или 12000 / (470 * 0.2) = 127.67, 102000 / (10600 * 0.15) = 64.15, если считать не по отправкам, а по открытиям.
Значимость и по кликам и по открытиям считали. А какая мотивация считать доход по открытиям? Платим же за отправку
По открытиям для сравнения посчитал.
Просто кажется, что для вас это может и быть полезнее (отправок больше — оплата больше). Но для заказчика — не факт. Тут хорошо бы про их мотивацию рассказать (если это возможно). Нужно ли больше денег суммарно от кампании, или нужен выше доход на отправку?

Может одно письмо стоит 15 рублей (я условно, это преувеличение, конечно же). Тогда для заказчика рассылка по большей аудитории окажется убытком.

P.S. В целом, молодцы, конечно. Но LSTM вроде бы не такая нестандартная модель для такого рода задач.
P.P.S. Кажется, что вашу задачу можно дальше попробовать сформулировать в терминах uplift'а.

Так доход на отправку тоже ведь упал, не очень понятно откуда вывод что с lstm стало лучше.
Было бы интересно сравнить бустинг с lstm при условии одинакового количества отправленных сообщений.

Зря паритесь. Я электронную почту не читая отправляю в спам да в корзину. Уже давно. А ведь хорошая была вещь. Пока её не испортили спамеры типа вас.
Странно сравнивать финансовый результат 500 отправок против 10000 отправок.
Нужно было «подкручивать» алгоритмы так, чтобы число писем было примерно одинаковым.
Может «секрет» тупо в том, чтобы отправлять в 20 раз больше писем? Тем более, что «доход» на письмо упал.
Интуитивно понятно, что если просто разослать всем подряд, то почти никто не откроет и смысла будет мало. А если, наоборот, отправлять мало, не получится это монетизировать, даже если выбор пользователей для отправки супер точный и все открыли письмо. Поэтому хочется придумать алгоритм который шлет больше, при этом оставляя получателей довольными — они все еще открывают письма, не отписываются и совершают покупки

Спасибо, почитать было интересно. Но сама методика вызвала много вопросов:


  • включено ли в понятие даты время отправки?
  • посему использовались только метрики товара дорогой/дешёвый? А не "часто покупаемый" или "товар, который ищут по вечерам"?
  • что говорит обычная статистика — может, достаточно было провести тест отправки в разное время и посчитать отклики?
Время отправки включено. Допустим предсказанная последовательность выглядит как (open_email, 0.5, open_email 10, view, 0.5, view 1). От текущего момента до ближайшего токена покупки 10.5 часов. Можно отправить письмо ровно через это время, но на самом деле лучше отправить немного заранее. Сейчас отправляем за 3 часа до прогнозируемого просмотра \ покупки товара.

Из продуктов и правда можно сконструировать много других токенов, пока не успели попробовать много вариантов, но с большой вероятностью «часто покупаемый» или «товар, который ищут по вечерам» будут не хуже текущих, мы будем пробовать экспериментировать дальше)

Помимо времени отправки еще важно решить, отправлять ли вообще письмо конкретному пользователю, нейросеть выбирает кому отправить, а кому нет. Если отправлять всем, то получится просто спам, хочется найти дату, когда пользователь с намбольшей вероятностью заинтересован в чтении письма и отправить именно в этот день
Нда… Скорее всего пользователи www.bethowen.ru/agreement не читают хабр (не далее пары месяцев назад была подходящая статья). Иначе среди них нашлось бы несколько человек, которые пожаловались бы в ФАС, что в соглашении, которое они по галке согласились соблюдать п. 3.7 про рассылки не соответствует законодательству, да и противоречит п. 3.5.

А дальше за каждую жалобу ФАС бы содрал с владельца по 100 тыс. руб. (минималка). И желание спамить у владельцев сразу бы пропало:).

Прикольно. У меня бизнес — вопрос.
Сколько составил бюджет предыдущей разработки + новой разработки и внедрения включая все расходы и итоговое время разработки?

Разработка нового алгоритма заняла примерно месяц (команда из 4 ML разработчиков), для отправок использовали существующую инфраструктуру Mindbox, позволяющую отправлять emai, поэтому оценить суммарный бюджет тяжело
Привет. Спасибо за статью. Интересный подход. В тэге к статье увидел Big Data, было бы интересно послушать про инженерные детали, связанные с выводом этого дела в суровый прод, тк сеточки в бигдате это боль как известно. Несколько вопросов:

1) Сколько пользователей в сутки вы обрабатываете?
2) Как часто переобучаете модель?
3) Пробовали дообучать модель в рантайме?
4) Как применяете модель: в рантайме на каждое действие пользователя или скорите, скажем, раз в сутки всех пользователей?
5) пайплайн, включая сбор данных и применение модели, полностью на питоне?
Привет

1) Средний клиент 500 000 пользователей. Из них тех, кому нужно отправить емейл оказывается примерно 5 000. Всего сейчас подключено 25 клиентов.

2) Переобучение раз в месяц

3) В рантайме не пробовали. За нейросетями нужно очень пристально следить — не начала ли переобучаться на что-то. Поэтому пока только под нашим надзором

4) Раз в сутки инференсим на всех пользователях. Сверху ответов сети на всякий случай есть фильтры (не отправляем одному и тому же чаще раза в 2 недели, например)

5) МЛ пайплайн целиком на питоне, инфраструктура про отправку емейлов — С#
Зарегистрируйтесь на Хабре, чтобы оставить комментарий