Как стать автором
Обновить

Как мы внедрили ML в приложение с почти 50 миллионами пользователей. Опыт Сбера

Время на прочтение10 мин
Количество просмотров18K
Всего голосов 50: ↑38 и ↓12+26
Комментарии57

Комментарии 57

НЛО прилетело и опубликовало эту надпись здесь
Что вас именно не устраивает? Для мне так предложения по часто переводимым платежам хорошо помогают, например, пополнить баланс телефона
НЛО прилетело и опубликовало эту надпись здесь
koluka, здравствуйте! В статье не идёт речь об автоплатежах, в виджетах рекомендуются операции в виде быстрой ссылки, которые вы совершаете, чтобы вам не нужно было использовать дерево каталога, а достаточно было нажать только одну кнопку. Нажимать или нет — полностью ваше решение.
Это конечно высокотехнологично, но приходит в голову та картинка про «где получали туда и идите», напишем только то, что имеет отношение к приложению
1) Приложение требует столько разрешений для запуска, что в результате его просто не ставишь, а пользуешься веб-версией.
2) Однако в веб-версии прикол в том, что она необоснованно урезанная, т.е. просто пихают ставить приложение… например, нет возможности подключить смс уведомления, поэтому если хочешь получать смс об операциях — изволь поставить приложение.
3) Консультанты в отделениях это… При выдаче карты попытались взять телефон в руки не спросив, попрепиравшись («да я же только помочь») — ну ок, дали. Потом со страшной скоростью (реально профи, мы так не можем) давай в него тыкать (ставит приложение, разрешает ему все подряд) и потом заходит куда-то в платежи и совершает платеж на 0 рублей по каким-то реквизитам или типа того (система комиссий у них что-ли к этому привязана).
К п.2) в то же время, заявление на перевод карты в другое отделение (вдумайтесь!) можно написать только в веб-версии или в отделении, в котором первоначально была карта выпущена.

Машиннообученный Сбербанк, сделайте пожалуйста волшебный флажок, который отключал бы к еб… ям карточки, на которые вы потратили столько денег и времени, а? Это не сложно.
заявление на перевод карты в другое отделение (вдумайтесь!) можно написать только в веб-версии или в отделении, в котором первоначально была карта выпущена.

Простите за дурацкий вопрос, но под переводом здесь имеется в виду перевыпуск с выдачей в другом отделении? Если да, то здесь исторические причины, с которыми мы постепенно работаем. Функциональность с указанием отделения, где можно забрать карту, есть, но, как и со многими фичами, она раскатывается постепенно, поэтому клиентам некоторых территориальных банков может быть недоступна. Со стороны это выглядит странно, да, но моментально изменить не получится.

Ладно функциональность в приложении — сам разработчик и знаю, что не все можно сделать и выкатить сразу. Поддержка прямо отвечает — пишите заявление, бумажное в отделении.


После нескольких уточняющих вопросов выяснилось, что в веб-версии тоже можно оставить заявку.
Но веб-версия для мобильных устройств настрлько порезана, что куда писать заявку найти не удалось.


Взял выходной и поехал получать карту в свое старое отделение и писать заявы на перевод карт в отделение поближе.

Но веб-версия для мобильных устройств настрлько порезана, что куда писать заявку найти не удалось.

Так включите в браузере десктопное отображение и получите полноценную версию.


За создание отдельных мобильных версий сайтов в пору отрубать руки.

1) Приложение требует столько разрешений для запуска, что в результате его просто не ставишь, а пользуешься веб-версией.

Это на iOS или Андроиде?

3) Консультанты в отделениях это… При выдаче карты попытались взять телефон в руки не спросив, попрепиравшись («да я же только помочь») — ну ок, дали. Потом со страшной скоростью (реально профи, мы так не можем) давай в него тыкать (ставит приложение, разрешает ему все подряд) и потом заходит куда-то в платежи и совершает платеж на 0 рублей по каким-то реквизитам или типа того (система комиссий у них что-ли к этому привязана).

Это недопустимая ситуация, конечно. Хорошо, что рассказали. Мы проводим обучение для сотрудников отделений, учтём то, о чём вы пишете. К сожалению, сложно быстро всех обучить, потому что масштаб слишком большой, но постепенно все меняется.
Да не рассказывайте… Давно не секрет, что у ваших «девочек» план и зп зависит от кол-ва установок прложения, подключенных копилок и автоплатежей. Любая выдача карты (включая перевыпуск) не обходится без кучи отказов от удобного сервиса и посыла с картой к девочке для активации.
Не-не. Тут обучением не обойтись. За попытку схватить мой телефон, и что-то набрать там, а тем более установить приложение, либо за просьбу ввести мой пароль к сбербанк онлайну на планшете консультанта мне лично хочется навалять сразу, и очень сильно. По вашему это сильно лучше, по чем попросить пин код на бумажке, например? За это надо наказывать, и строго.
Вы совершенно правы, будем работать с этим.
Абсолютно всегда, в абсолютно любом отделении, если на входе ты сказал что пришел за перевыпущенной картой сотрудник просит запустить сбер онлайн и начинает там натыкивать, делать переводы по 0 рублей, это реально выбешивает, с какого перепуга посторонний чел что-то тыкает в моем телефоне? Внутри я понимаю что он себе бонусов накидывает, процентики на зарплату и тд, но разве нельзя это сделать как-то более цивилизованно? Хотя-бы как в приложении Почты России, после обслуживания понаставить звёздочек?.. Ну и конечно сильно навязчивые предложения застраховать сколько-то там тысяч на карте, 20 раз скажешь нет, все равно не отстают. :( Кстати моих родителей уже давно пенсионеров таки развели на эти страховки, придешь так за перевыпущенной картой… Ну и да все это машинное обучение никак не помогает в смене отделения. Никаким образом невозможно договориться чтобы карту перевыпустили в другом отделении, так и приходится мотаться на другой конец географии. А на все вопросы сотрудник отвечает — потеряйте карту и обратитесь в удобное вам отделение для восстановления, но камон, какого фига забивать гвозди микроскопом? Если что есть опыт с Ситибанком, где перевыпущенную карту я забирал в почтовом ящике, и вообще никаких проблем.
Первый раз об этом слышу. В моем городе такого нет. Я уже лет 12 клиент сбера.
Но вот недавно стала еще и клиентом Альфа банка. И вот у них что твориться это жесть. Чтобы взять талончик в очередь мне нужно вводить номер и серию паспорта в терминал очереди и получается светить своими данными на весь банк. А не будешь вводить данные, не попадешь к менеджеру.
Уж лучше пусть телефон вырывают, чем светить своими данными.
Очень странно, я тоже клиент Альфа банка, в моём случае всё прямо противоположно — крайне быстро и удобно, никаких данных вбивать не приходилось ни разу.
А как давно вы были в банке? Может это недавнее обновление?
Это не может быть прихотью местного отделения, т.к. это запрограммировано. Единственное, что напрашивается — это может отключаться.
В последний раз был в апреле, забирал карту.
На самом деле не знаю, откуда у вас такое. В моем маленьком городе(Вологда) я просто пришел к ближайшему отделению от работы, и это не то отделение, где я карту выпускал. Попросил перевыпустить карту, т.к. у меня имя латиницей не совпадает с написанием в загран паспорте, и никаких проблем. Было это еще в 2017.
Сложно судить, может быть в разных городах оно по разному, но вот например в Москве сбер на Брянской ул. себя ведет именно так. Вырывают телефон со словами «Мы подготовим сейчас всё, чтобы вашу карту быстрее принесли». По факту он там накликал как-будто оказал мне какую-то консультационную услугу. Отцу там же навязали страховку, которая ему нафиг не нужна, он не знает что такое интернет, на телефоне сбер онлайн даже не стоит, но вот платит с итак небольшой зарплаты за эту страховку, непонятно что там с совестью у менеджеров сбера, навязывающих эту медвежью услугу. Там же в этом же отделении сотрудник с полчаса искала мою карту, на кой ляд эти при входе отбирали телефон для «ускорения» не понятно. Ну и конечно навязали мне нафиг не нужную кредитку, сотрудница чуть не плакала, умоляла оформить. Я так понял что ей хорошая прибавка к зарплате. Попользовался один раз этой картой, понял что я отвык от кредиток, и жить в долг это не мое, и так и лежит в кармане, думаю надо заблокировать и забыть про неё. Вот это вот навязывание, постоянные звонки — «Для вас поступило супер предложение, возьмите кредит на 3 миллиона!», вежливо отказываешься, они с еще большим нахрапом начинают навязывать, потому поставил приложение «Не бери трубку» и вздохнул с облегчением. Ну и вишенка на торте сотрудник с табличкой «ведущий специалист» (или как-то так) предлагает мне потерять карту чтоб перевыпустить в другом отделении. При том что я начинаю названивать им еще за месяц до перевыпуска. По телефону выясняется что заранее нельзя, надо именно в момент когда она будет выпускаться… потом выясняется что и это невозможно… и так уже второй перевыпуск. Вот это выбешивает гораздо больше чем весь этот ML вместе взятый, не там они улучшайзинг устраивают. Сейчас онлайном более менее можно пользоваться, а вот сервис в отделениях страдает. Да еще вспомнил, когда еще не блокировал звонки от сбера, звонят — «Вы VIP клиент, мы предлагаем вам воспользоваться услугами VIP отделений по программе Премиум, ближайшее к вам отделение на конце географии, когда вас записать на приём?»… Что? А оно мне надо? Вроде нафиг не надо, мне и так хорошо, в обычном отделении в моей деревне. И давай навязывать свое мнение о том как мне будет хорошо в этом премиуме по московским пробкам… соглашаешься на все что можно, забиваешь на посещение и блокируешь номер чтоб отстали.
Действительно странно. Возможно вам следовало оставить пару записей в «книге вопросов и предложений». У нас даже близко такого не наблюдается. Несколько лет назад перешел на программу премиум, никак не беспокоят, денег не просят. Просто более быстрый ответ при звонках на 900 и в одном из офисов города сидит персональный менджер, которому можно позвонить и попросить сделать справки заранее. Пришел, забрал ушел и никакой очереди. Возможно в маленьких городах все друг друга знают и по этому сотрудники в принципе более адекватно себя ведут =)

PS
Страховки тоже пытались навязывать пару раз. Но после того как сказал, что не интересует и не надо даже предлагать никто больше ни разу не предлагал.
НЛО прилетело и опубликовало эту надпись здесь
Это на iOS или Андроиде?
На андроиде. И именно требует, т.к. без этих разрешений не запускается.
Только недавно заметил, что приложение рекомендует мне платежи, которые я и впрямь в основном делаю.
И вот статья )
Было интересно почитать, спасибо.
Да, мне тоже этот момент понравился. Особенно по оплате коммунальных услуг.
Здравствуйте, а уведомления об операциях и переводах, доступные на экране входа без авторизации, можно как-то очистить?
chegeras, здравствуйте! Удалить уведомления можно в разделе «Колокольчик» на главном экране (iOS, Android) после входа в приложение.
а можно туда добавить кнопку «выбрать все»? что-то не радует, что на каждое уведомление надо нажать, чтобы добавить в список на удаление.
Спасибо, теперь точно перехожу на наличные.
НЛО прилетело и опубликовало эту надпись здесь

image


Как обычно, дизайнер нарисовал весёлую картинку, совершенно не думая о том, как этим пользоваться. Мотать горизонтальный список возможных платежей не удобно. Вы думаете, что поможете пользователю, если отсортируете список по (мнимой) вероятности использования, но этим лишь оказываете ему медвежью услугу — он не знает где искать нужный ему платёж и придётся каждый раз смотреть их последовательно. Зачем вы пытаетесь на главный экран вывести вообще всё? Просто спросите пользователя что он хочет сделать и выдайте экран для этого действия подходящий. Хочешь оплатить? Держи список возможных оплат на весь экран, а не в замочной скважине. UX — он не в экономии кликов. Он прежде всего в понятности и предсказуемости.


Один их простейших и надёжных интерфейсов — табуретка. Вы её берёте и ставите, где хотите, потом садитесь. Всё это делается не задумываясь в любом контексте. А теперь представьте себе табуретку с машинным обучением, которую нельзя перемещать самому — она сама угадывает где вы заходите сесть. Иногда она будет экономить движения рук. А иногда вы будете шлёпаться на пол. Как скоро вы этот высокотехнологичный девайс возненавидите?

О да, принцип осведомлённого согласия. Нужна настройка, которая позволяет замещать машинообученные карточки своим выбором, который никуда не денется.

vintage, здравствуйте! Вам по-прежнему доступен привычный каталог на втором экране «Платежи», если удобнее выбирать услуги из общего списка. Не совсем понял про вопрос пользователю, что он хочет сделать. В приложении тысяча и одна возможность, как может выглядеть такой вопрос — отмечать пункты списка или каталога? Чтобы не грузить этим пользователей как раз и стараемся облегчить главный экран. Продолжая аналогию, мне, как клиенту, все банковские приложения кажутся не табуретками, а комодами или шкафными группами с кучей нужных отсеков. И мы в центре делаем открытую полку с самым необходимым.

У меня этого самого необходимого несколько десятков. Вы никогда не угадаете за чем именно я зашёл в ваше приложение вот прямо сейчас. Но вы тратите четверть главного экрана на эту лотерею. В 1 случае из 5 вы ускорили доступ пользователя к цели на пол секунды. И увеличили на 2 секунды во всех остальных случаях (и о них ни один дизайнер не будет рассказывать в своих презентациях). Ведь сначала приходится просмотреть предложенные варианты, убедиться, что нужного тут нет и надо лезть в общий каталог. Несколько таких обломов и я сразу буду идти в каталог, где я знаю где что лежит. То же место можно было бы потратить с большей пользой. Как? Да вот даже у вас на картинке не влезли цели и пара карточек. Зато влез спам про ТСЖ и Байкал.

vintage, всё необходимо, но что-то необходимее, верно?) И Вы не совсем внимательно прочитали статью — клиентский путь сократился до одного клика для половины повторяющихся операций, или для 1 случая из 2, как Вам удобнее. По поводу «спама» — опять же, этот блок не входит в модель персонализации, в статье идёт речь про блок «Действия» (см. постановку задачи). В любом случае спасибо, что прочитали статью, и за обратную связь, постараемся учесть.

Мне неловко об этом говорить, но WOE вы посчитали неправильно. По крайней мере, на иллюстрации в статье. Дело в том, что в колонках "% оплативших услугу" и "% не оплативших услугу" должны считаться доли от всех оплативших и всех не оплативших, соответственно. И сумма по каждой из колонок должна быть 100%. Соответственно, и значения WOE будут совсем иными.

Причём, монотонность, о которой вы пишете, настоящее WOE не даёт. А то, что вы посчитали, это, по сути, log odds.

Phaker, конечно! Поспешили… Спасибо за внимание к статье! По монотонности не соглашусь — WOE преобразование как раз и позволяет учесть нелинейную связь между регрессором и зависимой переменной и преобразовать её в монотонную. Либо я вас не так понял, тогда прошу пояснить подробнее.

Про монотонность согласен. Сам уже не пойму, что я имел в виду, но явно был неправ :)

Ох уж этот Энтерпрайз. Куча народу, стеков, формулы красивые…
А приложение пришлось снести, и не один раз.
статья написана явно круто, но я как пользователь приложения, который *постоянно* переходит в пункт «платежи», а потом крутит до самого низа, пока не появится пункт «шаблоны», могу или процитировать классическое «Не верю!», или анекдот «и зачем нам эти навороты в зоопарке?», или еще множеством сопособв сказать, что конкретно в моём, совершенно непрезентативном случае, всё это не работает.

А как у «старпёра», у меня отдельный вопрос, вот допустим на первом экране
* Мой оператор сотовой связи, Оплатить — ок.
* Оплатить по QR-коду — WAT?
* Сбербанк меняется: что нового? — WAT?
и дальше крутануть:
* Кино по промокоду — WAT?
* Простые упражнения для мозга — ааааааа

Если совсем коротко (и совершенно никого не хочу задеть) — маркетинг поимел всех?

Из пяти пунктов — один попал. Где оплата второго телефона в другом операторе? Где оплата телефона жены? Где пара регулярных платежей по шаблонам? Нет, если крутануть дальше, в первой десятке их нет.

Очень хочется верить, что есть какие-то метрики, по которым ваша работа сделала приложение лучше. Очень жаль, но я не попал в когорту счастливчиков.
Даже в комментариях тут нашелся человек. Тоже хочется верить, что настоящий живой, а не бот или ваш коллега
bormotov, здравствуйте! Спасибо за обратную связь! Ещё не вся лента виджетов персонализирована до конца. Плюс рекомендации отбираются по определённым правилам (в том числе по порогу, упомянутому в статье), над балансировкой которых мы сейчас работаем.
Это всё конечно здорово, надеюсь, когда-нибудь прогресс дойдёт и до корректного отображения баланса на карте в тех случаях, когда выполняется списание не через приложение (обслуживание, онлайн покупки) — сейчас для того, чтобы увидеть изменённый баланс, необходим перезапуск.
Крайне спорная фича с иконками вверу, этакий закос под «истории» в том же ВК. Ни там не пользовался, ни здесь неудобно.
Ребят, вы своему машинному обучению периодически контрольные мероприятия устраивайте по пройденным материалам. А то оно периодически чему-то не тому обучается. Недавно ваше ПО распознало мою операцию подозрительной (переводил деньги на свою же карту в стороннем банке. Не первый раз причём. Не менялось ничего кроме суммы. И да, сумма небольшая, меньше месячной зарплаты.) и карту заблокировали. Прислали СМС что заблокирована операция на «M» тысяч рублей. При попытке разблокировать оператор просит подтвердить операцию на «Н» тысяч рублей. Сходится время, сходится контрагент, не сходится только сумма. В итоге карта уничтожается оператором.

Таким образом в банк поступил запрос на «М» тысяч рублей (банк прислал СМС о подозрительном запросе на «М» тысяч рублей — винить «тот» банк не получится).
К оператору попала информация о запросе на «Н» тысяч рублей. (оператор назвал эту сумму)
Оператор по инструкции сравнивает «М» и «Н», получает false и блокирует карту.

В сухом остатке: банковское ПО что-то там себе подумало, потом как-то там подглючило и вуаля — деньги доступны только в отделении Сбера с паспортом. А представьте, что подобная ситуация случилась за границей?
Я понимаю что банку лучше «перестраховаться», но и желания держать все деньги в одном банке такие случаи не прибавляют. Ни разу.
Мне интересно, из тех кто тут отписался — много человек также использует приложение других банков?
Я использую Альфа банк. Для меня более удобным является сбер.
Тиньков, ВТБ, Росбанк — не для повседневного пользования, так страховка от недоступности большого компа. Но, повторюсь, творение топикстартера пришлось удалить.

Тинькофф — мой основной банк. Там тоже есть лента с непонятной хренью на главном активити.

у меня еще есть Альфа, но почему это интересно?

Люди пишут, что они сделали своё приложение лучше. Они молодцы, сделали хорошо, и что бы понять насколько хорошо сделали, как там у других знать не важно. Вот начальная точка, вот исследование, реализация и вот результат. Было — стало. Или не стало, а как пишут — «в процессе».
Когда ваша в целом неплохая программа начнет в диалогах писать корректный лог операций?
Иногда ребенку отправляю деньги, по логу вижу полную чушь. 20 июля в один день стоит 10 отправлений а в мае ни одного.
Мой вывод — не в то место ML внедрили!
Часто оплачиваю в терминалах счета за ЖКХ с помощью штрих-кода. Именно в терминалах, а не в приложении, т.к. нужен нормальный чек. При этом приложение посчитало, что это чертовски популярная операция. И его не смутил тот факт, что через приложение я это никогда не делал. Но теперь это топ1 рекомендация в нём. WAT?!
Олег, здравствуйте! Как упоминалось в статье, мы стараемся использовать максимальное количество источников, в том числе и наши банкоматы. Это не баг, это фича)
Все это здорово, но зная Сбербанк, могу предположить, что данной задачей занималось 50 человек с окладом 150+ на протяжении 6 месяцев. И собственно рождается вопрос — а нужна ли подобная доработка? Может лучше уменьшить комисси по переводам, а пользователь сам внесет нужные ему платежи в избранное?
letsplayhard, здравствуйте! В этом плане всё гораздо прозаичнее и цифры конечно меньше, хоть мысштабы Сбера и накладывают свои особенности)
А когда в приложении можно будет переводить деньги со своей карты от другого банка в сбер?
В других банках это давно есть — вводишь номер карты, CVV, сумму, и через секунду деньги приходят на счёт.
Dartal2, здравствуйте! Спасибо за обратную связь, передам смежной команде!
Зарегистрируйтесь на Хабре, чтобы оставить комментарий