Как стать автором
Обновить

Как Яндекс тонет под Комбайном ботов

Уровень сложностиСредний
Время на прочтение3 мин
Количество просмотров23K

Кто генерирует клики ботов? Каким софтом? Сколько таких кликов во всём объеме трафика? Как эти клики отделить? Обо всем этом, и даже больше, пойдет речь в сегодняшней статье.

Я, Григорий Мельников, автор онлайн сервиса по выявлению ботов KillBot, продолжаю цикл из 5-ти статей посвященных качеству трафика в РСЯ. Это вторая статья из цикла.

После прочтения, не забудьте о кейсе: "Кейс: Как боты из Директа накликали 10тр. по скрытым ссылкам": https://habr.com/ru/articles/813593/

Исторический экскурс

До 2015 года Яндекс использовал ссылочное ранжирование для формирования поисковой выдачи. С 2015 года Яндекс стал учитывать поведенческие факторы, что открыло новый рынок - рынок ботов, которые кликают в поиске: Если клик в поисковой выдаче последний - значит пользователь достиг цели - сайт растёт, иначе - сайт падает.

Для того, чтобы Антифрод Яндекса учел клик от бота, бота нужно нагулять - чтобы у него была история навигации по интернету. Именно это решение и породило огромное количество грязного трафика: боты сначала гуляют по интернету кликая куда попало (включая рекламу РСЯ), а потом бот используется для повышения позиций сайта в поисковой выдаче.

Софт для написания ботов

До 2016-2018 года проблемы огромного количества ботов не было, так как не было удобного и популярного инструмента для их написания.

Но появился фреймворк браузерной автоматизации: Browser Automation Studio (BAS): https://bablosoft.com/shop/BrowserAutomationStudio - именно на нём пишут большинство ботов, что сейчас гуляют по интернету.

BAS - среда для создания бота
BAS - среда для создания бота

Создать бота на BAS может любой пользователь - программировать не нужно - достаточно просто переносить блоки: какой url ввести, куда двигать мышку, куда кликнуть, какой ip (прокси) использовать.

Именно с этого момента начались гонки BAS и Яндекс, в которой последний позорно проигрывает.

Есть и другой софт для генерации ботов, это и ZennoPoster, и устаревший Human Emulator и ряд других. Но по функционалу, и ряду других причин, BAS на несколько порядков круче.

Зачем ботам прямые заходы, регистрации и заявки?

Как я упоминал ранее, антифрод Яндекса примитивный - в одной из следующих статей я расскажу как он работает и дам инструкции, как именно он должен работать.

Антифрод основан лишь на том, как пользователь ведет себя в интернете - соответственно обмануть антифрод просто.

Если бот просто просматривает страницы и не заполняет формы, то он, по мнению Яндекса, "подозрительный", так как реальные пользователи регистрируются и оставляют заявки. Поэтому боты заполняют формы: отсюда и фейковые регистрации и заявки.

Ваш сайт может быть в базе из 400 000 сайтов для нагула ботов

Яндекс запрещает рекламу по ключу "Поведенческие факторы", поэтому те, кто ими занимаются уходят в группы ВК, телеграмм каналы и личные сайты.

Список ресурсов где можно нагулять ботов, скликать рекламу или заказать ПФ:

Ресурсов, какие не вошли в список, - очень много - я лично знаю еще штук 10, и сколько еще не знаю.

Сколько ботов генерируют все эти бот-программы?

Объем генерируемого трафика можно спрогнозировать скрином личного кабинета одного из пользователей:

источник: https://vk.com/berzsserk?w=wall-198190414_1290

Раскрою, что на скрине (это скрин одного из софтов):

  • Боты работают в 22959 потоков (почти двадцать три тысячи) - т.е. одновременно кликает целый провинциальный город в Российской глубинке;

  • 7З1100 - кликов сделано за час. Скорее всего, здесь не рекламные клики, а просто общее число просмотров страниц.

Только один софт за сутки делает семнадцать миллионов просмотров: 17 546 400 кликов = 7З1100 * 24. Т.е. суммарно, если взять 10 популярных софтов, то все вместе они сделают более 100 миллионов просмотров в сутки. С такими объемами трафик реальных пользователей затеряется среди трафика ботов.

Следующий мой пост будет пост-кейс: я покажу как Яндекс Директ учитывает конверсии от ботов - конверсии которые бот сможет сделать, а пользователь нет.

Я создал новый телеграмм канал: https://t.me/KillBotRus - подписывайтесь на него. В первую очередь результаты кейса я опубликую там.

Теги:
Хабы:
+22
Комментарии40

Публикации

Истории

Ближайшие события

Антиконференция X5 Future Night
Дата30 мая
Время11:00 – 23:00
Место
Онлайн
OTUS CONF: GameDev
Дата30 мая
Время19:00 – 20:30
Место
Онлайн
Конференция «IT IS CONF 2024»
Дата20 июня
Время09:00 – 19:00
Место
Екатеринбург
Summer Merge
Дата28 – 30 июня
Время11:00
Место
Ульяновская область