Комментарии 206
Ну он также провайдер проводного интернета. У него где-то и магистрали есть и пиринг с другими провайдерами.
Кстати логи есть? Можете найти, с какого IP гугл бот заходил последнее время?
Алоха! :)
Есть ли какие-то технические препятствия для этого? Нет.
Есть ли какие-то моральные препятствия для этого? Нет!
Я с трудом представляю себе железо, которое сможет это осуществить без существенных задержек.
А вот в свой трафик запросто. Участвовал в подобном проекте у одного из операторов.
habr.com/ru/post/257133 (Билайн вставлят тулбар)
vc.ru/marketing/38004-megafon-pokazyvaet-bannery-poverh-vashego-sayta-kak-zashchitit-svoy-biznes-ot-finansovyh-poter Мегафон рекламу вставляет
Опередили с вопросом, но тем не менее.
Я не совсем понял откуда вообще в цепочке взялся билайн. Гуглбот читает сайты через билайн? Как ему ссылка подсовывается? Прямо в тело сайта?
Есть две гипотезы:
1) билайн — провайдер интернета для части серверов гугл в РФ
2) трафик гугла пропускается через промежуточную платформу, у которой билайн закупает рекламу.
истину мы вряд ли уже узнаем
Так если билайн — провайдер для гугла, то он должен не ваш сайт блокировать, а эти рекламные ссылки и по идее это они должны разобраться "что за!?".
Очень мутно всё.
редирект — единственное, что дает поставить хостер. Об hsts и речь быть не может:(
Вы сказали, что билайн вырежет header. Но он не может этого сделать из https.
И я не говорил, что редирект не нужен, разумеется он нужен. А HSTS работает уже после него.
И да, «can be stripped by the attacker» опять таки, это подделка https, что непросто))
Я просто думал, что вы про http…
Единственный вариант, это удалить редирект на https, а затем, когда пользователь зайдет по http, отдавать ту страницу, которую веб сервер отдает по https, по http.
В точности так.
Но мне кажется, это очень рискованно, можно DDoS устроить.
В зависимости от загрузки — такое можно проделывать не с каждой HTTP-сессией, а с каждой сотой, например.
Для решения этой проблемы есть HSTS preload. Это список сайтов, с которыми браузер обязан работать только по HTTPS. Такой список пополняется владельцами сайтов и загружается в браузер создателями браузеров. Сейчас в этом списке находится примерно 70000 доменных имен.
Для включения технологии надо:
1) Включить HTTPS с нормальным сертификатом. Самоподписанные сертификаты не годятся.
2) Сделать редирект с HTTP на тот же самый хост по HTTPS.
3) Все то же самое сделать для субдоменов.
4) Для домена настроить хедер HSTS:
включить includeSubDomains,
включить max-age минимум 1 год,
включить preload.
5) Зайти на hstspreload.org и добавить туда свой домен хорошенько.
6) Подождать дней 10 и проверить добавление там же на всякий случай.
редирект — единственное, что дает поставить хостер.Если сайт у вас на шаред-хостинге или конструкторе готовых сайтов, то подменой вполне может и хостер заниматься. Дабы не палиться, он может подменять не всё, а только 1% к примеру, и так вышло, что этот случай выпал на запрос индексирующего бота. Но это только лишь одно из предположений, как именно вредоносный код мог попасть в трафик (хотя версия с Билайном всё же более вероятна).
А гугд бот учитывает hsts?
3) Гугл бот проверяет контент через мобильный прокси.
Я пользуясь мобильным интернетом от билайн, раньше довольно часто замечал, что главная страница поиска гугла и закешированные видео ютуба отдавались с ip из пула *.corbina.net, почему бы им и бота там не держать.
что главная страница поиска гугла и закешированные видео ютуба отдавались с ip из пула *.corbina.netЭто был Google Global Cache. Ботов они в нем не держат.
Скажите, а не может быть такого, что на вашем сайте размещены рекламные блоки. Покупатель рекламы на вашем сайте разместил в этом блоке баннер со ссылкой на Билайн, и это увидел Гугл.
Ну и вы можете проверить, проходит ли путь к сайту через сети Билайна или нет. У многих хостеров есть такая штука как Looking Glass — она позволяет увидеть список узлов, через которые трафик идет от хостера до вашего сайта. Если вы погуглите traceroute from different locations, то увидите сайты с таким функционалом. Например: https://manytools.org/network/online-traceroute-tool/
Пару раз заходил на свой сайт с мобильного и с удивлением обнаруживал там рекламу, причём дорогую — Сбербанк, Лэндровер и т.д.
После долгих копаний, поиска вирусов, проделок хостера и т.д., оказалось, что этим балуется сам Мегафон: определяет, что эта страница — статья в Joomla, и ничтоже сумняшеся засовывает в середину страницы рекламу.
Свинство, но что с ними сделать за это, я себе не представляю.
По кошельку их надо бить, по кошельку. Реклама — на Вашем сайте? Значит и доход от неё дожен идти Вам! Вот по этому поводу и подать в суд, требуя вернуть украденный доход от рекламы на Вашем сайте.
Ещё можно поискать какую-нибудь подходящую статью в УК, за скрытное внесение несанкционированных модификаций в Ваши данные. Потому что если такое по закону делать не запрещено, то любой может врезаться в любой провод, слушать на нём весь трафик и модифицировать его как ему хочется…
Ну и наконец самый сложный и дорогой в реализации вариант: просто включите https, редирект с http, и HSTS.
По кошельку их надо бить, по кошельку. Реклама — на Вашем сайте? Значит и доход от неё дожен идти Вам! Вот по этому поводу и подать в суд, требуя вернуть украденный доход от рекламы на Вашем сайте.
Они в своём праве.
Представьте себе бумажные книги. Я могу купить десяток экземпляров, и перепродать у себя на работе? — да, могу, и у издателя ко мне не может быть никаких претензий.
Я могу купить десяток экземпляров, наклеить каждой на обложку рекламный стикер, и перепродать в таком виде у себя на работе? — да, могу, и у издателя ко мне не может быть никаких претензий.
Ещё можно поискать какую-нибудь подходящую статью в УК, за скрытное внесение несанкционированных модификаций в Ваши данные. Потому что если такое по закону делать не запрещено, то любой может врезаться в любой провод, слушать на нём весь трафик и модифицировать его как ему хочется…
Я уверен, что так делать не запрещено, а то бы и РКН-заглушки классифицировались бы как «подмена сайта».
Юридическая разница со врезкой в провод — в том, что «врезается» сам хозяин провода.
Представьте себе бумажные книги. Я могу купить …
Это ведь важный нюанс, правда? Представьте себе, что вы ничего издательству не платили, ничего у них не купили, вы — курьер, доставляющий книги издательства в магазины или купившим их людям, и вклеивающий в эти книги между страницами свою рекламу — т.е. одновременно портящий внешний вид книг (из-за чего в следующий раз книги этого издательства могут не захотеть покупать), и получающий прибыль за счёт использования не принадлежащих вам ресурсов (вы получили возможность показать свою рекламу только потому, что кто-то написал интересную книгу, кто-то другой её напечатал и прорекламировал, кто-то третий её заказал и оплатил доставку курьером — доставку, Карл, а не доставку с порчей путём добавления рекламы между страницами!).
Это разумно. Только вот как быть ТС, чтобы мы слишком в оффтопик не уходили? Получатель — гуглбот — предъявил претензии издателю — сайту — за испорченную рекламой малвари книжку… и?
После этого имеет смысл обращаться в Гугл, чтобы они настучали Билайну по голове со своей стороны, потому что подмену контента, видимого гуглоботом, Билайн может монетизировать и гораздо более коварными способами, кроме вставки рекламы.
А вот это уже не особо разумно. :( Обращаться в гугл, причём владельцу обычного сайта — это даже не смешно, с тем же успехом можно писать сразу в /dev/null. Плюс кто сказал, что гуглу вообще есть дело до билайна…
Нет, как раз наоборот. Если не изменяет память — прибыль гугла с контекстной рекламы — основной их источник дохода. У них очень вышколенная поддержка
Думаю, что если задолбать их техподдержку, то врезку рекламы могут отменить лично вам, а другим клиентам — продолжат врезать.
Предъявы к перевозчику могут быть:
1. У покупателя — он получил ухудшенный товар.
2. У продавца — его товар портят, снижая продажи и доверие потребителей.
3. Если продавец — ПАО, то и у прокуратуры — нарушены права неопределённого круга лиц (в т.ч. — манипуляцией ценой у акций продавца).
Но вы правы в том, что владелец сайта ничего Мегафону предъявить не может, потому что никаких договорных отношений между ними нет.
А чтобы вам подать в суд за нанесенный ущерб, договор с лицом нанесшим вам ущерб, вам не нужен)
представляю себе историю:
— хочу подать в суд за нанесение тяжких телесных
— а договор вы заключали с тем кто их вам нанес?
— нет
— извините, но раз нет договора, значит вам нечего ему предъявить и в суд вы подать не можете
Так что теоретически, недополученная прибыль — и есть убыток. Если можно доказать сумму, и четко поймать «за руку» виновника. В моем случае, это, конечно, невозможно
А относительно создателя сайта это что-то в районе «ущерб деловой репутации».
И автору статьи этот урон был нанесён ибо гугл его забанил.
Мне кажется, Билайн ну совсем тут не причём. Из Вашего рассказа это не следует. Очевидно, что на сайте появляется код для показа рекламы, а в аукционе RTB выиграл Билайн. При этом, Вы вполне можете и не подходить для показа, как считает DSP (а может, бюджет кампании Билайна открутился уже, есть много причин) — воспроизводимость не гарантируется. RTB на то и RTB, чтобы показывать по определённым критериям, применяемым для пользователя в реальном времени.
Кто вставил код — это вопрос, скорее, к хостеру. Ну или к Вам, если Вы какой-то код установили, который прокидывает чей-то JS.
Да, с SSP такое бывает, это проблемка. Увы, не все рекламодатели честны — бывает, что и вставляют что-то злонамеренное. Но это как борьба со спамом — нет-нет да и проскочет что-нибудь. Говорю как бывший вебмастер, а ныне разработчик из проекта, работающего по OpenRTB.
Вспоминается хостинг narod.ru ) Который даже в фреймы баннеры вставлял. А ещё сталкивался со случаем заражения сайта, когда код появился во всех файлах в конце в виде iframe. Всякое бывает.
Одно дело Вам Ваш провайдер подкинет что-то в своей сети, а другое дело Билайн — Гуглу. Ну, то есть, такое могло бы быть в теории, но нужны доказательства. Участие SSP Билайна в RTB-аукционе — это из другой области, это не доказательство.
В посте не доказано, что речь идёт о злоумышленных действиях Билайна. Вставка рекламного кода точно не доказана. Как он там оказался? — вариантов множество: хостер вставил (специально или вирус, к примеру), косяк вебмастера (плагин CMS, взлом, вирус и т.д.), какой-то посторонний JS втихую подпихивает код для показа рекламы… Мне непонятно, почему вот так на пустом месте обвиняется Билайн в подмене трафика. На мой взгляд, это допущение делается на пустом месте.
О, правду сказали. Вот так бы и сразу, а то говорите "мы заботимся о пользователях, мы заботимся".
А в итоге оказывается "сами не прочитали что подписываете, сами и лохи, засудить-то нас не сможете".
Вы прямым текстом это сказали: "мы включаем эту функцию по умолчанию, потому что вы не можете нас за это засудить".
Я не понимаю смысла этой дискуссии, мы оба понимаем два простых факта:
- "Можно отключить в личном кабинете" это отговорка, а не решение. Я занимался интерфейсами и UX и прекрасно понимаю, что такое тёмные паттерны интерфейсов. Когда вроде и выбор дал (юридически свою пятую точку прикрыл), и рекламу свою можешь продолжать запихивать.
- Предположим, что у вас реально есть какой-то процент пользователей, который души не чает в рекламе ваших услуг. Если бы вы заботились о своих пользователях, вы бы конкретно с картинками и пояснением при подключении дали бы им выбор, включать эту услугу или нет. "Смотрите, мы можем показывать вот такие оповещения в браузере вместо веб-страниц, которые вы хотите открыть. Вам это включить или выключить?". Вместо этого вы втыкаете ваши злые маркетинговые инструменты всем, прикрываясь офигеть каким широким пунктом соглашения "можем информировать наших пользователей любым из доступных способов". Вы же понимаете, что согласно этому пункту вы можете ловить ваших клиентов на улице, заламывать им руки, и кричать в ухо про новые крутые тарифы? За идею можете не благодарить.
Если бы вы и правда заботились о пользователях — вы бы сделали Opt-In уведомления по электронной почте, по SMS, через пуш-нотификации и через стартовую страницу браузера. Любой из этих способов гораздо приемлемее того что вы сделали, потому что:
- они не ломают чужие сайты и программы (такие как Steam);
- они работают независимо от того, по http или по https пользователь ходит на сайты.
А вы заботитесь не о пользователях, а лишь о том чтобы показать свою рекламу.
Иначе это называется навязанная услуга, если я ничего не путаю.
С таким наглым вмешательством я только на Дом.ру сталкивался. Еще на РТ кажется было что-то подобное, но там не реклама была, а уведомление о балансе или что-то такое.
Так же, каждый раз когда вы звоните в техподдержку, номер с которого вы звоните обязательно привязывается к личному кабинету клиента, даже если вы прямым текстом просите техподдержку не добавлять этот номер. На него потом с удовольствием звонят и предлагают TV подключить. Не перестают звонить даже если вы скажете что не смотрите TV, да и телевизора у вас нет, да и вообще вы знакомому помогали, номер никак не связан с этим клиентом, которому вы впариваете TV.
Более того, стоимость тарифа домру повышает без вашего ведома, на 10-15 рублей раз в пару месяцев. Кладешь нужную сумму через онлайн банк, бах, а интернет не работает первого числа, заходишь в личный кабинет — не хватает 15 рублей, стоимость тарифа изменилась.
После того как я 2 раза попал на такое, терпение лопнуло, сменил провайдера.
И да, я обращался каждый раз, и каждый раз все глупее и глупее ответы техподдержки, вроде почистите куки, или эта штука принципиально не отключается.
Там, оказывается, и рекламные звонки можно отключить, а то уже устал объяснять, что телевизора у меня нет, раз в 2-3 месяца звонят и рассказывают про кабельное телевидение.
Вы обязаны информировать клиентов путём подмены запрошенной ими информации на "страницу информативного характера"?
Почему бы через них не информировать?
Это он в своей сети подсовывал, наверное? А причём тут сеть ТС? Этот код мог установить кто угодно.
Ситуация такая: увидеть в почтовом ящике буклет от супермаркета и утверждать, что его представители взломали Почту России. Всё может быть, но… Может, представить доказательства?
Одно замечание: не сеть ТС, а сеть, через которую на мой сайт ходит гугл бот. Как писали выше, это вполне может быть сеть билайна. А может и не быть
Согласен, может и ходить через Билайн. Всё может быть. Но связи с рекламой никакой нет, поэтому непонятно, как можно на пустом месте обвинять Билайн.
Да и про HTTPS призыв не понял. На HTTPS рекламный код не показывался, а на HTTP показывался? Как я понял, реальный пример кода увидеть не удалось. Непонятно тогда, причём тут протоколы. Если код возник из-за какого-то плагина CMS, то HTTPS тут ничего не изменит.
В работу машин хостера Билайн не вмешивается.
Представьте, что вы отправляете письмо, а почтальон открывает его, что-то туда дописывает в своих интересах, запечатывает и передает адресанту как ни в чем не бывало.
Но я не утверждаю. Я спрашиваю.
на почте на конверт ставят крупный рекламный штемпельПо сути, тут уже изначально было нарушение. У конверта есть свое назначение. Ставить там «рекламный штемпель» — это некорректное действие (хоть и мелочь по сравнению со вскрытием этого конверта).
Поэтому не стоит менять и никакие заголовки, ни HTTP, ни уровня сети, никакие. Если только эти изменения не сопряжены с технической необходимостью для осуществления поставленной задачи (передачи данных).
А причем тут работа машин?
Он модифицирует трафик между ресурсами ему не принадлежащими.
Почему вы считаете, что (условно) номер счета в платеже подменять по дороге на чужой нельзя, а в данном случае можно?
Так я и пытаюсь понять, есть ли (требуется ли) отдельная статья за вмешательство в трафик.
На мой взгляд подмена трафика (будь то изменение номера счета в платежке, диагноза или js скрипта) является вмешательством в работу. Не обязательно для этого выполняться непосредственно на одной из вычислительных машин.
Собственно даже MITM и перехват паролей — вмешательство. Даже без модификации трафика.
Или нет?
Ссылка, которую вы привели вообще, судя по названию скрипта (userbind) это только матчинг, а не реклама. В любом рекламном коде таких ссылок вагон. И, кстати, не только в рекламном. Это может быть частью кода системы аналитики, какого-то виджета или другого скрипта. Или же добавляться хостером, бывает, что они свою статистику зачем-то пихают на сайты, а эта статистика участвует в программах измерения аудитории, в которой участвует и Билайн.
Ну то есть, Билайн конечно может вставлять рекламу, моб. операторы на этом часто ловятся. Но они там умеют отделить Гуглоботов от ip своих клиентов.
Я так понимаю, что вмешиваться в трафик своих клиентов они начали уже давно и не прекращали с тех пор. Теперь аппетиты несколько выросли и они начали уже в транзитном трафике копаться.
В UK некоторые провайдеры (TalkTalk например) http трафик в случае если реального домена нет редиректят в одно из двух мест:
- Рекламный сайт (
http://password.asdfasdfasfd, например, сейчас редиректит наhttps://1password.com) - Свою заглушку а-ля поисковик (на
http://error.talktalk.co.uk/)
Возможно это какого-то рода man in the middle где кто-то на лету впихивает рекламный код.
Настораживает в первую очередь то, что Гугл жалуется сразу на конкретный вирусный файл на конкретном сайте — где-то в Билайне.
Что в этом файле вирусного? Насколько я знаю, Гугл бот хоть и ошибается иногда на подозрительный контент, но во-первых жалуется на какой-то сторонний (и крупный) сайт, а во-вторых сразу на вирус.
Это подводит на мысль, что всё же была попытка атаки либо вас, либо магистральных каналов, и естественно атаки Билайна, размещения у них вредного файла.
По вашим словам вы проверяли свой сайт на изменения файлов по их времени редактирования. Но ведь это время очень легко меняется. И очень зря вы отметаете самую версию: о взломе вашего мини-сайтика на очень популярной cms, которую никто не обслуживает. А значит какой-нибудь сканер мог наткнуться на ваш сайт и применить 0-day, или уже известную уязвимость на устаревшую версию cms.
О! Еще вспомнил! Провайдер «Аист» (проводной интернет в Самарской области предоставлял) когда заканчивался оплаченный период на сайтах работающих по HTTP вставлял аккуратненький узкий баннер с уведомлением о том, что я переведен на технологический тариф и если хочу нормально работать должен денежку занести. Но больше от них никаких хулиганств не припомню. Светлая память провайдеру — его купил и сломал все хорошее РТ :-(
Мобильный Chrome пользователя Beeline слил адрес вреносного скрипта в гугл.
Билайн показывает рекламу боту Google. Бот недоволен