Как стать автором
Обновить

DPI: Deep Packet INJECTION, или конспирологическая теория о заговоре между RTK и MRG

Время на прочтение6 мин
Количество просмотров26K
Всего голосов 99: ↑94 и ↓5+89
Комментарии63

Комментарии 63

НЛО прилетело и опубликовало эту надпись здесь

Там есть такая вот строчка


Подменяет любые js скрипты по http(логично), которые реально существуют, то есть ответ 200.

А вот мои исследования (когда я тыкал в сервер darkk пачкой тестовых запросов, ещё в самом начале истории) показали что заменяются даже несуществующие скрипты.


Вплоть до того, что у меня даже прямо сейчас заменяется http://ya.ru/test.rtk.ad.hijacking.js ;)

НЛО прилетело и опубликовало эту надпись здесь

ну, не совсем "перехват": до сервера запросы таки доходят.
Только "они" успевают прислать фальшивый ответ раньше, чем сервер пришлёт настоящий (потому что находятся ближе).
Поэтому — когда вы получаете фальшивый трафик от этого DPI — ваш http-клиент отправляет оригинальному серверу TCP-пакеты подтверждения получения того трафика, который тот не отправлял (как правило, сервер забивает на это). А вот когда сервер присылает настоящий ответ — ваш http-клиент отправляет серверу TCP RST (сброс соединения, который значит "хули ты мне тут шлёшь непонятно что вне очереди. Это, наверное, сломавшееся соединение"), потому что у него уже есть полученный ответ.

Я уже в том топике отписывался: habr.com/ru/post/489528/#comment_21329458
В общем это банальная монетизация трафика, но с таким подходом ростелеком больше потеряет. Врезка рекламы была обнаружена и у физических лиц и у юридических лиц и у корпоративных клиентов. По заявке отключают рекламу, но только на тот логин услуги, с которого была заявка. Макрорегиональный филиал ростелекома «Урал», ХМАО.

// cast darkk: новые данные
// кстати, технически при этом ХМАО — всё-таки тоже Сибирь :-D

Ханты-Мансийский автономный округ относится всё же к Уральскому федеральному округу, а Новосибирск, Томск — это уже Сибирский федеральный округ, и у ростелекома тоже деление по округам. Но округа рядом, не спорю.
Те у кого есть альтернативы, давно уже ушли. Остальным просто некуда идти. Так что врядли много потеряют.

Так уже давно все эти гос провадеры стали поганить всякй http трафик. И остается только надеяться, что они ограничиваются только рекламой. Только немного механизмы меняют. Впервые я заметил это года 3 или 4 назад на московском транспортном WiFi MT_FREE, когда они мне смогли подсунуть рекламу в интранет сайт работающий только по VPN и вот тогда я реально задумался… Но там, конечно, по недосмотру грузился какой-то внешний js по http.Но суть в том, что даже ВПН не всегда спасает.

Уже не ограничиваются, запросто вообще все сайты с http заменяют на то, что хотят показать. Сам с этим столкнулся.
НЛО прилетело и опубликовало эту надпись здесь
Да, были, я об этом и написал. Есть тонель до работы и внутренний сайт. На странице внутреннего сайта (по недосмотру) грузился js с внешнего по http. Таким образом, хотя трафик до внутреннего сайта шел по тоннелю, подгружался ресурс мимо тоннеля. А дальше уже провайдер поганил траффик.
а darkk — вот эти… это крайне регионозависимо

Там подобных историй про Ростелеком десятки и самые старые полуторагодовалой давности. И при том все эти истории про Сибирский макрорегион: Томск, Красноярск, Иркутск, Ангарск, Барнаул, Новосибирск...


Занятно ещё, что Kaspersky_Lab поучаствовали в истории в позитивном ключе, забанив один из доменов, использующихся для раздачи редиректов (не то чтоб это надолго помогло).


В публичных интернетах я такие упоминания ещё нашёл:



*) уже упомянутые выше

НЛО прилетело и опубликовало эту надпись здесь
Mail.Ru Group

Кстати, а почему https://quantum-a.co/ не вспомнил? :-) Некоторый кусок инфраструктуры от них: редирект идёт на r.analytic.press, который 195.19.216.34, у которого admin-c: PM19270-RIPE, который Pavel Manyakin, у которого тёзка в R&D MegaLabs. Мегафон это всё же не совсем MRG. Так, на две трети :-)

НЛО прилетело и опубликовало эту надпись здесь
Люди как могут на свободе зарабатывают:D
#мысли вслух
Интересно, если б найти эффективный метод монетизации процесса защиты прав и свобод — может и ситуация бы стала получше?..
Уже давно нашли и зарабатывают, VPN называется
НЛО прилетело и опубликовало эту надпись здесь
Смутно помню, что ещё лет 5 назад читал статьи про такое поведение Билайна на мобильном интернете. За вмешательство в трафик пользователя должна быть уголовка, т.к. это нарушение конституционного права пользователя на тайну переписки, и неважно, http там или https.
так это и есть уголовка, ст. 272 УК РФ:
1. Неправомерный доступ к охраняемой законом компьютерной информации, если это деяние повлекло уничтожение, блокирование, модификацию либо копирование компьютерной информации, — наказывается штрафом в размере до двухсот тысяч рублей или в размере заработной платы или иного дохода осужденного за период до восемнадцати месяцев, либо исправительными работами на срок до одного года, либо ограничением свободы на срок до двух лет, либо принудительными работами на срок до двух лет, либо лишением свободы на тот же срок.

по-моему, вставка баннеров ничем не отличается от вирусов на сайтах, которые в фоне в браузере потом крипту майнят

Отличается, самым главным отличается: есть те, кому это "можно" делать, и все остальные.

Ну, по 272 их вряд ли привлечь можно. Потому как под неправомерным доступом к информции закон подразумевает «проникновение в ее источник с использованием средств (вещественных и интеллектуальных) компьютерной техники, позволяющее использовать полученную информацию (копировать, модифицировать, блокировать либо уничтожать ее)» (см. «Методические рекомендации по осуществлению прокурорского надзора за исполнением законов при расследовании преступлений в сфере компьютерной информации»). Здесь же сам источник информации — сайт — остается в неприкосновенности.
А вот что, на мой взгляд, более перспективно по отношению к таким деятелям — использовать против них механизм охраны аворского права, потому как тут налицо явное искажение произведения, каковым является содержимое сайта. Или — распространение своего произведения сделанного на основе защищаемого без согласия его автора.
PS Но, вообще-то, юрист я не настоящий, так что запросто мог ошибиться.
Тут надо закон «О связи» копать, там тоже на вмешательство в трафик запрет есть. Правда это не уголовка, а максимум лишение лицензии
НЛО прилетело и опубликовало эту надпись здесь
Здесь ведь запрещается только неправомерный, который модифицирует. А правомерно модифицировать можно. Короче они скажут, что они делали доступ правомерный.
Смысл статьи в том, что у провайдеров есть DPI и они им пользуются?
Вау…
Шок контент…
Никогда такого не было и вот опять!!!

смысл статьи в том, что они им пользуются не для фильтрации, а для внедрения в трафик троянского пейлоада (да-да, подсунутые непрошенные рекламные баннеры вполне можно так назвать). Сегодня это баннеры, а завтра это apk для вашего андроид-смартфона, например.
Или JS-код, который заставляет вашу PS4 скачать и выполнить какой-то скрипт с правами рута.
Или JS-код, который jail break'ает ваш Айфон.


Да, не очем писать. Давайте молча ждать пока всё зайдёт настолько далеко.

DPI был придуман очень не вчера и создавался именно как провайдерский инструмент для анализа и модификации трафика с целью его оптимизации. Да, провайдеры всё ещё коммерческие организации, которые хотят зарабатывать на своей деятельности.
А фильтрация это лишь одна из функций DPI систем.
И примерно ВСЕ провайдеры на белом свете, у которых есть DPI система, разбирают нешифрованный трафик и подсовывают туда свои баннеры, шейпят каналы, продают статистику рекламным сетям и всё такое прочее.

Мой комментарий был о том, что вы описали прописную истинну: шифруйте свой канал связ, если не хотите чтобы в нём ковырялись. И общая подача материала такова, что Ну вот опять, кровавый ркн лезет в нашу жизнь, ужас и кошмар. Никто и нигде таким не занимается и только наш ужасный ркн душит по всем фронтам.
Нет, это рядовая бизнес функция, которую используется повсеместно ибо это приносит деньги.

И конечно-же, никто из тех десятков провайдеров, которые стоят на пути между вами и условным сайтом где-то в европах, никто не подпихнят вам баннер, js скрипт, или чего вы там ещё боитесь. Они все святые, а интернет это сеть друзяшек…

А если на вашем андроид смартфоне можно устанавливать apk из любых источников, это, конечно, тоже плохой провайдер виноват.

запрет на установки из недоверенных источников — ничто по сравнению с доверчивостью пользователей.


Я лично сталкивался со случаями распространения вредоносных apk через баннерные сети на местном городском "мамском" форуме.
Жена как-то показала, мол, "смотри какая фигня": при открытии некоторых тем вывалвалось предложение установить APK.
Раскопки помогли понять, что виноваты баннеры, а дальнейшие раскопки — что тех, кто поставил эти APK, думая, что это программа для этого форума (ну, как у 4pda есть свой клиент, знаете) — огромные тысячи (literally, тысячи, на городском-то форуме!).


Так что не надо тут преуменьшать размер проблемы, пожалуйста.


Равно как и то, что "все так делают" — во первых, не совсем правда (анализируют и продают — да, правда, об этом я уже давно говорю, а вот вставляют баннеры и прочий вредоносный код — пока за этим замечены только мобильные операторы и РТК), а во-вторых — совсем не оправдание для того чтобы смиряться с тем, что "ещё один делает так же".
С этим надо бороться.


Viva la revolucion^Wсетевой нейтралитет, вот это вот всё :)

И примерно ВСЕ провайдеры на белом свете, у которых есть DPI система, разбирают нешифрованный трафик и подсовывают туда свои баннеры, шейпят каналы, продают статистику рекламным сетям и всё такое прочее.

Ну нет же, не подсовывают «ВСЕ» никакие банеры.
Тот же Ростелеком не шейпит трафик, как раз, кстати.

И конечно-же, никто из тех десятков провайдеров, которые стоят на пути между вами и условным сайтом где-то в европах, никто не подпихнят вам баннер, js скрипт, или чего вы там ещё боитесь. Они все святые, а интернет это сеть друзяшек…

Транзитные операторы точно ничего не подсовывают, Вы гоните просто.
Мда, вокруг банальнейшего факта вы развели целую статью.
Первый раз подсунутый баннер я увидел в билайне на http странице — включил впн — все пропало. АГА! подумал я первый раз.
Второй раз баннер в http я увидел на домашнем проводном провайдере. АГА! подумал я второй раз и с тех пор не отключаю VPN

По определению http трафик — это жертва mitm, а подсунутая реклама — это наша данность. Все. Зачем тут было раздувать статью — непонятно.
Да, мы живем в этой стране, и тут каждый зарабатывает как может.
Мда, вокруг банальнейшего факта вы развели целую статью.
Первый раз в отделении полиции меня запытали бутылкой 10 лет назад. АГА! подумал я в первый раз.
Второй раз меня пытали сотрудники какой-то силовой структуры с трудно воспроизводимой аббревиатурой уже у меня дома и паяльником. АГА! подумал я второй раз и с тех пор всегда ношу вазелин при себе.
По определению бытие в полицейском государстве — наша данность. Все. Зачем тут раздувать статью — непонятно. Да, мы живём в стране, где силовикам позволено всё, и тут каждый вертится как может.
НЛО прилетело и опубликовало эту надпись здесь
Ну и, подводя итоги, мне хочется сказать, что, похоже, уже точно настал тот момент, когда больше нельзя ходить в интернет не через туннель, с endpoint'ом поднятым где-нибудь на «своём» (арендованном) VPS в стране, где сетевой нейтралитет закреплён на законодательном уровне.

Оно конечно так, но меня спустя полгода хождения в интернет через Франкфуртский 6to4 туннель HE.net смущает таргетирование всего и вся на Германию. Может у кого есть идеи как объяснить всему интернету что я из России, несмотря на ipv6 из пула числящегося в Германии?
НЛО прилетело и опубликовало эту надпись здесь
Меня их менталитет отпугивает. Я бы тогда уж в США/Канаду, но туннели через них слишком медленные :)
Две вдс (в России и вне), соединённые туннелем. Ходить по впн на российскую, на ней сделать хитрую маршрутизацию, чтобы через зарубежную ходили только нужные запросы. Ну или просто вдс в дц ростелекома не в Москве — весьма вероятно, что блокировки работать не будут :-)

У меня по такому методу стоит CHR на хецнере, который держит и ВПН из дома и мобильный.
Не знаю как vds, есть один физический сервер в ртк не в Москве, там все блокировки работают

Хм… У меня — в местном дц ртк (хостинг-провайдер арендует пару десятков стоек) в екб. Блокировок нет.
похоже, уже точно настал тот момент, когда больше нельзя ходить в интернет не через туннель, с endpoint'ом поднятым где-нибудь на «своём» (арендованном) VPS

Это уже давно ясно (странно, что СОРМы-Яровые вас до этого не убедили, вроде и работаете в Росокомсвободе). Для меня больше вопрос: как в России 2020 можно пользоваться Интернетом без туннеля?

1) то, что трафик ЧИТАЮТ — это одна проблема. И вполне есть кейсы, когда отсутствие оверхеда от туннеля стоит дороже, чем то, что тащмайор прочитает логи этого коннекта.


2) то, что трафик ИЗМЕНЯЮТ — проблема совершенно другая. А уж когда изменяют для того чтобы всунуть непрошенную рекламу — это уже явная наглость.


3) у туннелей есть одна замечательная особенность: лишняя трата ресурсов (ака "оверхед" на упаковывание в них трафика). Соответственно — лишняя нагрузка на сетевые железки. А так же сайд-эффекты вроде снижения скорости, латенси и т.п.


Да, у меня есть целый пучок VPS, разбросанных по всему миру (даже в японии были до недавнего времени). И все они объединены в VPN, к которой подключены и домашний роутер, и все мои и жены ноутбуки, и прочие девайсы.


Но я стараюсь не гонять лишний раз трафик через них по куче причин. От юридических, через проблемы с latency (например, в дьяблу3 (что на ПК, что на PS4) играть с друзьями (живущими в России) через туннель тяжеловато) и вплоть до того, что в данном случае мне наоборот интересно (и полезно) напарываться на подобные вещи.


Если бы я на эт не напоролся, мы бы не узнали масштаб "бедствия", не узнали бы технические особенности.
Не опознали бы участников этого позора.
И т.п.

то, что трафик ЧИТАЮТ — это одна проблема
мне этого уже достаточно, чтобы прятать существенную долю трафика в туннель, необязательно прятать весь трафик — есть инструменты выборочного заворачивания трафика и web вполне подходит для пропускания его через туннель. Накладные расходы при этом приемлемые. Да, игровой трафик нет смысла пускать в туннель, но и от чтения его смысла мало.
НЛО прилетело и опубликовало эту надпись здесь
здесь стоит вопрос о доверии той стороне, к которой вы бросаете туннель

Нет никаких оснований доверять российским эндпоинтам.
Вот насчёт оверхеда — спорно… Вечером иногда смотрю концерт на ютубе — нехватает скорости. Сооружаю из вдс и ssh сокс-прокси и хожу через него — внезапно хватает!

Меня некоторые сайта банят, если я хожу в интернет через тот же Digital Ocean или Linode. Apple вообще ничего не отдает через такой VPN. Не скажете где лучше брать VPS, чтобы все работало?

1) online.net (там не VPS, а "дедики", но там есть дедики за 10€/мес (вполне по цене некоторых VPS), впрочем у них есть ещё scaleway.com, там есть и впс тоже).
Впрочем, их тоже могут банить (но не так часто)
2) всякие нонеймовые хостеры. Ищите себе подходящего на lowendtalks.com :)

поправка: *talk, не talks


// и интересно, что же за редиска молча поставила минус, и таки за что

НЛО прилетело и опубликовало эту надпись здесь

увы, нет, не поделюсь.
Я редактировал комментарий заметив что минус (без видимых на то причин, и без оставленного комментария) влепили вышестоящему комментарию. А редактировал чтобы не создавать ещё один, т.е. не флудить.

Что-то у меня до Франции пинг 56мс. До Эстонии пинг 20мс. У Эстонии нормально с нетралитетом кажется?
Да, в Эстонии самый свободный Интернет в Европе. Только осторожнее с российскими компаниями в Эстонии.
Авито вас будет банить с любого IP от хостера.

Авито — да, мне главное чтобы Apple сервисы работали: музыка, фильмы, iCloud.

и не сказать бы, что они вот прямо совсем неправы.
Я вот уже не первый раз задумываюсь о том, чтобы сделать то же самое, по крайней мере, по отношению к реестру.


А то надоели абузить уже: то массово поиск парсят, хотя есть API, то в API по 50 раз в секунду запрашивают один и тот же запрос.

Да и Википедия не даст себя править, диапазоны хостеров там забанены, чтобы заблокированные участники через прокси не лезли.
Коллеги, а что думаете о впс в соседней стране? 4е место в качестве связности сетей заняли, пинг меньше чем в Германию, dpi нет, есть блокировки сайтов — но не у всех провайдеров, и то по днс, или в bgp просто убирают номера автономныех систем.
У меня по каким-то причинам пинг в R6: Siege, Overwatch и Apex Legends ниже если я играю через шведский VPN, чем через голый ростелекомовский коннект. Это даже не соседняя страна.
РТК очень давно делал подобное, лет пять или шесть назад. Всё на уровне регионов. Где-то такое было, где-то нет. У других провайдеров опять же не лучше. Билайн тоже на подобном ловили.
Не вижу ничего удивительного.
Одно из применений DPI — подсовывание рекламы и дополнительная монетизация (вероятно, что вполне законная — Вы ведь внимательно прочитали Договор с оператором?).
Есть множество готовых решений для операторов и даже целые рекламные сети построены на этом.

И до Санкт-Петербурга тоже добралось внедрение данной конструкции. Всё тот же редирект на r.analytic.press.

Зарегистрируйтесь на Хабре, чтобы оставить комментарий