Как стать автором
Обновить

Комментарии 43

А расскажите подробней чем еще различаются разные ОСи?
В смысле умолчаний стэка TCP? Много чем: начальный размер пакета, начальное время жизни пакета, начальный размер окна, значение масштабирования окна, некоторые флаги.
НЛО прилетело и опубликовало эту надпись здесь
Во втором предложении написано.
НЛО прилетело и опубликовало эту надпись здесь
Плохо, если вы покупаете привод посетителей, а вам подсовывают часть ботов, которые имитируют активность пользователя.
НЛО прилетело и опубликовало эту надпись здесь
Боты маскируются. Пользователи нет
Как Вы считаете, насколько сложно «притворится» другой ОС из под unix?
Хотя возможно трафик у Вас очень дорогой, и даже такие методы борьбы имеют право на жизнь.
Я думаю, потребуется как минимум кастомное ядро, чтобы соответствовать всем метрикам, и то я не уверен в полном успехе.

На дешёвом хостинге OpenVZ, ситуация вообще плачевная:
root@fast63414:~# uname -a
Linux fast63414.vps 2.6.32-042stab092.2 #1 SMP Tue Jul 8 10:35:55 MSK 2014 x86_64 GNU/Linux
root@fast63414:~# sysctl -w net.ipv4.ip_default_ttl=128
sysctl: permission denied on key 'net.ipv4.ip_default_ttl'
А что вы хотели в контейнере? Естественно, ощутимая часть настроек ядра будет заблокирована. В случае ванильных linux containers на namespaces+cgroups (lxc, docker) ситуация та же.
А смысл? Если речь о каких-то ботнетах — то там 99% будет на Windows-машинах, причем самых что ни на есть типичных.
О ботнетах речь не шла, почувствуйте разницу.
Я пока услышал вот в этом комментарии, что хочется защищаться, например, от ситуации, когда рекламное агентство вместо живых людей по рекламе имитирует деятельность:
Плохо, если вы покупаете привод посетителей, а вам подсовывают часть ботов, которые имитируют активность пользователя.

На практике, предложенным методом можно будет защититься только от совсем глупых обманщиков. Те, которые поумнее, буду имитировать деятельность не «ботом, запущенном на недорогом хостинге» (у которого, кроме всего прочего, будет еще и очень небольшое число различных IP), а будут как минимум ходить через сеть разнообразных (дырявых) прокси, как максимум — закупят немножко доступа в какой-нибудь ботнет и накрутят через него.
В ботнете тогда придётся иметь на нодах ПО, которое эмулирует весь стэк браузера с флэшем. Вы встречали такие?

Случай с никсовыми анонимными прокси так же попадает в лог с меткой подозрительного запроса.
Во-первых — зачем? Если речь идет о том, чтобы сделать сколько-то запросов на сайт и поотправлять хиты на счетчики — для этого полноценный браузер и тем более флеш совсем не обязательны.

Во-вторых, даже если нужно — внезапно, примерно на всех windows-нодах ботнета будет IE, с хоть каким-то флешом.

Анонимных / неанонимные прокси, собранные по всяким прокси-листам, как правило, половина: наполовину Windows:*nix. И, кстати, да, большие легитимные unix-based proxy (в том числе transparent), будут в вашем методе генерировать false positives.
Во-первых — зачем? Если речь идет о том, чтобы сделать сколько-то запросов на сайт и поотправлять хиты на счетчики — для этого полноценный браузер и тем более флеш совсем не обязательны.

Конечно обязательны, иначе придётся выискивать счётчики вручную для каждого назначения трафика и всю дорогу следить за изменениями их в вёрстке или флэше.
Во-вторых, даже если нужно — внезапно, примерно на всех windows-нодах ботнета будет IE, с хоть каким-то флешом.

Тут трудно спорить, но я полагаю, что это не особо поможет делу. Управлять внешним браузером слишком заметно и для пользователя и для антивирусного ПО.
Анонимных / неанонимные прокси, собранные по всяким прокси-листам, как правило, половина: наполовину Windows:*nix.

Небылицы какие-то рассказываете. hideme.ru/proxy-list/ — навскидку я нашёл здесь только 5 из 64 предложенных.
И, кстати, да, большие легитимные unix-based proxy (в том числе transparent), будут в вашем методе генерировать false positives.

Легитимные не будут. Насчёт точности я пояснил ещё в самой статье.
Почти все более-менее распространенные накрутчики счетчиков (раз, два, три, четыре и т.д.) именно что детектят код счетчика и генерируют напрямую хиты на коллекторы веб-аналитической системы.

На их фоне выделяется только всякие автосёрферы / САРы / буксы / т.п. — там используются условно-реальные браузеры, но и люди тоже условно-реальные, можно считать это «добровольным ботнетом».

Управление внешним браузером ни разу не заметно даже для «продвинутых пользователей» — с легкой руки Microsoft процессы типа iexplore, mshtml* и т.п. почти всегда в системе есть. Да и антивирусов / файрволлов, как правило, к моменту эксплуатации ботнета, на ботах уже нет — это, практически первое, что делает бутстрап — убивает антивирусы и подменяет их на неработающие муляжи.

По поводу «легитимных» — вы имеете в виду, видимо, неанонимных, добавляющих X-Forwarded-For?
Почти все более-менее распространенные накрутчики счетчиков (раз, два, три, четыре и т.д.) именно что детектят код счетчика и генерируют напрямую хиты на коллекторы веб-аналитической системы.
Там поимённо перечислено, какие счётчики детектятся. Дальше тему развивать надо? И как быть с событиями, отстреливаемыми из ActionScript и Javascript?

Про управление внешним браузером на винде ничего не могу сказать определённого, я далёк от этого.

«Легитимные» — да, неанонимные.
ActionScript
А легитимные пользователи совсем не отстреливают flash? Что-то мне казалось, что flashblock'ом пользуются люди, а не роботы…
идея интересная.

а будет ли это работать для Windows системы за *-nix SOCKSом что определится *nix прокси или windows?
Угу. А еще интересно что будет при заходе через TOR…
адрес попадёт в подозрительные, как и в случае с анонимным HTTP-прокси
Windows за SOCKSv5 на дебиане определяется www.browserleaks.com/whois как «Linux 3.1-3.10 [language:; link: ethernet or modem; distance: 7]»

Windows за OpenVPN там же определяется как «Windows 7 or 8 [language:; link:; distance: 8]»
кроме этого, есть информация что 99% wifi роутеров меняю TTL на 64 независимо от таго какое значение прописано в ОС
НЛО прилетело и опубликовало эту надпись здесь
я не знаю что вы там сделали что у вас весь интернет стал показываться локальным…

вот результат эксперимента, разные систем через один и тот-же wifi роутер:

p0f -i eth0 -v
p0f — passive os fingerprinting utility, version 2.0.8

Mac
x.x.247.3:62459 — UNKNOWN [65535:53:1:64:M1460,N,W4,N,N,T,S,E:P:?:?] (up: 2592 hrs)
-> x.x.9.23:80 (link: ethernet/modem)

Windows
x.x.247.3:62663 — UNKNOWN [65535:53:1:64:M1460,N,W4,N,N,T,S,E:P:?:?] (up: 2593 hrs)
-> x.x.9.23:80 (link: ethernet/modem)

Iphone
x.x.247.3:55120 — UNKNOWN [65535:53:1:64:M1460,N,W4,N,N,T,S,E:P:?:?] (up: 1114 hrs)
-> x.x.9.23:80 (link: ethernet/modem)

Mac через socks
x.x.215.27:34434 — UNKNOWN [S10:48:1:60:M1460,S,T,N,W6:.:?:?] (up: 467 hrs)
-> x.x.9.23:80 (link: ethernet/modem)

НЛО прилетело и опубликовало эту надпись здесь
роутер trendnet tew651br
провайдер onlime

другие порты:

mac
x.x.247.3:64896 — UNKNOWN [65535:53:1:64:M1460,N,W4,N,N,T,S,E:P:?:?] (up: 2600 hrs)
-> x.x.9.23:12321 (link: ethernet/modem)

iphone
x.x.247.3:55140 — UNKNOWN [65535:53:1:64:M1460,N,W4,N,N,T,S,E:P:?:?] (up: 1115 hrs)
-> x.x.9.23:45654 (link: ethernet/modem)

iphone через опсоса

x.x.137.203:54272 — UNKNOWN [65535:54:1:64:M1410,N,W4,N,N,T,S,E:P:?:?] (up: 1115 hrs)
-> x.x.9.23:45654 (link: vtun)
НЛО прилетело и опубликовало эту надпись здесь
В линуксе есть модуль для iptables, который тоже так делает, но по-моему он не работает как матчер, а просто логирует. Я пробовал его.
ТС, поставьте однопиксельную метку в эту статью на ваш сервер для сбора данных, а потом отпишитесь по результатам. В первые сутки визиты будут в основном от живых людей или от пауков, а они обычно не маскируются.
В статье конкретика, графики и таблички бы не помешали, а уж с реализацией каждый сам справится. Спасибо.
Пожалуй, это стоящая идея
Не вышло — хабр перезалил мою гифку на свой хабрасторадж.
Можно svg подсунуть — его не перезаливает.
Приложил
Был очень расстроен содержимым статьи особенно после ожиданий, которые раздразнил заголовок. Феерические костыли просто.
Зато рабочие. Если с этим не согласны, то можете опубликовать развёрнутый ответ ;)
Последняя офисная контора, в которой я работал, использовала squid. Который, разумеется, весь из себя linux и tcp у него линуксовый. Это не мешало в UA иметь всякие IE'шки.

И я думаю, таких контор со скидами — более чем. И не все из них сквидовые хидеры наружу кажут.
Зарегистрируйтесь на Хабре, чтобы оставить комментарий

Публикации