Comments 103
Упячка?!
Лучи поноса настигли неверных?!
ой да ладно, какие заказчики, просто «демонстрация силы», как обычно..
или демонстрация дури
или демонстрация дури
Самое страшное, когда начнется WWINDOWS атака.
UFO just landed and posted this here
UFO just landed and posted this here
# grep -c "/blog/ " ./access.log
1218116
1218116
UFO just landed and posted this here
т.е. вы хотите сказать, что больше 1млн запросов с полуночи вида GET /blog/ и GET http://www.habrahabr.ru/blog/ с ~90 разных айпишников, по 50-100 запросов в секунду - это не DDoS, а просто кто-то чихнул? :)
фух, всего 90 ip?
это кто-то ночная сменя каких-нибудь манагеров на работу вышла.
это кто-то ночная сменя каких-нибудь манагеров на работу вышла.
UFO just landed and posted this here
100 запросов в секунду - это DDoS, от которого сервер ложится? Что-то у меня резко ухудшилось мнение о качестве кода движка хабра и квалификации админов.
http://www.habrahabr.ru/company/futurico… welcome to Futurico ;)
Увы, город не тот.
Разве это важно?
а в Москве с удовольствием принимают на работу не москвичей, есличо ;)
например наша компания даёт беспроцентные кредиты, хлопочет насчёт жилья, делает регистрации, если надо, безоговорочно официальное оформление на работу и страховку даже гражданам других государств и т.д.
это уже вполне обычное явление на рынке труда в Москве..
например наша компания даёт беспроцентные кредиты, хлопочет насчёт жилья, делает регистрации, если надо, безоговорочно официальное оформление на работу и страховку даже гражданам других государств и т.д.
это уже вполне обычное явление на рынке труда в Москве..
100 запросов в секунду - это даже не норма для публичного сервера. Производительность должна позволять обрабатывать 200-400 запросов любого URL. Если блог ложится, то проще и дешевле увеличить производительность как сервера, так и скрипта, чем бороться с хулиганами с опасностью ограничения обычных пользователей.
Спасибо! Мы будем работать над этим.
Не знаю не знаю. Для того, чтобы выдержать slashdot эффект нужно примерно 50 запросов в секунду всего держать, а это вроде как начало серьезной разработки.
200-400 это вдвое меньше чем SERP яндекса, например. Все-таки наверное для к форума IT-шой тусовки из 5-10K человек, такие требования предъявлять несколько излишне.
200-400 это вдвое меньше чем SERP яндекса, например. Все-таки наверное для к форума IT-шой тусовки из 5-10K человек, такие требования предъявлять несколько излишне.
Плюс в отличии от нас, habr можно будет заDDOS-ить даже если он будет держать миллион соединений в секунду, просто заняв весь его канал. У него там наверное стандартный гигабит, поэтому нужно всего 1024 машины с мегабитным соединением, чтобы его вырубить.
стандартно 100mb, не думаю, что хабру нужно больше. ну пусть 200
ДДОСят не путем забивания канала, а SYNами. Быстрее ляжет маршрутизатор от большого вол-ва пакетов в секунду, чем сам канал. И то и другое ляжет после атакуемого сервера. А 100 запросов/сек, конечно, не серьезно. Видимо на хабре все на одном серваке (фронт, БД, fcgi). Ну или все на апаче работает:) тогда 30 запросов\сек хватит:)
Это не правда. DDOS-ят как захочется. Обычно по разному ища слабую точку.
А на счет DDOS-а SYN-ами - такая штука почти не встречается. В свое время был популярен DOS SYN-ами(т.е. не distributed, а просто с одной машины) aka SYN Flood - причина очень простая, это можно сделать с одного IP адреса, просто поставив в обратный адрес у SYN-а какой нибудь fake. Все такие пакетики до машины добегут, займут на ней какие либо ресурсы, а ответ пойдет непонятно куда - смотря какой адрес указали. Соотвественно атакующую машину вычислить нельзя - не договариваясь со всеми провайдерами по дороге.
Но последнее время я такой штуки на практике не видел, во первых практически любой программный firewall или железка умеет бороться с SYN Flood, и эффективность атаки близка к нулю. Во вторых сейчас появились реально большие zombie сети, с количеством машин от 10000 до 100000. Т.е. атака идет не с твоих ресурсов - и то что их реальные IP адреса светятся почти совершенно никого не напрягает. Ну найдут несколько таких машин, поставят на них антивирус, а толку-то.
То что SYN очень дешев по сравненю с полноценным соединением, а эффективность от него сильно ниже и так понятно.
А на счет DDOS-а SYN-ами - такая штука почти не встречается. В свое время был популярен DOS SYN-ами(т.е. не distributed, а просто с одной машины) aka SYN Flood - причина очень простая, это можно сделать с одного IP адреса, просто поставив в обратный адрес у SYN-а какой нибудь fake. Все такие пакетики до машины добегут, займут на ней какие либо ресурсы, а ответ пойдет непонятно куда - смотря какой адрес указали. Соотвественно атакующую машину вычислить нельзя - не договариваясь со всеми провайдерами по дороге.
Но последнее время я такой штуки на практике не видел, во первых практически любой программный firewall или железка умеет бороться с SYN Flood, и эффективность атаки близка к нулю. Во вторых сейчас появились реально большие zombie сети, с количеством машин от 10000 до 100000. Т.е. атака идет не с твоих ресурсов - и то что их реальные IP адреса светятся почти совершенно никого не напрягает. Ну найдут несколько таких машин, поставят на них антивирус, а толку-то.
То что SYN очень дешев по сравненю с полноценным соединением, а эффективность от него сильно ниже и так понятно.
P.S. Про маршрутизатор, конечно тоже не правда. Ему совершенно наплевать, что роутить SYN или другой пакет. И если думать как эффективней его загрузить - пусть лучше роутит пакеты от habrahabr(которые тот посылает, а потом перепосылает по снесколько раз), загружая свои ресурсы, а не твои.
Плюс роутер обычно сильно помощнее в сетевом плане, чем сервер habrahabr.ru - т.к. обслуживает целый сегмент сети, и настраивали его не программисты хабра, а NOC-и мастерхоста, которые про DOS атаки знают явно побольше.
Плюс дополнительный аргумент, что в данном случае люди у себя увидели записи в логе - значит соединение было установлено. При SYN Flood его установить нельзя.
Плюс роутер обычно сильно помощнее в сетевом плане, чем сервер habrahabr.ru - т.к. обслуживает целый сегмент сети, и настраивали его не программисты хабра, а NOC-и мастерхоста, которые про DOS атаки знают явно побольше.
Плюс дополнительный аргумент, что в данном случае люди у себя увидели записи в логе - значит соединение было установлено. При SYN Flood его установить нельзя.
А я не про конкретный случай, а вообще. Если речь про логи софта, то конечно ыбло установлено, но при желании и сины можно увидеть и сдампить их в лог в том числе.
По маршрутизатору. Ясно дело, что ему без разницы какие пакеты роутить. Насчет "помощнее" - конечно, я же сказал что сервер хабра ложиться первым в любом случае. Это понятно.
По поводу синов, еще раз я не говор что это эффективно. Самое эффективное - это атаковать софт, обрабатывающий соединение, он нагибается проще всего.
По маршрутизатору. Ясно дело, что ему без разницы какие пакеты роутить. Насчет "помощнее" - конечно, я же сказал что сервер хабра ложиться первым в любом случае. Это понятно.
По поводу синов, еще раз я не говор что это эффективно. Самое эффективное - это атаковать софт, обрабатывающий соединение, он нагибается проще всего.
если я не ошибаюсь, маршрутизатор провайдера из сети которого идет ддос не роутит ИП не из его подсети. т.е. от балды src_ip нельзя поставить. хотя, зависит, от анстроер маршрутизатора. Про сины я сказал к слову о забивании канала. Если атака идет не на софт который брабатывает запрос, а на "канал", то ддосить трафиком нет смысла.
Ты ошибаешься, в стандартном роутинге ни в одной OS таких функций нет(там вообще нет понятия внутренняя и внешняя подсеть, есть таблица роутинга и default gateway), можно поднимать firewall для внутренних клиентов и на нем проверять, но я тоже не слышал, чтобы кто-нибудь так делал. Плюс один фиг если ты например в мастерхосте, ничего тебе не мешает указать IP адреса соседних машин, которых там многие тысячи - для набора адресов хватит.
SYN-ами сложно забить канал, они толи 40 толи 38 байт длиной всего, любым ping-ом или UDP с payload равным MTU гораздо эффективней получается(только их легко вырубить правилом на firewall - microsoft.com вообще например на ping не отвечает - но даже вырубленный на твоей стороне firewall ping тебе подзасрет канал). HTTP с установлением соединения - еще эффективней - но тогда нужно засветить IP атакующей машины. Как я уже говорил для ботнета это не проблема.
SYN-ы это не на забивание канала, а попытка открыть в принимающей системе много сотен тысяч или миллионов соединений в фазе "не до конца установлено, ждем ACK". Когда-то давно не все это нормально воспринимали, сейчас помоему все запатчили. Во всяком случае от здоровенных ботнетов, которые честно качают по http я периодически страдаю, а SYN-Flood как-то кардинально решен - за последние 3 года ни разу его не видел.
SYN-ами сложно забить канал, они толи 40 толи 38 байт длиной всего, любым ping-ом или UDP с payload равным MTU гораздо эффективней получается(только их легко вырубить правилом на firewall - microsoft.com вообще например на ping не отвечает - но даже вырубленный на твоей стороне firewall ping тебе подзасрет канал). HTTP с установлением соединения - еще эффективней - но тогда нужно засветить IP атакующей машины. Как я уже говорил для ботнета это не проблема.
SYN-ы это не на забивание канала, а попытка открыть в принимающей системе много сотен тысяч или миллионов соединений в фазе "не до конца установлено, ждем ACK". Когда-то давно не все это нормально воспринимали, сейчас помоему все запатчили. Во всяком случае от здоровенных ботнетов, которые честно качают по http я периодически страдаю, а SYN-Flood как-то кардинально решен - за последние 3 года ни разу его не видел.
по поводу маршрутизации, я не про клиентскую ось говорил, а про сиськаобразные роутеры, которые у провайдеров стоят. Они щас помоему подефолту настроены не пропускать через себя не свои ИП. По поводу соседних ИП - смысла мало, т.к. атакуемый комп может порезать всю подсеть однм правилом в фаерволе.
Насчет эффективности синов сильно спортить не буду, вам видней. Но забивку канала по трафику все равно считаю неэффективным способом ддоса.
Насчет эффективности синов сильно спортить не буду, вам видней. Но забивку канала по трафику все равно считаю неэффективным способом ддоса.
Не могу назвать себя специалистом по Cisco, но никакого разбиения подсетей на внутренние и внешние там не видел. Что cisco умеет(помоему как SLB, а не как роутер) так это не пропускать внешнюю наполовину установленную сессию. Т.е. тот самый SYN Flood.
Да - но мелким компаниям с ними сложно бороться. Знаю многих людей которые умеют писать быстрый софт и автоматом закрывать firewall-ом вредных клиентов, но с каналом они не знают, что делать.
Кстати - наиболее простой путь это закрыть firewall зарубежные IP адреса - ботнетов в россии мало и они на хилых каналах.
Да - но мелким компаниям с ними сложно бороться. Знаю многих людей которые умеют писать быстрый софт и автоматом закрывать firewall-ом вредных клиентов, но с каналом они не знают, что делать.
Кстати - наиболее простой путь это закрыть firewall зарубежные IP адреса - ботнетов в россии мало и они на хилых каналах.
Слешдот эффект - это массовое дергание ОДНОЙ страницы. Каковое элементарно разгружается кучей способов.
Хм, SERP Яндекса - всего 400 запросов/с? Я думал побольше ;)
Можно по публичной статистике посчитать 30M-35M поисков в день на 86400 секунд, получается в среднем 347-405 поисков в секунду. Понятно, что ночью там сильно меньше, а днем в пике сильно больше. Но вообщем цифры которые я на вскидку назвал вполне себе ничего.
Там понятно плюс к этому еще наверное вдвое-втрое больше показов других страничек, не SERP, но это фигня все т.к. SERP в плане нагрузки гораздо более поганый, каждый запрос к нему тиражируется внутри на много сотен машин кластера на котором лежит порезанный на шарды поисковый индекс.
Там понятно плюс к этому еще наверное вдвое-втрое больше показов других страничек, не SERP, но это фигня все т.к. SERP в плане нагрузки гораздо более поганый, каждый запрос к нему тиражируется внутри на много сотен машин кластера на котором лежит порезанный на шарды поисковый индекс.
А кто решает, где "норма", а где "не норма"? Если в нормальном режиме нагрузка на сайт не превышает 50 запросов в секунду, а он держит 100 - то это отличный показатель.
Вообще, более чем двукратный запас производительности - это пустая трата денег. Двукратный запас позволяет комфортно себя чувствовать при любых темпах роста посещаемости, хотя по экономическим соображениям обычно эффективнее иметь где-то 1.5 кратный запас.
Вообще, более чем двукратный запас производительности - это пустая трата денег. Двукратный запас позволяет комфортно себя чувствовать при любых темпах роста посещаемости, хотя по экономическим соображениям обычно эффективнее иметь где-то 1.5 кратный запас.
Кстати, если не секрет - расскажите, в каких проектах, которые держат 200-400 запросов в секунду, участвовали Вы лично?
Об этом неуместно тут говорить, но таких проекта 3. Все они достаточно известны с числом уникальных IP от 10 тыс до 200 тыс в сутки.
Сразу отвечу на предыдущий вопрос, норм как на производительность, так и на "запас мощности" нет. На проекте, похожем на этот при 14 тыс. посещений в сутки нагрузка больше 100 запросов в секунду к контентному URL (не картинки и пр. статика) случается примерно раза два в неделю.
Необходимость "запаса" обусловлено исключительно издержками от потери работоспособности сервера на некоторое (известное нам) время. Если ущерб (прямой и косвенный) много меньше, чем стоимость доработки программно-аппаратного комплекса, то и фиг с ней. Пусть не работает. Если же 10-минутный простой сопоставим со стоимостью улучшения, то даже 5-кратный запас мощности может быть оправдан.
Сразу отвечу на предыдущий вопрос, норм как на производительность, так и на "запас мощности" нет. На проекте, похожем на этот при 14 тыс. посещений в сутки нагрузка больше 100 запросов в секунду к контентному URL (не картинки и пр. статика) случается примерно раза два в неделю.
Необходимость "запаса" обусловлено исключительно издержками от потери работоспособности сервера на некоторое (известное нам) время. Если ущерб (прямой и косвенный) много меньше, чем стоимость доработки программно-аппаратного комплекса, то и фиг с ней. Пусть не работает. Если же 10-минутный простой сопоставим со стоимостью улучшения, то даже 5-кратный запас мощности может быть оправдан.
Какая-то неравномерная у Вас нагрузка. 100 хитов в секунду в пике обычно соответствует 20-40 хитам в среднем, а это сильно больше, чем 14к посетителей в сутки (даже если каждый посетитель делает по 100 хитов - что тоже очень много).
Впрочем, не важно. Разумеется, бывает что надежность крайне важна. Но "типичный" web-сайт - не тот случай, и 5-кратный запас для него - пустая трата денег. Вот что я хотел сказать.
Впрочем, не важно. Разумеется, бывает что надежность крайне важна. Но "типичный" web-сайт - не тот случай, и 5-кратный запас для него - пустая трата денег. Вот что я хотел сказать.
Я не раз уже замечал, что ночью на сайт войти сложно. Постоянно проблемы с загрузкой. Возможно, Вы в это время что-нибудь делаете с базой и ее производительность падает, и как следствие накапливается очередь запросов, что создает иллюзию атаки?
<irony>Вечером база, позевывая, ложится спать и ночью обрабатывает запросы сквозь сон</irony> :) Пожалуйста, сообщите на support@habrahabr.ru подробности возникающих проблем с загрузкой.
кеширование надо делать, если конечно маршрутизатор раньше не воткнёт или сокеты не закончатся...
UFO just landed and posted this here
ого!
а сколько стоит DDoS?
смотря какой, разумеется.
там всё зависит от объёмов, от страны, от качества.
не каждый ддосер отдаст свою подсеть, ведь риск огромный её потерять.
там всё зависит от объёмов, от страны, от качества.
не каждый ддосер отдаст свою подсеть, ведь риск огромный её потерять.
А что значит "отдать подсеть"? Я просто в этом не осень шарю, но интересно =)
про термин подсеть я написал не в прямом смысле.
т.е. есть у человека список зараженных компьютеров, это боты.
при сильной атаке - этот список банится провайдером, т.е. атака на этого хостера уже невозможна, как мы знаем крупных и хороших хостеров очень мало.
на нашем одном проекте был недавно DDOS, очень сильный, так что пров, а он не из мелких, ощутил нагрузку на своих каналах, и как нам сказали - ip кинули в "черную дыру", таков термин, я хостеров изнутри не знаю.
ну суть думаю понятна.
т.е. есть у человека список зараженных компьютеров, это боты.
при сильной атаке - этот список банится провайдером, т.е. атака на этого хостера уже невозможна, как мы знаем крупных и хороших хостеров очень мало.
на нашем одном проекте был недавно DDOS, очень сильный, так что пров, а он не из мелких, ощутил нагрузку на своих каналах, и как нам сказали - ip кинули в "черную дыру", таков термин, я хостеров изнутри не знаю.
ну суть думаю понятна.
Разве нельзя просто ддосить своей подсетью чей-то сайт? Зачем просто отдавать?
Если Distributed Deny of Service, то адреса должны быть в разных сетях, иначе очень просто зафильтровать.
Не оставим хулиганство безнаказанным!
Дадим противникам достойный отпор!
ping -i 2 217.147.30.151
:D
Дадим противникам достойный отпор!
ping -i 2 217.147.30.151
:D
Да, на упячке чё-то писали, что хабр какую-то войну объявил и щас к нему прийдёт ппц и наступит пятой лапой (вроде так).
все в восторге просто от трансформеров :) нельзя отдавать хабракуб!
Наверное, нужно написать провайдерам тех компьютеров, с которых идут атаки, чтобы они их отключили. Либо как то блокировать адреса, чтобы сервер хабра не выдавал ответы на те айпишники, раз их всего 90, это наверное не сложно
есть стандартная процедура при атаке.. только она всё равно делается админами вручную — пишется скрипт, который определяет характер запросов и банит подозрительные IP, делов на полчаса, так-то.. если расти не начинает
есть автомат, называется Snort (IDS) + snortSAM (плагин). Первый следит за подозрительным, второй подозрительному накручивает хвост. Но с этой штукой нужно быть очень осторожным, оно может весь сервак законопатить наглухо, не пробьетесь )
при хорошем досе это не поможет
при большом списке IP сервер будет ложится еще до запуска скрипта
проверено опытным путем
как решали проблему
1) ip (до 1000) скрипт
2) (более 1000) выделили отдельный сервер (FreeBSD) через который идут все запросы
На нем конфигается файервол
Есть аппаратное решение защиты от ДОСа (очень дорого от 15000$)
Как сказали специалисты толку не много
Самое простое решение отдельный сервер для защиты + толковый админ
при большом списке IP сервер будет ложится еще до запуска скрипта
проверено опытным путем
как решали проблему
1) ip (до 1000) скрипт
2) (более 1000) выделили отдельный сервер (FreeBSD) через который идут все запросы
На нем конфигается файервол
Есть аппаратное решение защиты от ДОСа (очень дорого от 15000$)
Как сказали специалисты толку не много
Самое простое решение отдельный сервер для защиты + толковый админ
Думаю, это Давид Крамер и его братья-близнецы.
UFO just landed and posted this here
истирички™
я вот смотрю со стороны и понимаю, что параноиков и идиотов хватает и там и тут.
я вот смотрю со стороны и понимаю, что параноиков и идиотов хватает и там и тут.
Самизнаете у кого много денег на DDoS-атаки.
На каждом крупном портале, раз в жизни да появлялись сообщение о DDOS атаках?
Скажите, а кто этим вообще занимается, конкурирующие сайты, интернет-мафия?
Скажите, а кто этим вообще занимается, конкурирующие сайты, интернет-мафия?
обычно этим занимаются конкуренты. За руку поймать сложно, потому, что если поймать - это будет подсудным делом (нечестная конкуренция и все дела). Но, тем не менее, метод используется. Хотя и далеко не всеми.
Можно поподробнее про доказательство DDoSа? Каким способом можно это доказать?
Насколько пробиваемы отмазки, типа "У нас сеть 150 компов выходим через гейт. Наверное завелись трояны. Мы будем лечить". Как я понимаю нужно доказать факт осмысленности DDoSа. Или я неправ?
ЗЫ: Сам иногда шлю запросы, для того, чтобы спамеры получили штрафы в партнерках. В мягком режиме, конечно, 10 запросов в секунду.
Насколько пробиваемы отмазки, типа "У нас сеть 150 компов выходим через гейт. Наверное завелись трояны. Мы будем лечить". Как я понимаю нужно доказать факт осмысленности DDoSа. Или я неправ?
ЗЫ: Сам иногда шлю запросы, для того, чтобы спамеры получили штрафы в партнерках. В мягком режиме, конечно, 10 запросов в секунду.
да обычно этим занимаются конкуренты, достаточно распространенный метод
недавно пришлось столкнутся с этим вплотную, честно говоря хорошего мало, когда IP не 90-100
а около 3000 – 5000 и меняются с частотой 10-20 минут, справится не так просто.
Качество ДОСа зависит от цены, чем больше количество ботов тем дороже.
цена от 20$ до 1000$ в сутки.
недавно пришлось столкнутся с этим вплотную, честно говоря хорошего мало, когда IP не 90-100
а около 3000 – 5000 и меняются с частотой 10-20 минут, справится не так просто.
Качество ДОСа зависит от цены, чем больше количество ботов тем дороже.
цена от 20$ до 1000$ в сутки.
по мне легче 90 ИП забанить. вроде не так трудно.
Прошу прощения, что встреваю в ваш разговор, но как написать в какой нибудь блог? Пытаю написать в "Я умный" и при нажатии на кнопку add меня молча перекидывает на страницу вики. В чем дело?
Sign up to leave a comment.
DDoS