Что в вашем понимании злостный плохиш? И причем тут статистика?
ДДос они в африке ддос. Он может быть умным, может быть тупым. Но в любом случае, главным во время ддоса будет выживание ресурса, а не вычисление кто плохиш а кто чесный пионер.
Если с адреса идёт 100500 реквестов в секунду то лучше его блокировать на неделю для профилатики и написать письмо владельцу адреса. Это в разы эфективнее.
Собственно всё очевидно, кроме, разве что, SQLite. Я его добавил пока просто для статистики, но в принципе можно использовать и для удаления устаревших плохишей из черного списка. Время 5 минут пока тоже не используется.
Ipset позволяет задать как дефолтный timeout хранения записей в списке так и определять его индивидульно для каждой записи (для особо злостных адресов, например).
Очень удобно. Не надо городить механизм очисти списка.
sheepdog заточен под kvm и виртуальные машины, потому прошел сильно мимо моей выборки тестируемых фс.
Меня в первую очередь интересовали posix-совместимые фс, или как минимум те, у которых была хоть какая-то posix-совместимость. обусловлено это архитектурой существующих проектов.
Но спасибо что указали на неё, всегда интересно пощупать что-то новое.
Большое кол-во мелких фалйлов — это не для гластера, я это еще в первом своем посте написал. А вот отдача средних файлов 100Кб-100Мб — вполне себе шуршит, с оговорками конечно же.
Поправка, не только над ext3. работает на любой posix-совместимой ФС.
А какая удачнее? Из всех что я пробовал — только гластер более менее и заработал. Остальные вообще в опе были.
GPFS — прелесть. Когда я её тестировал — просто рыдал навзрыд, как же она хороша.
И я бы с радостью её купил, тока денег на неё недают. А сам столько не зарабатываю -)
Можно конечно и втихую её юзать, но это чревато.
За последние два года перепробовал все кластерные файлухи.
То что написано здесь — www.pentarh.com/wp/2008/07/04/cluster-filesystems/ — абсолютно верно.
Но я не понимаю Вашего категорического неприятия гластера.
У любого продукта есть своя ниша.
У меня, в конкретной узкой нише прижился только glusterfs.
Используется он как агрегатор-раздатчик серверов/дисков. Отказоустойчивость сделана на drbd/heartbeat. Хорошо работает только в связке с файловым кэшем ОС. Чем больше памяти на сервере тем лучше. После перезапуска очень ощутимые тормоза пока кэш заполняется.
В продакшене больше года, пару раз расширялся на лету. ПОКА сильных нареканий нет. Но только пока. У меня нет данных, как оно себя будет вести при увеличении кол-ва серверов.
Сделано так не от хорошей жизни… не у всех есть бюджет на десяткокилобаксовые стораджи и не менее килобаксовые выплаты ibm-у за их, безуословно хорошую фс.
Каждые полгода приходится возвращаться к теме выбора фс под очередное хранилище… больное место.
Были еще надежды на pohmelfs… надо кстати глянуть как там дела обстоят.
В текущем состоянии glusterfs не может использоваться как универсальное хранилище данных. То есть под любые типы хранимой информации. Например как хранилище изображений для нагруженного веб-сервиса еще более-менее тянет(и то без своей репликации), а вот хран для php-файлов уже никак(много-много мелкого файла). Скорость падает катастрофически.
Cтоит включить репликацию(а она на уровне файлов, так как gluster — это по сути демон объединяющий диски с традиционными fs) и все затормаживается еще раза в 2-3.
Мне gluster очень нравится. Из всего с чем я работал, за исключением GPFS, это одна из лучших распределенных файловых систем.
И есть мнение, что если gluster доведут до ума — перенесут в ядро+сделают свою локальную fs и тогда репликацию можно будет реализовать блоками, то можно будет праздновать появление полноценного конкурента айбиэмовской системе.
В общем ждем GFS+Gluster = полноценная быстрая распределенная реплицируемая легко расширяемая фс.
ДДос они в африке ддос. Он может быть умным, может быть тупым. Но в любом случае, главным во время ддоса будет выживание ресурса, а не вычисление кто плохиш а кто чесный пионер.
Если с адреса идёт 100500 реквестов в секунду то лучше его блокировать на неделю для профилатики и написать письмо владельцу адреса. Это в разы эфективнее.
Ipset позволяет задать как дефолтный timeout хранения записей в списке так и определять его индивидульно для каждой записи (для особо злостных адресов, например).
Очень удобно. Не надо городить механизм очисти списка.
2. а кто эти «те»? просто интересно
пы.сы. если шо, это не intel и не supermicro -)
Меня в первую очередь интересовали posix-совместимые фс, или как минимум те, у которых была хоть какая-то posix-совместимость. обусловлено это архитектурой существующих проектов.
Но спасибо что указали на неё, всегда интересно пощупать что-то новое.
Поправка, не только над ext3. работает на любой posix-совместимой ФС.
А какая удачнее? Из всех что я пробовал — только гластер более менее и заработал. Остальные вообще в опе были.
GPFS — прелесть. Когда я её тестировал — просто рыдал навзрыд, как же она хороша.
И я бы с радостью её купил, тока денег на неё недают. А сам столько не зарабатываю -)
Можно конечно и втихую её юзать, но это чревато.
То что написано здесь — www.pentarh.com/wp/2008/07/04/cluster-filesystems/ — абсолютно верно.
Но я не понимаю Вашего категорического неприятия гластера.
У любого продукта есть своя ниша.
У меня, в конкретной узкой нише прижился только glusterfs.
Используется он как агрегатор-раздатчик серверов/дисков. Отказоустойчивость сделана на drbd/heartbeat. Хорошо работает только в связке с файловым кэшем ОС. Чем больше памяти на сервере тем лучше. После перезапуска очень ощутимые тормоза пока кэш заполняется.
В продакшене больше года, пару раз расширялся на лету. ПОКА сильных нареканий нет. Но только пока. У меня нет данных, как оно себя будет вести при увеличении кол-ва серверов.
Сделано так не от хорошей жизни… не у всех есть бюджет на десяткокилобаксовые стораджи и не менее килобаксовые выплаты ibm-у за их, безуословно хорошую фс.
Каждые полгода приходится возвращаться к теме выбора фс под очередное хранилище… больное место.
Были еще надежды на pohmelfs… надо кстати глянуть как там дела обстоят.
Cтоит включить репликацию(а она на уровне файлов, так как gluster — это по сути демон объединяющий диски с традиционными fs) и все затормаживается еще раза в 2-3.
Мне gluster очень нравится. Из всего с чем я работал, за исключением GPFS, это одна из лучших распределенных файловых систем.
И есть мнение, что если gluster доведут до ума — перенесут в ядро+сделают свою локальную fs и тогда репликацию можно будет реализовать блоками, то можно будет праздновать появление полноценного конкурента айбиэмовской системе.
В общем ждем GFS+Gluster = полноценная быстрая распределенная реплицируемая легко расширяемая фс.