Как стать автором
Обновить

Конспект админа: блеск и нищета блейд-систем

Время на прочтение7 мин
Количество просмотров43K
Всего голосов 17: ↑13 и ↓4+9
Комментарии21

Комментарии 21

Изображение подобрано просто великолепно.
Ну и чтобы не отвлекаться от темы: впечатления от использования c7000 и BladeCenter-H только положительные. Хотя, как по мне, блейды от HPE более просты и приятны в управлении.
в «больших дата центрах» не используют блейды, блейды всегда был продуктом для «корпораций»
с7000 это уже не актуальное шасси =), в новом шасси плотность серверов уменьшили…
на блейды HP под проект всегда дают скидку, и в этом случаи на прайс смотреть не правильно.
когда придет время менять сервера — рековые сервера легко можно продать, блейды вы никому не впарите ))))

НЛО прилетело и опубликовало эту надпись здесь
А теперь берём и открываем какого-нибудь другого поставщика HP. И видим такие цены за штуку: блейд-сервер стоит примерно 120 тысяч, классический — 140 тысяч. Те же модели, что и в статье, но 16GB памяти. И, внезапно, разница в цене за полный комплект стала не такой уж и большой.
Аналоги – HP ProLiant DL360p Gen8:

Прямое сравнение цен с учетом любимых корпоративных игр со скидками не слишком осмысленно, но, если уж подбираете "аналог", хотя бы на конфиг внимание обращайте, пожалуйста. В блейде из коробки 2x10Gbit конвергентная сеть, в стоечном сервере — 4xGbit Ethernet, какие уж тут аналоги...

И кстати, некоторые производители делают блейды, которые можно объединять в один большой сервер несколько лезвий. Например Hitachi позволяет до 4 лезвий объединять.
Дружественная контора хостила у нас свою корзину с лезвиями. Впечатления самые негативные. В аппаратной невозможно стало разговаривать, т.к. ревет корзина как реактивный двигатель; пришлось ставить ей отдельный UPS, т.к. мощности стандартного в стойке не хватало; тянуть к новому UPS отдельный кабель питания. Ну и судя по активности светодиодов на лицевой панели работал у них всего один сервер. Съехали и слава Богу.
Друг купил машину на замену своей лошади. Впечатления самые негативные. Пытался засыпать овёс в бак — он размок и забил бензонасос. Пришлось чинить. Попытался поставить в стойло — не влезает, пришлось перестраивать всю конюшню, да и асфальт класть до нее.
Чтобы ветер обдувал лицо надо опускать все стекла, причем дует только сбоку, лобовое не опускается. Поменял обратно на лошадь и слава Богу!

По теме:
Аппаратная не для того, чтобы разговаривать. Если вы хотите увеличить плотность компоновки, очевидно, что придется подводить туда больше питания и охлаждения. Как вы хотели иначе? Просто думать об этом надо до проекта, а не после.

Спасибо, посмеялся. Я ж про эффективность писал. Корзина ела ~5кВт, а задачи выполняла как 300Вт сервер.

Коллега ниже прав, в случае ошибок в системе управления (management платы, например) или в системе охлаждения (вентилятор вышел из строя) система автоматически включает охлаждение на полную. В этот момент даже стоять рядом неприятно=)
Если в корзине работает только один сервер, то электричество будет кушать он, блоки питания и коммутаторы шасси. Это не 5кВт. Раз корзина ест 5кВт — значит работают все лезвия, но что-то с ними не так.

В общем дело не в том, что это блейд-корзина, а в правильной настройке и эксплуатации=)

У нас в стойке 2U Juniper стоит. на включении и продувке под вентиляторами стоять нереально — сдувает не только меня, но и сотрудника который весом под 120кг...

Скорее всего, та корзина работала в нештатном режиме (ошибки в системе на которые забили) и неуправляемые вентиляторы работали на полную катушку. К питанию корзины конечно предъявляются большие требования чем к обычному серверу т.к. в ней по сути может быть установлено 16 обычных серверов + коммутаторы. Из того что видел я, обычно не переваливало за 2-3 кВт для полностью забитой корзины.
Надежность. Несмотря на дублирование компонентов присутствует единая точка отказа – коммуникационная плата (бэкплейн) шасси.

Простите, немного поправлю Вас.
Плата стоящая посреди корпуса обычно называется midplane. Хотя в с7000 есть И midplane И backplane… 8-)

Касательно надёжности.
Обычно, при проектировании подобных систем стараются с midplane и backplane вынести всю активку, чтобы в них просто нечему было ломаться. В c7000 именно так и сделано (стр 4).

Невозможность разделения. Если нужно создать территориально распределенный кластер, нельзя просто вытащить и перевезти половину серверов – потребуется еще одно шасси;

Стоимость. Само по себе шасси стоит как три лезвия, а лезвие стоит как полноценный сервер.

Добавлю — шасси с аналогичной набивкой (коммутаторы, блоки питания и т.п.), которая стоит недёшево.
Само по себе шасси задёшево купить не очень сложно — у вендоров регулярно бывают акции типа «купи два лезвия и получи шасси за $1». Ну а в общем случае — если есть время, а у работодателя есть деньги — можно устроить красивую развлекуху под названием «торг с вендором» и существенно снизить общий ценник.

К минусам я бы добавил, что blade системы это классический случай vendor lock. «Неродные» компоненты в blade шасси в большинстве случаев не воткнёшь из-за нестандартных посадочных размеров. Использовать возможности интегрированной периферии (коммутаторов и пр.) внешними серверами также бывает сложно из-за малого количества внешних портов.

Еще одно уточнение, чаще всего в блейдах два мидплейна, т.ч. единой точкой отказа становится админ :)

Меня всё время вот какой вопрос интересовал: про блейды пишут часто, что мол плотность установки высокая и т.д., но они же жрут при этом много. Пусть даже 10 юнитов в стойке, и 5кВт — это же половина мощности, подводимой к стойке в среднестатистическом датацентре. Получается, что реально то занять можно 20 юнитов всего, а ещё 20 будут простаивать. Ну и где тут обещанная высокая плотность?
Так это и есть высокая плотность. Больше единиц оборудования в меньшем объеме (В С7000 16 серверов на 10 юнитов) и следовательно, больше энергопотребление в меньшем объеме.

Другое дело, что среднестатистические датацентры рассчитываются на малое энергопотребление, а не на высокую производительность оборудования, отсюда и лимиты в 10кВт на стойку.

Что по охлаждению, то воздухом можно снять 20-25кВт со стойки. Системами на подобие с водяной дверью порядка 40кВт, а водой до 400кВт (рекорд РСК).

Так что если Вы лимитированы питанием и/или охлаждением, то высокоплотные системы просто не для Ваших задач, а если Вам нужна высокая плотность, то Вас уже не заботят стандартные датацентры, а инженерная инфраструктура подгоняется под используемое оборудование.
Идея блейдов конечно красивая, но вот реализация подкачала. Отдавать 6 юнитов под корзину, когда тебе чаще всего не все забивать… жесть. Лично для себя сейчас нашел fx2 от Dell-а. Вот тут действительно на мой взгляд хорошее совмещение и экономия места.

В реальности в стандартный шкаф в датацентре можно поместить 2, максимум 3 блейд центра, в первую очередь из соображений теплоотвода. Причём с учетом подачи холодного воздуха через люк под шкафом, чем выше стоит блейд центр, тем хуже у него температурный режим. Для обычных серверов это тоже актуально, но за счёт большей плотности компонент у блейдов эффект проявляется много раньше. Если шасси 10U, то больше 3х не поставишь ещё и потому что в шкафу 42U, и 2U будет явно не хватать для подачи воздуха снизу в шкаф. С питанием тоже отдельная песня, БП мощные и рассчитаны на высокие токи, которые весьма сложно коммутировать и для питания необходимо будет покупать дополнительно компоненты, так как штатные, предоставленные датацентром, будут не проходить по токам. Ещё и модернизация сети питания шкафов в датацентре может оказаться необходимой

НЛО прилетело и опубликовало эту надпись здесь
А диски в эти блейды фирменные ставятся, или обычные sata тоже подойдут?
А то тут понакупали у нас «фирменного» оборудования пару лет назад, теперь плачут, что диски стоят как чугунные мосты и покупают теперь не vendor lock-in железку из-за этого…
Зарегистрируйтесь на Хабре, чтобы оставить комментарий