7 June 2012

132 сервера в стойке или как уплотниться и не лопнуть

Rusonyx corporate blog
132 сервера в одной стойке

Два года назад я впервые рассказал в блоге о серверах DELL, которые мы используем в своей работе. Пришла пора рассказать о новом оборудовании, за это время многое изменилось. Пост долго не хотел писаться, фотографии успели запылиться, но лучше поздно, чем никогда.

В этом посте я расскажу о новых серверах DELL PowerEdge серии C (С – от Cloud), а также о том, как благодаря новому оборудованию мы удвоили емкость нашей площадки в ДЦ и при этом сохранили затраты на эксплуатацию на прежнем уровне.


Унылый нерезиновый мир (терпение, фотки дальше)


Примерно год назад перед Русониксом серьезно встала проблема инфраструктурного роста. Мы ставим серверы в классном, но весьма дорогом ДЦ (Комкор/Акадо на Варшавском). Каждая стойка стоит как самолет, зато площадка позволяет выделять много электричества, до 10-15 кВт на стойку. Для сравнения, в типичном московском дата-центре эконом-класса на стойку выделяется от 3 до 5 кВт. Есть и другие плюсы, но сейчас не об этом.

Итак, для нас было весьма накладно расти экстенсивно, вширь. Кроме того, во всем, что мы делаем, мы стараемся использовать имеющиеся ресурсы максимально эффективно. Переезд в недорогой ДЦ – не наш метод, корпоративные клиенты просто не поймут. Кроме того, мы очень хотели запустить проект по аренде брендовых делловских серверов.

Таким образом, перед нами возникли задачи:
  • инфраструктурно обеспечить рост клиентской базы;
  • запустить проект по аренде серверов DELL;
  • постараться избежать увеличения постоянных затрат на эксплуатацию (аренда стоек и обслуживание серверов).

Нулевой вариант мы реализовали сразу — повыкидывали старье в помойку.

image

Серьезных вариантов решения было несколько:
  1. переезд в недорогой дата-центр;
  2. частичный перевод некритичных услуг в средний дата-центр с умеренными ценами;
  3. уплотнение оборудования на имеющейся площадке.

Первый вариант всерьез не рассматривался – слишком большие затраты, риски и не прогнозируемый результат.

Рассмотрев второй вариант и взвесив все за и против, мы пришли к выводу, что овчинка выделки не стоит. Точек отказа становится больше, риски возрастают, постоянные расходы увеличиваются.

Оставался сценарий с уплотнением оборудования на существующей площадке. К сожалению, в наш дата-центр резиновые стойки еще не завезли. Пришлось работать с тем, что есть. В стойке 42 юнита – ни больше, ни меньше. И мы занялись пятнашками – перетасовкой серверов между стойками, заменой коммутаторов и другими интересными, но не очень эффективными вещами.

На наше счастье DELL в 2011 году анонсировал серверы PowerEdge C5220 и С6100. И тут началось самое интересное.

Слава богу ты пришел (фотки еще дальше)



C5220 – это 8 или 12 серверов/следов (sled в терминологии DELL) уровня R210 в одном 3U корпусе.
image
Фото с сайта dell.com

C6100 – это 4 сервера уровня R610 в одном 2U корпусе (спойлер: зверь, а не машина. C6100 заслуживает отдельного поста).
image
Фото с сайта dell.com

Мы случайно узнали о скором выходе новой линейки и сразу запросили в российском представительстве информацию о возможности поставки таких серверов. Серверов не то чтобы не было в наличии – их даже не было на американском сайте DELL. И конечно же платформы не были сертифицированы в РФ. Потянулись долгие месяцы ожидания цен, квот на поставку и сертификации.

Российский DELL сработал очень оперативно и вот в ноябре к нам пришли первые серверы на платформе C5000. Одни из первых в мире и первые в РФ. Стоит ли говорить, что чудо-железки собрали вокруг себя как наших инженеров, так и представителей Вирта — нашего дистрибьютора.

C5000 представляет из себя корпус с центральным питанием и охлаждением. В корпус вставлены «картриджи» — следы. Их может быть 8 или 12. Сейчас мы используем только 12-следовую конфигурацию. В 8-следовые можно установить более мощные процессоры и карты расширения. Первая партия 8-следовых уже прошла таможню и будет у нас со дня на день.

image

Каждый след – отдельный сервер с собственными дисками, памятью, сетевым интерфейсом и квм.

image

Слот для процессора только один: поддерживаются Xeon серии E3 с TDP до 65Вт (до 95Вт в 8-следовой конфигурации). Мы ставим E3-1260L, на наш взгляд это самый оптимальный процессор из современной линейке E3, сочетающий в себе низкое потребление электроэнергии, высокую производительность (4 ядра, 8 потоков, TurboBoost с 2.4 до 3.3ГГц) и разумную стоимость.
Есть аналогичная платформа и для процессоров AMD, однако мы продукцию этого вендора в работе не используем, поэтому ничего про них сказать не могу.

image

4 слота для памяти рекомендуется занимать полностью для оптимального охлаждения и быстродействия. Максимально сервер поддерживает до 32Гб DDR3 ECC UDIMM (1333 MHz).

image

В следе имеется место для двух 3.5-дюймовых дисков или четырех 2.5-дюймовых. Мы ставим по два крупных диска. Установка четырех дисков для подобных применений нам кажется весьма расточительным и не рациональным. Но если будет спрос – подумаем над закупкой и таких конфигураций.

image

В каждом сервере предусмотрены два сетевых интерфейса. Один мы используем для связи с внешним миром, а второй для бэкнета. Бэкнет нужен для нашей управляющей системы: по нему мы устанавливаем и настраиваем ПО, мигрируем пользователей и при необходимости делаем бэкапы. Кроме того, в шасси есть единый управляющий центр, выполняющий роль KVM для доступа к низкоуровневым настройкам каждого из серверов (IPMI 2.0, Virtual Media и прочие прелести удаленного администрирования). И конечно через центр возможен удаленный мониторинг технического состояния всех железок, установленных в шасси.

image

Несмотря на широкие возможности удаленного администрирования, возможна ситуация, когда необходимо подключиться к какому-либо из серверов физически. Для этого каждый из них оснащен разъемом D-SUB и двумя портами USB 2.0. Поскольку площадь передней панели крайне мала, было очень важно оставить побольше пространства для воздуховодов. Поэтому все разъемы интегрированы в один универсальный.

image

Все дело в волшебных проводках.

image

Следы вставляются в шасси примерно как картриджи в детские приставки начала 90-х.

image

Через эти разъемы идет подача питания и обмен данными с управляющим центром.

image

В задней части шасси установлены блоки охлаждения с резервированием N+1. На самом деле для охлаждения достаточно одного ряда кулеров. Второй — для резервирования.

image

Питание подводится через два блока с горячей заменой, один из них – резервный. Блоки питания подключены к двум разным лучам, благо дата-центр это позволяет. Таким образом, серверы защищены как от внутреннего сбоя – выхода из строя одного из блоков, так и от внешнего фактора – выключения питания на одном из лучей.

image

Внимательный читатель заметит как здорово продуман фиксатор блока питания. Блок нельзя вытащить, не опустив замки-собачки, а ручка для опускания замков (зеленая на фото) заблокирована пока БП не обесточен.

image

Для нас серверы C-серии стали большим подарком со стороны инженеров DELL, т.к. они позволили нам решить сложную задачу уплотнения и удешевления инфраструктуры при сохранении качества услуг. С одной стороны, такие серверы сильно дешевле в эксплуатации и обслуживании, а с другой – обеспечивают бОльшую надежность и резервирование, нежели обычные одноюнитовые DELL PowerEdge R210 со схожими характеристиками.

Серверы отлично сработались с нашей системой управления Parallels Automation и виртуализацией Parallels Virtuozzo Containers (PVC). Таким образом, мы смогли интегрировать их с нашей существующей инфраструктурой и использовать для установки готовые наборы настроенного ПО (панель управления, тонкие настройки под различные CMS и прочее). В результате аккаунты на новых VPS 2012-го тарифного года при апгрейде на аренду сервера автоматически мигрируются с VPS-нод на отдельную машину. Прозрачная миграция между серверами – это отдельная интересная тема, о которой я обязательно расскажу в одном из следующих постов.

Что в результате?


Благодаря платформе c5000 плотность размещения серверов под аренду в обычных 42U шкафах составила 132 сервера на шкаф (более чем в 3 раза выше обычного). Помимо этого с помощью серверов на платформе C6100 (сейчас уже C6220) мы увеличили плотность размещения продакшн-серверов, которые используются для виртуализации, в 2 раза.

С учетом нашего стандартного оборудования DELL PowerEdge серии R, еще оставшегося в эксплуатации, за год мы увеличили количество физических и виртуальных серверов более чем в 2 раза и при этом избежали роста постоянных расходов на эксплуатацию дата-центра.

Когда уже была написана статья я с удивлением обнаружил, что у нас нет ни одной хорошей фотографии следа во всю длину. Вот все что нашлось.

image

Обязательно перефотографируем когда придет следующая партия.

P.S. Если кому понадобится — у нас можно взять сервер в аренду.
Tags:серверыdellрусониксrusonyxpoweredgec5220хостингдата-центринфраструктураоранжевый чувак выбрасывает сервер
Hubs: Rusonyx corporate blog
+65
90.3k 137
Comments 151
Top of the last 24 hours