«Идея запостить фотографии из наших ДЦ родилась давно. Но то времени нет, то у фотографов-любителей, вроде меня, руки не из того места растут, то ещё что-то. Наконец, собрались вместе свободное время и прямые руки.
В этом цикле статей мы покажем как выглядят наши ДЦ.
Итак, старейший дата-центр Селектела (с которого компания, собственно, и началась), под кодовым названием »Технодом".
Небольшая видео-экскурсия:
Она же — машинный зал, payload (в буквальном смысле) для любого дата-центра. Именно тут находятся маленькие кусочки плавленного кремния, ради которых работает всё остальное оборудование и люди.
(картинки кликабельны)
Традиционно, основным форматом, использующимся для размещения серверов, являются 19" (19 дюймов), их высота измеряется в юнитах (вершках, хе-хе). Сервера плотно монтируются один над другим в специальные шкафы с вертикальными направляющими. Шкафы иногда ещё называют «стойкой». В «Технодоме» используются шкафы 42 U размером (внутренние направляющие имеют высоту 42 юнита, плюс чуть-чуть снизу, плюс чуть-чуть сверху, плюс чуть-чуть с боков на стенки и место для кабелей — то есть фактический размер шкафа больше, чем 1.8 метра в высоту и 48 сантиметров в длину). Реальная полезная нагрузка шкафа несколько меньше, так как туда ещё монтируются розетки (тоже 19"). Размеры самого шкафа: высота 2030, ширина 600 мм. Глубина шкафов разная — на выбор 620, 820 и 1020мм.
(под катом — ещё фотографии серверной, оборудования и людей)
<habracut/>
Селектел традиционно использует модель холодного коридора: Холодный воздух под давлением нагнетается в коридор, откуда его забирают вентиляторы серверов и выкидывают в «горячий коридор», который на самом деле во-первых не горячий, а во-вторых не коридор — это всё свободное место серверной, кроме «холодных коридоров». Холодные коридоры действительно холодные, долго там находиться неуютно. В SLA записано обещание держать там температуру +20±2°С, градуса, в реальности там обычно эти самые +20-2. А с учётом постоянного холодного сквозняка из вентиляции (в этом месте и все 15 градусов может быть), это место точно не для человеков.
Холодный коридор образуется двумя рядами шкафов (они делают боковые стенки коридора), крышей сверху и лёгкими дверьми с обеих сторон коридора.
Все сервера монтируются так, чтобы щели воздухозаборников смотрели в сторону холодного коридора (обычно это «морды» серверов), а горячий воздух выдувался «наружу» (его забирает система кондиционирования, прогоняет через фильтры, осушку/увлажнение, охлаждение и пускает обратно в холодный коридор).
На фотографиях серверной вид в холодный коридор. Общая площадь ДЦ — три с половиной тысячи квадратных метров. Полезная ёмкость — 320 шкафов (13440 юнитов), размещённых на 1400 квадратных метрах серверных площадей.
Унификация делает своё (чёрное?) дело — не смотря на то, что это фотографии трёх разных холодных коридоров, понять, что они разные можно только по этому предложению (считайте это игрой на внимательность — найдите 16 различий между коридорами).
Большинство серверов имеет разъёмы питания, подключения сети и т.д. с «горячей» стороны, так что все работы по коммутации, подключению/отключению и т.д. прохоят именно оттуда.
На этой фотографии хорошо виден горизонтальный кабель-канал — именно он используется для подключения серверов к сети (ну и между собой).
Чтобы в холодных коридорах былотепло и уютно холодно и сухо нужна могучая система охлаждения. В отличие от нежных кремниевых кусочков, кулеры от кондиционеров предназначены для размещения на улице.
Мы сделали чуть-чуть иначе — кулеры размещены в сквозном коридоре, что их защищает от дождя и птичьих бомбардировок.
С обоих сторонах вентиляторы для выдувания горячего воздуха из кондиционера. Используется стандартная схема N+1 (то есть стоит простаивающая хотспара). Кондиционеры Lessar.
Оно же, крупным планом:
Что важнее для дата-центра — электричество или интернет?
3 мегаватта мощности. Разумеется, бесперебойники и дизель-генераторы. Наверное, тут следовало бы рассказать много интересного про электричество, но это не моя стихия. Скажу только, что в помещения электрического хозяйства меня, например, не пускают (нет нужного доступа — там шесть киловольт). Два ввода обслуживаются 4мя трансформаторами, к щитам идёт 380 вольт, ко всей технике уже идёт обычные 220.
Обратите внимание на батарею — в то время, когда вся цивилизованная серверная охлаждается, контейнер с генератором отапливается. Шторки (горизонтальные металлические планки) автоматические, открываются одновременно с включением генератора.
Генераторов — 4 шт. Три размещены на улице, один, на всякий самый крайний случай, в здании (в отдельном помещении с отдельной вентиляцией, разумеется). Пуск автоматический.
Периодически (примерно раз в месяц) их включают для проверки, по своим впечатлениям могу сказать, что сожжённая солярка на несколько мегаватт пахнет не сильно хорошо.
Немного о дизель-генераторах (я подошёл к техническому директору за подробностями) — у каждого дизель-генератора два стартера, собственные бесперебойники для запуска (аж две штуки).
Снизу можно как раз одну из этих батарей увидеть:
На время, пока генераторы включаются, разумеется, есть источники бесперебойного питания. Находятся они в отдельном помещении. Это промышленные упсы General Electric, собранные в 4 кластера (плюс традиционная хотспара).
Что важнее для дата-центра — электричество или интернет? На самом деле, «интернет» это слишком узкое понятие для ДЦ, для него важна связность. Далеко не все линки, выходящие из дата-центра являются интернетом, многие из них — приватные сети, серые волокна, объединяющие отдельные сервера в единую конструкцию и т.д.
Все ДЦ Селектела имеют линки друг с другом через нашу оптику. (Карта прохождения линков: selectel.ru/services/rentvols)
Святая святых, узел связи:
Разумеется, есть прямые линки до мест максимальной концентрации интернета в городе — Боровая, 57 и Большая Морская, 18. Кроме того, в ДЦ присутствует несколько операторов — RunNet, Retn.Net, Мегафон, ОБИТ, Раском, МТС, Комстар-ОТС. Входов оптики в здание два — через колодец и по воздуху (резервная линия).
Основным средством тушения пожаров, как бы ни было странно, являются огнетушители и видео-наблюдение. Если же это не поможет, то есть тяжёлая артиллерия — газовая система пожаротушения.
Разумеется, есть. Около 100 камер видео-наблюдения, табельное оружие. Проход по RFID-меткам (карточки).
Часть камер используется для наблюдения не за безопасностью, а для наблюдения за оборудованием. Разумеется, всё пишется в архив.
В этом цикле статей мы покажем как выглядят наши ДЦ.
Итак, старейший дата-центр Селектела (с которого компания, собственно, и началась), под кодовым названием »Технодом".
Видео
Небольшая видео-экскурсия:
Серверная
Она же — машинный зал, payload (в буквальном смысле) для любого дата-центра. Именно тут находятся маленькие кусочки плавленного кремния, ради которых работает всё остальное оборудование и люди.
(картинки кликабельны)
Традиционно, основным форматом, использующимся для размещения серверов, являются 19" (19 дюймов), их высота измеряется в юнитах (вершках, хе-хе). Сервера плотно монтируются один над другим в специальные шкафы с вертикальными направляющими. Шкафы иногда ещё называют «стойкой». В «Технодоме» используются шкафы 42 U размером (внутренние направляющие имеют высоту 42 юнита, плюс чуть-чуть снизу, плюс чуть-чуть сверху, плюс чуть-чуть с боков на стенки и место для кабелей — то есть фактический размер шкафа больше, чем 1.8 метра в высоту и 48 сантиметров в длину). Реальная полезная нагрузка шкафа несколько меньше, так как туда ещё монтируются розетки (тоже 19"). Размеры самого шкафа: высота 2030, ширина 600 мм. Глубина шкафов разная — на выбор 620, 820 и 1020мм.
(под катом — ещё фотографии серверной, оборудования и людей)
<habracut/>
Селектел традиционно использует модель холодного коридора: Холодный воздух под давлением нагнетается в коридор, откуда его забирают вентиляторы серверов и выкидывают в «горячий коридор», который на самом деле во-первых не горячий, а во-вторых не коридор — это всё свободное место серверной, кроме «холодных коридоров». Холодные коридоры действительно холодные, долго там находиться неуютно. В SLA записано обещание держать там температуру +20±2°С, градуса, в реальности там обычно эти самые +20-2. А с учётом постоянного холодного сквозняка из вентиляции (в этом месте и все 15 градусов может быть), это место точно не для человеков.
Холодный коридор образуется двумя рядами шкафов (они делают боковые стенки коридора), крышей сверху и лёгкими дверьми с обеих сторон коридора.
Все сервера монтируются так, чтобы щели воздухозаборников смотрели в сторону холодного коридора (обычно это «морды» серверов), а горячий воздух выдувался «наружу» (его забирает система кондиционирования, прогоняет через фильтры, осушку/увлажнение, охлаждение и пускает обратно в холодный коридор).
На фотографиях серверной вид в холодный коридор. Общая площадь ДЦ — три с половиной тысячи квадратных метров. Полезная ёмкость — 320 шкафов (13440 юнитов), размещённых на 1400 квадратных метрах серверных площадей.
Унификация делает своё (чёрное?) дело — не смотря на то, что это фотографии трёх разных холодных коридоров, понять, что они разные можно только по этому предложению (считайте это игрой на внимательность — найдите 16 различий между коридорами).
Большинство серверов имеет разъёмы питания, подключения сети и т.д. с «горячей» стороны, так что все работы по коммутации, подключению/отключению и т.д. прохоят именно оттуда.
На этой фотографии хорошо виден горизонтальный кабель-канал — именно он используется для подключения серверов к сети (ну и между собой).
Мрачные застенки охлаждения
Чтобы в холодных коридорах было
Мы сделали чуть-чуть иначе — кулеры размещены в сквозном коридоре, что их защищает от дождя и птичьих бомбардировок.
С обоих сторонах вентиляторы для выдувания горячего воздуха из кондиционера. Используется стандартная схема N+1 (то есть стоит простаивающая хотспара). Кондиционеры Lessar.
Оно же, крупным планом:
Электричеcтво
Что важнее для дата-центра — электричество или интернет?
3 мегаватта мощности. Разумеется, бесперебойники и дизель-генераторы. Наверное, тут следовало бы рассказать много интересного про электричество, но это не моя стихия. Скажу только, что в помещения электрического хозяйства меня, например, не пускают (нет нужного доступа — там шесть киловольт). Два ввода обслуживаются 4мя трансформаторами, к щитам идёт 380 вольт, ко всей технике уже идёт обычные 220.
Обратите внимание на батарею — в то время, когда вся цивилизованная серверная охлаждается, контейнер с генератором отапливается. Шторки (горизонтальные металлические планки) автоматические, открываются одновременно с включением генератора.
Генераторов — 4 шт. Три размещены на улице, один, на всякий самый крайний случай, в здании (в отдельном помещении с отдельной вентиляцией, разумеется). Пуск автоматический.
Периодически (примерно раз в месяц) их включают для проверки, по своим впечатлениям могу сказать, что сожжённая солярка на несколько мегаватт пахнет не сильно хорошо.
Немного о дизель-генераторах (я подошёл к техническому директору за подробностями) — у каждого дизель-генератора два стартера, собственные бесперебойники для запуска (аж две штуки).
Снизу можно как раз одну из этих батарей увидеть:
На время, пока генераторы включаются, разумеется, есть источники бесперебойного питания. Находятся они в отдельном помещении. Это промышленные упсы General Electric, собранные в 4 кластера (плюс традиционная хотспара).
Связь
Что важнее для дата-центра — электричество или интернет? На самом деле, «интернет» это слишком узкое понятие для ДЦ, для него важна связность. Далеко не все линки, выходящие из дата-центра являются интернетом, многие из них — приватные сети, серые волокна, объединяющие отдельные сервера в единую конструкцию и т.д.
Все ДЦ Селектела имеют линки друг с другом через нашу оптику. (Карта прохождения линков: selectel.ru/services/rentvols)
Святая святых, узел связи:
Разумеется, есть прямые линки до мест максимальной концентрации интернета в городе — Боровая, 57 и Большая Морская, 18. Кроме того, в ДЦ присутствует несколько операторов — RunNet, Retn.Net, Мегафон, ОБИТ, Раском, МТС, Комстар-ОТС. Входов оптики в здание два — через колодец и по воздуху (резервная линия).
Пожары и их тушение
Основным средством тушения пожаров, как бы ни было странно, являются огнетушители и видео-наблюдение. Если же это не поможет, то есть тяжёлая артиллерия — газовая система пожаротушения.
Охрана
Разумеется, есть. Около 100 камер видео-наблюдения, табельное оружие. Проход по RFID-меткам (карточки).
Часть камер используется для наблюдения не за безопасностью, а для наблюдения за оборудованием. Разумеется, всё пишется в архив.
