Pull to refresh
96.59
Холдинг Т1
Многопрофильный ИТ-холдинг

Не скоро строится забор, тем более – красивый ЦОД. Как мы строим ЦОД «Авантаж». Часть 1

Reading time 8 min
Views 14K


Этим постом начнем свой рассказ о том, как «Техносерв» ведет строительство с чистого поля нового дата-центра «Авантаж», который станет одной из крупнейших коммерческих площадок московского региона. Участок проведения работ расположен восточнее города Лыткарино (Московская область, г. Лыткарино) в 9 км от Москвы. ЦОД разместится на территории в 3 га, на которой уже сейчас возведен комплекс зданий и сооружений общей площадью 1,08 га. Внимание, впереди много фото. Прошу под кат.



Немного общих слов и цифр


ЦОД «Авантаж» – первая в России коммерческая площадка уровня TIER III емкостью свыше 2200 стоек, владельцем и инвестором которого является ООО «Авантаж». В России есть большие ЦОД со схожим количеством стоек, но «Авантаж» введет свои в эксплуатацию единовременно. Проектная мощность ЦОДа составит 17 МВт расчетной нагрузки. К дата-центру подводятся независимые высокоскоростные каналы связи крупнейших операторов связи. При проектировании ЦОД «Авантаж» заложены энергоэффективные технологии, позволяющие получить среднегодовой коэффициент PUE не выше 1,4.


Технико-экономические показатели ЦОД «Авантаж»


Показатель Значение
Общая площадь здания ЦОД 24 480 м.кв.
Мощность ИТ нагрузки 11,2 МВт
PUE не выше 1,4
Количество стоек 2240
Дизель-роторные ИБП 14 шт. каждый по 1650 кВА
Чиллеры с технологией Turbocor 9х1600 кВт
Общая площадь серверных залов 6 400 м.кв.

Концепт ЦОДа


Вот так по задумке архитекторов здания и территория ЦОДа будут выглядеть в конце строительства.



Макет дата-центра «Авантаж»



Макет дата-центра «Авантаж» — другой ракурс



Комплекс дата-центра «Авантаж» в плане


Итак, на площадях в 3 га строятся:


  1. Здание ЦОД (Блок «А»), 2 этажа с техподпольем: габариты 72х76,8 м.
    Здесь расположатся 16 серверных залов (по 8 на этаже) для размещения ИТ-оборудования (140 стоек в каждом зале, общее количество стоек 2 240 шт.) и часть трансформаторных подстанций объекта. Серверные залы связаны между собой и службой эксплуатации коридорами. В подземной части Блока «А» размещается техподполье ОВК (отопление, вентиляция, кондиционирование) под инженерные коммуникации для подачи хладоносителя к кондиционерам воздуха серверных залов.


  2. Здание энергоблока (Блок «Б»), 2 этажа с техподпольем: габариты 80х18 м.
    Здесь будет машинный зал для установки 14 динамических дизельных источников бесперебойного питания (ДДИБП) и помещения для установки распределительного оборудования.


  3. Здание хладоцентра (Блок «В»), 1 этаж: габариты 76х22,5 м.
    Зал для установки чиллеров и насосов, расширительные баки, теплообменники фрикулинга, насосы гликолиевых контуров, главные циркуляционные насосы, гребенки, зоны обслуживания агрегатов, оборудование подготовки и подачи хладосмеси в Блок «А» по техническому этажу. Охлаждающая смесь трассируется трубами в техническом подполье Блока «А».


  4. Здание службы эксплуатации 2 этажа (Блок «Г»).
    Первый этаж делится на две функциональные зоны: хозяйственная и диспетчерская. К хозяйственной зоне относятся зона загрузки и помещения приема оборудования, помещения температурной выдержки, распаковки, хранения тары и слесарная мастерская. Второй этаж делится на две функциональные зоны: зона оперативного технического персонала и зона подготовки ИТ-оборудования.


  5. Административное здание (Блок «Д»), 4 этажа: габариты 65х38,5 м.
    Предназначен для администрации объекта и офисных помещений клиентов.


  6. КПП1 и КПП2 для проезда легкового и большегрузного автотранспорта, соответственно: габариты 6х9 м.


  7. Топливохранилище общей ёмкостью 200 куб.м топлива.


  8. Стоянка легкового автотранспорта на 90 машиномест.

Ход строительства


А все начиналось вот так


Так площадка выглядела 11 февраля 2015 года, когда был «вынут» первый ковш грунта. Никаких зданий, сооружений – лишь расчищенное и огороженное поле для нашего мега-проекта. Тогда еще было трудно представить, что уже через несколько месяцев здесь все будет «кипеть и бурлить», а в последствии вырастет красивый, крупный дата-центр.



Разработка котлована хладоцентра. Первый ковш 11 февраля 2015 г.


С февраля по март 2015 мы продвигались все ближе и ближе к «центру Земли». «Вгрызаемся» в землю, ведется разработка котлована административно–бытового корпуса (Блоков «Г-Д»), заливка фундамента хладоцентра (Блок «В»).



На фото: разработка котлованов, заливка фундамента административно–бытового корпуса (Блоков «Г-Д»), хладоцентра (Блок «В»). Февраль-март 2015г.


В конце июля 2015 года были разработаны котлованы для всех блоков, завершены фундаментные работы хладоцентра и административно бытового корпусов, смонтировано 15% металлоконструкций хладоцентра. Ниже фото процесса работ. Всего было разработано 75 000 м³ грунта, принято 13 597 м³ бетона.



На фото: идут работы по всем блокам: машзала («А»), энергоцентра («Б»), хладоцентра («В») и административно – бытового корпуса («Г-Д») соответственно. Ведется монтаж металлоконструкций хладоцентра («В»), идет подготовка основания под фундаменты дизель роторных бесперебойных источников питания (Энергоцентр, Блок «Б»). Июнь-июль 2015г.


К концу лета 2015г. уже велось бетонирование второго этажа административно-бытового корпуса («Г-Д»), шла подготовка основания под фундаменты динамических дизельных источников бесперебойного питания Энергоцентра («Б»). Площадка выглядела так – фото ниже.



На фото: Энергоцентр («Б») и фундаменты машзала («А») с высоты птичьего полета. Август 2015г.


В декабре 2015 года приступили к монтажу инженерных систем. Начался монтаж индивидуального теплового пункта. В феврале 2016 года, каркасы всех пяти блоков («А»-«Д») были завершены. Металлоконструкции Энергоцентра (Блока «Б») достигли суммарного веса в 460 тонн. Суммарный вес металлоконструкций Хладоцентра (Блок «В») составил 100 тонн.



На фото: слева — Хладоцентр (Блок «В»), справа — Металлоконструкции энергоцентра (Блок «Б»). Январь 2016г. — февраль 2016г.


В мае 2016 года все корпуса были «закрыты» ограждающими конструкциями (то бишь — стены), за исключением технологических проемов, которые оставили для подачи оборудования и материалов для монтажа инженерных систем. Тем временем, параллельно внутри шел монтаж венткоробов в хладоцентре («В») и монтаж технологических трубопроводов в техподполье машзала («А»).



На фото: слева — венткороба в хладоцентре («В»), справа — технологические трубопроводы в техподполье Машзала («А»). Июнь 2016г.


Всего к лету 2016 года было смонтировано около 724 тонн металлоконструкций, использовано порядка 1 760 тонн арматуры.



На фото: Машзал (Блок «А»), Энергоцентр (Блок «Б»), Хладоцентр (Блок «В»), Административный корпус (Блок «Д») — лето 2016 года.


24 июня 2016 года в «Авантаже» была установлена первая дверь. Данное событие ознаменовало переход к новому этапу строительства — отделке внутренних помещений! В здании дата-центра будут установлены противопожарные двери с системой "антипаника" и с конструкцией, предусматривающей отсутствие порога. Все двери в здании оборудуются системой контроля доступа.



На фото: первая установленная в дата-центре «Авантаж» дверь


Установка оборудования


Первым типом оборудования, монтаж которого начался в мае 2016, стали дисковые затворы Tecofi (Франция). Система холодоснабжения дата-центра предполагает использование 18-ти драйкулеров, 9-ти чиллеров и 128-ми прецизионных кондиционеров. В период с 1 по 3 июня 2016 года на строительную площадку ЦОД "Авантаж" была осуществлена доставка первой партии основного технологического оборудования. В его состав вошли 5 комплектов дизель-роторных источников бесперебойного питания и 16 вентиляционных установок производства Euroclima, предназначенных для монтажа в энергоцентре. Всё оборудование устанавливалось сразу на предусмотренные проектом места. Всего, по проекту, в здании энергоцентра предусмотрена установка 14-ти дизель-роторных источников бесперебойного питания, мощностью 1650 кВА каждый. Они предназначены для обеспечения гарантированного бесперебойного электропитания всего комплекса ЦОД.



На фото: слева вверху — первые дисковые затворы в системе холодоснабжения дата-центра, справа вверху и снизу – доставка и установка дизель-роторных источников бесперебойного питания


В июле 2016-го на площадку строительства приехали 6-ть пластинчатых теплообменных аппарата производства фирмы Alfa Laval Potok и 6 холодильных машин (чиллеров) производства фирмы Cofely (Германия). Аппараты были установлены на проектные места, проведены работы по их трубопроводной обвязке. Всего в ЦОДе установлено 9 пластинчатых теплообменных аппарата, каждый из которых будет обеспечивать теплоотвод на 1600 кВт. Пластинчатые теплообменные аппараты применены для отвода тепла в режиме свободного охлаждения (freecooling'а). Для холодоснабжения в летний период года применены чиллеры внутренней установки с конденсатором охлаждаемым жидкостью с центробежными компрессорами Turbocore. Полная мощность избытков тепла, отводимая системой холодоснабжения ЦОД составит 11,5 МВт.



На фото: установка теплообменных аппаратов (слева) и чиллеров (справа)


Тем временем, к концу лета снаружи ЦОД уже выглядит вполне готовым, хоть и видно, что стоит на «поле боя» (фото ниже), а внутри проводится «нарезка» IT-пространства.


Под размещение IT-оборудования в «Авантаже» выделено 16 серверных залов, расположенных на 2-х этажах, по 8 серверных залов на этаже. Каждый серверный зал имеет размеры 13,1 х 30,2 м (S = 396 кв.м), высоту (от чистого пола до потолка) 5,0 м и способен вместить 140 серверных шкафов размером 800х1200 мм. Серверные залы будут оборудованы фальшполом, высотой 1000 мм для обеспечения подачи охлаждённого воздуха. В 13-ти серверных залах из 16-ти прецизионные кондиционеры для исключения доступа обслуживающего персонала в помещения с IT-оборудованием будут установлены вне серверных залов в выделенных, технологических коридорах.


Кондиционирование серверных залов рассчитано на отвод избытка тепла в размере 735 кВт на серверный зал и поддержание температуры охлаждающего воздуха на отметке +24 °C. Электроснабжение серверных залов будет осуществляться по 2-ум магистральным шинопроводам, номиналом 1600 А. Залы оборудуются аспирационными системами пожарообнаружения и газового пожаротушения.



На фото: вид ЦОДа «Авантаж» снаружи (сверху) и внутри во время нарезки ИТ-пространства к концу лета 2016 г. (снизу)


В начале осени на строительную площадку началась доставка и монтаж оборудования распределительного устройства 10 кВ и силовых трансформаторов производства компании Siemens (фото ниже). Всего проектом предусмотрена установка 112 ячеек 10 кВ, объединённых в 11 секций, и 41-го силового трансформатора 10/0,4 кВ. Для создания распределительного устройства 10 кВ ЦОД "Авантаж" используются 10 кВ ячейки серий NXair, Simosec и 8DJH. Мощность системы электроснабжения ЦОД — 17,3 МВт.



На фото: монтаж оборудования распределительного устройства и силовых трансформаторов


В сентябре нам пришлось провести сложную операцию по подъёму первой партии сухих охладителей производства компании Cabero на кровлю здания дата-центра. Для этого на стройплощадку был вызван 160-ти тонный подъёмный кран. В течении одного дня на проектные места были установлены все 8 сухих охладителей первой партии. Всего проектом предусмотрена установка 18-ти сухих охладителей. В проекте сухие охладители Cabero используются для отвода избытков тепла в атмосферу. При температуре внешнего воздуха ниже +9С система холодоснабжения ЦОД переходит в режим прямого охлаждения, в котором не используются компрессоры холодильных машин.



На фото: подъём первой партии сухих охладителей


Тем временем, в октябре 2016 снаружи дата-центра открыт фронт работ по благоустройству территории ЦОДа. Всего предстоит заасфальтировать 7800 кв.м автомобильных проездов и озеленить 11500 кв.м газонов. На территории будет организована автостоянка на 90 машиномест. Пока не верится, но здесь будет город-сад!



На фото: благоустройство территории ЦОДа «Авантаж»


К ноябрю 2016г. прецизионные кондиционеры Technair LV прибыли на стройплощадку и начали занимать проектные места. Всего в проекте предусмотрена установка 128 прецизионных кондиционеров в серверных залах и 4 в 2-х кроссовых помещениях. В каждом из 16-ти серверных залов устанавливается по 8-мь кондиционеров. Кондиционеры имеют холодопроизводительность по 105 кВт и резервируются по схеме N+1. В итоге, каждый аппаратный зал имеет потенциал отвода избытка тепла в 735 кВт.


В это же время кабельные галереи, помещения и установленное оборудование готово к прокладке кабельных линий распределительного устройства 10 кВ. Кабельные линии 10 кВ внутри комплекса зданий ЦОД свяжут между собой 112 ячеек, объединённых в 11 секций, и 41 силовой трансформатор, организовав совместно с дизель-роторными ИБП источник бесперебойного и гарантированного электропитания мощностью 18 МВт.



На фото: прецизионные кондиционеры (сверху) и будущая кабельная галерея (снизу)


В декабре 2016 года в дата-центре начался монтаж фальшполов. Всего установлено 9300 кв.м. фальшполов. 6400 кв.м — в серверных залах, остальные — в коридорах и технологических помещениях. В качестве производителя фальшполов выбрана компания Uniflair spa Schneider Electric, Schneider Electric. В серверных залах устанавливается фальшпол высотой 1 м, пространство под которым служит для подачи охлажденного воздуха к серверному оборудованию.



На фото: монтаж фальшполов


Ну и, под конец, вот так мы уже сейчас выглядим со спутника.




На этом пока прервемся, а вторая часть с оставшимися работами выйдет уже к открытию дата-центра. Плюс, возможно, будет дополнительный пост, в котором осветим подробнее интересные для вас моменты. С вопросами прошу в комменты.


Здесь можно узнать больше деталей о самом проекте.


Материал готовился при активном участии коллег из ООО «Авантаж».

Tags:
Hubs:
+19
Comments 15
Comments Comments 15

Articles

Information

Website
t1.ru
Registered
Founded
Employees
over 10,000 employees
Location
Россия
Representative
Холдинг Т1