Друзья, добрый день!
Немного риторики: В жизни не только каждого ИТ специалиста, руководителя ИТ подразделения, но и владельца бизнеса возникает ВОПРОС – где размещать сервера, вычислительное оборудование, СХД? Использовать “самодельный” ЦОД, выделить угол под несколько стоящих серверов или перевезти все в ЦОД. В текущем повествовании я не буду вообще касаться вопроса потребности выбора необходимости размещения в коммерческом ЦОДе, а лишь немного помогу с выбором с приоткрою завесу с подводными камнями (маркетинг работает хорошо, и на первом этапе поверьте, любой из ниже перечисленных будет только махать руками, что он лучший).
ВАЖНО: Тут нет никакой рекламы, тут исключительно мое субъективное мнение, основанное на длительном анализе имеющихся предложений, опыте общения, осмотре непосредственно ЦОДов и анализе полученной информации c целью подготовки переезда в коммерческий ЦОД собственной организации.
По роду своей деятельности я часто участвую в большом количестве разнообразных проектов – от инфраструктурных проектов в сфере информационных технологий до проектов внедрения новых информационных систем. Немного предыстории: Дело было так, в один прекрасный летний день ко мне и моего коллегу по подразделению вызывают в переговорную. Мурашки по телу, что случилось, какая проблема?!!! Нет, таких вопросов в голове не возникало) Новость ошарашила – морально и физически готовиться к переезду из комфортного бизес центра. WTF, подума я!!?? Учитывая, что не прошло и пары недель с момента как по всему БЦ “закопали” полтора километра оптического кабеля связанной с полной модернизацией сетевой инфраструктуры. Что значит переезд? Для большинства обывателей это ассоциируется с перевозом коробок, столов и стульев. Но в ИТ я думал о переезде уже обустроенного ЦОДа, с 2мя вводами по питанию, с резервированием по охлаждению, переезд серверных шкафов и последующими перенос вводов от провайдеров (на этот момент я не зря указал, т.к. один из ниже перечисленных ЦОДов принадлежащий провайдеру услуг связи решил сам у себя быть монополистов и не пускать альтернативных провайдеров :-) ). Но раз надо, значит надо.
Собственно, про проработку одно из направлений потенциального переезда я и хочу рассказать – размещение серверного оборудования в коммерческом ЦОДе. (Опять отойду от рассказа и озвучу территориальную принадлежность – г. Санкт-Петербург. Хотя данный материал сможет помочь не только при первичной локации в ЦОДе, но и при выборе резервного ЦОДа как и СПБ, так и из другого, например резервный ЦОД для Московской копании).
В качестве кандидатов на рассмотрение выбирались дата центры СПБ из 1ой десятки по площади и размещенным стойкам.
В список попали:
— SDN «Xelent» (Выборгское шоссе, д.503, к.12)
— ЛинксТелеком (ул. Репищева, д.20А)
— Селектел (Цветочная 21)
— ОБИТ (ул. Заставская, д.33)
— IMAQLIQ (ул. Седова, д.11Б)
— ВестКолл (Галерный проезд, д.3)
— Миран (Пироговская набережная, д.17, к.7)
При рассмотрении кандидатов были предъявлены следующие требования:
- Уровень ЦОД
- Владелец здания (помещения), в котором находится ЦОД
- Площадь ЦОДа
- Наличие ДГУ, мощность, время работы без дозаправки
- Наличие ИБП, время автономной работы, уровень резервирования;
- Наличие системы автоматического пожаротушения
- Наличие системы охранно-пожарной сигнализации
- Наличие системы контроля учета доступом;
- Наличие системы видеонаблюдения;
- Доступ на площадку
- Количество специалистов и инженеров, присутствующих на площадке в рабочее и нерабочее время
- Предоставление KVM консоли
- Расположение ЦОДа, удобство доступа
- Присутствующие провайдеры
- Цена
Часть дата центров отсеялась на начальном этапе:
1. Селектел (Крайне не клиенто-ориентированный ЦОД, ни в какую не захотели общаться в “живую”, указали цену в ХХХ т.р. за требуемые параметры (при условии, что среднее предложение по рынку составляло на 30-40% ниже), остальные вопросы задавайте письмом)
Забегая немного вперед, этот ЦОД все-же попал в список потенциальных претендентов, но лишь благодаря настойчивости одного из основных операторов связи, оказывающего телекоммуникационные услуги.
2. ОБИТ ул. Заставская, д.33. (отказался пускать других провайдеров в свой ЦОД)
Если Вы захотите переехать в ЦОД не меняя своего оператора связи…. Вам явно в другую сторону.
Ну поехали
Дата-центр IMAQLIQ (ул. Седова, д.11Б)
Дата центр IMAQLIQ имеет уровень надежности TIER III, расположен в промышленном районе, на улице Седова. Он имеет площадь 360 кв. м. на 150 стоек. Транспортная доступность у дата-центра хорошая, удобный въезд, большая парковка. Помещение находится в собственности, ЦОД реализован на территории бывших складских помещений. В серверном зале установлены стойки 42U, присутствуют помещения для работы с оборудованием, стеллажи для ЗИП и комплектующих.
В качестве плюсов могу отнести хорошую транспортную доступность, бесплатное предоставление интернет канала, комфортное размещение в дата-центре.
Из минусов: стойки 42U, в каждой стойке по умолчанию занято 3U на счётчик и автоматы питания, отсутствие PDU (установлены сетевые пилоты). Так-же могу сказать, что это такой “домашний или семейный” ЦОД, в нем приятно, комфортно но лишь для своего уровня.
Основные характеристики Дата-центра IMAQLIQ:
- Два независимых ввода электропитания по системе АВР. Каждый ввод по 1 МВт. Проектный и физический запас по наращиванию мощностей до 800 кВА.
- Два централизованных, дублирующих ИБП, мощность 400 кВА. Проектная и физическая возможность расширения до 1 МВА.
- Вентиляция и кондиционирование осуществляется с верхней подачей воздушных потоков по системе горячего и холодного коридоров.
- Дизель генератор мощностью 800 кВА
- Запущена первая очередь, зал 360 м2 на 150 стоек 42U
- Текущая заполненность зала 50%
- Складские помещения с оборудованной зоной погрузки разгрузки.
- Собственная парковка на 70 мест.
- Административно офисная секция
Серверные шкафы
Система питания
Святая святых, управление и мониторинг, но скромненько. Очень.
Дата-центр ВестКолл (Галерный проезд, д.3)
Дата-центр ВестКолл расположен на территории Невское проектно-конструкторское бюро. В этом же помещении располагается и головной офис компании ВестКолл. Дата центр состоит из 3х распределенных по территории и этажам машинным залам. Новый машинный зал современный, с фальшполами, брендированными стойками. Доступ в машинный зал осуществляется через территорию внутреннего двора, что не совсем удобно т.к. он оделён от административного здания (представляю, как это зимой, зашел к менеджеру поздоровался, разделся, пошел к своей стойте = опять цикл одевания-раздевания). Своя парковка отсутствует, что создает дополнительные трудности. Элементарные удобства как кофе зона, гардероб и помещение для пуско-наладочных работ с серверным оборудованием так-же не попали в поле зрения. Из положительного могу отметить цену – немного ниже чем по рынку и клиенто-ориентировнность (зазывают всеми возможностями). Из минусов – территория находится не в собственности, конфигурация здания и его помещения не отвечают современным требования к дата центрам, в плане комфортного удобства работы – наличие оборудованных зон для работы с оборудованием, шкафы для ЗИП и просто гардероб – отсутствуют.
Основные характеристики Дата-центра ВестКолл
- Параметр/Класс ЦОД (уровень) Дата-Центр ВестКолл
- Тип здания Отдельно стоящее
- Количество энерговводов Два независимых электрических ввода
- Схема резервирования компонентов N+1
- Первоначальная мощность из расчета Вт на м2 480-630
- Максимальная мощность Вт на м2 1615+
- Бесперебойное кондиционирование Есть
- Нормативная нагрузка на фальшпол, кг на кв.м. 732+
- Общая длительность отказов за год, часов Без аварий
- Доступность ЦОД 99,995%
- Обслуживание Круглосуточная дежурная смена
Новый машинный зал
Без пожаротушения никуда, только данные баллоны должны быть вынесены за периметр машинного зала.
Дата-центр ЛинксТелеком (ул. Репищева, д.20А)
Помещение дата центра Linxdatacenter арендуется в бизнес-центре. Расположен дата-центр в промзоне, но добраться достаточно просто, присутствует большая парковка для посетителей торгового центра. Дата центр Linxdatacenter имеет голландские корни. Из интересных решений — своя газопоршневая подстанция и полная независимость от городского электричества. При этом имеется отдельный ввод от города, аккумуляторы на подхвате и дизеля на случай перебоев с газом. Большой акцент сделан на безопасность. Особо позиционируется сертификация по стандарту PCI DSS (Международно признанный стандарт безопасности индустрии платёжных карт. Гарантирует надёжность физической безопасности ЦОД), хоть данный сертификат присутствует и в других ЦОД – тут он особо подчёркивается. От верификации по отпечатку пальца, до непрерывной записи камер видеонаблюдения и резервированию этих записей на разные видеорегистраторы.
В Linxdatacenter сразу видно, что подход к организации бизнес процесса размещения серверных стоек серьезный, мышь не проскочит. Особо понравилась комната для работы с оборудованием перед его инсталляцией или для проведения технологических работ, большая, есть необходимый инструмент, скроссированые п/п позволят осуществить коммутацию от оборудования в шкафах. Приятно. Удобная зона работы и отдыха. Присутствуют основные крупные провайдеры.
Основные характеристики дата центра Linxdatacenter:
- Общая площадь 9000 кв. м.
- Общая мощность 12МВт
- Уровень надежность TIER 3
- Вентиляция и кондиционирование осуществляется с верхней подачей воздушных потоков по системе горячего и холодного коридоров.
- Автономная газопоршневая станция
- 2 машинных зала на 1000 стоек 48U
- Претензионные кондиционеры, схема резервирования 2N
В Linxdatacenter можно сделать ТОЛЬКО 2 фотографии.
Входа
И разрешили фотографию технического помещения для работы с оборудованием на время подготовки его к установке или обслуживания. Это рабочее место заметно выделяется на фоне конкурентных предложений. Тут возможна и кроссировка не только меди от своей стойки, но и оптики. В наличии весь спектр необходимого инструмента, так что отмазка “я забыл обжимку или отвертку” для проведения работ не прокатит.
Миран (Пироговская набережная, д.17, к.7)
Центр обработки данных Миран располагается рядом с центром города, в промзоне и состоит он из 2х независимых частей с независимым управлением, мониторингом и обслуживанием. Первая часть представляет из себя классический ЦОД, в здании, на первых этажах которого оборудованы слесарные мастерские и боксы автосервиса!!! Подъезд к ЦОДу достаточно тяжелый, но еще тяжелее выезд из дата центра. Парковочное пространство так-же не является сильной стороной, а еще более слабая сторона – выехать из данного ЦОДа если использовать личный или корпоративный транспорт. Поверьте, из всех обследуемых ЦОДов, тут самая печальная ситуация. Количество операторов связи впечатляет – почти все возможные. В классическом ЦОДе стойки 42U, в модульном 48U, но модульный ЦОД накладывает существенные ограничения по свободному пространству, горячий коридор маленький. Модули представляют из себя специально сваренные двухэтажные контейнеры. На первом этаже расположены стойки, блоки кондиционеров и система пожаротушения, на втором — энергоблок, ИБП. С точки зрения экономической составляющей и соотношению цена-качество достаточно приемлемы вариант, но расположение, внешний вид и удобство работы с оборудованием и наличие комфортных условий не сильная сторона этого дата-центра. Это, наверное, еще единственный ЦОД в котором я встретил настоящий “зоопарк” как в инфраструктуре – в каждом машинном зале свои правила) Где-то есть полноценно реализованные горячие-холодные
коридоры, где-то есть фальшпол, где-то одинаковые серверные шкафы… ну а где-то нет(
Основные характеристики дата-центра Миран:
- Название дата-центра Миран-1
- Место расположение г. Санкт-Петербург, Пироговская наб. 17 корп7А
- Год запуска в эксплуатацию 2010
- Соответствие Tier Tier3
- Общая площадь дата-центра 500 кв.м.
- Общая площадь серверных комнат 250 кв.м.
- Общее количество серверных шкафов 135
- Общая мощность дата-центра 1 МВА
- Среднегодовой PUE 01.апр
- Количество электрических вводов от города Два независимых фидера 10 кВ
- Резервный ДГУ 1 ДГУ Cummins 703 кВт в зимнем исполнеии
- Время работ на ДГУ без дозаправки 20 часов
- Время доставки топлива за 4 часа, договор с топливной компанией
- Ежеквартальная экспертиза топлива Да
- Размер используемых шкафов 42U / 47U, 600 x 1000 мм
- Возможность установки нестандартных шкафов Да
- Система кондиционирования прецизионные кондиционеры Uniflair
- Резервирование систем кондиционирования N+1
- Температура в холодном коридоре +22±2°С
- Влажность в холодном коридоре не более 60%
- Источники Бесперебойного Питания Четыре ИБП General Electric по 250кВА каждый
- Время работы на ИБП при полной нагрузке не менее 8 минут
- Резервирование систем электропитания N+1
- Количество электрических вводов в шкаф Два независимых ввода на шкаф
- Тип используемых PDU Два zeroU APC, розетки С13, С19
- Система пожаротушения Автоматическая газовая система
- Видеонаблюдение Круглосуточное, в соответствии с PCI DSS
- Охрана Круглосуточная силами органов полиции
- Система диспетчеризации Мониторинг, учет и управление всеми
Немного фото:
SDN «Xelent» (Выборгское шоссе, д.503, к.12)
Xelent (ранее SDN) — крупнейший дата-центр Северо-Западного региона России, оказывает услуги ДЦ-аутсорсинга: от аренды оборудования и перевоза ИТ-систем до решений по развитию облачной инфраструктуры. Xelent — это дата-центр на 1476 стоек с расчётной нагрузкой до 20 кВт на стойку в среднем и общей мощностью 14 мВт, проектная площадь технологических помещений 6500 м2. Проект выполнен с учётом требований к Tier III. Дата центр расположен по адресу Санкт-Петербург, Выборгское шоссе, д. 503, корп. 12, имеет собственную парковку, огороженную территорию и удобный подъезд. Да, он на севере города, но близость к сьезду с КАД это нивелирует. Из всех вышеперечисленных дата-центров – это единственный (не считая модульных) который проектировался и строился именно под ЦОД со всеми вытекающими особенностями. Земля и здание находятся в собственности. Дата центр содержит 9 модулей, 8 ДИБП с прямой дизельной поддержкой по 1,6 МВт. Система бесперебойного питания N+2 (7,6 МВт), система охлаждения N+2 (7.8 МВт). На мой взгляд этот дата центр один из самых зарезервированных из вышеперечисленных. ЦОД оборудован всеми необходимыми инструментами для комфортной работы и обслуживания вычислительной техники. И это единственный дата центр, где мне сразу показали портативные источники дыхания на случай пожаротушения, расположенные по всему периметру ЦОДа.
Количество ячеек бесперебойного энергоснабжения впечатляет/ Присмотритесь, каждый модуль — одна ячейка.
Ваши сервера всегда под надежной охраной.
Селектел Цветочная 21
Про попадание этого ЦОДа в список для потенциального выбора я написал чуть выше.
Селектел - российский хостинг-провайдер, владелец сети из шести дата-центров, в Москве, Санкт-Петербурге и поселке Невская Дубровка Ленинградской области. Компания основана бывшими инвесторами «ВКонтакте», и как мне говорил во время экскурсии – это и есть первый дата центр, построенный для ВКонтакте. В 2010 году Selectel запустил первую облачную услугу — выделенные серверы. НА сегодняшний день аренда стоек – не основной вид бизнеса компании, основной – аренда ресурсов. Комплекс «Цветочной 2» включает в себя два здания: главное, четырехэтажное и примыкающее к нему одноэтажное. Его площадь составляет 12 тысяч м2. Компания предоставляет возможность размещать оборудование, арендовать серверные стойки 47U или выделенное пространство в серверном помещении. Услуги предоставляются на площадке дата-центра Tier III. ЦОД Селектел Цветочная 2 (Цветочная 1 не рассматривается, т.к. морально устарел и не соответствует актуальным критериям по надежности) расположен недалеко от Московского проспекта, по адресу Цветочкая 21.
Источники бесперебойного питания, 3 дизель-генератора N+1, чиллеры, автоматическая система газового пожаротушения, сертификация PCI DSS, соответствие сертификату TIER III
Организация размещения серверных стоек аналогична другим ЦОДам. В 3х машинных залах, где производил осмотр на случай пожаротушения обнаружил всего 1 противогаз. (В одном зале искали подобный противогаз совместно с представителем ЦОДа, но так и не нашли). Места для подготовки серверного оборудования находилось просто в коридоре, столик с оборудованием для подключения к серверам мягко говоря разваливается. Из минусов: стойки 47U, в каждой стойке по умолчанию занято 3U на счётчик и автоматы питания, отсутствие PDU (установлены сетевые пилоты). Минус достаточно существенный. Кроме того, на вопрос о индексации тарифа на электроэнергию мне было сообщено, что согласно договора его могут менять хоть каждый месяц, а верхняя планка около 15%. Учитывая, что у конкурирующих провайдеров ставка на уровне инфляции или установленной Сбытовой компанией это также отрицательный момент. Ну а в качестве вишенки мне было прямо сказано, услуга colocation не приоритетное направление, поэтому ожидать существенных уступок не стоит. Вот так-то так.
- Основные характеристики:
- Санкт-Петербург, ул. Цветочная, д. 19.
- Общая площадь — 14270 м².
- Площадь серверных помещений — 2 450 м².
- Количество серверных стоек — 1200.
- Мощность ДЦ, КВА — 2400.
В сравнительной таблице я оставлю открытым только параметр цены. (т.к. остальные параметры для могут быть истолкованы субъективно, и важны исключительно в конкретной ситуации). При этом я буду указывать относительную цену и изменение в процентах по отношению к другим предложениям. Минимальное предложение буду считать в 100%.
Что хочется сказать в заключении
Исходя из вышеперечисленного лично я предлагал в конкретно своей ситуации, учитывая поступившие вводные от бизнеса рассмотреть варианты размещения серверного оборудования в ЦОД в г. Санкт-Петербург в ЛинксТелеком или Xelent. Это наиболее крупные дата центры Санкт-Петербурга, в них реализована лучшее резервирование по питанию и охлаждению. Если смотреть с точки зрения удобства – Xelent предоставляет большее число дополнительных опций (например, бесплатное размещение пассивного оборудования выше стойки), кроме того с точки зрения надежности Xelent спроектирован именно под задачи ЦОДа, территория находится в собственности, но расположен немного дальше остальных ЦОД, при этом имеет удобный подъезд. Более того, ЦОД предлагает заключение длительного договора 3-5 лет, что позволит прогнозировать расходы и фиксировать абонентскую плату за аренду стоек (изменение цены допускается только за электроэнергию, на величину, изменяемую Петербургской Сбытовой Компанией). ЦОД ЛинксТелеком просто “помешан” на безопасности вход осуществляется по сканеру отпечатка пальца + магнитной карточке), хотя и он и Xelent соответствуют стандартам PCI DSS.
Главное, что есть выбор. Если сойдутся звезды и в моей организации осуществится переезд в ЦОД, то это тема