Неделю назад мы рассказали о планах строительства нового дата-центра Tier IV и сразу получили несколько вопросов про этот уровень в классификации Uptime Institute. Из обсуждений в чатах получился полноценный FAQ. Так что сегодня развею самые живучие слухи про Tier IV и немного расскажу, какие требования Uptime Institute мы учитываем в проекте нового дата-центра.
Стандартам от Uptime Institute уже больше 25 лет. Столько времени существует система классификации Tier.
Сертификация дата-центров на уровни Tier проходит по нескольким программам:
Еще есть программа Management&Operations для проверки эксплуатации. Но это не сертификация, а аудит дата-центра, так что подробно останавливаться не будем.
Уровень дата-центра закладывается еще на этапе концепции и проектирования. Поэтому мы начинаем готовиться к сертификации на Tier IV на этапе проектирования здания, еще до проектирования инженерных систем.
А значит, есть несколько вариантов, как соблюсти требования.
Мы в DataLine занимаемся практической стороной: честно смотрим на лучшие европейские ЦОДы, берем лучшие практики, с осторожностью пробуем новое и применяем это в проектировании своих дата-центров. Делимся опытом, в том числе в наших Университетах.
Вот такой опыт сертификации по стандартам Uptime Institute у нас накопился:
Что дальше:
Так что в практике применения стандартов всегда есть что обсудить, будем рады поговорить в нашей Салатовой телеге.
Я уже немного рассказывал про схемы резервирования, характерные для разных Tier.
Посмотрим на сравнительную таблицу в стандарте:
Вот так уровни отличаются по минимальному числу активных компонентов, поддерживающих нагрузку (их обозначают той самой буквой N):
Но дело не только в «энках», особенно в случае с Tier IV. Главное отличие Tier IV — это единственный уровень с отказоустойчивостью. Он так и называется: Fault tolerant infrastructure. Также для него обязательны секционирование (или компартментализация, очень уж мне нравится это слово) и непрерывное охлаждение. Ниже посмотрим, что это значит.
Как мы видим, никакая конкретная схема резервирования для Tier IV не указана. Как добиться N после любого отказа, каждый ЦОД решает сам. Раньше многие понимали требования Tier IV слишком буквально и предлагали сложные схемы наподобие 2N+1 или 2(N+1), чтобы уж наверняка избежать отказов. Но на практике это не обязательно.
В Tier IV такие переключения отсутствуют или происходят автоматически.
Tier III формально допускает несильное повышение температуры в машзале, когда происходит отказ оборудования и мы переключаемся между основным и резервным кондиционером или чиллером.
В Tier IV за этим следят гораздо жестче. Уже на этапе проектирования нужно обязательно предоставить расчеты скорости повышения температуры и доказать, что даже теоретически в машзале не станет жарче.
На четвертом уровне должно быть обязательное «секционирование», или «компартментализация» путей дистрибуции. Для выполнения этого требования дата-центру нужно продумать такую схему, чтобы пути дистрибуции проходили в разных помещениях или в закрытых огнезащищенных коробах. Встречаться они будут только в машинном зале. При этом должна оставаться возможность их обслуживания и замены.
Если мы выполним это требование, то физическое воздействие нам не страшно: даже если молоток упадет на кабель, у нас в отдельном месте сохранятся все пути дистрибуции к оборудованию.
Все инженерное оборудование и все трассы у нас расположены в отдельных помещениях или защищенных коробах. Значит, при возгорании одной трассы теряется только резерв, без нарушения работы ИТ-оборудования.
Наша страна настолько сурова, что иногда случается и такое. Но все-таки ЦОД — не военный объект, чтобы защищаться от подобных аварий. Очень жаль, но система Tier не рассматривает защиту от всемирного потопа, вторжения инопланетян или захвата власти рептилоидами.
Да, где-то может получиться и дороже. Но при должном подходе можно сэкономить без потери качества.
Для нас это первый опыт с Tier IV. Немного страшно, но мы движемся в этом направлении. Как только появятся новости, будем рады рассказать подробнее.
Что значит «максимально возможный уровень», придумали что-то новенькое?
Стандартам от Uptime Institute уже больше 25 лет. Столько времени существует система классификации Tier.
Сертификация дата-центров на уровни Tier проходит по нескольким программам:
- Сертификация проектной документации (Design Documents) — аудиторы проверяют пакет проектных документов по основным инженерным системам: кондиционирование, энергоснабжение. Также изучают документы по смежным системам, например, топливоснабжению.
- Сертификация построенного ЦОД (Constructed Facility) — здесь смотрят на соответствие построенного дата-центра сертифицированному проекту и проверяют инженерные системы при полной проектной нагрузке. Когда клиентского ИТ-оборудования еще нет, нагрузку имитируем тепловыми пушками.
Этот уровень сдают только после Design.
- Сертификация эксплуатационной устойчивости (Operational Sustainability) — тут идет комплексная оценка эксплуатационных практик. Как именно это происходит, мы уже подробно рассказывали.
Для сертификации по этой программе нужно сначала сдать Design и Facility.
Еще есть программа Management&Operations для проверки эксплуатации. Но это не сертификация, а аудит дата-центра, так что подробно останавливаться не будем.
Уровень дата-центра закладывается еще на этапе концепции и проектирования. Поэтому мы начинаем готовиться к сертификации на Tier IV на этапе проектирования здания, еще до проектирования инженерных систем.
Почему мы так много говорим про стандарты Tier?
Система Tier содержит список требований к дата-центрам разных уровней. Но там нет конкретных объяснений, как это сделать, только требования к надежности инфраструктуры. Uptime Institute пишет:«стандарты Tiers приветствуют инновационные инженерные решения и признают, что все центры обработки данных непохожи друг на друга»
А значит, есть несколько вариантов, как соблюсти требования.
Мы в DataLine занимаемся практической стороной: честно смотрим на лучшие европейские ЦОДы, берем лучшие практики, с осторожностью пробуем новое и применяем это в проектировании своих дата-центров. Делимся опытом, в том числе в наших Университетах.
Вот такой опыт сертификации по стандартам Uptime Institute у нас накопился:
- 2014 год — прошли аудит Management&Operations.
- 2015 год — дата-центр NORD-4 получил сертификат Design.
- 2016 год — сертифицировали NORD-4 на Facility.
- 2018 год — у NORD-4 появился сертификат Operational Sustainability.
- 2020 год — NORD-4 подтвердил сертификат Operational Sustainability.
Что дальше:
- 2020 год — совместно с «Ростелеком-ЦОД» начали строительство дата-центра в Остаповском проезде и его подготовку к сертификации на Tier IV.
- 2020 год — во втором полугодии планируем сдать в Uptime Institute проект NORD-5.
- 2021 год — планируем сертифицировать NORD-5 на Tier III по программе Facility.
Так что в практике применения стандартов всегда есть что обсудить, будем рады поговорить в нашей Салатовой телеге.
В чем основное отличие уровней?
Я уже немного рассказывал про схемы резервирования, характерные для разных Tier.
Посмотрим на сравнительную таблицу в стандарте:
Вот так уровни отличаются по минимальному числу активных компонентов, поддерживающих нагрузку (их обозначают той самой буквой N):
- Tier I — используется N — минимальное количество оборудования для работы ЦОД, то есть резерва нет.
- Tier II — инженерное оборудование резервируется по схеме N+1.
- Tier III — по схеме N+1 резервируется инженерное оборудование и пути дистрибуции: кабели питания, трассы, трубопроводы.
- Tier IV — если случается единичный отказ любого оборудования, все равно остается N активных компонентов.
Но дело не только в «энках», особенно в случае с Tier IV. Главное отличие Tier IV — это единственный уровень с отказоустойчивостью. Он так и называется: Fault tolerant infrastructure. Также для него обязательны секционирование (или компартментализация, очень уж мне нравится это слово) и непрерывное охлаждение. Ниже посмотрим, что это значит.
Tier IV отличается от Tier III схемой резервирования оборудования 2(N+1)?
Как мы видим, никакая конкретная схема резервирования для Tier IV не указана. Как добиться N после любого отказа, каждый ЦОД решает сам. Раньше многие понимали требования Tier IV слишком буквально и предлагали сложные схемы наподобие 2N+1 или 2(N+1), чтобы уж наверняка избежать отказов. Но на практике это не обязательно.
Что такое отказоустойчивость в Tier IV? Чем отличается от Tier III?
В дата-центре Tier III мы допускаем ситуации отказа, где сотрудники должны вмешаться и переключиться вручную между резервными элементами.В Tier IV такие переключения отсутствуют или происходят автоматически.
Что такое непрерывное охлаждение в Tier IV?
Tier III формально допускает несильное повышение температуры в машзале, когда происходит отказ оборудования и мы переключаемся между основным и резервным кондиционером или чиллером.
В Tier IV за этим следят гораздо жестче. Уже на этапе проектирования нужно обязательно предоставить расчеты скорости повышения температуры и доказать, что даже теоретически в машзале не станет жарче.
Что значит «в Tier IV системы не только зарезервированы, но и защищены от физического воздействия»? В чем отличие от Tier III?
На четвертом уровне должно быть обязательное «секционирование», или «компартментализация» путей дистрибуции. Для выполнения этого требования дата-центру нужно продумать такую схему, чтобы пути дистрибуции проходили в разных помещениях или в закрытых огнезащищенных коробах. Встречаться они будут только в машинном зале. При этом должна оставаться возможность их обслуживания и замены.
Если мы выполним это требование, то физическое воздействие нам не страшно: даже если молоток упадет на кабель, у нас в отдельном месте сохранятся все пути дистрибуции к оборудованию.
А если случится пожар?
Все инженерное оборудование и все трассы у нас расположены в отдельных помещениях или защищенных коробах. Значит, при возгорании одной трассы теряется только резерв, без нарушения работы ИТ-оборудования.
А если упадет метеорит?
Наша страна настолько сурова, что иногда случается и такое. Но все-таки ЦОД — не военный объект, чтобы защищаться от подобных аварий. Очень жаль, но система Tier не рассматривает защиту от всемирного потопа, вторжения инопланетян или захвата власти рептилоидами.
Tier IV — это в 2 раза дороже?
Да, где-то может получиться и дороже. Но при должном подходе можно сэкономить без потери качества.
Для нас это первый опыт с Tier IV. Немного страшно, но мы движемся в этом направлении. Как только появятся новости, будем рады рассказать подробнее.