По статистике Uptime Institute, с 1994 по 2020 годы в зданиях ЦОД зарегистрировано всего 11 пожаров. Все они были успешно локализованы и не повлекли за собой значимых последствий.
Если говорить о причинах, то 80% из них возникли вне помещений с IT-оборудованием (производственных, складских, административно-бытовых, офисных) и были связаны с человеческим фактором.
Малое количество пожаров и их незначительные последствия вовсе не говорит о том, что пожарной безопасностью в зданиях ЦОД можно пренебречь. Наоборот, учитывая, что центры обработки данных отличаются высокой концентрацией инженерных систем и дорогого оборудования, противовопожарная система является их неотъемлемой и важной частью. Только представьте объем убытков, если работа дата-центра прервется на 5-7 часов или данные пользователей будут безвозвратно потеряны, как это произошло после пожара в одном из дата-центров компании OVH.
За предотвращение, сверхраннее обнаружение или ликвидацию пожаров на начальной стадии отвечает раздел проектной документации 9 “Мероприятия по обеспечению пожарной безопасности” (МОПБ). В этой статье я расскажу, чем отличается МОПБ для ЦОД и какие мероприятия необходимо предусмотреть для обеспечения пожарной безопасности многоэтажных и модульных дата-центров.
Для начала немного теории. Несмотря на то, что МОПБ входит в состав проектной документации стадии П, активная работа разработчика этого раздела, начинается уже при создании эскизного проекта, когда определяются основные параметры и характеристики здания, перечень необходимых систем и место расположения на участке.
Раздел МОПБ тесно связан со смежными разделами и содержит перечень решений в области пожарной безопасности, в числе которых:
требования к планировке земельного участка, включая расположение зданий, сооружений и инженерных сетей на территории объекта, противопожарные расстояния, проезды для пожарной техники;
обоснование объемно-планировочных и конструктивных решений объекта, расположения и функционирования инженерного оборудования и коммуникаций в нём;
перечень систем противопожарной защиты, их характеристики и параметры взаимодействия с другими системами объекта;
другие мероприятия, направленные на предотвращение пожара и обеспечение требуемого уровня безопасности людей.
МОПБ для ЦОД
Кроме высокой концентрации и стоимости оборудования, к характерным особенностям дата-центров также относятся режим функционирования, бесперебойность работы, высокая потребляемая мощность и температурный режим. При этом количество находящегося в здании персонала иногда может составлять не более 10 человек, а в некоторых ЦОД присутствия людей и вовсе не требуется. Эту специфику обязательно нужно учитывать при разработке раздела проектной документации МОПБ для дата-центров.
Комплекс средств по обеспечению пожарной безопасности здания ЦОД должен быть выстроен так, чтобы гармонично вписываться в общую систему, взаимодействуя с необходимым количеством её компонентов. Если все сделано верно, то при пожаре он не только работает по принципу «не навреди!», но и приносит реальную пользу, минимизируя время простоя оборудования.
Одной из важнейших задач является выявление нештатной работы и перегрева элементов IT-оборудования в машинном зале ЦОД до того, как это приведет пожару и срабатыванию систем пожаротушения со всеми вытекающими последствиями, включая отключение энергоснабжения, вентиляции и IT‑стоек.
Для этих целей в составе системы пожарной сигнализации предусмотрены аспирационные извещатели, направленные на сверхраннее обнаружение пожара. При нагревании одного метра кабеля свыше 250°С выделяются частицы, которые вызывают срабатывание аспирационного извещателя. Они не видны человеческому глазу и не уловимы для обычных точечных извещателей. Персонал ЦОД оперативно получает информацию о перегреве оборудования, отключает и ремонтирует вышедший из строя элемент.
При проектировании такой системы, не забываем, что
система обнаружения дыма должна быть адаптирована к конкретной концепции охлаждения в машинных залах ЦОД, будь то «холодные» и «горячие» коридоры, охлаждение через фальшпол или герметичных шкафов
трубы с воздухозаборными отверстиями располагаться с учетом геометрии защищаемого пространства, выбранной концепции охлаждения и параметров воздушных потоков
Существенно повысить скорость реагирования помогают сетевые карты на SNMP-протоколе (простой протокол сетевого управления), которые позволяют осуществлять мониторинг, запись и визуализацию всех показателей работы аспирационной системы, таких как уровень задымлённости, воздушные потоки и т.д.
Разделение помещений ЦОД
Для разработки системы противопожарной защиты дата-центра важно понимание алгоритма обеспечения отказоустойчивости при различных сценариях пожара.
Комплекс проектных решений должен обеспечивать надёжное и безотказное функционирование ЦОД в режиме 24х7. Большинство современных дата-центров стремятся к уровню надёжности не ниже Tier III по классификации Uptime Institute, предполагающей, что при единичной аварии или отказе элемента ЦОД работа не должна останавливаться. Поэтому в здании, помимо машинных залов и серверных, как правило, размещаются ИБП, ДГУ, трансформаторные, помещения для сборки оборудования, административно-бытовые и далее по списку.
При разработке МОПБ для ЦОД нужно обязательно иметь это в виду, так как для ограничения распространения пожара элементы должны быть изолированы друг от друга.
Естественно, оптимальный вариант – когда вспомогательные помещения находятся в отдельных зданиях или сооружениях. Но в случае, если сделать это невозможно, помещения должны быть оптимально распределены по площади здания и выделены противопожарными преградами с заполнением, а при необходимости включены в отдельные пожарные отсеки, секции, части здания.
При реализации такого подхода стоит помнить о принципе «достаточности мероприятий», так как при чрезмерном усердии стоимость строительства самого здания может вырасти в разы.
Нормы в области пожарной безопасности в нашей стране предусматривают разделение помещений с разным функциональным назначением противопожарными преградами с пределом огнестойкости не менее 45 минут. Для дата-центров, претендующих на сертификацию не ниже уровня Tier III по классификации Uptime Institute, этот показатель должен составлять 60 и более минут.
Отдельно стоит позаботиться об обеспечении непрерывного функционирования ЦОД. Для этого установки бесперебойного питания лучше рассредоточить таким образом, чтобы возгорание и тушение одной из них не влияло на работу другой и все энергоснабжение дата-центра. Отследить выполнение данного условия можно в том числе с помощью CFD-моделирования пожара или расчета пожарного риска.
Системы противопожарной защиты для ЦОД
Здание ЦОД, как и любое другое, может быть оборудовано полным спектром систем противопожарной защиты:
система пожарной сигнализации;
система сверхраннего обнаружения возгорания;
автоматические установки пожаротушения;
система оповещения и управления эвакуацией людей при пожаре;
система противодымной защиты;
внутренний противопожарный водопровод;
аварийное эвакуационное освещение.
Наиболее частый вариант, когда при проектировании противопожарной защиты в дата-центрах используются системы газового пожаротушения. Однако для тушения машинных залов могут применяться также системы тонкораспыленного водяного пожаротушения или понижающие уровень кислорода. Вместе с этим стоит помнить, что газовое пожаротушение все же более предпочтительно по цене и эффективности, так как оказывает меньше вредного воздействия на IT-оборудование. К примеру, газ Хладон 227еа не проводит электричество и не вызывает коррозии металлов, а ФК-5-1-12 не вредит окружающей среде и является безопасным для человека.
МОПБ для многоэтажного дата-центра
Теперь на примерах разберем, как те или иные параметры ЦОД будут влиять на МОПБ. Остановимся на двух недавних проектах, подготовленных отделом проектирования инженерных систем STEP LOGIC для крупных IT-компаний.
В первом случае при проектировании ЦОД на 20 МВт мы были ограничены площадью земельного участка, на котором располагалось относительно высокое (35,5 м) и многоэтажное (7 этажей) здание общей площадью почти 24 тыс.м².
Потребляемая мощность ЦОД предполагала наличие в машинных залах 4 тыс. IT-шкафов, а значит и большого количества ДГУ, которые должны быть размещены вне здания.
Так как общий объем запаса топлива, необходимого для работы, составил 250 м³, а площадь для размещения комплекса дизель-генераторных установок и распределительных подстанций – всего 1,5 тыс.м², мы расположили оборудование в два яруса.
Такая планировка потребовала разработки специальных технических условий в области пожарной безопасности (СТУ), которые задали параметры устройства проездов и ряд индивидуальных требований к объёмно-планировочным решениям и системам противопожарной защиты.
В первую очередь, были исключены сценарии с проливом большого объема топлива на территории дата-центра, распространением пожара на всю площадь комплекса ДГУ и за его пределы, а также негативное воздействие на инженерную инфраструктуру ЦОД.
Были разработаны индивидуальные решения в части фундамента и каркаса комплекса, способов и объемов размещения топлива в нём, параметров наполнения резервуаров, аварийного слива топлива, критериев размещения площадки для АЦ, минимального количества проездов для пожарной техники к комплексу ДГУ и зданию ЦОД с учетом высоты. Так, объем резервуаров топлива в каждом ДГУ был ограничен до 3 м³.
Предусмотрены системы газоанализа, автоматизированного контроля по одновременному наполнению только одного резервуара и уровня наполняемости, мероприятия по аварийному сливу, устройства для предотвращения распространения пламени через топливные трубопроводы. А конструкции колодцев инженерных сооружений были спроектированы так, чтобы исключить попадание в них дизельного топлива при проливе.
Были разработаны мероприятия, исключающие систему водяного спринклерного пожаротушения в помещениях общего назначения в технической зоне ЦОД (холлы, коридоры), что снизило риски порчи имущества.
В качестве нестандартных решений в рамках СТУ также были предусмотрены лестничные клетки без естественного освещения, параметры размещения многосветного пространства и «open space» в административно‑бытовой части ЦОД.
Наша команда провела численное моделирование различных сценариев пожара. С помощью вычислительной гидродинамической модели (CFD) мы рассчитали тепломассоперенос при горении и пожарный риск, подтвердив эффективность проектных решений в части обеспечения пожарной безопасности и эвакуации людей при пожаре. Кроме этого, мы определили оптимальное расположение помещений с различными технологическими процессами для исключения негативного влияния на оборудование.
В рамках расчета пожарного риска моделируются наиболее неблагоприятные сценарии пожара и фиксируются параметры его распространения, а также эвакуация людей, благодаря чему можно, во-первых, отследить как распространяется пожар в том или ином случае, а во-вторых – дать числовую оценку риска гибели человека при пожаре.
МОПБ для модульного дата-центра
При проектировании модульного ЦОД на 15 МВт мы, наоборот, имели в распоряжении территорию почти 5 га, на которой предполагалось построить три одноэтажных модуля по 5 МВт каждый, был запроектирован склад и уже располагалось административно-бытовое здание, которое позже адаптировали под нужды дата-центра.
Заказчик принял решение разместить трансформаторные и ДГУ в здании ЦОД, поэтому при разработке МОПБ было предусмотрено их отделение противопожарными преградами и оснащение системами противопожарной защиты и системой сбора протечек топлива из ДГУ в авариный резервуар. При этом, запас топлива располагался в расходных резервуарах на территории ЦОД вне здания.
Исходя из этих требований, мы пришли к выводу, что в здании ЦОД должны быть предусмотрены системы пожаротушения двух типов: порошковая – для защиты технического пространства и помещений трансформаторных, газовая – для защиты остальных площадей дата-центра.
Для снабжения топливом ДГУ на территории были размещены расходные резервуары общим объемом до 100 м³ и площадка для АЦ, а также топливные трубопроводы.
Учитывая отсутствие источников воды, для нужд наружного пожаротушения на территории были расположены подземные резервуары, насосная станция и сеть наружного противопожарного водопровода с 7 гидрантами.
Площадь участка позволила разместить все здания, сооружения и коммуникации без отступлений от норм пожарной безопасности и обеспечить соблюдение требований по противопожарным расстояниям, проездам и водоснабжению.
Здание склада площадью около 1,5 тыс. м² разделено на три пожарных отсека: склады с высотным стеллажным хранением и без него, а также административно-бытовую часть.
Так как назначение этого здания – хранение серверного оборудования, заказчик потребовал запроектировать его без автоматических установок пожаротушения, обеспечив при этом безопасность людей при пожаре.
Несмотря на то, что это решение сопряжено с риском для имущества, задача была выполнена: мы запроектировали здание без автоматических систем пожаротушения. Но при этом внесли в проект систему пожарной сигнализации с аспирационными пожарными извещателями для сверхраннего обнаружения. Таким образом удалось выполнить требования в части обеспечения пожарной безопасности объекта и регламентов, и заказчика.
Особенности МОПБ для дата-центров
Примеры, приведенные выше, доказывают, что проектирование ЦОД и необходимой для него инфраструктуры на большой площади даёт больше комбинаций для размещения объектов. Можно расположить рабочие места в отдельном административно-бытовом здании, а склад и другие вспомогательные помещения, элементы топливного хозяйства – вне ЦОД, оградив дата-центр от возможных пожароопасных ситуаций.
На большей территории участка мы можем разместить элементы инфраструктуры ЦОД строго по нормам пожарной безопасности, уменьшить этажность зданий и разделить их функции. Как следствие – в здании ЦОД не нужно предусматривать постоянные рабочие места и административно-бытовую часть, системы противодымной защиты, лифты с режимом перевозки пожарных подразделений, незадымляемые лестничные клетки.
Если же говорить об особенностях разработки раздела МОПБ для дата-центра в целом, то при создании системы пожарной безопасности необходимо учесть множество факторов. Ключевыми здесь являются объемно-планировочные решения здания, так как вектор для других параметров обеспечения пожарной безопасности в большей степени задают именно они. Кроме того, важны параметры размещения и взаимодействия инженерного оборудования и систем друг с другом и средствами противопожарной защиты.
Каждый дата-центр индивидуален, но качественно выстроенная система пожарной безопасности всегда обеспечивает достижение одних и тех же целей: безопасность персонала, предупреждение пожара, минимизация ущерба при его возникновении, и, безусловно, непрерывность функционирования ЦОД.