Как стать автором
Обновить
0

Энергоэффективная синергия

Время на прочтение9 мин
Количество просмотров4.2K
Сегодня у нас в гостях Дмитрий Борняков, начальник отдела информационных технологий завода Балтика Новосибирск. Под руководством Дмитрия был реализован проект по внедрению в серверной комнате завода «Балтика-Новосибирск» системы кондиционирования на холодной воде без использования холодильной машины (чиллера). Высокоэффективное прецизионное охлаждение ИТ-оборудования обеспечивается промышленным этиленгликолем, применяемым в технологическом процессе приготовления пива.

Одним из ключевых рисков при комплексной оценке ИТ инфраструктуры новосибирского филиала был признан риск остановки серверного помещения из-за возможного отказа системы кондиционирования. Этому способствовал тот факт, что климатические системы де юре не входят в зону ответственности ИТ, и, соответственно, ИТ может лишь опосредованно влиять на обеспечение непрерывности их работы.

Оценивая возможные варианты нивелирования таких рисков, было отмечено, что климатические условия западной Сибири позволяют использовать наружный воздух для отвода тепла. Более того, схемы с организацией охлаждения теплоносителя наружным воздухом уже используются для технологических нужд новосибирской площадки.
Для выполнения расчета окупаемости возможных вариантов решения были посчитаны операционные затраты на эксплуатацию и обслуживание имеющейся классической фреоновой системы датацентра.

В общем, как все было…. А было скучно. Все работало. Вокруг серверной (можно я буду называть ее датацентром) возникал какой-то шурш, а всяческие попытки повышения энтропии и прочие активности, придающие важность и ценность этому месту, замыкались сами на себе.
Народец начинал расслабляться, все чаще играть в кикер (настольный футбол) на складе и обсуждать перспективы казахской космической программы, снабжая их чертежами трехступенчатой лошади.



В это же время при плановом обслуживании системы кондиционирования очередной бригадой был выявлен баг, который мог обернуться для нас решительным косяком! А именно – очень большой пусковой ток фреонового компрессора мог положить бесперебойник. Не решаясь больше насиловать ИБП 20кВтными всплесками, я распорядился демонтировать блок и провести тщательную диагностику, подумывая предъявить гарантийные претензии. Как бы не так! Все указывало на то, что предыдущее обслуживание было выполнено людьми, мягко говоря, непрофессионально. Плохо завакуумированная трасса вылилась в омеднение компрессора, которое однозначно приведет к заклиниванию подшипников. Предыдущая контора от энергетической службы, выполнявшая сервис, открещивалась от нашей претензии нашими же актами. Странный способ вести долгосрочный бизнес. Успехов им.
Итак, стоило мне влезть, как на голову свалилось куча вопросов – а как с таким подходом жить дальше? Ситуация с околовсяческими подрядчиками меня не устраивала, и я начал перетягивать одеяло на себя т.е. узаконивать владение кондиционерами в серверной. Обычно, в таких случаях никто не сопротивляется.

После подсчета бюджетов и осмысления необходимого количества денег на ежеквартальное обслуживание трех систем (одна охлаждает ИБП в отдельном помещении) мне стало немножечко не по себе. Конечно, можно заменить «ежеквартальное» на «раз в полгода», но то, что было вынуто и вымыто из внешних блоков, прямо говорило, «раз в полгода» мне однажды припомнится.



Активно изучать вопрос подстегнули представители APC, заглянувшие в гости, сославшись на то, что коллеги в «Славутиче» (г Киев) на базе InRow 100 построили весьма интересный концепт. Его ключевой фичей было охлаждение воды не чилером, а теплообменником с технологическим гликолем. Стало завидно, тем более что холодного гликоля у нас – как у дурака махорки!

Интегратор заявил, что проектировщики готовы работать под честное слово, но нужен был конструктив с начальством, и я таки его провел! При донесении финансовой выгоды отказа от вторичного водяного контура было разрешено инициировать проектирование. Предварительное чтение на ночь даташита по InRow выявило его возможность работать на этилен/пропилен гликоле концентрацией до 50%! Что позволило делать смелые и козырные заявления о том, что «воды не будет!» в кабинете у директора.

А дальше… Напустив важности, я доносил до проектировщиков идейную мудрость, параллельно заслушивая предлагаемые инновации. Итогом стали отказ от металлических трубопроводов с целью снижения конденсата, использование теплоизоляционной краски на узлах со сложной геометрией, и самое главное – отказ от теплообменника и виртуализация второго контура с помощью трехходового клапана! Так же настоял на подводе и отводе всех сред снизу блоков, сквозь перекрытия. Все-таки жидкость…

Узел смешения получился внушительный, но на ощупь хлипкий. А поскольку располагать его пришлось на складе за серверной, то риск сноса его чересчур резвым погрузчиком был налицо. Пришлось заказать ограждение. Блоки InRow тяжелые!!! Бодренько втащить их на второй этаж по лестнице не получилось. Кланяюсь крепким парням со склада готовой продукции. Те едва справились вшестером. Увы, остались следы на линолеуме в холле и гнев нашей команды по керлингу.

В процессе установки InRow на места образовался лишний серверный шкаф. Если серьезно, то он планировался для переноса в дублирующую серверную. Но это требовало серьезной остановки части инфраструктуры, поэтому все действо происходило ночью, причем самой темной за последние 465 лет. Совпало так. И еще. Когда понимаешь, что все шкафы запросто катаются на своих колесиках, человеку, с детства катающему шифоньеры на войлоке, становится немного неловко. Зато теперь в отделе есть две пары новых валенок!

Запуск откладывался трижды. Официально — из-за того что сложно было собрать всех троих участников процесса в одном месте и времени. Но, имхо, все набивали себе цену, мстили и глумились надо мной. Однако, к чести всех участников, запуск был произведен с первого раза абсолютно без замечаний. Еще бы не хватало, чтоб кто–то испортил мне День рождения.

Тестирование началось на следующий же день, причем со злобным пристрастием. Система выводилась на закритические режимы, фиксировались показания и срабатывания аварийных датчиков. Стоя в струях холодного ветра в космическом тулупе, я принимал парад технологий. Фуражка съезжала на затылок, но не падала — ей мешал нимб.

Кому интересны скучные технические подробности, может читать дальше.

Следующим этапом было внутреннее согласование идеи, которое заняло более 4 месяцев, по окончании которого был получен некий экстракт из лучших мировых практик и опыта коллег в компании «Славутич». Основной задачей, которую нужно было решить, являлось обеспечение циркуляции теплоносителя со скоростью не менее 0.2 л/с и температурой на входе в InRow не ниже +5.6 С⁰. Т.е. по факту имелась разница между существующей и минимально допустимой для InRow температуры, равная 10С⁰, не позволяющая подключить их напрямую к технологическому контуру. В оценке предлагаемых вариантов принимали участие эксперты разных служб и уровня, вплоть до директора завода. В результате опорной была принята схема, исключающая наличие воды и промежуточных теплообменников, призванная нивелировать вышеупомянутую разницу температур. Концепт в виде технического задания на проектирование был выдан интегратору в октябре 2010г, а через месяц у меня на столе лежал готовый проект, возможность реализации которого была подтверждена изготовителем оборудования и службой главного инженера завода.

В качестве генподрядчика выступала компания «Р-Стайл Сибирь Интеграция». Проектирование и монтаж гидравлической части решения выполняла компания «Инженерные технологии». В возможностях первой компании я нисколько не сомневался ввиду большого опыта работы с ними. Добро на работы «Инженерным технологиям» было дано за выдающиеся экспертные навыки их руководителя, подчиненные которого удивляли высочайшей дисциплинной и общей культурой выполнения работ при аудите и диагностике существующей системы кондиционирования. По условиям компании APC, для сохранения гарантии запуск и настройку InRow должен был выполнять их специалист, которому и было предоставлено право нажать кнопку запуска системы. Всего на реализации проекта было задействованно 4 привлеченных специалиста, включая монтаж, и 2 внутренних эксперта.

Излагая подобности решения, не хотелось бы отбирать хлеб у проектировщиков и экспертов, выполнявших расчет гидравлического сопротивления системы, диаметров труб и характеристик других элементов. Именно поэтому не стану приводить здесь расчетную модель. Однако это не мешает мне озвучить исходные данные, которыми мы оперировали при расчете этой модели. Как уже было упомянуто, решением задачи является получение необходимой скорости циркуляции теплоносителя при заданной температуре. Помимо ранее названных характеристик, в расчет принимались давления в трубопроводах подачи и отвода теплоносителя, тип, концентрация, и температура гликоля в системе. В исчисляемом виде эти данные приведены в таблице.



Ввиду необходимости подвода к модулям InRow теплоносителя с достаточно низкой температурой и устранения риска протечек и подтекания конденсированной влаги, ввод сред в модули было решено выполнять снизу сквозь перекрытия. Так же в ходе монтажа использовалась низкоконденсирующая полипропиленовая труба и специальная теплоизоляционная краска. Это позволило существенно снизить стоимость трубной обвязки.



После запуска был проведен ряд тестов системы на предмет срабатывания датчиков и проверки логики работы аварийной автоматики. Обзор значений по результатам данных тестов приведен в таблице.



Хочу отметить, что ряд полученных значений выходит за рамки документации к InRow, однако внутри этих режимов оборудование ведет себя стабильно, без обмерзания, перегрева, вывода аварийной индикации и т.п.

Модули InRow имеют вполне адекватные средства локального и удаленного мониторинга состояния и сред, причем могут не только слать сообщения о статусе, но и быть охвачены системой MSSCOM. Шкаф насосной автоматики и шкафы InRow получают электропитание от серверного ИБП Galaxy 5000. Потребляемая электрическая мощность решения составляет 906 Вт. На момент написания статьи возможность работы серверного помещения от батарей составляла 97 минут. Размещением модулей InRow в данном помещении достигнуто формирование достаточно изолированного горячего коридора объёмом около 9 м3. Ввиду достаточно близкого расстояния между модулями они были собраны в логическую группу. Внешний вид оборудования представлен на фотографии.



Смесительный узел расположен вне помещения серверной, однако, для снижения гидравлического сопротивления, максимально приближен к ней. Для удобства стартовых испытаний электронные измерительные приборы на нем дублированы механическими. При тиражировании проекта схема может быть упрощена.

Обслуживание решения в гарантийный период проводили силами специалистов завода, тем более что в первом приближении устройства выглядят достаточно простыми. Из операций обслуживания видится периодическая очистка (мытье) воздушных и гликолевых фильтров без остановки решения. К операциям, которые требуют переключения на фреоновую систему, относятся глобальные работы на гликолевом контуре завода. Например, слив части системы. За трехлетнюю эксплуатацию завода подобная процедура проводилась всего единожды — при запуске купажного отделения. Именно поэтому часть фреоновой системы оставлена в качестве страхующего узла и поддерживается шкафом автоматики в режиме StandBy.

Для понимания схемы и логики организации существующей гидравлической составляющей решения схема смесительного узла приведена на рисунке.



За время эксплуатации был выявлен ряд несущественных минусов проектного решения, которые были нивелированы следующей версией, расширяющей применение системы на помещение основного ИБП. Первое и основное, что было сделано – была полностью пересмотрена схема смесительного узла. Не то чтобы он мне внешне не нравился и выглядел хлипковатой конструкцией… он был громоздким и напоминал одно из «патентованных изобретений» ребят из нашего отдела. Роль основных насосов была пересмотрена и вместо подпирающих трехходовой клапан они превратились в перекачивающие. Тем самым удалось решить все ранее выявленные недостатки и реализовать новые планы.
А именно:
• обеспечить равномерную скорость циркуляции гликолевой смеси.
• обеспечить независимость системы от работы промышленных насосов основного гликолевого контура.
• поднять разность давлений на входе и выходе до уровня, необходимого для подключения дополнительных модулей охлаждения в других помещениях ИТ.

Была доработана логика работы автоматики, для возможности выбрать ручной режим управления. Например, принудительно включать резервные фреоновые кондиционеры. Написаны рабочие инструкции и решения для типовых кейсов.

Для помещения источника бесперебойного питания, находящегося на отметке +0, т.е. на 3.5м ниже серверной, была предложена немного другая схема, позволяющая реализовать логическую резервируемость системы охлаждения помещения при дефиците напольного пространства. А именно — в воздушную магистраль фреонового теплообменника был добавлен фанкойл, способный принимать гликолевую смесь в качестве теплоносителя. Понять идею подрядчика очень помогали трехмерные чертежи, которые тот периодически слал на согласование. Таки схема – схемой, а визуальное понимание того, что ты получишь, многого стоит.
Внешний вид обновленного решения представлен на фотографии. Смесительный узел освобожден от излишних балансеров и измерительных приборов стал намного компактнее и проще.

В заключение хочется сказать, что собранный смесительный узел значительно проще, дешевле и меньше, чем водяной чилер. И тот факт, что мы фиксируем стабильное снижение суточного энергопотребления ИТ-систем с 740 до 530 кВт/ч, говорит о весьма высокой инвестиционной и операционной эффективности решения.

Благодарности:
• Ведущему инженеру – механику филиала «Балтика – Новосибирск» Владимиру Захарову, за исчерпывающие технические консультации.
• Директору филиала «Балтика – Новосибирск» Юрию Чентыреву за профессиональное оппонирование.
• Директору компании «Инженерные технологии» Яшкан Виталию за предоставленное сочетание инноваций, умных голов и умелых рук.
• Руководителю направления по работе с региональными заказчиками СФО компании «SchneiderElectric»Александру Самохину за клиенториентированный консалтинг при подготовке и запуске решения.
• Главному инженеру проектов компании «R-StyleСибирь-Интеграция» Александру Бахлыковуза то, что смог собрать всех этих людей вместе.
Теги:
Хабы:
Всего голосов 12: ↑10 и ↓2+8
Комментарии4

Публикации

Информация

Сайт
www.schneider-electric.ru
Дата регистрации
Дата основания
1981
Численность
5 001–10 000 человек
Местоположение
Франция

Истории