Скучные дата-центры из железобетона уже не в моде, ИТ-компании пытаются размещать их на воде и под водой. Ходят слухи о космических ЦОД – мимо столь прекрасного в технологическом плане явления мы не могли пройти.
Бурный рост потребности в вычислительных ресурсах привёл к строительству огромного количества центров обработки данных. Установленное в них оборудование потребляет мегаватты электроэнергии и выделяет тепло. Главным стал вопрос энергоэффективности, о котором на заре цодостроения никто не задумывался: сегодня инженеры наращивают плотность мощности на стойку, уменьшают PUE (соотношение общего энергопотребления к потреблению ИТ-оборудования) и занимаются другим технологическим шаманством. Лидеры отрасли всё чаще посматривают в сторону нетрадиционных решений. Сегодня мы попробуем разобраться, чего в этом процессе больше – фантастики или безумия.
ЦОД в космосе
Стоимость доставки грузов с планеты высока, с наймом квалифицированного персонала для обслуживания оборудования на орбите будут проблемы, возникнут и сложности с передачей данных – спутниковая связь не позволяет достичь такого малого времени отклика, как оптоволоконные линии. Есть проблема с космической радиацией, от которой чувствительное электронное оборудование необходимо защитить. Самое смешное, утилизировать выделяемое ИТ-железом тепло в космосе сложнее, чем на Земле. Дилетанты называют его холодным, но космос скорее пустой, если не считать мизерного содержания разных атомов, электромагнитного излучения и разнообразных элементарных частиц. Вакуум тепло не проводит, потому единственный способ сбросить его во внешнюю среду – электромагнитное излучение, то есть огромные нагретые радиаторы, которые будут светиться в инфракрасном диапазоне.
Тем не менее энтузиасты предлагают размещать дата-центры и в космосе, хотя о мегаваттных мощностях речи не идёт. Среди космопроходцев много сторонников теории заговоров – есть мнение, что на орбите данные будут недоступны правительствам и другим рептилоидам (насчёт рептилоидов мы бы поспорили). В 2016 году компания Cloud Constellation из Лос-Анджелеса активно стригла инвесторов, обещая к 2019 году разместить на орбите целый петабайт данных в собственной сети из спутников-серверов и спутников связи. Срок уже подошел, а орбитальной группировки нет и в помине. Это не помешало Cloud Constellation привлечь $100 миллионов в 2018 году.
Стартап ConnectX планирует запустить сеть спутников для хранения криптокошельков и других приватных данных вне планеты, а Британское космическое агентство выделило более 4 млн фунтов стерлингов на создание демонстрационного суперкомпьютера в космосе. Про иные миры говорить рано: человечество с трудом отправляет туда автоматические зонды, какие уж тут ЦОД? Да и зачем они нужны, если радиосигнал с Марса до Земли, например, идёт от 3 до 22 минут, в зависимости от взаимного расположения планет. Предлагаются и менее сумасшедшие варианты в основном в сфере космической связи, однако пока внеземные дата-центры остаются фантастикой, если не считать еще не реализованные прожекты стартаперов.
На воде и под водой
Из безвоздушного пространства спустимся в морские глубины: прошлым летом корпорация Microsoft начала вторую фазу проекта Natick, целью которого стало создание модульного подводного дата-центра. Эксперименты с ныряющими серверами велись ещё с 2013 года, а в 2018 году на дно у берегов Шотландии опустили прототип размером с морской контейнер. Он содержит 12 стоек, в которых смонтировано 864 сервера. Собирать из таких модулей мощные ЦОД неподалёку от крупных городов можно дешевле (в теории), чем на суше. Вода отличается высокой теплопроводностью и высокой теплоёмкостью, поэтому проблема охлаждения упрощается. С каналами передачи данных сложностей также не ожидается, технологии прокладки морских оптоволоконных линий давно отработаны.
Инженеры проверяют серверы и систему охлаждения Project Natick на базе Naval Group во Франции. Фото: news.microsoft.com
Помимо этого, у Microsoft есть идеи по использованию для питания ИТ-нагрузки возобновляемых источников энергии: приливных турбин, преобразователей энергии волн и даже установленных на берегу ветрогенераторов. Не обошлось и без проблем: в море довольно сыро, а электроника сырости не любит. Понятно, что модули дата-центра должны быть герметичными и отказоустойчивыми, им придётся долгое время работать без обслуживания. Чтобы предотвратить коррозию, внутреннее пространство контейнеров будет заполнено азотом.
Ребята из Google так глубоко не ныряют, но плавают вполне уверенно. Правда пока на просторах интернета: в картинках и видеороликах. Идея разместить центр обработки данных на борту судна в общем не нова, в разных вариациях она всплывает на просторах интернета уже лет 10. Кто-то ограничивается баржей у берега, другие хотят курсировать в нейтральных водах, чтобы не иметь проблем с законодательством разных стран. Можно вспомнить компанию Nautilus Data Technologies из США, разработавшую прототип плавучего ЦОД. Инженеры Google занимались проблемой давно, но потом корпорация охладела к идее морских путешествий. Это не помешало ей в 2017 году запатентовать ЦОД, ведомый по волнам воздушными змеями. Эти оригинальные устройства ещё и электричество должны вырабатывать.
Основная идея здесь примерно та же, что и у ныряющих серверов, – использование морской воды для охлаждения. При этом дата-центры остаются обслуживаемыми, что в общем довольно неплохо. Трудно сказать, насколько такие проекты перспективны, но они вполне реализуемы при нынешнем уровне технического развития человечества. Плавучие ЦОД могут быть использованы, например, в странах с тёплым морским климатом и дефицитом земли под застройку. К тому же это неплохой способ утилизации старых судов.
Фрикулинг в условиях Заполярья
Вернёмся из морских глубин на сушу и посмотрим на классические дата-центры. Если учесть тенденцию увеличения плотности мощности на стойку и ухода крупных ИТ-корпораций в т. н. Hyperscale computing, проблема с тепловыделением становится все серьёзнее. До некоторой степени её способна снизить мода повышать допустимый для ИТ-оборудования градус, но на функционирование традиционной инженерной инфраструктуры (охлаждение и бесперебойное электроснабжение) может уходить от 30 до 50 % энергопотребления ЦОД. Основная расходная статья при этом – использующие мощные компрессоры системы кондиционирования. Вполне логичным решением будет попытаться хотя бы частично от них отказаться, применив одну из существующих схем свободного охлаждения (фрикулинга).
Если не углубляться в технические детали, здесь есть два варианта: прямое одноконтурное охлаждение машинных залов наружным воздухом с частичной рециркуляцией в зимний период, а также двухконтурные системы с рециркуляцией воздуха в машинных залах и рекуперативными аппаратами. В первом случае нагретый воздух из горячих зон выбрасывается в атмосферу, а в холодные зоны подаётся прошедший очистку воздух с улицы. Иногда его также приходится сушить или увлажнять, а фильтры требуют регулярной замены. Если на улице слишком холодно, включается частичная рециркуляция.
Вторая схема предполагает наличие двух разомкнутых контуров: во внутреннем циркулирует воздух ЦОД, а в наружный подаётся воздух с улицы. Теплообмен происходит в рекуперативном аппарате. Тут тоже могут быть разные варианты, мы остановимся на самом интересном – роторном теплообменнике, который также называют системой Kyoto cooling. Принцип её работы очень прост: массивное металлическое колесо медленно вращается и переносит тепло из внутреннего контура во внешний.
Естественное охлаждение нельзя, к сожалению, использовать круглый год из-за жёстких требований к температуре наружного воздуха: если она слишком велика, автоматически включаются установки искусственного холода. В северных регионах использование фрикулинга позволяет держать их выключенными до 80 % времени, если брать усредненные показатели за год. Наиболее эффективные роторные теплообменники могут снизить долю энергопотребления системы охлаждения до 5– 7 % от общего потребления ЦОД, и это отличный результат.
Еще один логичный ход – перенести центры обработки данных в высокие широты. Увы, работает он только частично. ЦОД в Заполярье особо не прижились из-за огромного количества связанных с их строительством и эксплуатацией сложностей. В столь отдаленных от цивилизации регионах есть проблемы с электроснабжением и каналами связи, а также с наличием квалифицированного персонала – немногие спецы готовы ехать крутить хвосты белым медведям. Самое смешное, дармовой холод в системе фрикулинга тоже может обойтись недешево из-за слишком сухого воздуха. Если его не увлажнять, на электронных компонентах будет скапливаться сильный статический заряд. Конечно, компании пытаются строить дата-центры в северных регионах, но в полярные льды они не лезут и по-прежнему предпочитают окрестности мегаполисов.
Греем дом, а не атмосферу
Вырабатываемое дата-центрами тепло сбрасывалось в атмосферу, а когда его стало слишком много, люди задумались об использовании побочного продукта в мирных целях. Идея полезной утилизации тепла очевидна, но не так просто реализуема из-за нестабильного спроса на него и по ряду других причин. Из-за высокой температуры на улице больше всего проблем с охлаждением возникает летом, и как раз в это время спрос на тепло у населения минимален. Тем не менее, подобных проектов очень много на Западе, один из них запустила компания Яндекс. Её центр обработки данных обогревает небольшой финский городок.
Итоги и выводы
Если абстрагироваться от высоких идей, строительство и эксплуатация дата-центра – это большие капитальные и операционные издержки, которые бизнесу хотелось бы снизить. Тут мы сразу отбрасываем космическую тему, потому что со снижением расходов в обозримом будущем она несовместима. Морские проекты возможны, но они ещё не вышли из зачаточной стадии. Получается, единственный реальный способ уменьшения затрат – совершенствование традиционных центров обработки данных. Прежде всего путём увеличения их энергоэффективности за счёт использования фрикулинга и полезной утилизации тепла. На ближайшие годы это основной тренд развития цодостроения, а дальше учёные и инженеры могут подкинуть нам что-нибудь не столь прозаическое – фантастика иногда становится реальностью.