Комментарии 27
Классический сценарий с падающим с лестнцы монтажником, цепляющимся за всё, за что получится. Оборвал оптику, допустим (хотя в реальном ДЦ — вероятнее всего выдержит, если пучок большой), оборвал трубку. Над стойкой. Допустим, не с серверами, с чем-нибудь типа mx/или цискового шеститонника.
Любовь без вазелина.
Любовь без вазелина.
Кажется, дешевле монтажнику за пояс привязать шарик с гелием, чтобы летал и не падал :)
Или, если серьезно, обеспечить страховку его при работой над стойкой и среду трубок с водой или еще чем жидким.
Потому что, как ни страхуйся, а при некотором уровне раздолбайства можно и на ровном месте увидеть проблемы: дежурный инженер может в работающий сервер полезть, поставив на него же чашку с кофе (фантазия, но все же), а дежурная смена ДЦ может перепутать стойку клиента и провести работы не на той стойке. Решается ли такое? Конечно, причем можно до абсолюта довести: вместо одного человека идет три (как в анекдоте: один пишет, другой читает, третий за этими умниками приглядывает), пишется план действий, все логируется и каждое действие проговаривается — как в космосе )
Но вот что «оно меньше греется» — и от этого становится «суперкомпьютером» — это интересный подход. Да, быстрый интерконнект, да, относительно холодное, да, высокая плотность, но не только это делает набор стоек суперкомпьютером. Важно, как оно все вместе сбалансировано, готово ли оно работать реально быстро, готовы ли к этому не только CPU, но и все подсистемы…
Или, если серьезно, обеспечить страховку его при работой над стойкой и среду трубок с водой или еще чем жидким.
Потому что, как ни страхуйся, а при некотором уровне раздолбайства можно и на ровном месте увидеть проблемы: дежурный инженер может в работающий сервер полезть, поставив на него же чашку с кофе (фантазия, но все же), а дежурная смена ДЦ может перепутать стойку клиента и провести работы не на той стойке. Решается ли такое? Конечно, причем можно до абсолюта довести: вместо одного человека идет три (как в анекдоте: один пишет, другой читает, третий за этими умниками приглядывает), пишется план действий, все логируется и каждое действие проговаривается — как в космосе )
Но вот что «оно меньше греется» — и от этого становится «суперкомпьютером» — это интересный подход. Да, быстрый интерконнект, да, относительно холодное, да, высокая плотность, но не только это делает набор стоек суперкомпьютером. Важно, как оно все вместе сбалансировано, готово ли оно работать реально быстро, готовы ли к этому не только CPU, но и все подсистемы…
Мне после «поскольку водяное охлаждение в 1000 раз эффективнее, чем воздушное» уже расхотелось читать. Даже если брать по самому теоретическому максимуму, то где-то в четыре раза. В реальности — эффективность таких систем хорошо, если раза в полтора-два превышает аналогичные воздушные решения (особенно если замерять не в рассеиваемых ваттах, а в чем-то более близком к производительности вычислительной системы). А тут — столько пафоса сразу — «суперкомпьютер»…
А теплопередачу в паре металл-вода и металл-воздух Вы учли? А там и получается разница на 2-3 порядка, что приводит к тому, что либо воздуха нужно на 2-3 порядка больше через радиатор прогонять, либо его площадь на 2-3 порядка увеличивать.
> В реальности — эффективность таких систем хорошо, если раза в полтора-два превышает аналогичные воздушные решения
Эффективность таких решений — это 100-150кВт тепла на шкаф, при том, что обычный воздух может охладить максимум 20-30 кВт со шкафа.
Есть еще PUE, который для жидкостных систем может быть значительно меньше 1.1.
> а в чем-то более близком к производительности вычислительной системы
Производительность и рассеиваемое тепло — это очень сильно зависящие друг от друга величины.
> В реальности — эффективность таких систем хорошо, если раза в полтора-два превышает аналогичные воздушные решения
Эффективность таких решений — это 100-150кВт тепла на шкаф, при том, что обычный воздух может охладить максимум 20-30 кВт со шкафа.
Есть еще PUE, который для жидкостных систем может быть значительно меньше 1.1.
> а в чем-то более близком к производительности вычислительной системы
Производительность и рассеиваемое тепло — это очень сильно зависящие друг от друга величины.
А теплопередачу в паре металл-вода и металл-воздух Вы учли? А там и получается разница на 2-3 порядка
Можно я вам не поверю? Вопрос там не в паре, конечно, и даже не в самой теплопередаче, а в том, что пропорции различных видов теплопередачи и сами термодинамические модели сильно разнятся (в случае классических вентиляторных решений — это теплообмен кристалл-медь плюс принудительная конвекция, в случае современных кулеров на тепловых трубках — это кристалл-медь, медь-агент, агент-другая медь, дальше опять принудительная конвекция, в случае полностью жидкостных — по сути сильно удлинняется цепочка медь-агент, агент-медь и принудительная конвекция от сравнительно маленькой продувки в стойке заменяется большим общим чиллером).
Эффективность таких решений — это 100-150кВт тепла на шкаф, при том, что обычный воздух может охладить максимум 20-30 кВт со шкафа.
Даже если принять эти цифры — разница в 5-7 раз, а никак не в заявленные 1000. И, если уж на то пошло, я с трудом представляю шкаф с 150 кВт оборудования, да еще вместе со всей жидкостной инфраструктурой, которая тоже не такая маленькая.
Есть еще PUE, который для жидкостных систем может быть значительно меньше 1.1.
И что? В современных датацентрах он и так порядка 1.2. Меньше 1 он не станет по определению. Где опять же заявленные «в 1000 раз эффекивнее», когда теоретический максимум, если уж считать по PUE — 20%?
> Можно я вам не поверю?
Конечно. Но тем не менее на этом участке теплообмена так и есть. А дальше уже маркетинг — взяли самое красивое число и используем, что однако не умаляет технических преимуществ решения.
В любом случае, если в одном месте системы получается выигрыш в 1000 раз, то совсем не обязательно, что суммарный выигрыш будет такой же.
> я с трудом представляю шкаф с 150 кВт оборудования, да еще вместе со всей жидкостной инфраструктурой, которая тоже не такая маленькая.
Да, это действительно сложно представить, тем более, что уже есть системы, где снимается 400кВт тепла со стойки ( rscgroup.ru/sites/default/files/releases_en/rsc_petastream_delivers_the_industry_record_1ptf_per_rack_performance_showing_practical_path_to_exascale_era_nov_2013_eng.pdf ) с оборудованием и системой жидкостного охлаждения, что вроде бы все еще является мировым рекордом плотности упаковки.
Для суперкомпьютера важны и геометрические размеры, по этому сокращение площади в 20 раз по сравнению с воздухом — это очень хороший результат.
> И что? В современных датацентрах он и так порядка 1.2.
Только это и есть пример современного датацентра. А средний по отрасли датацентров PUE сейчас в районе 2.
Конечно. Но тем не менее на этом участке теплообмена так и есть. А дальше уже маркетинг — взяли самое красивое число и используем, что однако не умаляет технических преимуществ решения.
В любом случае, если в одном месте системы получается выигрыш в 1000 раз, то совсем не обязательно, что суммарный выигрыш будет такой же.
> я с трудом представляю шкаф с 150 кВт оборудования, да еще вместе со всей жидкостной инфраструктурой, которая тоже не такая маленькая.
Да, это действительно сложно представить, тем более, что уже есть системы, где снимается 400кВт тепла со стойки ( rscgroup.ru/sites/default/files/releases_en/rsc_petastream_delivers_the_industry_record_1ptf_per_rack_performance_showing_practical_path_to_exascale_era_nov_2013_eng.pdf ) с оборудованием и системой жидкостного охлаждения, что вроде бы все еще является мировым рекордом плотности упаковки.
Для суперкомпьютера важны и геометрические размеры, по этому сокращение площади в 20 раз по сравнению с воздухом — это очень хороший результат.
> И что? В современных датацентрах он и так порядка 1.2.
Только это и есть пример современного датацентра. А средний по отрасли датацентров PUE сейчас в районе 2.
Но тем не менее на этом участке теплообмена так и есть
Вы хоть одну цифру приведите, где именно получается разница в 1000 раз. Если брать те модели термодинамических систем, что я выше набросал — там нигде разницы в 1000 раз не будет.
Да, это действительно сложно представить, тем более, что уже есть системы, где снимается 400кВт тепла со стойки
Ну, там если начинать считать — эти 400 кВт все-таки больше маркетинг, реальные цифры раза в полтора-два меньше будут (1024 * 225 Вт ~ 230 кВт на процессоры, остальное относительно копеечное), но, согласен, все равно плотность впечатляет, да.
А средний по отрасли датацентров PUE сейчас в районе 2.
Ну, это смотря как считать. Я еще лет 5 назад слышал громкие заявления о том, что «средний в пересчете на 1 сервер» PUE якобы ~1.8, и он уменьшается на 0.1 каждые два года. Если считать «на датацентр», и «датацентром» считать каждую серверную комнату с более-менее от балды поставленным кондиционером «на вырост» — то и больше 2, наверное, получится…
Тепловыделение xeon phi 7120D — 270Вт, процессоры семейства Xeon E5-2600 v2 — до 150Вт (один на 8 Phi).
Суммарно уже 295680Вт только на процессорах.
Если добавить диски и сетевые карты, то всего будет чуть больше 300кВт. Остается 100 на остальные системы.
В принципе, получается, что если и приукрашивают, то не так сильно.
Суммарно уже 295680Вт только на процессорах.
Если добавить диски и сетевые карты, то всего будет чуть больше 300кВт. Остается 100 на остальные системы.
В принципе, получается, что если и приукрашивают, то не так сильно.
Судя по PDFке — там 5120D, а не 7120D — это все-таки 245 Вт (я почему-то считал для 5110P с 225), E5-2600, я так понимаю, там в норме фактически простаивают, занимаясь только координацией и напрягая только свои DMA. Так что истина, видимо, где-то посередине.
Я на самом деле с трудом представляю, как это все питается хотя бы. Вот Apollo 8000 — честно говорят, что у них реалистично только 480 вольт и то там жилы под сантиметр толщиной. А тут по сути еще в 5 раз больше и на один бедный шкаф… Сколько ж у RSC — киловольты?..
Я на самом деле с трудом представляю, как это все питается хотя бы. Вот Apollo 8000 — честно говорят, что у них реалистично только 480 вольт и то там жилы под сантиметр толщиной. А тут по сути еще в 5 раз больше и на один бедный шкаф… Сколько ж у RSC — киловольты?..
По pdf да, 5120D, но судя по сайту уже 7120D, а они горячее (pdf могла устареть).
> E5-2600, я так понимаю, там в норме фактически простаивают
Думаю, что близко к этому, однако, бюджет на охлаждение в любом случае считать необходимо по максимальным параметрам.
> Так что истина, видимо, где-то посередине.
Возможно.
> Сколько ж у RSC — киловольты?..
К сожалению, не знаю. В живую внутренностей этих систем я не видел, а на сайте сходу такой информации не нашел.
> E5-2600, я так понимаю, там в норме фактически простаивают
Думаю, что близко к этому, однако, бюджет на охлаждение в любом случае считать необходимо по максимальным параметрам.
> Так что истина, видимо, где-то посередине.
Возможно.
> Сколько ж у RSC — киловольты?..
К сожалению, не знаю. В живую внутренностей этих систем я не видел, а на сайте сходу такой информации не нашел.
Кстати, да — вот ниже хорошую ссылку привели — youtu.be/9Ih3R84Corg — там показано, что на самом деле у обсуждаемой 80 кВт входящих на шкаф всего (отводится, очевидно, меньше, чем 80 — и до тех 400, что вы привели в пример — тут еще очень и очень далеко), и, надо понимать, на каждые 3 «полезных» шкафа нужно добавлять еще один «инфраструктурный» шкаф с теплообменником.
По петафлопсам это тоже видно — у Apollo 8000 получается 1.2 петафлопса на 19 шкафов, тогда как у цитируемой вами RSC PetaStream — 1 петафлопс на 1 шкаф.
По петафлопсам это тоже видно — у Apollo 8000 получается 1.2 петафлопса на 19 шкафов, тогда как у цитируемой вами RSC PetaStream — 1 петафлопс на 1 шкаф.
Суперкомпьютер тут не для пафоса, а потому что целевое назначение системы — HPC-кластер, иначе именуемый суперкомпьютером.
то что первый то это врядли — СКИФ-Аврора 2011 год
Тут конструкция несколько другая. У СКИФ и у решений IBM есть гидроразъемы, соединяющие контура серверов в единый контур, а у этого решения система двухконтурная — один пассивный контур внутри сервера, а второй в корзине с передачей тепла через металлические контактные пластины.
Преимущество это возможность снимать сервера без остановки системы и без манипуляций с трубопроводами. Но как они гарантируют отсутствия течей все равно совершенно непонятно. Если в серверном контуре что-то треснет, то какое бы не было низкое давление в контуре, воздух в него все равно может просочится, а дальше нагрев, повышения давления и потоп (правда ограниченный по объему жидкости).
Меня больше волнует вопрос, как HP обеспечивает работу термоинтерфейса между серверами и корзинами, который на боковой стенке сервера. Ведь для этого нужен хороший контакт между поверхностями, а термопасту намазывать внутри корзины может быть неудобно для монтажа из-за сдвигового характера монтажа, а не прижимного.
Преимущество это возможность снимать сервера без остановки системы и без манипуляций с трубопроводами. Но как они гарантируют отсутствия течей все равно совершенно непонятно. Если в серверном контуре что-то треснет, то какое бы не было низкое давление в контуре, воздух в него все равно может просочится, а дальше нагрев, повышения давления и потоп (правда ограниченный по объему жидкости).
Меня больше волнует вопрос, как HP обеспечивает работу термоинтерфейса между серверами и корзинами, который на боковой стенке сервера. Ведь для этого нужен хороший контакт между поверхностями, а термопасту намазывать внутри корзины может быть неудобно для монтажа из-за сдвигового характера монтажа, а не прижимного.
таких как технические жидкости 3M Novec (семейство растворителей с низким потенциалом глобального потепления, основанные на запатентованной 3М формуле, содержащей гидрофторэфир).
Так непривычно читать эти названия без всяких ®©™.
Какое совпадение, сейчас занимаюсь подготовкой решения на базе Apollo 6000.
НЛО прилетело и опубликовало эту надпись здесь
Процессоры, память и дополнительные модули (Xeon Phi или GPU nVidia). Для сетевых и инфинибендовских коммутаторов охлаждение воздушное, но без забора воздуха снаружи — внутри стойки есть теплообменник.
Тут в статье не сказано, но от каждой стойки нужно по трубам отводить воду в отдельную стойку, а к ней уже подключается внешняя вода (через теплообменник).
Тут в статье не сказано, но от каждой стойки нужно по трубам отводить воду в отдельную стойку, а к ней уже подключается внешняя вода (через теплообменник).
Более подробно можете ознакомится
youtu.be/9Ih3R84Corg
youtu.be/9Ih3R84Corg
В системе охлаждения всё-таки вода, или другая жидкость? Если вода, то почему именно она. Есть ведь и менее губительные для серверов теплоносители.
Я понял, что в каждом лезвии замкнутый контур жидкостного охлаждения без принудительной циркуляции. Тогда не понятно, откуда возьмется бесконечный вакуум, который не даст воде вытекать из системы если появится трещина.
Я понял, что в каждом лезвии замкнутый контур жидкостного охлаждения без принудительной циркуляции. Тогда не понятно, откуда возьмется бесконечный вакуум, который не даст воде вытекать из системы если появится трещина.
Вода с этиленгликолем — чтобы не зарастала. Внутри трубок, которые в лезвиях, скорее всего, что-то типа спирт-эфирной смеси.
Если во втором контуре (который между стойками) появляется трещина, по нему перестаёт гоняться вода. Из-за избыточности соединений между стойками это не значительно влияет на теплоотвод от стоек.
Если во втором контуре (который между стойками) появляется трещина, по нему перестаёт гоняться вода. Из-за избыточности соединений между стойками это не значительно влияет на теплоотвод от стоек.
Национальная лаборатория по возобновляемым источникам энергии… стала одним из первых клиентов Apollo 8000.
Немного не так. NREL обратилась в HP с предложением разработать энергоэффективные стойки, за два года работы получился продукт, его назвали Apollo и выпустили для широкой публики.
Что же все так утечек бояться, вот OVH на обычных ПВХ трубках строит СВО для серверов и ничего, работает :)
www.youtube.com/watch?v=Y47RM9zylFY
www.youtube.com/watch?v=Y47RM9zylFY
Зарегистрируйтесь на Хабре , чтобы оставить комментарий
Суперкомпьютер с системой водяного охлаждения HP Apollo 8000