Pull to refresh

Comments 54

Иногда удивительно — какая у людей в голове каша…
1. Жидкостное охлаждение так или иначе используется в компьютерах почти с момента их появления. Да, ламповые и релейные компьютеры еще были на воздушном охлаждении, но с появлением транзисторной логики — первым делом появились компьютеры с жидкостным охлаждением.
2. Ушли они не потому, что жидкостное охлаждение плохое. Ушли они потому, что оно само по себе является источником проблем. Если сделать систему прямого охлаждения компьютеров жидкостью хотя бы соответствующую Tier II — Мы получим плотность мощности типа 5 кВт на стойку. Что прекрасно охлаждается воздухом без каких-либо «коридоров» прямым фрикулингом «с улицы».
2а. Про сравнение сухих и мокрых градирен — все здорово, но в сухой градирне при +40 «за бортом» вы не получите воду холоднее примерно +42, а в мокрой — можно при некоторых условиях получить воду температурой ниже +35…
3. Даже на фотографии хорошо видно — 24 юнита, занимающие площадь примерно как стойка глубиной 1200 мм. На фотографии большая часть заполнена обычными двухпроцессорными серверами. Это что-то типа 0.5 кВт на юнит максимум. Это плотность мощности, которая считалась очень класнной… 15 лет назад! 11 лет назад уже был запущен СК «Чебышев» с мощностью 25 кВт на стойку… Все прекрасно охлаждалось воздухом. 9 лет назад был запущен «Ломоносов», в котором прекрасно охлаждались под 70 кВт на стойку воздухом (да-да! стандартные 42Ux600х1000).
Запихиваем такие стойки в систему с фрикулингом наружным воздухом — и вот вам система с PUE ниже 1.15 примерно во всем мире (что-то типа 1.05 для Москвы и Питера).

После перехода на ЖО, как сказал Даг Джонсон, главный системный архитектор, центр вышел на PUE = 1,5

Как им удалось сделать настолько плохо?! Просто чиллер с фрикулингом и ИБП с КПД пусть даже всего 90%, уже дадут в климате Огайо PUE ниже 1.3!

А дальше — просто деньги. В оранжевой ванне на иллюстрации — что-то около пол тонны Новека. По цене — оригинальный продают что-то типа по 300-400 долларов за кг? Китайцы демпингуют и продают по 100-200 за кг (но, как обычно, вместо новека 7000 пришлют какой-нибудь FM200, т.к. для них это одна фигня). Но даже по 100 долларов за кг — это 50 килобаксов одной жидкости на 24 юнита. Окупать они это будут лет 15-20 (даже без учета того, что с той гибкой подводкой, которая видна на фото, жидкость из водяной части системы охлаждения будет вся вытекать раз в три года и новек весь из ванн будет выкипать).

Ну и да, еще одна мелочь — дополнительные 500 кг массы жидкости на каждый конструктив — это значит, что далеко не везде это можно поставить. В большинстве случаев потребуется усиление перекрытий или, при новом строительстве, закладывать на 500 кг на квадрат большую нагрузочную способность. А это тоже деньги. И их тоже нужно будет окупить. И в результате, выходим на минимальный срок окупаемости «никогда»…

PS: И да, я «немного» в теме, на водяное охлаждение угрохал пару лет своей жизни…
PPS: И да, ванна с Новеком — выглядит как наиболее разумный и безопасный вариант системы ЖО. Но только нужно понимать, что выигрыша ни в плотности мощности, ни в PUE по сравнению с хорошо сделанными системами воздушного охлаждения — вы не получите.
2. Ушли они не потому, что жидкостное охлаждение плохое. Ушли они потому, что оно само по себе является источником проблем. Если сделать систему прямого охлаждения компьютеров жидкостью хотя бы соответствующую Tier II — Мы получим плотность мощности типа 5 кВт на стойку. Что прекрасно охлаждается воздухом без каких-либо «коридоров» прямым фрикулингом «с улицы».
Вот тут в корне что то неправильное говорите.

Плотность размещения оборудования с жидкостным охлаждением на порядок выше чем на воздухе. Все проблемы с отводом тепла переезжают в другое место, по трубам, именно ради этого городят городушки с жидкостями.

5кв тепла на стойку — у вас какая то фигня, у меня порядка 4кв на пару/тройку юнитов водянки — без проблем (я про кастомную систему говорю, ибо готовое обычно такое дорогое что даже смотреть страшно)… кастомно сложнее именно охлаждение воды сделать эффективное, я только сухое делал но задумывался и о мокром, справлялся обычным автомобильным радиатором, где то до +10 градусов и ниже оно даже на пассиве отводит достаточно тепла.

В промышленном варианте с отводом тепла жидкостной системы проблем нет, ставится пара блоков на мегават, на крыше, и голова не болит.
Плотность размещения оборудования с жидкостным охлаждением на порядок выше чем на воздухе.

Вот кто вам сказал такую глупость? Вы поверили? Вы учли, что воде нужны трубы?
Еще раз. На воздухе. В стандартной 19" стойке шириной 600 мм и высотой 42U — много лет проработала система с 60-72 кВт на стойку. Максимум, что есть на воде — стойка около 130 кВт размером чуть меньше, чем 2х2х2 метра. Т.е. реальная плотность, даже с учетом кондиционеров, примерно в два раза меньше, а если предположить фрикулинг уличным воздухом — то и во все четыре раза меньше. На уровне… 2007-8 годов… На самом деле, на 100-120 кВт на стойку мы на данный момент упираемся в… блоки питания. Мощность БП на кубический сантиметр объема сейчас уже очень близка к физическому пределу для существующей элементной базы. После 100 кВт в стандартной стойке добавление мощности приводит к увеличению объема блоков питания, из-за которого нам начинает не хватать объема для размещения процессоров.

у вас какая то фигня

Еще раз. Я говорю про уровни надежности инженерной инфраструктуры. Охлаждение — это часть инженерной инфраструктуры. Вы уверены, что в вашей системе можно не останавливая и не ухудшая характеристики работы ИТ сервисов, например, заменить потекший ватерблок на чипсете материнки? А Tier II уже требует N+1 по основным компонентам инженерной инфраструктуры. А если замахнуться на Tier III — то там еще понадобится кольцо подачи ОЖ, кольцо возврата ОЖ, резервирование ватерблоков, три крана на каждый тройник и прочие веселости и радости. И все это должно быть доступно для обслуживания без отключения компьютера. С погружным охлаждением все чуть-чуть проще, но тоже не совсем без проблем.

справлялся обычным автомобильным радиатором

Ну вообще то, «обычный автомобильный радиатор» — это что-то от 40-50 кВт расчетного съема тепла для разницы температуры воздуха и температуры ОЖ порядка 40 градусов (для машин типа Оки и подобных «микролитражек» около 25-30 кВт). Было бы удивительно, если бы он у вас не справился с 4 кВт. Но опять же — три юнита на воздушном охлаждении, которые уже реально работали 8 лет назад, это было больше 7 кВт, если не считать блоки питания и коммутаторы. С учетом БП, коммутаторов, вентиляторов и всего остального — больше 1.7 кВт на юнит именно не по номиналам блоков питания, а реального энергопотребления/тепловыделения.
Не смогу вам парировать потому что не разбираюсь в системах высокой надежности, а именно на это вы акцентируете внимание. Считайте что вы выиграли спор, ок?
p.s. Если вы специалист, скажите пожалуйста, что такое резервирование ватреблоков, если это конечно не коробка с запасными частями на замену?

Я касался жидкостного охлаждения лично с оборудованием собранном на коленке из дешевых комплектующих с ali и прекрасно вижу что с воздухом все на порядок геморнее. Потоки воздуха нужно проектировать и планировать с учетом размещения оборудования, а это в свою очередь сильно увеличивает расстояние между ними и добавляет много лишнего места, когда как трубки с жидкостью можно гнуть и упаковывать почти без ограничений, раскладывая оборудование штабелями, как угодно, т.е. рассматривая удобство именно монтажа и доступности замены.
p.s. для защиты от потециальной утечки, я делал монтаж так чтобы все водоблоки относительно устройств были снизу,… в один слой, т.е. если что то капнет то на корпус а не плату.

А еще то в датацентре у вас температура 18, а влага и пыль находятся под контролем, у меня же, ради снижения издержек, всего этого счастья не было, и проблем из-за этого именно воздушное охлаждение создает много, так что нет, спасибо, лучше водянка и общий контур (а не как водянку только внутри оборудования для отвода тепла наружу корпуса, но снаружи все те же вентиляторы).

и да, с водой сильно тише ;)
резервирование ватреблоков

Ватерблок — устоявшееся сленговое название водяного радиатора на процессоре, или на чипе видеокарты, или на модуле памяти.
По определению, для соответствия Tier II и выше мы должны резервировать все важные части системы охлаждения, как то, насосы, вентиляторы, радиаоторы. Т.е. чтобы если у нас «ватерблок» отвалился от чипа — чип должен продолжать охлаждаться. Должен быть «резервный» ватерблок. Что для систем прямого водяного охлаждения — примерно невозможно.

не разбираюсь в системах высокой надежности, а именно на это вы акцентируете внимание.

Ну тут как бы название статьи "… как в дата-центрах стало..." Учитывая, что я за последние 10 лет 8 лет занимался или проектированием систем охлаждения для суперкомпьютеров, или проектированием ЦОД-ов, такое название сразу вызывает желание примерить к заявлениям статьи популярные версии стандартов для ЦОД…

с воздухом все на порядок геморнее

Это вы просто еще не добрались до действительно интересного. С воздухом все на два порядка проще со всех точек зрения. А вода — боль на каждом стыке! Особенно когда количество охлаждаемых водой процессоров становится больше 20… (а это значит минимум 10 чипсетов, 10 эзернетов, 20 регуляторов напряжения для процессоров… А еще эта злобная мелочевка, типа преобразователя напряжения для какой-нибудь вспомогательной микрухи, которая выделяет меньше ватта, но без охлаждения начинает перегреваться и вызывать трудно диагностируемые глюки...)

а влага и пыль находятся под контролем

Ну тут был эксперимент, когда группа товарищей поставили стойку просто в палатке на улице. Без фильтров, охлаждения и контроля влажности. После года — никаких проблем. Фильтры сейчас нужны просто, чтобы чисто было и не сильно пачкать руки о платы при обслуживании. Нормальная полноценная фильтрация сейчас нужна только в помещениях, где живут ленточные библиотеки.
С влажностью сложнее — если влажность слишком низкая — начинаются пробои с корпусов микросхем на случайные ножки. Как правило ничего не сгорает, но общее наблюдение, что в морозы интернет работает хуже — оно никуда не делось. Оно все еще так и есть (мой провайдер что-то наладил и после 17-го года с регулярными перебоями по несколько дней, почти весь 18-й год было счастье «без разрывов», но вот в прошлое похолодание в январе 19-го… было несколько отключений длительностью до пары часов… и пара десятков странных перебоев по 5-15 минут).
Что для систем прямого водяного охлаждения — примерно невозможно.
я примерно об этом и имел в виду.

p.s. спасибо за статью про системы охлаждения
Чисто теоретически, возможен водоблок с двумя контурами и 4 штуцерами. Возможна даже некая мастер-пластина терморассеивателя на чипе, на которой стоия два водоблока с возможностью замены любого из них.
Если задаться целью, можно сделать очень много интересного. Но… Мастер-пластина, плюс ватерблоки, плюс разъемы, плюс возможность вытащить это все из стойки не отключая… И мы уже вылезли за 2 юнита высоты для обычного 2-процессорного сервера. Т.е. уже плотность мощности в три раза хуже, чем для 1-юнитовых «пицца-серверов».
А вентилятор на чипсете материнки вы меняете не выключая сервера и не вынимая его из стойки? Насколько я себе понимаю, хотсвапом меняются только накопители и блоки питания.
Вентилятора на чипсете материнки — нет. В стоечных серверах примерно всегда вентиляторы с поддержкой горячей замены, примерно всегда стоят в один ряд позади отсека с дисками. Во многих «старших» моделях — еще и заменяются без открывания крышки корпуса. Так еще и с резервированием, когда сервер может прололжать работать на полной нагрузке без одного вентилятора.
А есть еще и энтерпрайз решения, в которых на горячую можно менять вообще все, вплоть до процессорных плат и модулей памяти!
Хмм… Вспоминаю, что гугл (или амазон, а может еще кто из китов) устроили конкурс на миллион$, на тему сделать БП в объеме 100см2 на максимальную мощность, с КПД не ниже 97%… Вот оно наверное к чему было…

ну почему сразу каша. тепло то из помещения надо отводить? надо. а выкидывать в атмосферу разве выгодно? не особо.


я думаю вся выгода водяного охлаждения для дата центров — это возможность вывести тепло на обогрев воды или просто отопление строений рядом. от этого и выходить на рентабельность. особенно учитывая разные зеленые законы и налоговые поблажки это может быть выгодным даже при использовании дорогих жидкостей.


а люди сразу начинают красноглазить про "эффективность в вакууме"… смешно же.

я думаю вся выгода водяного охлаждения для дата центров — это возможность вывести тепло на обогрев воды или просто отопление строений рядом.

Я знаю про один завершенный проект такого типа. В суперкомпьютерном центре в Швейцарии пытались делать теплый пол в фойе. Кажется все.


Все очень здорово, пока мы рисуем красивые картинки и показываем презентации. Но… Как только начинаем считать деньги… Вся красота рушится.


Самая-самая мелочь. ЦОД не является гарантированным источником тепла. Если мы используем ЦОД для отопления чего-либо, то нам нужно иметь или подключение к центральному отоплению от ТЭЦ, или иметь резервную котельную. Котельная на режим выходит почти сутки. Это значит, что нам нужно котельную поддерживать в подогретом состоянии… Это значит, что мы в любом случае расходуем деньги на котельную, деньги на поддержание котельной в состоянии готовности выйти на режим за час, деньги на кучу разнообразной автоматики, чтобы переключить отопление с ЦОД на котельную, если вдруг тепла ЦОД не хватает. Но если мы уже построили котельную и уже в любом случае ее "топим" — не строим сложную автоматику и не подключаем отопление к ЦОД и… О чудо! На эти деньги можно отапливаться котельной десятки лет.
С ТЭЦ — еще хуже. Если ты подключился к централизованному теплоснабжению но тепло потребляешь только изредка — это может обходиться намного дороже, чем круглогодичное отопление.


Вторая большая проблема: ЦОД — это "низко потенциальное тепло". Температура воды на выходе — хорошо, если 40 градусов. Чтобы пустить это тепло на отопление нам нужно поднять температуру, чтобы на всех отопительных приборах температура была не ниже 55 градусов. А лучше 60. Иначе — легионелла… А такой подъем температуры даже самым эффективным тепловым насосом — это постоянный расход энергии, это стоимость оборудования и автоматики, это обслуживание. Мне несколько раз доводилось просчитывать подобные проекты. Окупаемость — от 15 лет. За 15 лет в ЦОД три раза поменяются все серверы и два раза поменяются требования к охлаждению. Это означает, что при смене требований к охлаждению, скорее всего, всю прекрасную "зеленую" систему придется выкинуть и построить новую...


Ну и про "использование дорогих жидкостей". Вы видели сумму денег? Это десятки тысяч долларов на стойку. Экономия электроэнергии по сравнению с нормальными чиллерами — на единицы тысяч долларов на стойку. Т.е. окупаемость — от 10 лет при стойках по 70+ кВт, от 20 лет при стойках менее 35 кВт. И это только окупить начальные затраты на жидкость. А жидкость — испаряется, проливается… Ее приходится докупать. Срок службы у нее тоже не бесконечный. В результате — окупаемость стандартная для большинства "зеленых" решений — "никогда".


особенно учитывая разные зеленые законы и налоговые поблажки

"За чей счет банкет?" (с) Но даже не вдаваясь в подробности источников финансирования зеленых законов и гарантированности налоговых поблажек (которые сегодня есть, а завтра, упс, деньги на налоговые поблажки кончились...). За счет этих поблажек можно сократить окупаемость с больших десятков лет до небольших десятков лет. Но ЦОД должен полностью окупиться за максимум 10 лет. Т.к. через 10 лет придется проводить глобальную модернизацию электрики и охлаждения в любом случае. От исходного ЦОД хорошо если бетонная коробка останется.


а люди сразу начинают красноглазить про "эффективность в вакууме"… смешно же.

Не вы ли "красноглазите" про "эффективность в вакууме"? Чтобы не быть голословным, расскажите про какой-нибудь проект утилизации тепла ЦОД и покажите расчет эффективности и окупаемости, какие именно налоговые "поблажки" получил ЦОД и как это повлияло на окупаемость.

ну а разве со всеми новыми технологиями не так? в начале всегда дорого и не выгодно. но как видим деньги на исследования в это дело усиленно вкладывают, значит видят потенциал.

по поводу котельных — необязательно же. например отопление сугубо от тепловых насосов — уже вполне реальность. допустим в датацентре уже стоит отопление земля-вода, а чуть-теплую воду от охлаждение систем можно пустить на прогрев холодной воды (холодная вода то поступает с температурой градусов 10-15), и уже потом она будет нагреватся насосами до нужной. так что тут мне кажется собрать тепло с водяного охлаждения достаточно просто. причем то что тепло может выдаватся неравномерно давно то в теплонасосах решают с помощью тепловых аккумуляторов (кстати говоря сама жидкость в таких огромных кол-ах что мы видим в прототипах погружного охлаждения — аккумулятор тепла).
с другой стороны сейчас тепло и с воздуха научились собирать достаточно просто насосами воздух-вода, так что разница остается как всгегда в деталях — что выгодней строить (сложную?) систему вентиляций или проложить трубы с охлаждающей жидкостью…
допустим в датацентре уже стоит отопление земля-вода

Ээээ… а при чем тут отопление ЦОД? ЦОД сам себя вполне отапливает даже на холостом ходу. Требуется только отопление служебных и офисных помещений — на фоне общей мощности оборудования — мелочь. Вплоть до того, что окупается отопление электрокалориферами. (Ага. Был у меня проект ЦОД. Под пять мегаватт ИТ нагрузки. Небольшой офис и комната охраны. Оказалось дешевле "топить" электричеством следующие 15 лет, чем строить ИТП и получать ТУ на отопление.)
Речь же всегда ведут про использование тепла ЦОД для отпления теплиц, соседних жилых районов и т.п. И вот такие проекты — не могут окупаться. Не в технологиях дело. 90% технологий известны уже больше 200 лет и доведены до оптимума 100 лет как. Остальные — известны больше 100 лет и доведены до совершенства лет 50. Проблема в том, что все это стоит денег. Просто там много меди, много железа, много труб, много задвижек и клапанов, компрессоров и вентиляторов. Много проектирования. Это все деньги. Одного проектирования там на миллионы рублей. Добавляем землеотвод для прокладки труб до потребителей тепла, затраты на резервное отопление на случай, если ЦОД не выдает необходимой мощности… Резервное охлаждение на случай, если на улице +30 и отапливать ничего не надо. И выходим на сроки окупаемости в большие десятки лет при условии, что все это будет эти большие десятки лет идеально работать и не будет ломаться.


что выгодней строить (сложную?) систему вентиляций или проложить трубы с охлаждающей жидкостью

Если вы про внутри ЦОД, то "сложная" система "ветиляций" — это как максимум немного панелей из поликарбоната и немного дверей. И это ни в одной точке не противоречит идее проложить трубы с охлаждающей жидкостью.


Системы чиллер-фанкойл — давно используются в ЦОДах и очень себя хорошо зарекомендовали. Очень надежно, очень эффективно. Не очень дешево, но в некоторых ситуациях окупается при первом перерыве подачи электричества "снаружи".


А вот когда мы начинаем тянуть трубки непосредственно в сервер. Или погружать сервер в жидкость… Вот тут начинаются ужасы и математика. Ага. Просто когда у нас на машзал общей мощностью 2 мегаватта что-то типа 80 гибких подводок и пары сотен задвижек — все хорошо. Вероятность аварии и протечки относительно невелика. Когда у нас на те же 2 мегаватта 8000 гибких подводок, 8000 быстроразъемных соединений, 20000-30000 задвижек и еще сотня теплообменников в нагрузку — в этой системе не может образоваться ситуация, что ничего и нигде не протекает. Просто чисто математически вероятность того, что все соединения, задвижки, трубы, подводки и теплообменники не протекают одновременно — примерно равна нулю. Ну т.е. сервисники приехали, отремонтировали, уехали… И как только они отъехали достаточно далеко, потекло что-то еще…

Теплоёмкость у воды в 3300 раз больше, чем у воздуха, и водяная система охлаждения способна прокачивать 300 л воды в минуту, по сравнению с 20 кубометрами воздуха в минуту.

Тут правильно сравнивают 300 л воды и 20 кубометров воздуха? 1 кубометр это 1000 литров.

То есть одним этим преимущество теплоёмкости воды в 3300 уменьшается в 66 раз (до 50-ти).
Имхо всё не верно подано.
Вода имеет большую теплоемкость -> можно отвести суммарно больше тепла, прежде чем она прогреется до температуры источника (естественно, целевое значение ниже раза в два), воздух же поднимится до этой температуры довольно быстро и, как следствие, для охлаждения его нужно прогонять в огромных объемах. При этом утилизация теплоемкости (если можно так сказать) не большая. А вода (хотя почему речь именно о воде, а не, хотя бы, о смеси)… При должной прокачке будет иметь примерно одинаковую температуру во всем контуре.
Там все — гораздо интереснее. Я когда-нибудь расскажу тщательнее, если будут желающие ознакомиться…
Для начала. У нас есть процессор. С ним все просто. У нас есть VRM процессора. С ним уже чуть-чуть сложнее. У нас есть ОЗУ и VRM ОЗУ. Там все еще чуть-чуть сложнее. И это пока мы упомянули чуть больше половины общего энергопотребления сервера…
Но, извините, нужно как-то отводить все тепло, выделяемое всеми компонентами всех серверов и всех коммутаторов. И тут вдруг выяснятся, что даже если мы маньяки и прикрутили «водянку» к процессору, памяти и чипсету… нам еще нужно как-то охладить 2 10G Ethernet и один или два FC адаптера… Не говоря уже о графическом ускорителе. Но это все — крупные компоненты, с которыми все просто. Но есть еще преобразователь напряжения, который «в прыжке» 1 Вт, но он питает контроллер I2C… И без его охлаждения — вся мать может внезапно вырубиться…

почему речь именно о воде, а не, хотя бы, о смеси

Потому, что на Земле пока вода имеет примерно максимальную теплоемкость и примерно максимальную теплоту испарения/конденсации. Особенно в сравнении с веществами, которые можно использовать в быту без полного костюма химзащиты. Любые примеси — ухудшают характеристики по сравнению с чистой водой. Но с ними мирятся, например, как с гликолями — в смеси с ними вода хуже себя ведет при плюсовых температурах. Но не замерзает при минусовых температурах!..
КМК сервер для работы на воде должен иметь совершенно отдельную конструкцию. Притом разную, для погружного режима и для подключаемого. Встречал решение, когда вода шла по вертикальным стойкам и снимала энергопотребление с системы кондиционирования. Сервера сами по себе работали на воздухе.
когда вода шла по вертикальным стойкам и снимала энергопотребление с системы кондиционирования

Ну таким многие производители баловались лет 10 назад. Проблем 3. Первая — если у нас уже есть вода от чиллера и уже есть чиллерные кондиционеры — то такое решение просто ухудшает эффективность работы кондиционеров. Вторая проблема — эта штука толстая и мешает залезать в стойку. Третья проблема — гибкая подводка или поворотная подводка — постоянно рвется или протекает.
Изолировать горячий/холодный коридор — очень сильно проще, очень сильно надежнее, очень сильно дешевле. Так при этом — еще и сильно эффективнее.
теплоемкость более плотного вещества в общем случае всегда больше теплоемкости менее плотного вещества, поэтому тут понятно, что вода более теплоемка, чем газ.
Но газ легче прокачать. Поэтому следует еще оценивать трудозатраты на прокачку нужного объема, а также на теплопроводности, чтобы оценить эффективность.

Именно поэтому тут сравнили яблоки с грушами, а в результате цифра об эффективности не выведена, и следовательно не очень ясно насколько овчинка стоит выделки.
Было бы любопытно почитать обзор/сравнение применяемых жидкостей при прямом охлаждении и есть ли какие новшества в этом плане. Ведь основной минус воды — опасность замыкания при протечках (хоть дистиллированная вода и изолятор, но со временем теряет это свойство). Новеки в основном для погружного, минеральные масла очень проигрывают воде по важным в контексте применения параметрам:
-вязкость
-теплоемкость
-теплопроводность

Если коротко — самое большое новшество — это погружное охлаждение Новеком с кипением/конденсацией.
Все остальные варианты, как минимум, не окупаются по сравнению с хорошо сделанным воздушным фрикулингом. Новек с кипением-конденсацией тоже будет окупаться много лет. Но там хотябы есть шанс.
И, пока, все более-менее крупные внедрения сталкивались с длительными простоями из-за пролива воды внутрь серверов и коммутаторов. Я когда свою систему делал… там столько под этой водой камней, что просто ужас. Я, честно говоря, не ожидал, что все будет настолько плохо. И, чтобы все сделать правильно, требуются некоторые технологии, которые пока более-менее надежно умеют три или четыре предприятия в мире, все из которых работают на военную авиацию или космос. Или я попробовал использовать клей, но подходящий — он есть в каталогах, но купить его можно только если есть бумага, что ты подрядчик пентагона и этот клей нужен для «оборонного» заказа.
Я начинал несколько раз писать статьи на эту тему. И даже лет пять или шесть назад что-то здесь на Хабре пытался опубликовать, но оно так и сгинуло в песочнице. Эта тема местных жителей, в среднем, не очень занимает.
Я бы, например, с удовольствием прочитал на данную тематику статьи. Проектировать конечно юниты с киловаттами мощности я не собираюсь. В планах лишь переделка мини-ПК под жидкостное охлаждение. Ведь их главный плюс — гибкость переноса теплообмена в удобное место. Конечно, этой теме 100 лет в обед — вода с ингибиторами и в путь! Но вот что есть нового, проверенного и протестированного в этом плане — не ясно.
ПС
В плане занятных решений откопал одну древнюю штуку:
https://fcenter.ru/online/hardarticles/cooling/28822-Ohlazhdenie_zhidkim_metallom_kuler_Danamics_LMX_Superleggera
Ну так это она, классика жанра! Крутой сплав натрия с калием, красивые заявления… и… температура ядра на 6 градусов выше, чем у (пусть и очень хорошего) кулера с обычными тепловыми трубками. Почему? Очень просто — вода вообще уникальное вещество. И очень мало других веществ со столь же высокой теплоемкостью. А у NaK — теплоемкость примерно в 4 раза ниже, чем у воды. Но. Интересное начинается при фазовых переходах. Теплота испарения воды примерно 2.2 МДж/кг. Соответственно, подобрав давление в тепловой трубке — мы получаем идеальную систему теплопередачи. Пока ТТ в рабочем диапазоне и вода в зоне нагрева выкипела не вся — более крутой штуки в условиях Земли примерно нет. А тут жидкий металл, который, конечно, имеет более высокую, чем вода, теплопроводность. Но «теплоемкость» по сравнению с фазовым переходом вода-пар — никакая.

Но вот что есть нового, проверенного и протестированного в этом плане — не ясно.

Вы мне, конечно, не поверите. Но воздух. У меня много знакомых баловались с водянкой в разное время. От наколенных самоделок до дизайнерских решений за большие килобаксы. В какой-то момент затраты сил и средств на поддержание этой байды в живом и рабочем состоянии каждый раз начинали перевешивать все (две штуки) плюсы водянки и люди возвращались к старому доброму воздуху.
Вся проблема в том, что большинство производителей идет по пути — наделать больше дыр в корпусе, навесить больше больших вентиляторов. Это не работает. Работает серверный вариант — взять воздух с одной стороны, выбросить его с другой стороны, с минимизацией перетоков нагретого воздуха туда, где мы что-то пытаемся охлаждать. Я в свое время существенно улучшил охлаждение со снижением шума в небольшом корпусе просто стратегически правильно воткнув картонную перегородку.
Из личного опыта — основная засада — в охлаждении видеокарты. «Хорошие» и «дорогие» системы охлаждения видеокарты — просто тупо дуют горячим воздухом во все стороны. Правильный вариант — когда в глубине стоит вентилятор, который продувает воздух сквозь закрытый кожух и выдувает его наружу. Я недавно наконец надыбал себе видеокарту с правильным охлаждением. Сразу избавился от трех вентиляторов в корпусе, и от большей части шума.

переделка мини-ПК

А вот с мини-ПК — вообще все плохо с точки зрения водянки. Они мелкие. Они на столе. Там в любом случае не бывает БП мощнее реальных честных 200 Вт. На охлаждение даже всех 200 Вт нужно 30-35 cfm воздуха. Это, извините, меньше, чем поток, который дает Noctua NF-P12 на минимальной скорости! (при уровне шума 13 Дб, т.е. слышно, если лопасти вентилятора уже начали задевать ухо...)
КМК мини-ПК надо вообще делать на пассивной системе охлаждения, когда его корпус и является радиатором.
image
У меня лично, водяное охлаждение домашнего ПК уже более 10 лет.
Понятное дело, комплектующие менялись, но идеология осталась. Вынос тепла и шума по возможности за пределы комнаты. За 10+ лет система два раза засорилась и один раз протекла (уплотнитель поворотного уголкового фитинга). В плюсах — тишина, чистота в корпусе, нет печки под боком. Главный минус — нет мобильности (не могу взять и отвезти на дачу), не просто сменить видеокарту (сейчас RX480 с фулковером).

Да, про серверный вариант вентиляции. Он прекрасен в серверной, где холодный коридор/горячий коридор. Дома, часто в нише стола… Это боль в любом случае. Приемлемых пылевых фильтров на бытовых корпусах я не видел, это значит через год все будет забито. А если владелец любитель котиков не только посмотреть — через 2 недели. Пропылесосить современные кулера с тепловыми трубками сложно, обычно это полная разборка. Непрофессиональное вмешательство часто выводит из строя комплектующие «я его только пропылесосила».
С пассивными корпусами опять же беда — нужна очень большая площадь с большими зазорами в радиаторе. А это уже никакая не компактность. Я уже молчу об необходимости как то компоновать всё (особенно если ещё и видеокарту всунуть).
Да, площадь нужна большая. Корпус на фото ниже — типично HTPC, без видеокарты. Если нужна видеокарта, корпус должен быть фултовером, с двумя боковыми радиаторами, проверено — вытягивает. Видеокарта крепится через райзер и переходник. Это все не компактно, не удобно в апгрейде, зато никакого обслуживания, нет вентиляторов, воды, помп и т.п. Есть еще мысль, попробовать сделать ионный вентилятор, чтобы при наибольшей нагрузке включалось высокое напряжение и чувствовался запах озона. Моддеры должны оценить.

p.s. я в курсе что запаха озона у правильно настроеного ионизатора быть не должно и что излишняя ионизация уже не полезна.
Сколько может стоить хотя бы miditower с пассивными радиаторами на боку и как выглядит присоединение видеокарты к корпусу? есть какие то переходники (я про передачу тепла)? Корректно ли охлаждается при этом еще и чипы памяти на видеокарте?

С процессором и южным мостом наверное все будет еще хуже или там перевернутый монтаж материнской платы?
Полный набор с трубками и их крепежом к радиаторам может стоить от 500$ и дофига, скажем zalman tnn500 до сих пор продается на барахолках за 1000$. Много цветмета, небольшие партии, а то и штучное изготовление.

Видеокарта ставится примерно так. Возьмите медный водоблок фулковер и сферзируйте его там где вода, до плоскости. Прикрутите его к радиатору. Добавьте тепловые трубки от GPU, если видеокарта сильно мощная. На разъем PCIe ленточный райзер и в материнскую плату. Есть и уголковые райзеры, если на матери слот сбоку (типично для ITX).
угловой райзер
image

Есть и материнские платы с PCIe слотом сразу вбок. Удобно крепить видеокарту и блок тепловых трубок к ней.
Z170M-PIO2
image

Есть есть желание сохранить классическую компоновку, есть вот такой принцип. Мощнее карта — больше тепловых трубок. VRM и память — отдельные радиаторы. В принципе, достаточно с бекплейта через термопрокладки отводить тепло.
система теплосъема с видеокарты при классической компоновке
image


Охлаждение VRM и чипсета на материнской плате целесообразно сделать через термопрокладки на корпус-радиатор, прокладки ставить со обратной стороны материнской платы, через нее все прекрасно охлаждается. Ну или брать материнскую плату где все тепловыделяющие части завязаны на общую тепловую трубку.
Что такое рейзеры я в курсе, проблема исключительно с отводом тепла.
Возьмите медный водоблок фулковер и сферзируйте его там где вода, до плоскости.
Если бы у меня была возможность сфрезировать, то нафиг мне что то покупать? С точными замерами нафрезировал бы обычные алюминевые прямоугольники с точно подобранными размерами расстояния от платы до корпуса, развернул бы мат плату и водоблок чипами к корпусу…

p.s. На вашей картинке у видео охлаждение только чипа но не памяти, к сожалению это не то что мне нужно. Нужен фулкавер.
Теплопроводности алюминия не хватает чтобы отвести тепло от CPU и GPU по такой схеме. Серьезные моддинговые конторы вам все нафрезеруют как надо.
Вы серьезно?

Только что проверил, видеокарта расстояние сантиметр, для CPU хуже, если оперативная память не SODIM, нужно три сантиметра блок но и тепла процессор дает меньше.

Т.е. сложная система трубок длиной 10-15 см с теплоносителем на конвенкции будет эффективнее 3 сантиметров литого алиалюминия?
3 сантиметров литого алиалюминия?

Там возникает забавный спецэффект: если просто блок алюминия, то возникает, например, для крышки процессора — очень крутой пик температуры в центре крышки процессора.

В результате,
сложная система трубок длиной 10-15 см будет эффективнее

скорее всего будет эффективнее, особенно, если зона охлаждения на трубке находится выше зоны нагрева.

(это еще одна хохма — тепловые трубки обычного типичного кулера в пару раз эффективнее, когда компьютер просто разложен на столе, а собираешь все в корпус башню — и температуры выше.)
Так это не хохма, а специфика. Эффективность ТТ по даташитам (ссылку к сожалению не найду) ощутимо зависит от ориентации ТТ в пространстве! А про потерю эффективности до половины от номинальной при одном изгибе на 90градусов я вообще молчу)
Жаль что нет ссылки, всегда считал что эффективность ТТ зависит только от температур на холодном/горячем конце. Ориентация не влияет вообще, изгиб влияет соразмерно зауживанию сечения.
Там же в «холодном» конце — происходит конденсация воды, которая должна добраться до «горячего» конца, чтобы снова испариться. Вода вниз течет сильно лучше, чем вверх или горизонтально вбок. Хотя, конечно, наваренная на стенки медная стружка и помогает воде подниматься против гравитации, но это все равно происходит медленнее.
Я так себе понимаю, капиллярные эффекты. В самой трубке находится парообразная фаза, потоки не пересекаются, так как жидкость конденсируется на стенках. По этой причине, все равно где греть и где охлаждать трубку. Она работает и по системе две точки нагрева одна точка охлаждения, и по системе две точки охлаждения, одна точка нагрева. Предположу, что если бы можно было создать замкнутую тепловую трубку, то и она бы работала.

p.s. Если у вас есть ноут, вы можете проверить. LinX + CPUtemp и смотрим какая температура CPU горизонтально, вертикально, на торце. Если ваша гипотеза верна, будет одно явное положение высокой эффективности охлаждения.
В самой трубке находится парообразная фаза

В пустом пространстве — пар. В капиллярах — вода. Воды намного больше, чем пара (по массе), если трубка работает правильно. Вода в зоне нагрева — испаряется. Должна замещаться конденсатом из зоны охлаждения. Вниз, даже по капиллярам, вода движется быстрее, чем вверх или горизонтально.
Собственно, одна из проблем ТТ, из-за чего их не часто используют в действительно ответственных системах, в том, что если тепловую трубку «перегреть» — вся вода в зоне нагрева испарится и на теплоперенос будут работать только тонкие медные стенки… Эффективность теплопереноса падает резко, достаточно внезапно, и на порядки.
Меня в свое время это то же сильно удивило. Теплопроводность (грубо) сталь 50, алюминий 200, медь 400, тепловая трубка 5000 (при условии соблюдения ряда условий ее работы).
5000 (Вт/(м*К)) для ТТ не имеет физического смысла. 5000 — это случайное число, которое используют в CFD моделировании, т.к. прямое моделирование даже прямой вертикальной ТТ с нагревом снизу дает погрешность…
...в большие десятки процентов.
одно испарение, одна конденсация, точно известны все параметры теплопритоков и теплоотводов… Даже считая, что вся длина трубки от зоны нагрева до зоны охлаждения идеально теплоизолирована — получается ± 20-40% погрешности… Узнав это я перестал верить климатологам… Уже потом я узнал, что климатологи еще и не знают слова «энтальпия», хотя, когда меня впервые учили про кондиционеры — это было первое понятие, которое объяснил преподаватель…


В википедии пишут, что если тепловую трубку правильно спроектировать — эффективность теплопереноса может достигать величин порядка 100000 Вт/(м*К) и выше, в зависимости от разницы температур и других параметров…

Так что, идеальный кулер для процессора в корпусе башня будет выглядеть…
...как-то так:

(Извините, я не художник… Мог нарисовать и хуже, но уж очень старался...)
Разумеется не имеет, теплопроводность она у материалов. А тепловая трубка, по сути своей, тепловая машина. И у нее мощность. На сайте где их продают, так и пишут, в Ваттах. Ну а для упрощения расчетов — 5000. А 100000 это из серии «может достигать в военное время», примерно как у белого светодиода теоретический максимум 276 Lm/W.
Ну при сформированном конвекционном потоке он даст заметный прирост, и это сразу будет заметно по эффективности охлаждения.
Не особо практично делать на плате высоковольтный преобразователь. Электроды быстро зарастают пылью (сужу по своему ионизатору воздуха).
В любом случае, на плате или нет — готовых решений что то нет. Хотя статьи на эту тему датируются до 2010г. А жаль…
Вся проблема в том, что большинство производителей идет по пути — наделать больше дыр в корпусе, навесить больше больших вентиляторов. Это не работает. Работает серверный вариант — взять воздух с одной стороны, выбросить его с другой стороны, с минимизацией перетоков нагретого воздуха туда, где мы что-то пытаемся охлаждать.

Понятно, что в серверах компактность не на первом месте. А когда пытаешься разместить в 3-4л корпуса, к пример, несколько железяк, обнаруживается, что горячие места или перекрыты от протока воздуха другими компонентами или не остается места для установки воздушной СО. Тут или прощаешься с идеей. или ищешь альтернативы)
Понятно, что в серверах компактность не на первом месте

Это вы сейчас про те же серверы с той же планеты Земля, на которой я живу? Или про модели с какой-то другой планеты?
Вы просто посмотрите картинки 1U сервера с открытой крышкой. Там в некоторых моделях палец можно куда-то засунуть только если производитель специально предусмотрел возможность засунуть куда-то палец.
Как вам, например, такая платформа?
image
1U, 4 GPU, 2 «металлических» Xeon, до 768 Гб DDR4, два низкопрофильных слота PCI-e 3.0 x16…

Да, планета одна. Но я все же говорю о жонглировании потребительским железом общепринятых форм-факторов, а не о серверных решениях, которые, насколько я понял, могут следовать лишь общим габаритам под те самые юниты, но компоноваться на этапе проектирования уже оптимальным образом. Как то так. Вижу в предыдущем сообщении некорректно изложил мысль.
Так и я говорю о том же. Просто встретить нормально спроектированный корпус — большая редкость. Я лет пять искал. В результате — все же довольно большая «башня» с «дырой» во весь левый бок. Видеокарты с нормальной системой охлаждения — вообще страшный дефицит. Процессорные кулеры — много трубок, много вентиляторов, куда они дуют — никто вообще ни разу не задумывался. Лишь бы только выглядел «круто» с точки зрения китайских проектировщиков. Длина проводов от БП — отдельная грустная песня…
В общем, я понимаю вашу боль. Но я еще понимаю как оно должно быть устроено. Я видел в былые годы очень хорошо спроектированные корпуса у рабочих станций HP лет тому уже 20 назад. На все охлаждение весьма топового и горячего по тем временам компьютера — два вентилятора. Один дует спереди в отсек с процессором и памятью, второй — дует через отсек с дисками и PCI. Все провода идеально уложены и предусмотрены места для их прокладки… Отсек PCI и отсек процессоров-памяти — накрыты пластиковыми кожухами.
Сейчас и они сдались. Но хотя бы никаких дыр снизу, сбоку, сверху. Весь воздух заходит спереди, выходит сзади. Практически вся морда закрыта легкосъемной сеточкой от пыли.
Кулера для ПК тестируют на открытом стенде обычно. Куда он дует, насколько удобно его крепить и чистить, влезет ли вообще по высоте в корпус — не важно. Дизайн и градусы важны, иногда шум.

Длина проводов от БП может быть правильной, только если вы, как HP производите ПК сами. В ином случае, провода кому то длинные, кому то короткие. Хорошо что есть полностью модульные БП, можно заказать моддинговые провода нужной длинны.

КМК для мощных видеокарт единственно правильное охлаждение (если не брать воду) — турбинка выдувающая воздух из корпуса. Все эти 2-3 вентиляторные системы перемешивают воздух в корпусе и эффективны лишь при работе в режиме рабочего стола, без нагрузки. Большинство геймеров снимают боковую крышку корпуса в итоге.
Я правильно понимаю, что в новотеке главное препятствие — его цена? Как только китайцы освоят аналог, раз в 15 дешевле, все станет интереснее?

Во первых мы избавляемся от радиаторов. От всех. Сервера становятся легче и дешевле и места в них становится больше. В современном БП довольно много места занимают радиаторы. Во вторых вентиляторы это основные точки отказа, они разом все уходят. Жидкость кипит и самопрокачивается. Жесткие диски уже пошли полностью герметичные, проблема с ними снялась.
Ну, собственно, уже есть производители из Китая, которые заявляют цену в крупном опте от 21$ за кг. Но пока — не верится. Проблема будет, как обычно, в стабильности характеристик и соответствии заявленным параметрам. Пришлют вместо аналога кипящего при 61С новека 7100 аналог кипящего при 34С новека 7000. И просто все выкипит моментально и не будет конденсироваться при фрикулинге в водяном контуре… А то и вообще могут FM200 прислать (многие поставщики путают огнетушащее вещество FM200 и новек серии 7000).
Sign up to leave a comment.

Articles

Change theme settings