Комментарии 79
Я не совсем понял — а в чём именно тут необычность и нестандартность? Вы удлинили тепловые трубки? Вроде как году эдак в 2005 этим баловались домашние разгонщики, собирая подобные системы из синей изоленты, шнурка и медной трубки от кондиционера в домашних условиях. И даже без истории про сложность прохождения охраны на режимном обьекте, коим являются практически все заводы.
Чем КТТ отличаются от обычных тепловых трубок я постараюсь подробно рассказать в следующей публикации. Это про необычность и нестандартность. А вот про баловство домашних разгонщиков было бы очень интересно почитать подробнее. Может быть напишите об этом пост, раз вы хорошо в теме?
Вам стоит изучить в чем разница между тепловой трубой и контурной тепловой трубой.
У меня вопрос про стойку с жидкостной шиной: что происходит, когда нужно ненадолго вытянуть сервер из стойки для обслуживания? На фото видно, что теплообменники прилеплены к шине на термопасте, и конструкция явно не hot-plug. Я понимаю, что это только экспериментальный прототип, но очень интересно, как планируется решать эту проблему.
Сейчас как раз работаем над соединениями в этой части. Можно будет отцепить нужный сервер от шины и вытянуть его для обслуживания. Насчет использование термопасты — пробуем решить этот вопрос качественной шлифовкой поверхностей. Чтобы обойтись без термопасты. Прямо сейчас нет финального решения.
Дело в том, что иногда бывает нужно вытянуть из стойки работающий сервер.
Я вижу ещё одну серьёзную проблему: обычно в компьютерах (а особенно в серверах) не только процессоры и видеокарты требуют активного охлаждения. Если избавиться от всех вентиляторов в корпусе, резко ухудшатся условия работы остальных компонентов — RAID-контроллеров, жестких дисков, цепей питания и т.д. Это значит, что в серверах совсем без вентиляторов обойтись точно не получится. А это в случае с ЦОДом означает, что нужно иметь уже две инженерных системы охлаждения — водяную и воздушную, причём они не резервируют друг друга, отказ каждой из них фатален.
Я вижу ещё одну серьёзную проблему: обычно в компьютерах (а особенно в серверах) не только процессоры и видеокарты требуют активного охлаждения. Если избавиться от всех вентиляторов в корпусе, резко ухудшатся условия работы остальных компонентов — RAID-контроллеров, жестких дисков, цепей питания и т.д. Это значит, что в серверах совсем без вентиляторов обойтись точно не получится. А это в случае с ЦОДом означает, что нужно иметь уже две инженерных системы охлаждения — водяную и воздушную, причём они не резервируют друг друга, отказ каждой из них фатален.
Работающий сервер можно будет вытянуть либо совсем ненадолго, либо сбросив нагрузку на его цп, либо, если это не подойдет, будет можно на время выемки ставить специальный радиатор. Про полный пассив на серверах никто не говорил. Часть вентиляторов придется оставить. Мы не конкурируем с просто воздушной системой. Мы конкурируем с жидкостной, при этом избавляя от возможных протечек внутри оборудования, например. В одной из статей будут в цифрах объяснятся все перспективы нашей системы, думаю, вам будет интересно. А вообще — спасибо за такие подробные комментарии. Собрать такую обратную связь — одна из целей нашего появления здесь.
Спасибо, тема очень интересная, буду ждать новых статей.
Идея в порядке бреда: можно ли (хотя бы теоретически) изготовить гибкую тепловую трубку?
Идея в порядке бреда: можно ли (хотя бы теоретически) изготовить гибкую тепловую трубку?
Можно, есть даже три варианта. 1. Спиральная трубка, 2. Гофротруба, 3. Обожженная обычная трубка. Каждая со своими особенностями. Для какого применения вы думаете использовать ее?
Такую трубку можно было бы проложить вместе с кабелями через органайзер, и тогда можно смело прикручивать внешние теплообменники к шине на термопасту. Для этого, конечно, лучше всего подойдёт гофротруба. Вот только придётся удлинить трубку примерно на метр, что отрицательно скажется на теплопроводности.
Не очень понял. Откуда и куда может пойти такая трубка? Учитывая еще, что наши КТТ — замкнутые, а не просто отрезки.
У серверов бывает такая штука под названием
В неё укладываются все кабели от сервера, что позволяет зафиксировать их со стороны стойки при сохранении возможности выдвигать сервер без отключения проводов. Если вместе с проводами через неё проложить гибкую тепловую трубку, теплообменник можно будет прикрутить к шине.
Значит понадобятся две трубки.
cable management arm
В неё укладываются все кабели от сервера, что позволяет зафиксировать их со стороны стойки при сохранении возможности выдвигать сервер без отключения проводов. Если вместе с проводами через неё проложить гибкую тепловую трубку, теплообменник можно будет прикрутить к шине.
Учитывая еще, что наши КТТ — замкнутые, а не просто отрезки.
Значит понадобятся две трубки.
Может я ошибаюсь, но таких ситуаций очень мало, когда нужно вытащить работающий сервер не останавливая его.
Скажем так, в большинстве случаев этого можно избежать, но это связано с дополнительными затратами времени. Например, заменить комплект вентиляторов можно «на горячую», отключать сервер для этого не требуется. Даже планки памяти в современных серверах можно втыкать на ходу (хотя лично я никогда не пробовал, страшновато).
Множество таких ситуаций. Например, есть стойка на 256 нод, и таких стоек несколько десятков. Понятно, что ноды ломаются частично или совсем, и понятно, что надо неработающие ноды заменять, не останавливая всю стойку при этом. Стандартная задача горячей замены со стадартными решениями — сбрасываем снапшот на локальный SSD ноды или по сети и выключаем ноду. Заменяем на исправную, включаем и подгружаем снапшот.
Ну а если сдохла нода — то же самое, но без снапшота. Обычная ситуация горячей замены. Так и коммутаторы меняют, и блоки питания — в таких стойках вся инфраструктура дублирована, очень уж они дорогие, очень много стоит их простой, да и простое включение-выключение выбивает электронику
Ну а если сдохла нода — то же самое, но без снапшота. Обычная ситуация горячей замены. Так и коммутаторы меняют, и блоки питания — в таких стойках вся инфраструктура дублирована, очень уж они дорогие, очень много стоит их простой, да и простое включение-выключение выбивает электронику
Учитывая что практически везде на современных серверах используется виртуализация и современные гипервизоры позволяют одной командой вывести ноду из работы переложив её нагрузку на другие ноды, не вижу острой необходимости вытаскивать работающий сервер. Ну а диски меняются и без вытаскивания сервера.
Бывали случаи, когда приходилось перемещать в пределах здания работающую стойку целиком, без останова.
Не надо планировать решать эту проблему, есть стандартные водяные разъемы для отключения подачи-отбора воды. Вовсю применяются в суперкомпьютерах (например, A-Class в Т-Платформах) и во множестве другого оборудования, где требуется водяное охлаждение. Просто надеваешь его или снимаешь, при этом вода не вытекает — клапаны с обоих сторон.
Мы не решаем проблему подачи-отбора воды. Там сухое соединение наших КТТ и жидкостной шины.
Если б не ваше принципиальное «никакой жидкости внутри сервера», можно было бы разместить внутри сервера пассивный гидроблок с питанием от жидкостной шины по гибким трубкам, а на него сбрасывать тепло вашими КТТ. Эффективность такого решения выше, т.к. теплопроизводительность гидроблока определяется в основном скоростью прокачки теплоносителя через него, а тепловой трубки — её сечением и длиной, так что при той же тепловой нагрузке можно поставить трубки потоньше, раз место сброса тепла поближе :-)
С тенденцией к повышению плотности, места под «гидроблок» можно не найти. И раз вода уже внутри — зачем костыль в виде ТТ?
В имеете в виду, чтобы трубки подсоединялись внутри сервера к гидроблоку, а каждый сервер подключался двумя фитингами к внешней жидкостной системе?
Именно так
В таком случаем нет каких-то особенных отличий от обычной жидкостной системы. Прокачка жидкости под высоким давлением по тонким трубкам, огромные внешние гидроблоки в серверной (неплохо так потребляющие энергию), жижа внутри серверов (которая даже на дорогущих фитингах иногда, но течет) и так далее.
Такой гидроблок не будет иметь никаких соединений внутри сервера. Выводим из него две медных трубы через заднюю панель — все фитинги оказываются снаружи.
Так и обычные водоблоки в серверах делают без фиттингов — всё запаяно для надёжности и только подключение сзади.
Тут всё-таки есть некоторая разница. Одно дело — несколько отдельных водоблоков, соединённых трубками, хоть и пайка, но это всё-таки соединения. Другое дело — один единственный «кирпич», к которому идут тепловые трубки. Этот кирпич можно даже сделать не внутри корпуса, а снаружи, с креплением на задней стенке. Этот вариант уже почти ничем не отличается от водяной шины на стойке, но он гораздо удобнее.
На самом деле ничего такого хорошего в куче разных водоблоков нет. Это куча водяных соединений. И если какое-то из них потечет с верхнего юнита, разница в том, что оно снаружи, а не внутри будет небольшая. Далее, надо будет использовать какие-то фитинги, предусматривающие закрытие соединения, чтобы была возможность отцеплять сервер. Куча этих фитингов тоже будет точками отказа, плюс стоить тонну денег.
Согласен, с точки зрения опасности протечек шина с нижним подключением надёжнее. Но меня очень смущает история с прижимом к ней теплообменников «на сухую». Полировка проблему не решит, можно сколь угодно тщательно всё отполировать и подогнать, но одна крохотная песчинка, попавшая между шиной и теплообменником, сведёт все усилия на нет. Отдельная неприятность в том, что нет другого способа проверить, всё ли в порядке, кроме как включить сервер и посмотреть, не перегреется ли он под нагрузкой.
Если в термопасту попадёт песчинка — тоже будет перегрев. Если в жидкостной разъем попадёт — то потечёт вода. У нас там вертикальная поверхность, вероятность появления песчинки там крайне маловероятна, разве кто-то специально её на какую-нибудь соплю приклеит. Но в этом случае песчинку скорее всего просто вдавит в шину :)
В любом случае вопрос с песчинкой — тема для будущего эксперимента.
Компьютерные корпуса в лучших традиция ВПК — хрен поднимешь, никакой эстетики и всюду углы.
Стоечный сервер… а что то не понял, радиаторы болтаются непосредственно на медных трубках, без доп. креплений? Если вы конечно не хотите сказать что вон та алюминиевая полоска это силовой элемент для крепления радиаторов…
Вертикальная шина. Вообще не понятно что к чему… Отвод к радиатору… т.е. выкидываем тепло из стойки в помещение где стоит эта стойка?
Стоечный сервер… а что то не понял, радиаторы болтаются непосредственно на медных трубках, без доп. креплений? Если вы конечно не хотите сказать что вон та алюминиевая полоска это силовой элемент для крепления радиаторов…
Вертикальная шина. Вообще не понятно что к чему… Отвод к радиатору… т.е. выкидываем тепло из стойки в помещение где стоит эта стойка?
Так там пассивные корпуса. Они априори не могут быть лёгкими с горячим железом.
Ну а вместо «теплообменника между ККТ и СЖО» почему то обозвали вертикальной шиной)
Ну а вместо «теплообменника между ККТ и СЖО» почему то обозвали вертикальной шиной)
Про дизайн — на вкус и цвет, как говорится. Лично для меня варианты на основе готовых корпусов выглядят вполне симпатично, сам пользуюсь и дома и в офисе. 30-килограммовое чудо — конечно не для всякого игромана )) Возил его как-то в машине «из точки А в точку Б», понял, что больше такой подвиг совершать не буду… Про вертикальную шину — радиатор вообще на улице висеть может, почему в помещение со стойкой?
Новые разработки по настольным ПК, еще не завершенные. Совсем легкие и не защищенные.
Не хватает детальных фото. Кроме общих планов малышей не видно что то контура охлаждения)
Вот вам бесплатная идея, можете потом рекламировать, как ноу-нау: используйте термоэлектрические элементы для более активной передачи тепла от процессора к радиатору.
Я полагаю, что одним из плюсов использование КТТ, это вынос «радиаторов» за пределы корпуса компьютера, где их можно увязать в одну общую систему через жидкостные теплообменники, при этом они более компактные, не потребляют энергию, и более эффективные по сравнению с просто жидкостным охлаждением, за счет кипения-конденсации.
Тогда
внутри начинки ЦОДов и Микро-ЦОДовбудут радиаторы в пару сотек килограмм, если не в пару тонн весом? Пассивная передача тепла будет справляться только до определённых значений тепловыделения. И вот чтобы увеличить тепловой поток от чипов или ключей к теплоносителю — можно применить термоэлектрику. Вибраций там нет, значит и жить элемент может дольше.
Необязательно отводимое КТТ тепло сдувать, можно и жидкостью собирать, всё зависит от масштабов и количества оборудования.
Непонятно что Вы понимаете под пассивной передачей тепла, в КТТ с помощью насоса, за счет капиллярных сил циркулирует теплоноситель. Вот такие миниатюрные КТТ и по 100 Вт способны передавать, в зависимости от конструкции и типа теплоносителя, а в космической отрасли применяют КТТ мощностью в несколько сотен Вт.
Непонятно что Вы понимаете под пассивной передачей тепла, в КТТ с помощью насоса, за счет капиллярных сил циркулирует теплоноситель. Вот такие миниатюрные КТТ и по 100 Вт способны передавать, в зависимости от конструкции и типа теплоносителя, а в космической отрасли применяют КТТ мощностью в несколько сотен Вт.
Я про передачу тепла от чипа к КТТ. Что там в КТТ происходит — это совсем другой вопрос. Если между охлаждаемым элементом и системой охлаждения воткнуть термоэлектрику, особенно каскадом, то можно сотни ватт спокойно отводить. Например, таким вот элементом. Скажу сразу — не реклама, просто пример хороший.
Элементы Пельтье — это игрушки в основном для оверклокеров, т.к. им нужно не просто отвести тепловую мощность, а ещё и достичь минимальной температуры на холодной стороне. Думаю, что в серверах мы их не увидим никогда, по нескольким причинам.
Во-первых, это низкий КПД. Отводя 100Вт тепловой мощности от процессора, элемент добавит к ней ещё 100Вт собственной. Для оверклокера это не проблема, но в масштабах ЦОДа это очень серьёзное увеличение затрат на питание и охлаждение.
Во-вторых, сдохший элемент является отличным теплоизолятором, а если не повезёт — ещё и сам будет подогревать процессор на те же 100Вт, что гарантированно убьёт его.
В третьих, традиционная схема с отводом тепла на обычный радиатор в случае серверов практически не имеет недостатков, т.к. у серверов нет ограничений по шуму, можно использовать компактный радиатор и любое количество вентиляторов любой мощности.
А применение термоэлементов с тепловыми трубками мне видится и вовсе бессмысленным. В традиционной схеме с воздушным радиатором смысл термоэлемента в том, чтобы увеличить температуру радиатора, т.к. от неё напрямую зависит скорость теплопередачи радиатор->воздух, т.е. производительность радиатора. Могу ошибаться, но у тепловых трубок производительность мало зависит от температуры при условии, что она выше температуры кипения теплоносителя.
Во-первых, это низкий КПД. Отводя 100Вт тепловой мощности от процессора, элемент добавит к ней ещё 100Вт собственной. Для оверклокера это не проблема, но в масштабах ЦОДа это очень серьёзное увеличение затрат на питание и охлаждение.
Во-вторых, сдохший элемент является отличным теплоизолятором, а если не повезёт — ещё и сам будет подогревать процессор на те же 100Вт, что гарантированно убьёт его.
В третьих, традиционная схема с отводом тепла на обычный радиатор в случае серверов практически не имеет недостатков, т.к. у серверов нет ограничений по шуму, можно использовать компактный радиатор и любое количество вентиляторов любой мощности.
А применение термоэлементов с тепловыми трубками мне видится и вовсе бессмысленным. В традиционной схеме с воздушным радиатором смысл термоэлемента в том, чтобы увеличить температуру радиатора, т.к. от неё напрямую зависит скорость теплопередачи радиатор->воздух, т.е. производительность радиатора. Могу ошибаться, но у тепловых трубок производительность мало зависит от температуры при условии, что она выше температуры кипения теплоносителя.
Еще раз спасибо за очень полезные комментарии. Все так. Уточню смысл применения КТТ в серверах. КТТ позволяют отказаться от части вентиляторов, не сильно значительно, но снижая потребляемую мощность этой подсистемы. Основная заметная экономия выходит за счет того, что в нашем варианте для охлаждения ЦОДа требуется гораздо меньше кондиционирования. А это снижение затрат и на приобретение кондиционеров, и на электричество и на резервирование. Будет пост с подробными расчетами для обсуждения.
Кроме дополнительного тепловыделения недостаток элементов Пельтье — в возможном образовании конденсата, а то и в обмерзании. Т.е. использовать их без мониторинга и управления в серверах нельзя. А регуляторы на десятки ампер добавят свою лепту в общее тепловыделение.
Именно.
Наглядный пример двух вещей: эффекта данинга-крюгера и бесполезности "идей" в чистом виде(кражи которых так опасаются стартаперы).
Крюгерами с Данингами и не пахнет. Сам делал рабочий прототип PID-регулятора для такой системы, видел воочую цифры, считал теплоёмкости и прочее.
Если бы не пахло, вы бы были в курсе, сколько через такой элемент можно прокачать энергии, какой у него кпд, и задуматься, почему же такую замечательную штуку столь мало используют в системах охлаждения.
Работал некоторое время в фирме в Германии, где такие решения вполне успешно продавались. В основном для охлаждения оптических сенсоров в промышленности.
А название фирмы не вспомните? Теперь интересно становится. С элементами Пельтье были мысли поработать и даже немного экспериментировали, но это не привело к ожидаемому эффекту.
В основном для охлаждения оптических сенсоров в промышленности.
Дайте угадаю требования к охлаждению оптических сенсоров: минимальная температура (чем ниже, тем меньше шумит сенсор) и отсутствие вибрации. При этом тепловая мощность небольшая, её можно отвести на пассивный радиатор вменяемых размеров.
webself какой теплоноситель Вы используете, и возникают ли проблемы с «незапуском» КТТ?
На одном из фото насос установлен вертикально, это не сказывается на работе КТТ?
На одном из фото насос установлен вертикально, это не сказывается на работе КТТ?
Теплоносители разные используются. Это может быть аммиак, может фреон, есть еще ряд вариантов. Всё зависит от условий применения КТТ, мощности нагрузки и т.д. Проблемы с «незапуском» бывают, мы их решаем. КТТ могут работать при любом положении и даже в условиях микрогравитации. Для запуска КТТ должны быть выполнены определенные условия на этапе ее проектирования и изготовления. В том числе и подбор теплоносителя.
На правах бреда — можно сделать боковинах юнита (или любую другую стенку корпуса) в виде теплообменной пластины.
И на стойке под боковины такую же пластину с трубкой СЖО для теплообмена. Площадь будет возможно достаточно большой, что бы не прибегать к термопасте.
И на стойке под боковины такую же пластину с трубкой СЖО для теплообмена. Площадь будет возможно достаточно большой, что бы не прибегать к термопасте.
Не понимаю, как это можно встроить в существующие корпуса серверов.
сделать боковинах юнита (или любую другую стенку корпуса) в виде теплообменной пластины
Тогда уж логичнее сделать теплообменником дно корпуса. Не придётся совмещать теплообменник с рельсами, а пластины жидкостного охлаждения можно размещать «бутербродом» между серверами. Для стандартных стоек придётся делать сервера форм-фактора 0,5U и 1,5U, чтобы оставить между ними место под пластины, либо делать нестандартные стойки, т.к. занимать пластиной целый юнит явно никто не захочет. В таком виде оно реально могло бы работать, если бы не одно «но»: если уж мы втыкаем водяные теплообменники между серверами, проще и удобнее встроить эту пластину прямо в корпус и подключать его гибкими шлангами к стоечной магистрали.
Мне представляется разумной такая конструкция: вставляем в корпус сервера один водоблок-теплообменник с двумя штуцерами, выходящими наружу в задней части корпуса. Теплообменник максимально простой и надёжный, никаких водяных трубок, соединений и хомутов внутри сервера, вероятность протечки внутрь минимальная. А тепловые трубки использовать для передачи тепла от процессоров к этому теплообменнику. Плюсов множество: можно выдвигать сервер не отключая охлаждение, можно унифицировать теплообменники (вплоть до форм-фактора карты PCI-E), не нужно решать проблему с тепловым контактом в разъёмном соединении без термопасты.
habr.com/ru/company/thercon/blog/452910/#comment_20189840
Человек утверждает, что разницы с традиционной водянкой в таком случае нет.
Как по мне, так лукавит.
Но это их дело — им и карты в руки.
Человек утверждает, что разницы с традиционной водянкой в таком случае нет.
Как по мне, так лукавит.
Но это их дело — им и карты в руки.
Внутри — Intel Core i7-7700K, Nvidia GTX1080,Я правильно понимаю что видеокарта тоже сделана на тепловых трубках и выведена на радиатор?
Извините, а сколько стоит такой комп? Он потом вообще потом ремонтопригоден? Или при подыхании, к примеру, видеокарточки нужно отвозить к Вам?
Есть ли вариант отправить Вам комплектуху, а вы упакуете это в корпус? Цена вопроса?(Можно сильно примерно)
Да, там две подсистемы охлаждения на тепловых трубках. И два здоровых радиатора. Процессор охлаждается на один радиатор, видеокарта — на другой. Что вы понимаете под ремонтопригодностью? Разобрать при желании это хозяйство можно. А поменять мать или видяху — вряд ли. Потому что трубки под конкретные модели сделаны матерей и видиокарт. Система охлаждения, как у желтого, обойдется в 50-60к примерно.
Да понятно, что разобрать можно всё что угодно, вопрос обычно в дальнейшей сборке до работоспособного состояния.
Понятно. Т.е. получается полу-одноразовый комп, потому что если сдохнет мать или видяха, либо всё разбирать и потом пихать в обычный корпус, либо за денежку отправлять Вам…
Исчезает та гиковская магия быстрой разборки компа и работы «потрохов» на столе, это так, к слову.
У жёлтого видяха 1060? Интересует корпус пол самую популярную мощную видюшку 1080
Понятно. Т.е. получается полу-одноразовый комп, потому что если сдохнет мать или видяха, либо всё разбирать и потом пихать в обычный корпус, либо за денежку отправлять Вам…
Исчезает та гиковская магия быстрой разборки компа и работы «потрохов» на столе, это так, к слову.
У жёлтого видяха 1060? Интересует корпус пол самую популярную мощную видюшку 1080
Английская компания AMEC Thermasol производит плоские алюминиевые тепловые трубки серии MHP. При толщине 1.2-2.5, ширине 20-50 и длине 100-500 мм отводят до 300 Вт тепловой мощности. Допускается изгибание (в т.ч. «Z», «U»), радиус изгиба 2-6 мм. Положение — любое, конечно с потерей кпд относительно оптимального (вертикального, нагреватель снизу).
Наполнены трубки ацетоном, температура кипения 56°C — идеально для электроники и, в отличие от воды не нужно снижать давление в ТТ. Также ацетон обладает низкой электропроводностью. Горюч, но летуч, за счёт чего вероятность воспламенения при протекании можно оценивать как низкую.
Цена 12-25 евро/шт.
Вопросы вызывает способ прижима мягкой трубки к радиаторам.
Наполнены трубки ацетоном, температура кипения 56°C — идеально для электроники и, в отличие от воды не нужно снижать давление в ТТ. Также ацетон обладает низкой электропроводностью. Горюч, но летуч, за счёт чего вероятность воспламенения при протекании можно оценивать как низкую.
Цена 12-25 евро/шт.
Вопросы вызывает способ прижима мягкой трубки к радиаторам.
А какой примерный порядок цен на корпуса «совсем легкие»/«со встроенной защитой от кражи»/«с меньшей защитой от кражи»?
Зарегистрируйтесь на Хабре, чтобы оставить комментарий
Привет, Хабр! Здравствуй, Теркон