Comments 15
Очень интересно. Оказывается, Тим изменил своё мнение насчёт 16 линий PCI на карту. Раньше он говорил, что это обязательно, и я одно время в это верил. Потом наши подсчёты показали, что такая шина никогда не будет загружена. Из требования 16 линий на карту вытекали очень жесткие ограничения на выбор процессора и материнской платы. Хорошо, что он разобрался сам и не вводит других в заблуждение.
Хорошая статья. Тоже хотел перевести, но меня опередели)
Как впихнуть четыре RTX 3090, если каждая из них занимает по 3 слота PCIe?
Можно купить один из двух вариантов, рассчитанных на один слот, или распределить их при помощи расширителей PCIe. Кроме пространства нужно сразу же задуматься об охлаждении и подходящем БП. Судя по всему, наиболее простым решением будет покупка 4-х RTX 3090 EVGA Hydro Copper со специальной петлёй водяного охлаждения. EVGA много лет выпускает версии карт с медным водяным охлаждением, и качеству их GPU можно доверять. Возможно, есть варианты и подешевле.
Расширители PCIe могут решить проблемы с пространством и охлаждением, однако в вашем корпусе должно быть достаточно места для всех карт. И убедитесь, что расширители достаточно длинные!
Как охлаждать 4 RTX 3090 или 4 RTX 3080?
См. предыдущий раздел.
— Майнеры уже давно придумали как впихнуть невпихуемое, вариантов много на любой бюджет
— Если нужно красиво и по богатому, то есть отличные брендовые сервера = например HPE ML350 G8(сняты с производства) или более новые модели…
На али есть даже расширитель с одного 1х на восемь 16х :) для майнеров.
А не могли бы кинуть ссылку, как они там впихивают? Если не сложно? У меня просто видяха тож аудиокарту теснит. Любопытно стало.
=) ну например вот так , хочу отметить что этот вариант очень не плохо смотрится )))
или вот так
если речь про 1-2 карты = бу графические станцы от хепе Z600 не плохой вариант ))))
но в етом случаи блок питания ну очен кастамный и заменить врядли получится…
ну и хепе 350, тоже бу )))) можно впихнуть 4 двух слотовые карты, в шасси находится 4 хот плаговых блока питания, и каждый может быть от 460 до 1200 ват (миксовать бп нельзя, должны быть все одинаковые)
или вот так
если речь про 1-2 карты = бу графические станцы от хепе Z600 не плохой вариант ))))
но в етом случаи блок питания ну очен кастамный и заменить врядли получится…
ну и хепе 350, тоже бу )))) можно впихнуть 4 двух слотовые карты, в шасси находится 4 хот плаговых блока питания, и каждый может быть от 460 до 1200 ват (миксовать бп нельзя, должны быть все одинаковые)
Спасибо, просветился )
Уточню.
Вариант 1 (который неплохо смотрится) — плохой вариант как для дома, так и для индустриального использования. Для дома плох тем что карты друг над другом- они изжарятся очень быстро. Нужно продувать сбоку- а это дополнительные вентиляторы, которые шумят и выходят из строя;
Вариант 2 хорош, но только для индустриального использования, ибо воет как боинг на взлёте (8 сапфиров по 230 ватт, расположенных вплотную друг к другу требуют весьма сильных вентиляторов на продувку);
Фирменные рабочие станции рассматривать смысла не вижу- карт много не впихнешь, зато новые стоят как самолет. Так себе вариант. Скорее баловство. Как рабочий комп- да, как вычислительный комп- однозначно нет.
Если буквоедствовать, то HP z600 — древний бесполезный хлам, если ктото впечатлится «изяществом линий» от HP, то лучше смотреть на чтото поновее- типа HP z840;
В общем и целом- ничего лучше открытого каркаса для сборки машины от 3х гпу не придумано. Ну это если речь о несерверных вариантах; если говорить о дешевых серверных, то я видел недорогую сборку в noname стоечном корпусе куда умудрились запихнуть 2 бытовых гпу, но смысла в этом не очень вижу;
Ну и для общей образованности: надо понимать что существуют стоечные корпуса с сильной продувкой, заточенные именно под массив серверных гпу с пассивным охлаждением (типа tesla v100 и тп).
Вариант 1 (который неплохо смотрится) — плохой вариант как для дома, так и для индустриального использования. Для дома плох тем что карты друг над другом- они изжарятся очень быстро. Нужно продувать сбоку- а это дополнительные вентиляторы, которые шумят и выходят из строя;
Вариант 2 хорош, но только для индустриального использования, ибо воет как боинг на взлёте (8 сапфиров по 230 ватт, расположенных вплотную друг к другу требуют весьма сильных вентиляторов на продувку);
Фирменные рабочие станции рассматривать смысла не вижу- карт много не впихнешь, зато новые стоят как самолет. Так себе вариант. Скорее баловство. Как рабочий комп- да, как вычислительный комп- однозначно нет.
Если буквоедствовать, то HP z600 — древний бесполезный хлам, если ктото впечатлится «изяществом линий» от HP, то лучше смотреть на чтото поновее- типа HP z840;
В общем и целом- ничего лучше открытого каркаса для сборки машины от 3х гпу не придумано. Ну это если речь о несерверных вариантах; если говорить о дешевых серверных, то я видел недорогую сборку в noname стоечном корпусе куда умудрились запихнуть 2 бытовых гпу, но смысла в этом не очень вижу;
Ну и для общей образованности: надо понимать что существуют стоечные корпуса с сильной продувкой, заточенные именно под массив серверных гпу с пассивным охлаждением (типа tesla v100 и тп).
где такое приобрести не дорого?
В ролике расcказывают, про изготовление кастомного корпуса, как раз с выносом PCIe.
www.youtube.com/watch?v=hxYPmivCpLI
www.youtube.com/watch?v=hxYPmivCpLI
На простом примере перемножения матриц A*B=C, где размер всех матриц равен 32×32, я покажу вам, как выглядит перемножение с тензорными ядрами и без них.
Скажите, а тензорные ядра добавят производительности, при перемножении матриц большОго размера (10000х10000 и т.п.)?
В статье есть очень неприятная ошибка. Данные о сравнении производительности RTX 30x с RTX 20x скорее всего неверные, они опираются на измерения, полученные с разными версиями ПО (кстати пруфа на эту статью в тексте нет, вот он:
https://www.pugetsystems.com/labs/hpc/RTX3080-TensorFlow-and-NAMD-Performance-on-Linux-Preliminary-1885/).
Вместе с упоминанием о росте вычислительной эффективности ничего не сказано о снижении количестве тензорных ядер где-то в 2 раза.
Я к чему все это: в реальности производительность тензорных вычислений на rtx 30x в сравнении с rtx 20x может быть совсем не так хороша, реальных сравнительных тестов, к сожалению, пока что нет (за исключением указанного, но на него нельзя опираться по указанной выше причине).
Хороший перевод хорошей обзорной статьи. А кто-нибудь делал сам корпуса/стойки под ГПУ — кластеры? Хочется почитать про то, как кто-то своими руками колхозил стойку и с чем в процессе эксплуатации пришлось столкнуться. Просто смотришь иногда даже на хорошие корпуса и думаешь — здорово бы самому все сделать и пространство в нем распределить по-своему.
Загуглите типичный каркас для открытого рига — это оно и есть. Делается совершенно несложно из 12-ти реечек.
-Основная проблема компоновки (особенно с крупногабаритными картами, типа msi gaming x trio, когда их пять и более) — короткие провода у блоков питания. Ну и сами качественные бп на такие мощности- тоже сложно найти, выручают китайцы, но качество под вопросом; можно также использовать несколько бп в одной сборке- это нормально работает, но это гемор и лучше купить один бп на 2КВт;
-Также вызывает напряг нетривиальность подборки материнской платы, которая имеет нужное количество pci-e разъёмов и поддерживает 1-1.5 ТБ памяти (я за брендовые двухпроцессорные superMicro или Dell под xeon 26xx v4) и собственно стоимость этой памяти (ну это если нужно столько памяти; если ненужно — открывается огромный рынок дешевых китайских однопроцессорных плат под xeon 26xx v3 с поддержкой до 128 ГБ памяти);
Собственно с эксплуатацией проблем никаких нет, охлаждение сильно лучше закрытого бытового корпуса (да и нет никаких корпусов, где можно нормально разместить хотябы 5 трехслотовых гпу на райзерах), даже с кучей вентиляторов на сквозной продув. Ну внешний вид колхозный. Но зато терафлопсов дофига)
-Основная проблема компоновки (особенно с крупногабаритными картами, типа msi gaming x trio, когда их пять и более) — короткие провода у блоков питания. Ну и сами качественные бп на такие мощности- тоже сложно найти, выручают китайцы, но качество под вопросом; можно также использовать несколько бп в одной сборке- это нормально работает, но это гемор и лучше купить один бп на 2КВт;
-Также вызывает напряг нетривиальность подборки материнской платы, которая имеет нужное количество pci-e разъёмов и поддерживает 1-1.5 ТБ памяти (я за брендовые двухпроцессорные superMicro или Dell под xeon 26xx v4) и собственно стоимость этой памяти (ну это если нужно столько памяти; если ненужно — открывается огромный рынок дешевых китайских однопроцессорных плат под xeon 26xx v3 с поддержкой до 128 ГБ памяти);
Собственно с эксплуатацией проблем никаких нет, охлаждение сильно лучше закрытого бытового корпуса (да и нет никаких корпусов, где можно нормально разместить хотябы 5 трехслотовых гпу на райзерах), даже с кучей вентиляторов на сквозной продув. Ну внешний вид колхозный. Но зато терафлопсов дофига)
Sign up to leave a comment.
Что покупать для глубокого обучения: личный опыт и советы использования GPU