Comments 44
UFO just landed and posted this here
Для установки модуля mSATA необходимо выполнение трёх условий: наличие разъёма SATA на MB, возможность подвести питание к модулю mSATA и размеры модуля mSATA. Для питания, обычно с модулями продаются кабель-переходник для подключения к обычным разъёмам компьютера.
Поэтому можно сказать, что существующие решения микросерверов уже поддерживают такую возможность с некоторыми оговорками конкретных реализаций.
Поэтому можно сказать, что существующие решения микросерверов уже поддерживают такую возможность с некоторыми оговорками конкретных реализаций.
UFO just landed and posted this here
Првильно я понял, в продукте RLX Technologies было 24 ядра, а в аналогичном 3U от Dell будет 9 серверов по 2-4 ядра каждый (если туда можно ставить quad-core процессоры)? Существует хоть на пальцах сравнение производительности?
И ДА и НЕТ. Если говорить о суммарной пиковой, то наверное ДА. Если разбираться по существу вопроса эффективности применения вычислительных узлов в кластерном варианте исполнения суперкомпьютера, то Всё значительнее запутаннее. Я бы заплатил за один сервер с нормальными процами, чем городил кластер из микросерверов.
Микросервера не для серьёзных HPC реализаций.
Микросервера не для серьёзных HPC реализаций.
Если говорить о пиковой производительности процессоров, то Первые процессоры имели не более двух операций за такт, тактовая частота была крайне мала. Сейчас мы начинаем сравнивать с процами, у которых поддерживается 8 операций за такт с большей частотой большим количеством ядер. Так что можно сказать, что в пиковом варианте одно сегодняшнее лезвие обскочит полное шасси первого Blade’а.
Просто для сравнения, в Azure за условный compute hour считается как раз час работы одного ядра c частотой 1.6 Ghz, и это точно не ядро современных Xeon 7xxx. Более того, эксперимент показал, что в Small Computing Instance оно по скорости как 75% от одного ядра старенького Xeon 5130, значит в облаках используют подход «больше плотность, меньше производительность»? Или это только Azure, да и то, лишь в Small Instance?
Задавая эти вопросы, Вы уходите несколько в другую область. Это эффективность процессоров, архитектуры MB, архитектуры и комплектации вычислительной нолы, архитектуры кластера и применённых технологий в его реализации. Это так сильно перевязано, что надо копать слишком глубоко и дна всё равно не достать без сборки двух стендов и выработки методики испытаний. Это сделать практически невозможно из-за необходимости привлечения ресурсов, занятых добыванием хлеба насущного. Поэтому оставим Этот вопрос без однозначного ответа. Могу сказать только одно, всё зависит от Задачи. И вряд ли все компоненты возможного решения резиново бесконечны :-).
Ввели недавно в эксплуатацию супермикру указанную в статье, довольно двоякие чувства. 4 сервера на 1u это конечно приятно, но вот из минусов:
-Очень тяжело найти память. Нужна низкопрофильная ЕСС не регистровая. На самом сайте супермикры в разделе подходящей памяти только две планки подходящие к ней, обе от Hynix на 4 и 8Гб. Не без геморроя получилось найти по 4гб, на 8 найти в России так и не вышло. Были найдены подходящие по характеристикам планки от lenovo и ibm, но цены наводят на мысль что они позолоченные.
-Конструкция. Не совсем понятно почему они в этой модели сделали так чтобы ноды вставлялись спереди. В итоге если в каждый сервер идут оба линка+квм то получается хвост из 36 линков которые надо до свитчей довести которые как правило сзади стойки. А еще и два провода питания. Выходит либо приходится над ней или под ней оставлять один юнит свободный в который это хвост зайдет, и тогда это уже не 4 сервера на 3u. Либо в зависимости от типа стойки колхозить кабель канал спереди и вести над стойкой или под стойкой. Уши все таки можно перевесить и разобравшись развернуть вентиляторы и сделать так чтобы перед и зад поменялись местами, но по какой то причине мы сочли это более нецелесообразным чем терять 1u под хвост проводов.
-Очень тяжело найти память. Нужна низкопрофильная ЕСС не регистровая. На самом сайте супермикры в разделе подходящей памяти только две планки подходящие к ней, обе от Hynix на 4 и 8Гб. Не без геморроя получилось найти по 4гб, на 8 найти в России так и не вышло. Были найдены подходящие по характеристикам планки от lenovo и ibm, но цены наводят на мысль что они позолоченные.
-Конструкция. Не совсем понятно почему они в этой модели сделали так чтобы ноды вставлялись спереди. В итоге если в каждый сервер идут оба линка+квм то получается хвост из 36 линков которые надо до свитчей довести которые как правило сзади стойки. А еще и два провода питания. Выходит либо приходится над ней или под ней оставлять один юнит свободный в который это хвост зайдет, и тогда это уже не 4 сервера на 3u. Либо в зависимости от типа стойки колхозить кабель канал спереди и вести над стойкой или под стойкой. Уши все таки можно перевесить и разобравшись развернуть вентиляторы и сделать так чтобы перед и зад поменялись местами, но по какой то причине мы сочли это более нецелесообразным чем терять 1u под хвост проводов.
Пути микры неисповедимы :-). Но всё же они стараются. Такого обилия вариантов нет более ни у одного производителя.
Что касается модулей памяти, то этот вопрос надо решать напрямую с дисти и вендором. И будет Вам счастье.
Что касается модулей памяти, то этот вопрос надо решать напрямую с дисти и вендором. И будет Вам счастье.
Их на заводе нет, а Вы про дистриков :).
Модули дорогие. Производителям делать их накладно. Из-за пары тройки модулей связываться обычно не желают. Это правда :-(. Поэтому надо покупать сразу много таких платформ и к ним партию модулей :-). На самом деле, купить такие модули можно. Исходя из Вашего опыта – не у всех они могут быть. Просто не повезло. Не напали на нужную компанию.
8u удачнее получились имхо.
Согласен, гораздо удобней когда сзади вставляются ноды а спереди корзины с дисками, а не все сразу на одной длинной железке. И никакого гемороя с памятью которой практически нет. Менеджер одной из фирм сказал что kingston начнет поставлять такую память и будет называться она KVR13E9L/4, но они только запустили производство и будет она еще не скоро. Незнаю насколько его информация актуальна. Однако экономически выгодней получается вариант в статье, и соотношение серверов на 1u больше, и можно 4 2.5'' вставить, и вроде в отличии от 8-ми нодового не требуется переходники для 2.5'' отдельно докупать.
Неправда ваша, самые высокоплотные — отнюдь не HP и Dell. Самое плотное решение известное мне на данный момент — у Т-Платформ, T-Blade-2. Оно позволяет разместить в 7U 16 плат по 2 двухпроцессорных сервера на плате. То есть 32 2х-процессорных сервера в 7U. Это дает коэффициент плотности — 4.5 сервера на 1U, или чуть более 9 процессоров на 1U, что точнее.
www.t-platforms.ru/images/pdfblade2_products_RUS/TB2%20%D0%A2%D0%B5%D1%85%D0%BD%D0%B8%D1%87%D0%B5%D1%81%D0%BA%D0%BE%D0%B5%20%D1%80%D1%83%D0%BA%D0%BE%D0%B2%D0%BE%D0%B4%D1%81%D1%82%D0%B2%D0%BE.pdf
www.t-platforms.ru/images/pdfblade2_products_RUS/TB2%20%D0%A2%D0%B5%D1%85%D0%BD%D0%B8%D1%87%D0%B5%D1%81%D0%BA%D0%BE%D0%B5%20%D1%80%D1%83%D0%BA%D0%BE%D0%B2%D0%BE%D0%B4%D1%81%D1%82%D0%B2%D0%BE.pdf
«Оно позволяет разместить в 7U 16 плат по 2 двухпроцессорных сервера на плате. То есть 32 2х-процессорных сервера в 7U.»
Не очень понятно, откуда из 16-ти плат получилось 32 сервера?
Сорри. Поперек читаю…
Не очень понятно, откуда из 16-ти плат получилось 32 сервера?
Сорри. Поперек читаю…
Да, в T-Blade-2 32 2-х процессорных сервера, но посмотрите на ограничения. Что действительно там классно, так это отдельный управляющий модуль (развитая идея ИПС РАН). Если говорить формально, то, конечно, у Т-Платформ что-то сделано. Но надо также смотреть и на архитектуру решения и на ее распространённость. Если рассматривать альтернативные решения, то необходимо говорить и о Cray, и о IBM, и о SGI… Можно поговорить и о спецрешении для интернет-компаний. В России такие технологии применены, например, в Yandex’е. Там плотность ещё выше. В рамках этого же поста предлагаю остановиться на общедоступных решениях, производители которых обеспечивают мировую гарантию.
huawei предлагает 5 процессоров на юнит. Утверждает, что это самое плотное решение. Процессоры E5-4600.
enterprise.huawei.com/en/products/itapp/server/e-series-blade-server/hw-149397.htm
enterprise.huawei.com/en/products/itapp/server/e-series-blade-server/hw-149397.htm
Это решение для HPC я бы использовать не стал бы. Даже если не брать во внимание отсутствие поддержки Infiniband, в данном решении слишком много вопросов. Например:
— 3 канала на сокет при возможности CPU иметь 4 канала.
— Невозможность организации толстого дерева для FC и 10GbE (кроме NX226, да и то в HPC это очень узко можно использовать).
— Процессоры E5-4600 достаточно горячие. Плотность очень высокая. Установить туда процы с разумной производительностью невозможно. Это офисно-облачный вариант для экзотики.
— 3 канала на сокет при возможности CPU иметь 4 канала.
— Невозможность организации толстого дерева для FC и 10GbE (кроме NX226, да и то в HPC это очень узко можно использовать).
— Процессоры E5-4600 достаточно горячие. Плотность очень высокая. Установить туда процы с разумной производительностью невозможно. Это офисно-облачный вариант для экзотики.
dl.dropbox.com/u/15877830/Screen/forum/habr/huawei.PNG
When configured with two processors, the BH640 V2 supports a maximum of 12 DIMMs.
When configured with four processors, the BH640 V2 supports a maximum of 24 DIMMs.
Each processor comes with two memory channels, and each channel supports three DIMMs.
Могу согласиться, что если требуется максимум производительности, то это не лучшая система. Однако мне кажется, это все равно достаточно интересная модель, например, для высокоэффективной виртуализации.
When configured with two processors, the BH640 V2 supports a maximum of 12 DIMMs.
When configured with four processors, the BH640 V2 supports a maximum of 24 DIMMs.
Each processor comes with two memory channels, and each channel supports three DIMMs.
Могу согласиться, что если требуется максимум производительности, то это не лучшая система. Однако мне кажется, это все равно достаточно интересная модель, например, для высокоэффективной виртуализации.
Т-платформы… Извиняюсь за оффтоп, но им явно необходимо расстрелять пару манагеров. Когда я с ними связывался после Russia Superсomputing Conference… Меня заваливали обещаниями о сотрудничестве и т.д. Но так и не прислали ответ на запрос. Позвонил опять — начали дико извиняться, договорились что скину список оборудования (весьма подробный) аналоги которого мне хотелось бы увидеть с их стороны, позвонил — сказали, что получили и что через день — два вышлют свое предложение. Итог: Все это происходило в ноябре прошлого года, а ответа жду до сих пор…
А у вас есть… нечто на подобии IBM x3850? с точки зрения надежности (в х3850 были применены некоторые фишки от мейнфреймов), чтобы можно было подойти выдернуть 1 из 2 камней при работе, и все продолжало работать естественно с потерей общей мощности (чудес, то не бывает). Так же интересует ситуация с FC… мезонинные модули чьи для блейдов? С какими вендорами они полностью совместимы?
Вопрос конструктивного исполнения серверов для получения каких-либо дополнительных возможностей (в вашем случае выдергивания CPU на «горячую») интересен сам по себе. Но, скажите, пожалуйста, Вы будете дёргать CPU во время боевого режима? Я при любых раскладах буду выполнять работы с целой вычислительной нодой, отключив её от кластера и обесточив.
Для примера, вспомните прекраснейшую компанию DEC. До сих пор её новаторские идеи баламутят компьютерный мир. Они первые, кто в серверах x86 применили горячую замену PCI-карточек. Кто-то реально этим воспользовался? Но в требованиях на тендер это прописывали.
Что касается элементов надёжности, то наверное IBM серьёзней всех подходит к вопросу. Но и они начали отказываться от дублирования в Blade-решениях. Мы сможем предложить альтернативный вариант решения на базе Dell, но прошу дать время до завтра на подготовку. Оставьте свой емейл в личке.
Кто из производителей занимается FC? Это Brocade, QLogic, Emulex, CISCO. Эти же компании делают мезонинные модули по заказу и форм-фактору компаний, выпускающих сервера. Совместимы они с теми же вендорами, но по спецификации производителя серверов. Чудес, как Вы правильно выразились, не бывает.
Для примера, вспомните прекраснейшую компанию DEC. До сих пор её новаторские идеи баламутят компьютерный мир. Они первые, кто в серверах x86 применили горячую замену PCI-карточек. Кто-то реально этим воспользовался? Но в требованиях на тендер это прописывали.
Что касается элементов надёжности, то наверное IBM серьёзней всех подходит к вопросу. Но и они начали отказываться от дублирования в Blade-решениях. Мы сможем предложить альтернативный вариант решения на базе Dell, но прошу дать время до завтра на подготовку. Оставьте свой емейл в личке.
Кто из производителей занимается FC? Это Brocade, QLogic, Emulex, CISCO. Эти же компании делают мезонинные модули по заказу и форм-фактору компаний, выпускающих сервера. Совместимы они с теми же вендорами, но по спецификации производителя серверов. Чудес, как Вы правильно выразились, не бывает.
Есть такой сервер у компании NEC, модель A1080. Данный функционал называется MCA Recovery.
www.nec.com/en/global/prod/express/scalable/a1080a/index.html
www.nec.com/en/global/prod/express/scalable/a1080a/index.html
Гляньте Fujitsu Primequest:
www.fujitsu.com/fts/products/computing/servers/mission-critical/primequest-1800e2/index.html
Насколько я понял, там материнки на бекплейне с горячей заменой, возможно это заинтересует.
www.fujitsu.com/fts/products/computing/servers/mission-critical/primequest-1800e2/index.html
Насколько я понял, там материнки на бекплейне с горячей заменой, возможно это заинтересует.
Забросаем лектора какашками? (с) Мадагаскар
В чем слабые стороны? Основные недостатки, которые видятся мне существенными:
1.Высокая цена неполного комплекта. Только при достижении заполнения порядка 70% мы получаем близкие цены с RACK’овыми аналогами.
А если добавить к рековым серверам 2 KVM, 2 Ethernet Switch-а, SAN свитч, то как по цене получится???
2.Ограничение по расширению конфигураций сервера-лезвия.
Что имеется в виду? 16 димов памяти, 2 сокета, бортовой Ethernet адаптер + 2 мезенина это мало для половииного лезвия?
3.Невозможность отторжения сервера-лезвия как самостоятельной единицы.
Типа вынести в отдельную комнату и включить в розетку? Так не для этого его и делали.
4.Ограниченность одновременного использования сетевых интерфейсов.
А можно более подробно? а то я что то никак не пойму что имелось в виду…
5.Невозможность, в ряде случаев, организовать неблокирующуюся сеть между серверами-лезвиями и внешним миром.
а что такое неблокирующаяся сеть?
6.Ограничение в применении компонентов по термопакету (например, нельзя ставить самые топовые процессоры из-за перегрева).
Кто вам такое сказал? В двухсокетной системе прекрасно работают Intel® Xeon® E5-2690 Kit ( 2.90GHz/8-core/20MB/ 135W)
7.Проприетарные технологии. Купив у одного производителя оборудование – будешь покупать только у него.
Так и задумывалось. Вы же не ставите в мерседес запчасти от жигулей.
8.Повышенные требования к инженерной инфраструктуре (электропитание и охлаждение).
Они не повышенные, они адекватные.
В чем слабые стороны? Основные недостатки, которые видятся мне существенными:
1.Высокая цена неполного комплекта. Только при достижении заполнения порядка 70% мы получаем близкие цены с RACK’овыми аналогами.
А если добавить к рековым серверам 2 KVM, 2 Ethernet Switch-а, SAN свитч, то как по цене получится???
2.Ограничение по расширению конфигураций сервера-лезвия.
Что имеется в виду? 16 димов памяти, 2 сокета, бортовой Ethernet адаптер + 2 мезенина это мало для половииного лезвия?
3.Невозможность отторжения сервера-лезвия как самостоятельной единицы.
Типа вынести в отдельную комнату и включить в розетку? Так не для этого его и делали.
4.Ограниченность одновременного использования сетевых интерфейсов.
А можно более подробно? а то я что то никак не пойму что имелось в виду…
5.Невозможность, в ряде случаев, организовать неблокирующуюся сеть между серверами-лезвиями и внешним миром.
а что такое неблокирующаяся сеть?
6.Ограничение в применении компонентов по термопакету (например, нельзя ставить самые топовые процессоры из-за перегрева).
Кто вам такое сказал? В двухсокетной системе прекрасно работают Intel® Xeon® E5-2690 Kit ( 2.90GHz/8-core/20MB/ 135W)
7.Проприетарные технологии. Купив у одного производителя оборудование – будешь покупать только у него.
Так и задумывалось. Вы же не ставите в мерседес запчасти от жигулей.
8.Повышенные требования к инженерной инфраструктуре (электропитание и охлаждение).
Они не повышенные, они адекватные.
1. Не во всех представленных решениях присутствуют перечисленные вами девайсы. Но заметка в тему. В блейдах сложно встретить одновременно все самые эффективные компоненты из вашего списка. Естественно, что любой суперкомпьютер получается сборищем компромиссов.
2. Перечислите виды мезонинных модулей. Сравните их характеристики с аналогичными платами PCI-e. Добавьте ограничения по количеству портов встраиваемых коммутаторов. Возможность установки специализированных плат в нужном количестве… Разве это не ограничения?
3. А отлаживать и ремонтировать как?
4. А вы пробовали иметь следующие интерфейсы сразу в одном шасси: FC, 10GbE, Infiniband? И это далеко не весь список возможных желаний конструктора HPC.
5. Большинство встраиваемых коммутаторов имеют больше портов внутрь, чем наружу. Все лезвия одновременно пойти во вне не могут.
6. Пожалуйста, поподробнее. В каком решении и какой плотности это возможно? Водянку не берем — слишком специфична.
7. Но всё же это минус :-)
8. Если стандартные ЦОД’ы задумываются на мощность 6-10кВт, то высокоплотные решения могут потребовать и 50кВт. Да, они адекватные, но все же повышенные относительно привычных требований.
2. Перечислите виды мезонинных модулей. Сравните их характеристики с аналогичными платами PCI-e. Добавьте ограничения по количеству портов встраиваемых коммутаторов. Возможность установки специализированных плат в нужном количестве… Разве это не ограничения?
3. А отлаживать и ремонтировать как?
4. А вы пробовали иметь следующие интерфейсы сразу в одном шасси: FC, 10GbE, Infiniband? И это далеко не весь список возможных желаний конструктора HPC.
5. Большинство встраиваемых коммутаторов имеют больше портов внутрь, чем наружу. Все лезвия одновременно пойти во вне не могут.
6. Пожалуйста, поподробнее. В каком решении и какой плотности это возможно? Водянку не берем — слишком специфична.
7. Но всё же это минус :-)
8. Если стандартные ЦОД’ы задумываются на мощность 6-10кВт, то высокоплотные решения могут потребовать и 50кВт. Да, они адекватные, но все же повышенные относительно привычных требований.
UFO just landed and posted this here
6. Вот HP, к примеру:
HP BL685c — Opteron 6380 / 115W
HP BL680c — Xeon E7-4870 / 130W
HP BL460c — Xeon E5-2680/Xeon E5-2667 / 130W
HP BL660c — Xeon E5-4650/Xeon E5-4617 / 130W
HP BL620c — Xeon E7-2870/Xeon E7-2860/Xeon E7-2850 / 130W
HP BL685c — Opteron 6380 / 115W
HP BL680c — Xeon E7-4870 / 130W
HP BL460c — Xeon E5-2680/Xeon E5-2667 / 130W
HP BL660c — Xeon E5-4650/Xeon E5-4617 / 130W
HP BL620c — Xeon E7-2870/Xeon E7-2860/Xeon E7-2850 / 130W
5. Большинство встраиваемых коммутаторов имеют больше портов внутрь, чем наружу. Все лезвия одновременно пойти во вне не могут.
Где об этом почитать подробнее, касаемо именно этой системы M1000E?
Где об этом почитать подробнее, касаемо именно этой системы M1000E?
А если говорить по теме поста, то вот, что сделал hp в этом направлении
habrahabr.ru/company/hp/blog/132733/
habrahabr.ru/company/hp/blog/132733/
Смотрим тут h18013.www1.hp.com/products/blades/components/enclosures/c-class/c7000/
Interconnects
Ethernet
HP 1/10Gbit Virtual Connect Ethernet Module
Virtual Connect Flex-10 Ethernet Module
HP 1Gb Ethernet Pass-Thru Module
CISCO Catalyst Blade Switch 3020
CISCO Catalyst Blade Switch 3120X/G
HP GbE2c Ethernet Blade Switch
HP GbE2c Layer 2/3 Ethernet Blade Switch
HP 1/10 Ethernet Blade Switch
HP 10/10 Ethernet Blade Switch
Fibre channel
HP 4Gbit Virtual Connect Fibre Channel Module
HP 16 port 4Gb FC Pass-Thru Module
Brocade 4Gb SAN Switch
Brocade 8Gb SAN Switch
CISCO MDS 9124e 4Gbit SAN Switch
InfiniBand
HP 4X DDR IB Switch Module
и сюда
h18004.www1.hp.com/products/quickspecs/14208_div/14208_div.html
тут и процы, и мезанины.
если вам мало 2-х дополнительных мезанинов, то можно взять полноразмерное лезвие, например вот такое
h18004.www1.hp.com/products/quickspecs/14394_na/14394_na.html
4 проца, 32 дима памяти, 2 бортовых двухпортовых конвергентных 10Gb мезанина, плюс 3 дополнительных
о блейдах можно долго и нудно говорить, но это не HPC!!!
Interconnects
Ethernet
HP 1/10Gbit Virtual Connect Ethernet Module
Virtual Connect Flex-10 Ethernet Module
HP 1Gb Ethernet Pass-Thru Module
CISCO Catalyst Blade Switch 3020
CISCO Catalyst Blade Switch 3120X/G
HP GbE2c Ethernet Blade Switch
HP GbE2c Layer 2/3 Ethernet Blade Switch
HP 1/10 Ethernet Blade Switch
HP 10/10 Ethernet Blade Switch
Fibre channel
HP 4Gbit Virtual Connect Fibre Channel Module
HP 16 port 4Gb FC Pass-Thru Module
Brocade 4Gb SAN Switch
Brocade 8Gb SAN Switch
CISCO MDS 9124e 4Gbit SAN Switch
InfiniBand
HP 4X DDR IB Switch Module
и сюда
h18004.www1.hp.com/products/quickspecs/14208_div/14208_div.html
тут и процы, и мезанины.
если вам мало 2-х дополнительных мезанинов, то можно взять полноразмерное лезвие, например вот такое
h18004.www1.hp.com/products/quickspecs/14394_na/14394_na.html
4 проца, 32 дима памяти, 2 бортовых двухпортовых конвергентных 10Gb мезанина, плюс 3 дополнительных
о блейдах можно долго и нудно говорить, но это не HPC!!!
Приведенные выше ссылки и выписки к микросерверу habrahabr.ru/company/hp/blog/132733/ отношения не имеют.
Если говорить о C7000, то это прекрасное решение. И HP этим пользуется. Но и у него есть много ограничений. Какие-то критичны, какие-то нет. Все зависит от задачи. Любое решение не идеально. Повторюсь, создание супера — это отдавливание не одной мозоли на любимых пальцах.
Если говорить о C7000, то это прекрасное решение. И HP этим пользуется. Но и у него есть много ограничений. Какие-то критичны, какие-то нет. Все зависит от задачи. Любое решение не идеально. Повторюсь, создание супера — это отдавливание не одной мозоли на любимых пальцах.
СерверА.
«ИнженерА со средствАми», как говорила моя преподаватель в институте в таких случаях.
«ИнженерА со средствАми», как говорила моя преподаватель в институте в таких случаях.
Sign up to leave a comment.
Что мы знаем о серверах высокой плотности