Как стать автором
Обновить

Производительность сети малой латентности InfiniBand на виртуальном кластере HPC HUB

Время на прочтение 15 мин
Количество просмотров 5.5K
Всего голосов 12: ↑12 и ↓0 +12
Комментарии 6

Комментарии 6

«Intel Infiniband»… Intel, конечно, всему голова, но стандарт просто Infiniband. :-)
спасибо за Ваше замечание.
да, Вы правы. Infiniband разрабатывался IBTA. То, что в Интел были разработаны и реализованы первые чипы Infiniband, а также устройства на их основе, безусловно не дает права цеплять приставку Intel к бренду Infiniband.
Заголовок спойлера
Intel Infiniband является одним из самых массовых стандартов сетей малой латентности сегодня.

тут наверно имелось в виду Mellanox Infiniband, про intel это Omni-Path.

в целлом не плохая статья. но 2 нода на 40 коров это не показатель, да и MPI ведёт себя довольно не предсказуемо в разных версиях и сборках. не было так же упомянуто про роль производительного shared storage( e.g lustre) что не маловажно, ну когда нодов более 2х во многооо раз конечно)
виртуализация в любом её виде плохо влияет на производительность подобныих вычислений, даже включенный hyper threading в HPC это маветон.
но 2 нода на 40 коров это не показатель
С чего-то надо начинать. Сейчас подобные тесты пока не выходят за пределы 4-8 узлов.

да и MPI ведёт себя довольно не предсказуемо в разных версиях и сборках
В статье есть подробная информация о версиях использованного софта. Опять же можно попробовать самому.

не было так же упомянуто про роль производительного shared storage( e.g lustre) что не маловажно, ну когда нодов более 2х во многооо раз конечно)
Мы не используем Lustre, мы используем gfs2 и ранее об этом писали в своих статьях. К тому же у нас неблокирующий свитч, и вроде как роутинг с round-robin. Поэтому есть основания ожидать, что IB будет вести себя прилично при масштабировании.

виртуализация в любом её виде плохо влияет на производительность подобныих вычислений
Вопрос на сколько плохо. В конце концов и сеть малой латентности «плохо влияет» по сравнению с большой SMP машиной. А еще лучше вообще однопроцессорная одноядерная машина с очень быстрой памятью и периферией, вообще без ОС, а только с кодом расчета и минимально-необходимой поддержкой I/O. Но почему-то так никто не делает.
Расскажите, пожалуйста, о причинах выбора infiniband.
Для задач HPC важна сеть малой латентности. Есть несколько таких сетей. Infiniband традиционно используется в HPC, когда используется оборудование разных вендоров. Infiniband поддерживает SR-IOV и есть открытые драйвера для Linux. Опять же есть некоторый опыт в мире по виртуализации Infiniband.
Зарегистрируйтесь на Хабре , чтобы оставить комментарий