Комментарии 6
спасибо за Ваше замечание.
да, Вы правы. Infiniband разрабатывался IBTA. То, что в Интел были разработаны и реализованы первые чипы Infiniband, а также устройства на их основе, безусловно не дает права цеплять приставку Intel к бренду Infiniband.
Заголовок спойлера
Intel Infiniband является одним из самых массовых стандартов сетей малой латентности сегодня.

тут наверно имелось в виду Mellanox Infiniband, про intel это Omni-Path.

в целлом не плохая статья. но 2 нода на 40 коров это не показатель, да и MPI ведёт себя довольно не предсказуемо в разных версиях и сборках. не было так же упомянуто про роль производительного shared storage( e.g lustre) что не маловажно, ну когда нодов более 2х во многооо раз конечно)
виртуализация в любом её виде плохо влияет на производительность подобныих вычислений, даже включенный hyper threading в HPC это маветон.
но 2 нода на 40 коров это не показатель
С чего-то надо начинать. Сейчас подобные тесты пока не выходят за пределы 4-8 узлов.

да и MPI ведёт себя довольно не предсказуемо в разных версиях и сборках
В статье есть подробная информация о версиях использованного софта. Опять же можно попробовать самому.

не было так же упомянуто про роль производительного shared storage( e.g lustre) что не маловажно, ну когда нодов более 2х во многооо раз конечно)
Мы не используем Lustre, мы используем gfs2 и ранее об этом писали в своих статьях. К тому же у нас неблокирующий свитч, и вроде как роутинг с round-robin. Поэтому есть основания ожидать, что IB будет вести себя прилично при масштабировании.

виртуализация в любом её виде плохо влияет на производительность подобныих вычислений
Вопрос на сколько плохо. В конце концов и сеть малой латентности «плохо влияет» по сравнению с большой SMP машиной. А еще лучше вообще однопроцессорная одноядерная машина с очень быстрой памятью и периферией, вообще без ОС, а только с кодом расчета и минимально-необходимой поддержкой I/O. Но почему-то так никто не делает.
Для задач HPC важна сеть малой латентности. Есть несколько таких сетей. Infiniband традиционно используется в HPC, когда используется оборудование разных вендоров. Infiniband поддерживает SR-IOV и есть открытые драйвера для Linux. Опять же есть некоторый опыт в мире по виртуализации Infiniband.
Только полноправные пользователи могут оставлять комментарии. Войдите, пожалуйста.
Информация
Дата основания

8 августа 2015

Местоположение

Россия

Численность

2–10 человек

Дата регистрации

26 сентября 2016

Блог на Хабре