Интел усиливает позиции в HPC

На текущий момент в HPC можно выделить два основных вкуса Storage: очень быстрый локальный (но небольшого объема) и основной (более медленный, зато большой). Первый принято называть Burst Buffer.

Система хранения в HPC — это отдельная большая интересная тема. Я в нее не лез, но от коллег всякого нахватался.
Если коротко, то очень быстрый локальный Storage — редко используется по одной простой причине. Локальный, даже пусть он будет SSD, по скорости сравним со скоростью центрального хранилища, подключенного по Infiniband. Т.е. не такой он и быстрый.
А дальше можно пропустить семь томов рассказа о том, какие задачи и как распараллеливаются и, в связи с этим, как и какое хранение оптимальнее использовать. Например, фермы рендеринга, часто используют локальное хранение в связи с тем, что задача хорошо параллелится просто раздачей вида «кадр на узел». Все данные для рендера кадра можно сразу загрузить локально, а потом три дня считать (утрирую). Но в результате — на рендер фермах обходятся минималистичным Ethernet'ом и обычными NAS/SAN, никаких инфинибэндов, никаких люстр.
А если что-нибудь на тему CFD… То упирается все в латентность интерконнекта и скорость файловой системы — итерации короткие, обмена данными между узлами и узлов с СХД — много.
Основная засада Storage в HPC, это частое почти полное отсутствие «случайного доступа» к системе хранения. Итерация отсчиталась… и _все_ узлы практически идеально одновременно лезут в одну и ту же папку положить промежуточный результат, а потом все узлы дружно, одновременно, лезут в одну и ту же папку за следующей порцией данных. И тут вдруг выясняется, что энтерпрайзная СХД со 100500 миллионов миллиардов IOPS… Зависает минут на десять и неспеша разгребает очередь запросов из-за того, что эти IOPSы рассчитаны на ситуацию, когда случайные процессы в случайные моменты времени лезут к случайным файлам.
Именно по этому чаще всего в HPC видна ситуация вида — локальные диски на 10-30% вычислительных узлов, СХД включенная в ту же высокопроизводительную фабрику и, третий уровень — «обычная» СХД на медленных больших дисках, подключенная через Ethernet, или, иногда, через FC к «голове».

Как бы есть уже qpi, встроенный в процы. Заменить физический слой, и в теории можно использовать вместо IB.

Без внимания остался, на мой взгляд, такой важный сегмент как ускорители на FPGA, которые должны потеснить GPU.

Intel Parallel Studio

Тольк для HPС есть Intel Cluster Studio (включающая в себя MPI библиотеки, рантайм и анализатор производительности на кластерах).

Из упущенного: DAOS, http://storageconference.us/2015/Presentations/Gorda.pdf.