Комментарии 52
Это на 0,1 TFLOPS больше, чем у видеокарты nVidia GeForce RTX 2080 Ti.
Это на 13 TFLOPS больше, чем у видеокарты nVidia GeForce RTX 2080 Ti (https://www.techpowerup.com/gpu-specs/geforce-rtx-2080-ti.c3305). Что за дурацкая идея, что скорость суперкомпьютера в 2019 году считают по одинарной точности?
Суперкомпьютер «Фишер» состоит из 24 вычислительных узлов с 16-ядерными процессорами
Скорость по одинарной точности
Зависит от области приложений. Иногда достаточно и одинарной точности. На игровых карточках двойная точность урезана искусственно. Возьмите «Теслы»
Tesla v100 — 7.8 TFLOPS double, 15.7 TFLOPS single
Ну пускай собирают на базе 20xx те, кому нужна одинарная или половинная точность. В институте пока что основная база программ требует двойной точности, поэтому собрали то, что удовлетворяет нуждам.
С видеокартами — стоит уже "Десмос", частично задача и в том, чтобы увести с него пользователей, которые видеокарты не используют.
upd. Пока писал коммент, название изменили, и теперь оно действительно отражает суть статьи.
сколько лет понадобилось?
А ну да сделано то всеравно у ТМСЦ. Порядок!
Предыдущий кластер состоял из 32-х узлов с адаптерами на базе СБИС и процессорами Intel Xeon E5-1650 v3.
Ангара — это коммутатор, обеспечивающий передачу данных между «считалками».
название изменили, и теперь оно действительно отражает суть статьи
Ну да, было "незваный гость хуже татарина", стало "незваный гость лучше татарина".
На самом деле, именно российская часть — интерконнект "Ангара" — по задержке на пересылку MPI сообщения сопоставима с Infiniband, 0,85 мкс против [0,9 мкс у Infiniband] (http://sc16.supercomputing.org/sc-archive/tech_poster/poster_files/post149s2-file3.pdf).
До некоторой степени, да. "Ангара" работает, но любят всё российское у нас только на словах, а на деле НИЦЕВТу не особо верят и на предложения собрать на их интерконнекте хотя бы тестовый кластер отвечают "мы перезвоним". Ну вот в ОИВТ всё-таки собрали.
По стоимости — 32 видюшки без блоков питания, матплат, оперативной памяти, процессоров, дисковой и сетевой периферии тоже как бы не нужны, а со всем этим они и стоить сразу начинают ого-го.
В статье везде путаница с терминологией. Там то про сетевой интерфейс, то про вычислительный узел (который почему-то назван суперкомпьютером). Короче, что это было на самом деле так и не поняла.
Я конечно не специалистка, но всегда считала, что суперкомпьютер отличается от кластера в частности тем, что между узлами используется не сетевой интерфейс, а высокоскоростные шины.
В суперкомпьютерах обычно используется Infiniband. Считать его сетевым интерфейсом или нет — вопрос религии. Другое дело что там используется его RDMA функционал.
В первом случае очень дорого, но получаем некое подобие SMP (aka NUMA).
Во втором случае всё действительно очень похоже на соединение сетевыми картами, только интерфейсы и протоколы более скоростные с меньшими задерками, но и длина зачастую существенно меньше. Ну и это кластер, а не SMP/NUMA.
В статье с кричащим названием какая то непонятная мешанина фактов. Одному мне здесь многое непонятно?
Энергопотребление до 20 Вт
Маловато будет. Может, всё-таки киловатты?
Я немного не понял. Эта карта что-то вычисляет? Столько террафлопс на 20Вт? На 65нм тех процессе? Да это почти перпетуум мобиле! Или же этот кусок устаревшего г… на просто позволяет отправить пачку данных в супер компьютер на сверхвысокоростную обработку на такой огромной скорости? Как я понял это именно об этом и идёт речь. При чём здесь 2080? Ну создали сверх быстрый интерфейс. Ну молодцы. Но не он эти операции обсчитывает. Это блин как рекламировать модем. Который быстрее звуковой карты, поскольку может музыку скачать за 2 секунды, а звуковая карта такой сигнал вообще не воспроизведет. Нелогично? Как и эта статья.
Интересно, если нельзя притянуть за уши какую-нибудь компанию покрупнее, то статья и не будет написана. Это так работает?
Уже давно и смартфоны разработали, показывали, и внедряли планшеты в школы, и даже глонасс сделали, правда, ненадолго, и ракеты в мультфильмах.
Однако, в настоящий момент на сайте Ангары нашел только PCIe-карты, коммутаторов не видать…
Прочитал, спасибо. Нет там коммутаторов. Узлы соединяются друг с другом, образуя кольцевую (тороидальную) шину. Коммутаторы Infiniband «могут быть организованы в сети с топологиями типа утолщенное дерево (Fat Tree), Сеть Клоза, реже — многомерный тор, двойная звезда, и в различных гибридных комбинациях», т.е.вариантов больше. Я также вижу слабое место — гигабитная сеть в параллели с ангарой. Infiniband в себя также инкапсулирует IP и не требует отдельной сетевой карты, отбирающей ресурсы PCIe шины, необходимой для CUDA и интерконнекта.
Тем не менее, будем посмотреть, во что это все вырастет.
Да, тесты все для PCIe исполнения. Что в новой системе коммутаторная версия — я только из этой новости и узнал.
Тор — это неплохо, по крайней мере, для HPC. IBM Blue Gene с тороидальной топологией сети какое-то время стабильно занимали первые места в Top500. Сейчас, правда, сами IBM ушли в сторону Fat Tree — как объясняют, на большой системе проводов меньше.
С точки зрения MPI, тор даёт быстрее точечные обмены (send/receive) между соседними узлами, а fat tree — глобальные операции (broadcast, scatter/gather, reduce, alltoall).
Он хоть дешевле чем 32 видеокарты + матплаты с процами к ним?
То есть экономически оно выгодно?
Он хоть дешевле чем 32 видеокарты + матплаты с процами к ним?Вы забыли про систему охлаждения и про энергоснабжение, соответствующее охлаждению. Но это мелочи, наверняка цена станет основным козырем, терафлопсы есть терафлопсы, не так ли?
В оригинальном пресс-релизе:
В ОИВТ РАН уже несколько лет используется суперкомпьютер DESMOS мощностью 52,24 Тфлопс, созданный на базе предыдущего поколения сети «Ангара». Его вычислительные мощности оказались настолько востребованы учеными, что было принято решение о создании «младшего брата» этого суперкомпьютера уже на базе нового поколения коммутационной сети. Его производительность рассчитана под конкретные задачи, но при необходимости возможности «Фишера» могут быть существенно расширеныСамое трудное — конкретность каких-то задач и возможность расширения. Но всё решаемо, конечно.
До основания стартапа по закупке видеокарт осталось несколько шагов:
— Уточнить решаемые задачи.
— Прикинуть решение «на видеокартах».
— Получить сертификаты по допускам и надежности.
— С легкостью выиграть конкурс по цене.
— Начать массовые продажи решения в другие институты и учреждения, в которых заседают замшелые старики, которые до сих пор думают, что видеокарты годятся лишь для игр и майнинга.
— Написать книгу о свершившейся революции.
А что он дороже-то будет? Плюс-минус одинаково стоит, и доля утилизируемой производительности от пиковой выше, чем с видеокартами.
Память, дисковое хранилище, интерконнект, система охлаждения, ИБП — нужны в равной мере CPU и GPU системам. Или видеокарты должны магическим образом без этого всего образовать параллельную вычислительную систему?
Сравнить видюху с компом… Это только русские так могут!
А бюджету эта "разработка" обошлась как строительство завода Nvidia? Покажут путену матплату Huanan с русскими наклейками и он ещё трилиончик на реализацию. Ничего нового.
Я немного не понял насчёт минусов… Если хабр прополитизировался, то может кто подскажет альтернативы?
Никто так и не написал как связанны сетевая карта которая сама ничего не считает и видеокарта, которая сама считает. Какие террафлопсы? Зачем сравнивать пору с пальцем?
В России разработан суперкомпьютер, который в 32 раза быстрее видеокарты GeForce RTX 2080 Ti