Pull to refresh

Comments 7

Но когда протокол InfiniBand был внедрен на Hadoop, он показал меньшую производительность, по сравнению с показателями InfiniBand в среде суперкомпьютеров.

Так логично, если поверх него гонять IP пакеты. IPoIB имеет в раз 8 больше задержки на типичных сценариях использования хадупа.

Вот куда все java программы на InfiniBand будут двигаться
Весь инфинибэнд пропитан понтами и баблом на 100500%. Если конфигурация вида «пять серваков с коммутатором» не вызывает ни у кого никаких эмоций, то конфигурация «пять серверов с infiniband и infiniband-коммутатор» вызывает трепет и зарезание костов.

TL;DR; даже если вы сделаете InfiniBand себе в продакшене, то у вас всё время будет не хватать денег на лаборатории и стенды. И все будут его ненавидеть, потому что каждый новый порт — это дорого.

В то же самое время лабораторию можно собрать на неуправляемом хламе за копейки и иметь очень похожую коммутацию.

Не подскажете, сколько стоит неуправляемый infiniband-коммутатор на 12 портов? Я вот нашёл БУшный 1G catalyst за $12. Новый — $80. На этом можно собрать приличную лабу.

А теперь, барабанная дробь, бушный ib-свитч на 12 портов: $400. За Б/У. цена различается на полтора порядка. И эти «полтора порядка» будут преследовать всех и всегда. Либо заливать всё деньгами, либо «а на лаборатории денег нет».

s/infiniband-коммутатор/ethernet-коммутатор/

Тоже первым делом на новом месте спросил коллег: почему для кластера хранения куплен б.у. IB-коммутатор, вместо 10G-ethernet коммутатора с низкими задержками (cut-through, сразу вспомнил нексусы/аристы)? Ответили: таких коммутаторов б.у. нету, а новые стоят ещё дороже чем IB. Сам не считал по деньгам, но видя GPL на нексусы, склонен доверять.


Или же и 1G/10G store-and-forward мыльниц хватает в т.ч. для задач хранения (Ceph) с их задержками? Для хадупа то думаю хватит, задержки некритичны, а вот на что большее способны 12/80$?

ceph необъятен по областям применения. На шпинделях можно хоть голубиной почтой пакеты гонять. На SSD всё чуть интереснее — ceph'а на чистом lo-тесте на быстрых DC-grade SSD при записи на единичную SSD (то есть «самое быстрое что может быть») получались цифры latency примерно такие:

avg = 0.63 ms 99.9% < 1.14 ms max = 8.25 ms

Т.е. быстрее, чем 630 мкс не будет, а в реальных инсталляциях — 0.63+0.63 + net_latency. Так что не очень ощутимо.

На NVME оно с одной стороны быстрее, с другой стороны, пики latency там всё равно очень ощутимые, так что latency коммутатора не самый острый фактор, imho.

Спасибо. А если не секрет, какие коммутаторы вы сами используете там где стоят SSD под цефом (не для лабы)?

Какие есть по специфике инсталляции. У нас нет NFV и гарантированого QoS на каждом этапе (более того, cinder такого и не умеет в полном объёме), так что гоняться за копеечными latency смысла нет.
Sign up to leave a comment.