Как стать автором
Обновить

Комментарии 29

Все в сумме во сколько обошлось? Длину кабеля какую брал?
Две карты и кабель обошлись около 8000р, кабель метр (мне больше не нужно пока).
На известном аукционе можно взять пару 10Gb карт (с кабелем) Mellanox ConnectX-3 на стандартный PCI-e за 5000р. Не думаю, что домашний комп без хорошей NVMe ssd способен выдать 40Гбит. Ну и даже с nvme, что с этими 40Гбит делать — как внешний диск через iSCSI использовать? Все равно задержки будут через ethernet

10Gb тоже с большой долей вероятности придётся перешивать. Всё точно так же как описано выше, возможно версия прошивки будет без суффикса Pro (смотря какая карта попадётся). Ну а вопрос зачем дома 40Gb явно выходит за рамки данного howto :)

Если 10 гигабит достаточно, Mellanox CX311A на али валом, по 35-45$, SFP+ DAC кабель еще 7-10$, включил и забыл, даже под xpenology(загрузчик под проприетарную операционку для NAS-ов от Synology) драйвера есть.
И для 10 гигабит FlexLOM дешевле будут, навскидку 647581-B21 (SFP+ 2-порт 10Gb Ethernet) всего 1400р с бесплатной доставкой из Поднебесной
Ну тут уже вопрос разницы в ценах и стоит ли эта разница возни. То есть если с 40 гигабитными вариантами разница ощутима, то для 10 гигабитной, как по мне, проще чуть-чуть доплатить и получить много где работающий из коробки вариант, плюс сеть на SFP+ проще будет дальше расширить, свичи 10-гигабитные от 150$ продаются уже.
свичи 10-гигабитные от 150$ продаются уже.

Это те где 10G аплинком? Это ж все равно не то.
микротик CRS305-1G-4S+IN на 4 порта — 12-13к рублей всего

для дома в принципе больше не надо
Маловато конечно портов, но уже интересно. Спасибо.
А ну там же MikroTik CRS309-1G-8S+IN. 20тр. Вполне себе вариант.
Уже не первый раз слышу про задержки в 10GBaseT, но так и не понял почему это должно отрицательно влиять на iSCSI СХД. Пусть 10GBaseT(2.6us) имеет в 26 раз большие задержки чем SFP+(0,1us), но ведь речь идет о микросекундах.
А мой опыт подсказывает, что большинство корпоративных сервисов нормально относятся к задержке не более 10ms (миллисекунд, что в 1000 раз больше).
Понятно что для построения SAN сети для ALLFLASH с миллионами IOPS 10GBaseT вряд ли подойдет, но насколько критична данная задержка для среднего офиса или каких нибудь не критичных к задержкам сервисов?
Если честно, у меня нет опыта построения iSCSI СХД, возможно я не учитываю какие то факторы, хотелось бы их услышать, но желательно аргументированно с цифрами.
Изначально задача-то была не про коммерческие решения, для которых all-flash дает возможность конкурентного доступа без задержек со стороны десятков/сотен приложений. Тут как с десктопными vs серверными процами — нужно меньше ядер, но более быстрых для дома, и наоборот — для сервера. Потребитель как правило один, играть в игру с локального nvme или с диска через iSCSI — будет заметна разница
Что можно дома гонять на таких скоростях?
Я например заказал комплект для 10Гбит сети, чтобы удобнее было видеоролики сводить — на серваке 11Тбайт хранилище со старым материалом, на компьютере — пара Тб свежего.
В итоге премьер шлет меня лесом, когда я пытаюсь в проект добавить сырцы и оттуда и оттуда. 112Мбайт/сек не хватает всем.
Не надо думать что 15тб для дома — это много — Исходное видео с камеры 4К дает примерно 1Гбайт/минута.
Жесткие диски обычно подключены к SATA 6Гбит/с, один диск выдает при чтении не из кэша порядка 2Гбит/с. Для домашнего HDD хранилища 10Гбит будет востребованы, но 40 — уже врядли
До 40гбит мои домашние хотелки еще не доросли… да, и мало у кого доросли, тут я согласен. Но 10Гбит — уже давно пора.
А 5ГБит не хватит? У меня материнка на z390 имеет такой порт RJ-45. Коммутаторы тоже вполне доступные, подумываю прикупить и ещё NAS собрать.
НЛО прилетело и опубликовало эту надпись здесь

10 гигабит — это 1,25 ГБ/с то есть ниже, чем любой нормальный SSD

Репликацию между нодами кластера Proxmox? Я вот уже (после добавления второй ноды) серьезно думаю. Вот только вопрос что сейчас в российских условиях сетевухами.

Интересно было бы посмотреть на эти карты вместе с адаптером, установленные в сервер.
По форм-фактору, я правильно понимаю, что карты HP FlexibleLOM изначально соответствовали low profile PCI-e а с адаптером помещаются по высоте в обычный слот расширения?
И ещё интересно, как обстоят дела с охлаждением? Подобные платы как правило спроектированы с учётом того, что они обдуваются достаточно сильным потоком воздуха. В своё время, из-за недостаточного воздушного потока, пришлось громоздить в домашнем сервере принудительное охлаждение наиболее горячих компонентов.
Да, хитрая геометрия адаптера-переходника как раз подгоняет размеры всей конструкции и положение скобы к размерам обычной платы PCIe, разве что приходится придумывать уголок для прикручивания сверху (я подобрал подходящие по типу уголков от детского конструктора, слышал что некоторые энтузиасты печатают такие уголки и даже скобы целиком). По поводу охлаждения — у меня корпуса 3U (огромные), на лицевой панели здоровые вентиляторы стоят, проблем с охлаждением даже не предвидится. Но греются эти карты прилично, это факт.

Статья выглядит немного сырой — не хватает информации о стоимости компонентов и сравнения с другими на рынке, тестирования скорости передачи "на длинной дистанции", какого-либо вывода о производительности, возможном применении и дисковой подсистеме, которая позволит использовать скорость максимально.
P.s. благо, часть этих тем раскрывается в комментариях)

Статья задумывалась как простое howto чтобы самому не забыть как всё это делается, ну заодно и опытом поделиться. Насчет «длинной дистанции» не скажу, у меня DAC кабель метр :)
Раскрою немного творческие планы — применять всё это планирую в режиме IB RDMA для своих внутренних нужд (не для NAS), поэтому и выбирал адаптеры c FDR, ну а потом по настройке IB RDMA видимо отдельную статью писать придётся.
По стоимости — эти карты легко гуглятся на аукционах и барахолках по номеру, в среднем FDR (10/40Gbps) карта будет стоить 2500р, SDR (10Gbps) 1400-1500р, хорошие кабели FDR стоят дороже карт (!), от 3000р в среднем за метр-полтора, кабели на 10Gbps как уже писали выше примерно по 600-700р. Ясное дело, что это вторичный рынок, разброс состояния железа и цен огромный. Мне вот вообще эти карты запечатанные попались.
Нифига! У меня почти такой адаптер есть, 561FLR-T, на ebay ничего про FlexibleLOM сказано не было, вставил в PCIe — думал, дохлый. Он после этого живой ещё? И что выключает отключение boot options?

Должен выдерживать втыкание в PCIe, там просто линии PCIe местами переставлены (видимо специально), питание вроде на месте. Нужно попробовать подключить через переходник и посмотреть появится ли pci устройство.
Отключение boot options я сделал для экономии времени при загрузке, иначе биос карты тормозит загрузку секунд на 10-15. В принципе, можно и не отключать.


P.S. Буквы FL в названии адаптера это FlexibleLOM. Продавцы могут об этом и не знать...

Спасибо, нужно ещё заказать переходник, чтобы смочь вставить в него что-нибудь. Вообще, во сколько он обходится с доставкой? Может, овчинка выделки не стоит и нужно было изначально искать нормальную сетёвку тысяч за пять?
НЛО прилетело и опубликовало эту надпись здесь
НЛО прилетело и опубликовало эту надпись здесь
Зарегистрируйтесь на Хабре, чтобы оставить комментарий

Публикации