Информация

Дата основания
Местоположение
Россия
Сайт
www.hostkey.ru
Численность
11–30 человек
Дата регистрации

Блог на Хабре

Обновить
Комментарии 24
(задумчиво) А что в качестве HBA? Уж не LSI? Ну тогда удачи вам до ближайшего дятла в корзине…
там нет HBA, она подключена через штатный порт на матери к инфраструктуре. ничего специального.
это обычный гигабитный эзернет контроллер интеловский, через него нода по ISCSI кормится.
Видимо, мы про разные порты. Я говорю про то, каким методом enclosure подключена к материнской плате. SAS HBA. Судя по вашему посту — это LSI.

Как человек, много созерцавший LSI в разных позах, могу сказать, что они отлично работают до того момента, пока не натыкаются на ситуацию, когда начинают работать плохо.

Для SATA мне удалось найти синтетический тест с гарантированным воспроизведением, для SCSI — нет, но там оно тоже происходит под нагрузкой при должном сотрудничестве со стороны HDD. И когда HDD решает сделать три раза ку, обе HBA'шки дружно вешают всю шину до аппаратного резета. На ядре солярки, кстати, тоже.
у нас там только SAS, все железо из HCL. Надеюсь они знают что делают в Nexenta имея 3500 коммерческих клиентов и непонятно сколько бесплатных.
upd: сколько шпинделей в массиве? Судя по фотографии — порядка 30, с учётом рейда не должны давать 7к IOPS'ов. Для чистоты эксперимента хотелось бы видеть результаты randread на этот том _после_ записи на него.
там есть ссылка на пост в котором полностью раскрыта тема используемого файлера
Прочитал. LSI. Ну, до ближайшего «ой, тут контроллер с диском не подружился» оно проживёт. Дальше — вопрос к способности солярки перезагрузить контроллер без перезагрузки ядра (или сделать это меньше, чем таймаут iscsi).

ЗЫ Всё-таки я не понимаю, как вы из 30 15kRPM дисков 7к IOPS делаете. Это явно нексента делает writeback. Покажите random read после записи (до записи там будет, очевидно, множество нулей из пустоты с произвольной скоростью).
у меня в Хосткей эксплуатируются наверно около сотни LSI контроллеров самых разных мастей. Как-то все ровно и красиво последние 4 года, дисков не теряют. Бывает что на старте не все видят, но это лечится.
7К IOPS там со всем мыслимым и немыслимым кэшированием происходит, специально вот натурный эксперимент с виртуалкой провел с логами в посте. И только в 16 потоков такая цифра выходит.
Скажи про LSA, у меня то же нет особенных притензий, в отличие от например adaptec.
>Все это подключено через 1Gbps Ethernet к нашему файлеру на NexentaStor
>Второй гигабитный порт смотрит в мир Интернет.

А почему бы не сделать bonding (LACP, IEEE 802.3ad) и не разрулить дальше все на уровне vlan?

и я правильно понял, что iscsi 1gb?
Можно, только по опыта эксплуатации на этих портах не бывает нагрузки под гигабит. Потом важно разделять мух от котлет на физическом уровне, иначе флуд или ддос на клиента выбьет том на ноде. А это наи не надо :)
Странно, у нас вот 1 гигабит очень быстро ушел под завязку. Хотя у нас сугубо свои творческие опыты, а у вас вроде бы для массового клиента :) Но в любом случаи мы уже давно подсели на HP P2000.

Ограничить скорость можно и для VLAN, правда если коммутатор вам позволяет это сделать. Да и флуд с примитивным ddos текущие коммутаторы как не странно, то же умеют делать. Ну и если уж дальше копать, можно выделить гарантированную скорость, правда надо помнить, если 1 линк ляжет — то останется 1 gb :)

Мы про массового своего клиента, система на него ориентирована. Просто опыт показывает что не надо возиться с тимингом, 1гб достаточно. По ддос — его снимают на арстримах, блэкхоля атакуемый адрес. Пока это происходит, деградация доступа еще допустима — но вот повисших виртуалок с дисками на чтение быть не должно. У нас сеть доступа к SAN гальванически отвязана от интернета, это горький опыт, пот и слезы. Это не касается корпоративных сетей, там своя песня.
> 1гб достаточно

Это вот ну просто удивительно, что 1 достаточно :) Видимо клиенты не создают, или не могут создать нагрузку.
У нас был долгий и болезненый опыт с iscsi, в итоге мы оставили его для создание копии стороджа. Тихо, медленно но верно.
Сейчас ждем и облизываемся на FCIP, все же FC очень дорог.

Ну а SAN мы изначально всегда отделяли.
Почему дорого-то? Платы на 2гб по 50 баксов, на 4гб — по 300. Коммутаторы на 2 гб фс копейки стоят, на 4 по 80-100 за порт. Вопрос в том зачем это надо, если надо кластер кормить. Кстати Нексента умеет строить из себя ФС таргет, просто ставите в нее карту и плагин- и все те тома что были доступны по iSCSI, будут видны как LUN FC.
А клиенты никогда не используют систему таким образом без нашего ведома, очень дорого выйдет. А с ведома мы предложим им другие варианты, правильно организованные частные облака.
эм.

Вот у нас сейчас потребность выросла, сейчас будем закупать.

Все же у нас с вами очень разные задачи :)

Коммутатор HP SAN switch 8/24 (AM868B) — 216700

HP Care Pack — 3y 4h 24x7 8/8 and 8/24 Swtch HW Supp (UL107E) — 45950

Многомодный 2-жильный кабель HP Premier Flex LC/LC OM4 15 м (QK735A) — 6650

Трансивер коротковолновый HP 8Gb Short Wave Transceiver (AJ716B) — 6950
Хотите готовый том на iSCSI с десяткой iops на 10g по 15 рублей за гиг + 4000 за порт доступа со всеми серверами в аренду в первоклассном ЦОД с СЛА 4 часа по железу без кэрепаков и все лицензии МС/VmWare в аренду? Обращайтесь =) хотите, посчитаю проект.
Боюсь не получится. Все должно быть в приделах своих собственных стен :)
Вы только в том самом ЦОДе представлены где Нексента стоит? Я бы взял у вас под бекапы iSCSI том, но у меня железо в М-77 стоит =(
мы сейчас запускаем проект для бакапов специально, будет rsync, ftp, scp, webdav откуда угодно по 1 (одному) рублю за гиг. Сразу после праздников сделаю еще один пост и всех приглашу потестировать.
а высокоскоростной таргет я бы не стал так далеко гонять, задержка будет существенная.
Только полноправные пользователи могут оставлять комментарии. Войдите, пожалуйста.