Про HPE Synergy. Часть III – Дисковое хранилище D3940 и SAS-коммутаторы

Продолжение, начало – Часть I (Вступление)
Продолжение, начало – Часть II (Шасси и сервера)

Дисковое хранилище SY D3940 – один из ключевых элементов Synergy; модуль оптимизирован для использования либо как DAS (Direct Attached Storage — система хранения данных с прямым подключением, т.е. диски подключаются напрямую к серверу, и какой либо уровень RAID организует установленный в сервере контроллер), либо как программно-определяемое хранилище, типа HPE StoreVirtual VSA (или подобное). Про HPE StoreVirtual VSA можно почитать тут, Алексей все весьма подробно описал. Лично меня в применении VSA смущает только ограничение в 50 Тб и требования по памяти. Долго думал с чего начать рассказывать про D3940, потом нашел в интернете фото реальной железки и решил начать рассказ с ошибки, которую допустили парни на фото:


В чем ошибка, если расположение дисков вроде верное, ведь по схеме в отсек №1 вставляем первый диск, в отсек №2 – второй диск и так далее?


Так да не так. В документе «HPE Synergy Configuration and Compatibility Guide» указан совсем другой порядок заполнения: «For proper air flow, drives must be populated from back to front. Per the drive numbering below, begin populating bays 33 through 40, and continue to populate back to front, finishing with bays 1 through 8.» На рисунке стрелками указано более правильное расположение дисков.


В чем причина нелогичной нумерации — непонятно. Теперь про модуль. Как уже было сказано, он поддерживает установку в него 40 штук дисков SFF SAS или SATA. Нельзя (пока, по крайней мере) поставить в него SFF модуль с двумя uFF дисками, описанный во второй части «Шасси и сервера». Подозреваю, что эта функция никогда реализована не будет, так как адаптер-бокс 2 шт. uFF -> SFF имеет внутри себя RAID-адаптер, поддерживающий уровни RAID 0 и 1, а D3940 никаких адаптеров не имеет вообще, все диски из модуля презентуются адаптеру HPE Smart Array P542D Controller with 2GB FBWC, устанавливаемому в сервера. Кабели подключения и электропитания помещены в гибкий сегментированный рукав, который находится внизу модуля, при вытягивании модуля из шасси кабели разматываются, при обратной операции – сматываются, это позволяет не отключать модуль для обслуживания (для замены или добавления дисков, например).


Подключение дисков к SAS-коммутаторам выполняют SAS I/O модули, по умолчанию устанавливается одна штука в отсек I/O 1, который работает с SAS-коммутатором HPE Synergy 12Gb SAS Connection Module, устанавливаемым в слот ICM 1. Если требуется отказоустойчивость, в отсек I/O 2 устанавливается второй I/O модуль, а в отсек ICM 4 – второй SAS-коммутатор, кроме того в каждый сервер, который будет работать с дисками D3940, требуется установить контроллер HPE Smart Array P542D именно в mezzanine slot 1. Сам модуль выглядит скучно, посмотреть его можно или на фото в первой части (установлен в ICM 1), или ниже:

На всякий случай еще раз схема расположения ICM(InterConnect modules):


Так же схема коммутации внутренних компонентов, которая поясняет почему подключения происходят так, а не иначе (The storage module is only supported for connectivity with fabric 1):


Compute module 1-12, имеется ввиду сервер SY 480 Gen9 HH (Half Height), как уже говорил, в нем три отсека для установки мезонинных карт.

Таким образом, к одному дисковому модулю D3940 в полной комплектации в шасси можно подключить до 10 серверов половинного размера, либо наоборот – установить пять дисковых модулей и два сервера.

Если брать неотказоустойчивую конфигурацию, то варианты будут следующие:

• SAS Connection Module в отсеке ICM 1 подключается к основным I/O адаптерам для отсеков 1, 3 и 5;
• SAS Connection Module в отсеке ICM 4 подключается к основным I/O адаптерам отсеков 7, 9 и 11;

Получается, если дисковых модулей планируется больше трех, то придется ставить и вторые I/O модули и второй SAS-коммутатор. Согласно документации, для трех и более полноразмерных серверов (FH – full height) и двух дисковых модулей также требуется второй SAS-коммутатор.

SAS-коммутатор имеет 12 внутренних SAS портов по 4х12 Гбит/с линка на порт и создает динамический виртуальный JBOD, который может подключаться к серверам внутри шасси. Отдельно надо отметить, что Фабрика 1 – неблокируемая, что позволяет набить дисковые модули SSD и радоваться колоссальным IOPs’ам и минимальному времени на чтение. Управляется SAS-коммутатор через Synergy Composer или сервер с OneView версии не ниже 3.0.

Подключать дисковые модули в одном шасси к серверам в другом шасси нельзя, это очень большая печаль. Возможно, что-то изменится.

Вернемся к дисковому модулю D3940. Как уже говорилось, можно установить до 40 дисков SFF в модуль и до пяти модулей в шасси, итого — 200 дисков; внутри модуля можно устанавливать любые диски из перечисленных, но надо помнить, что логический массив может создаваться только на дисках одного типа. На данный момент список поддерживаемых дисков такой:


Поддерживается 44 типа дисков, причем по типу HDD примерно 45%, и примерно 55% — SSD. Максимально один дисковый модуль может предоставить 153,6 Тб (в виде 40 шт. HPE 3.84TB 12G SAS RI-3 SFF SC SSD в RAID0), или 768 Тб – пять модулей (максимум) на шасси.

Отдельно надо упомянуть контроллер HPE Smart Array P542D, который устанавливается в сервер и управляет подключаемыми к нему дисками. Он имеет на борту 2 Гб кэш-модуль DDR3-1866 MHz, 16 портов 12 Гбит/с SAS (2х4 внутренних, и 2х4 внешних), но есть следующие ограничения – 404 Тб на один логический диск и 64 логических диска на контроллер. На хосте подключенный контроллер отъедает 4,4 Гб памяти. Поддерживает уровни RAID 0, 1, 10, 5, 50, 6, 60, 1 ADM, 10 ADM.

У этого контроллера есть одна опция, приобретаемая отдельно – HPE SmartCache – позволяет организовывать многоуровневое хранение данных (tiering), т.е. при частой востребованности данных перемещает их на более быстрые SSD. Состоит, соответственно, из медленных HDD и быстрых SSD, подключенных к контроллеру, и мета-данных о востребованности блоков информации с массива, которые держит в FBWC (Flash-backed write cache, флеш-буфер записи, тот самый модуль 2 Гб DDR3). Лично я этот функционал не тестировал, было бы интересно посмотреть как выставляются уровни «температуры» данных и как контроллер справляется с «дрожанием» этого уровня.

Все это великолепие управляется с помощью SY Composer’а и на этом обзор этой части будем считать завершенным.
В завершении осталось описание сетевой части (самая сложная для меня), модулей управления (самая непонятная) и принципов построения и управления (самая интересная).