Российская СХД AERODISK: нагрузочное тестирование. Выжимаем IOPS-ы

[Cobolorum]

А можно поподробней с п.1, что в вашей системе российского?

[Viacheslav_V]

В первую очередь программное обеспечение, во вторую – проектная и рабочая документация, элементная база, процессы производства, тестирования и технической поддержка. В общем, также как у всех производителей в разных странах :-)

Чуть более подробно можно почитать в первой части нашей первой статьи: habr.com/ru/company/tssolution/blog/425309

[vdem]

Выжмите из интернета еще больше, и загрузите в качестве КДПВ не 3 Мб малоинформативную картинку, а 30 Мб.

[Viacheslav_V]

Большое спасибо. По ошибке загрузили не сжатую картинку. Исправились :-)

[SAAE]

Напишите, пожалуйста, модели дисков, которые участвовали в тестировании. Либо ТТХ.

[Viacheslav_V]

Конечно

[SAAE]

Спасибо. Производитель диска говорит что скорость случайной записи с блоками по 4 кБ равна 400KIOPS. В одном LUN 12 дисков в RAID10. (12*400000)/2=1200KIOPS. Ваш же тест показал всего 438KIOPS. Где же остальное?

[Viacheslav_V]

Это номинальная заводская характеристика диска. То есть если в идеальных условиях напрямую пустить в диск нагрузку, то он покажет с одного диска 400к IOPS. Чтобы эти условия создать, нужно исключить влияние файловой системы хостовой ОС, мультипасинга ОС, таргета СХД, защиты RAID СХД, а также псевдофайловой системы СХД, которая делит пулы на чанки. Если всего этого не будет, то с одного диска можно получить 400k IOPS. Но без всех этих прослоек не будет ни избыточности, ни мониторинга, ни отказоустойчивости, ни интеллекта. Будет просто диск в вакууме, который дает 400k IOPS, что никакой полезной функции в себе не несет.

[Hardened]

Полоса 6GB на 4x 16G FC очень достойно. Расскажите про свой Multipath, он все линки утилизирует даже с соседнего контроллера? Или я не разобрался и это с двух лун, каждая под своим контроллером?

[Viacheslav_V]

Спасибо, старались :-).
Используется обычный асимметричный acitve-active (ALUA). Линки второго контроллера до LUN-а, который зацеплен за первым контроллером используются, но только "по праздникам", поскольку это не оптимальный путь. И да вы правы, LUN-ы мы тут раскидали по двум контроллерам, чтобы оптимально утилизировать контроллеры, поэтому к сожалению никакой магии :-) просто корректная настройка.

[Hardened]

Вы классическую ошибку заказчиков совершаете. Люди складывают номиналы и цены дисков, на основе этого ТЗ выставляют. Даже в случае локального RAID все будет уже не так радужно. А в случае сетевой СХД и подавно?

[Viacheslav_V]

В нашей практике заказчики указывают требования к производительности по-разному, бывают сразу оба варианта (номинал и при условиях настроенной СХД).

При этом проверяются на приёмке оба варианта тоже по-разному.

Сумму номинальных IOPS-ов в ТЗ пишут, как требования к именно носителям (это гарантия чтобы производитель плохие диски не поставил, т.к. не все ССД одинакового объема и DWPD одинаково полезны). Это подтверждается с помощью оригинального описания изготовителя диска, ну и при желании заказчика, с помощью запуска теста на один диск без прослоек.

IOPS-ы в ТЗ, которые получаются с самой СХД, обычно пишут отдельно, указывая соотношение чтения и записи, размер блока и прочие условия.

Частный пример ниже:

Этот вариант уже проверяется в живую на настроенной СХД.

[Andrew225]

Блочный доступ это конечно интересно, но намного интереснее на мой взгляд файловый.
Интересуют следующие сценарии
1) Файловый сервер CIFS/SMB с клиентами на Win и Lin
2) Хранение виртуальных машин с доступом по NFS + какая нибудь отечественная виртуализация на OS+KVM

[Viacheslav_V]

Добрый день.

1)Производительность файлового доступа обязательно покажем в одной из следующих статей. Только наверное лучше сделаем связки SMB>Windows, NFS>Linux

2)Этот сценарий мы тоже покажем, но на другом продукте. У нас есть гиперконвергентная система AERODISK vAIR, в которой есть свой облагороженный KVM.

[pup51k]

Скажите, пожалуйста, как вы на одном хосте с двумя FC 16 Гбит/с в тестах 2 и 3 получили пропускную способность более 5 ГБ/с? Ведь два FC 16G дают максимум 3,2 ГБ/с.

[Viacheslav_V]

Спасибо за замечание. На картинке была небольшая неточность (уже исправили), хотя в тексте было написано правильно. В сервере две двух портовые карты 16G (4 порта на сервер) и в СХД две двухпортовые карты 16G (4 порта на СХД)

[pup51k]

Ок, а тогда в тесте 3 вы не уперлись ли в пропускную способность FC-адаптеров, а не в лимит СХД?

[Viacheslav_V]

Уперлись в 4 порта 16G на хосте (на СХД можно ещё 4 добавить).

16Гбит\сек = 1,6 ГБ\сек * 4 = 6,4 ГБ\сек максимум. У нас 6,28.

на всякий случай источник

https://fibrechannel.org/wp-content/uploads/2017/04/FCIA-SpeedMap-Final.pdf

[pup51k]

Да, я в курсе, не зря же я вам выше про 3,2 ГБ/с на два интерфейса писал (1,6 ГБ/с * 2). Просто значения очень близки к потолку пропускной способности, мало ли. А контроллеры СХД работают в пол силы. Так может стоило ввести в тестирование второй хост, чтобы еще IOPS-ов выжать? Может быть вы все уже проверили и померили, и больше от СХД не получить, ну тогда вопросов нет.

[Viacheslav_V]

Спасибо. Как раз на следующий тест ENGINE (и не только) для Хабра мы добавим дополнительных серверов.

Сейчас есть проблема в свободных мощностях.

В данный момент у нас все вычислительные мощности задействованы в разработке и внутренних тестах и мы категорически не хотим их оттуда выдергивать (пробовали, плохо заканчивается).

Как раз сейчас появился свободный хороший сервер, поэтому решили не ждать, задействовали, показали результат.

Сейчас как раз готовим большой дополнительный стенд внешнего нагрузочного тестирования (для заказчиков, партнеров и чтобы статьи тут писать :-)), думаю через месяц — полтора он будет готов и как раз на нем уже получиться развернуться на полную.

[Hardened]

А поверх Ethernet работаете, с плюшками типа RoCE? На каких нибудь Mellanox 40/10G в режиме прямого включения сервер — СХД

[Viacheslav_V]

Просто использовать 40G, 100G можно, но RoCE пока не поддерживается, ещё до этого не дошли.

[yahonts]

Классная статья!
Сможете написать результат или запилить статью где будет тоже самое, но не raid-10.
Интересен результат для двух raid-6 10+2 или аналогичный raid-60