Сегодня перед нами стоит чрезвычайно сложная задача – начать цикл статей, освещающих сетевое оборудование, предназначенное для работы в дата-центрах. В основном материалы цикла будут посвящены разнообразным системам хранения данных лидирующих вендоров, однако мы не хотим ограничивать себя исключительно SAN-устройствами и планируем несколько статей отвести рассмотрению коммутационного оборудования и серверов. Для кого же предназначен данный цикл материалов? В первую очередь, мы хотим познакомить наших клиентов с тем оборудованием, которое они могут размещать на технологических площадках дата-центров SAFEDATA, помочь с выбором именно того аппаратного обеспечения, которое необходимо. И во-вторых, мы бы хотели поделиться полученными в результате тестирования и эксплуатации сведениями, которые, безусловно, окажутся интересными и полезными администраторам, обслуживающими соответствующие системы хранения и передачи данных.
Стоит сразу отметить, что клиентам SAFEDATA не обязательно самостоятельно приобретать и обслуживать дорогостоящее оборудование, указанные задачи можно делегировать менеджерам и инженерам компании, взяв требуемые устройства в аренду. Данный же цикл статей позволит определиться с конкретной моделью коммутатора, маршрутизатора или хранилища, максимально подходящей для решения поставленной задачи.
Начать же серию обзоров и тестов мы решили с системы хранения данных IBM FlashSystem 820, демонстрирующую потрясающую производительность и надёжность.
Постоянное развитие информационных технологий приводит к тому, что всё большее значение начинает играть производительность серверов и систем хранения. Задачи хранилища теперь не ограничиваются простым хранением пользовательских данных, сегодня от них требуется обеспечение высокоэффективного доступа к размещённой на них информации. Высокие скорости доступа и низкие времена отклика могут предоставить устройства, построенные на базе флеш-памяти. Сетевое хранилище IBM FlashSystem 820 использует флеш-память построенную на базе eMLC (enterprise MLC), являющуюся более надёжной по сравнению с MLC (Multi Level Cell) за счёт добавления ECC и увеличения количества циклов записи до 30000 (обычная MLC поддерживает до 10000 циклов стирания/перезаписи). Также, по заявлению производителя, поддерживаются модули на базе памяти SLC (Single Level Cell) с количеством циклов стирания/перезаписи равным 100000. Существует две модификации FlashSystem 820, отличающиеся объём предустановленной флеш-памяти: 10 или 20 Тбайт. Установленные модули флеш-памяти могут объединяться в массив RAID0 или RAID5. Основные технические характеристики СХД IBM FlashSystem 820 представлены в таблице ниже.
Пожалуй, сейчас самое время пояснить, что мы имеем в виду под сокращениями Кбайт, Мбайт, Гбайт и так далее. Под Кбайтом мы понимаем 1024 байта, под Мбайтом – 1024 Кбайт… То есть Гбайт будет равен 2^30 байт, а не 10^9. В этот раз мы решили отказаться от формально более правильных приставок киби, меби, гиби и теби, то есть от величин КиБ, МиБ, ГиБ и ТиБ, чтобы не смущать часть наших читателей, не готовых пока к таким приставкам. В следующей статье мы сразу же будем использовать правильные сокращения.
Отличие модификаций заключается в используемых модулях флеш-памяти, модификация 20 Тбайт обладает сдвоенными.
Также мы решили перечислить функциональные возможности и предоставляемые ими преимущества.
Технология VSR (Variable Stripe RAID) предоставляет защиту данных на уровне страницы памяти, блока или даже целого чипа. Такая защита позволяет избежать замены целого флеш-модуля в ситуациях, когда отказывает какой-либо отдельный чип. Как следствие, частота обслуживания хранилищ серии FlashSystem 820 существенно снижается.
Основные элементы архитектуры сетевого хранилища IBM FlashSystem 820 представлены на схемах ниже.
Модель FlashSystem 820 не является единственной системой хранения IBM, построенной на базе модулей флеш-памяти. Данный вендор предлагает также модели FlashSystem 710, 720 и 810. Соотношение производительности и доступности для всех четырёх моделей представлено ниже. Говоря о повышении доступности, стоит отметить, что в моделях FlashSystem 720 и 820 реализована технология защиты данных 2D Flash RAID.
В то время, когда мы готовили наш тестовый стенд к первым измерениям, компания IBM выпустила новую систему хранения данных – FlashSystem 900. Данная модель предлагает ещё большую производительность: до 1.1 MIOPS для операций чтения, 800 KIOPS для смешанного режима и 600 KIOPS при выполнении записи данных. IBM FlashSystem 900 использует MLC флеш-память, разработанную совместно с компанией Micron. В новой флеш-памяти устранён один из основных недостатков MLC-чипов – количество поддерживаемых циклов стирания/перезаписи: по заявлению производителя жизненный цикл новых чипов теперь не уступает таковому для eMLC-памяти. В компании IBM решили в принципе отказаться от использования eMLC флеш-памяти в новых моделях СХД.
Вернёмся теперь непосредственно к обсуждаемой модели – FlashSystem 820 – и рассмотрим возможности по её настройке.
Управление сетевым хранилищем IBM FlashSystem 820 производится с помощью java-приложения, запускаемого браузером, при обращении по протоколам HTTP или HTTPS к устройству. При входе требуется ввести логин и пароль, а также указать, необходимо ли использовать шифрование.
После ввода корректных учётных данных перед администратором открывается главное окно программы Monitoring Utility, позволяющей производить настройку и собирать статистику одновременно с нескольких систем хранения FlashSystem.
Мы не станем подробно рассматривать все возможности данной системы управления, однако остановимся на наиболее на наш взгляд интересных.
Меню Options позволяет производить добавление систем хранения в ручном или автоматическом режиме, осуществлять подключение сразу к нескольким FlashSystem, производить множественное обновление прошивки, отображать статистические данные для нескольких систем хранения.
Настройки утилиты в основном связаны с выбором способа обнаружения систем хранения данных в локальной сети.
Здесь стоит отметить, что под обнаружением понимается автоматический поиск и добавление именно управляющих модулей FlashSystem. Меню Actions позволяет выключать или перезагружать устройства, сохранять или восстанавливать конфигурацию, разрывать управляющее подключение или удалять систему хранения из списка.
Две расположенные внизу вкладки («Recent Event Log» и «Task Monitor») отображают список событий, происходящих с устройством, а также набор выполненных заданий администратора.
Какие же действия можно выполнять с самим устройством? Группа меню «Logical Units» позволяет управлять «виртуальными дисками» (LUN): создавать разделы требуемого размера, удалять ненужные, а также изменять параметры доступа.
В группе «Storage» представлены все флеш-накопители, установленные в хранилище. Допускается установка флеш-накопителей объёмом 1 Тбайт и 2 Тбайта. Все установленные флеш-карты могут быть объединены в RAID-массив.
Поддерживается два типа массивов: максимальной ёмкости (аналог RAID0) и RAID5. Для повышения надёжности рекомендуется использовать массив RAID5, именуемый IBM 2D Flash RAID, так как внутри самого модуля также используется массив RAID5, обеспечивающий отказоустойчивость всего модуля при выходе из строя одного из десяти чипов (девять хранят пользовательские данные, один используется для чётности). Стоит отметить, что при создании массива RAID5 не все модули используются для хранения пользовательских данных: десять модулей содержат данные, один используется для хранения сведений о чётности и ещё один не используется, он предназначен для горячей замены вышедшего из строя модуля. Таким образом, пользовательские данные останутся доступными даже при выходе из строя двух модулей, естественно, не одновременно. На диаграмме ниже представлена архитектура такого 2D Flash массива.
Группа Interfaces отображает информацию об установленных интерфейсных модулях и их портах.
Информацию о температуре воздуха и компонентов системы, параметрах питания, работе вентиляторов и состоянии батарей можно найти в группе Environmental. Убеждаться в работоспособности установленных внутри корпуса батарей можно с помощью периодически проводимого теста, запланировать который также можно здесь.
Настройки параметров модуля управления собраны в группе Management. Здесь администратор может указать IP-параметры обеих сетевых карт и адрес DNS-сервера.
Управление синхронизацией времени по протоколу NTP производится с помощью пункта Date/Time, тогда как пункт Users позволяет управлять локальными или доменными пользователями.
Пункт Firmware предназначен для обновления микропрограммного обеспечения. К сожалению, новые версии прошивок доступны только пользователям, приобретшим специальную поддержку (сервисный контракт), поэтому мы не сможем показать весь процесс обновления микропрограммного обеспечения. Здесь, пожалуй, стоит сказать о том, что клиенты компании SAFEDATA, арендующие оборудование, получают в своё распоряжение устройства с самыми свежими и стабильными прошивками. Кроме того, может быть заказана дополнительная услуга по поддержке оборудования, позволяющая выполнять все необходимые работы по обслуживанию серверов, систем хранения данных и прочего сетевого оборудования в течение всего срока пользования услугами дата-центра, включающая также и поддержку микропрограммного обеспечения в актуальном состоянии.
Группа Services позволяет администратору указать параметры подключения к FlashSystem с помощью протоколов SNMP, Telnet и SSH. Стоит также отметить, что при возникновении определённых событий администратору может быть отправлено оповещение по электронной почте, настройка которой также производится здесь.
За сбор и отображение статистических данных отвечает группа Statistics. Здесь администратор может просмотреть текущее использование системы, построить графики нагрузки на сетевые интерфейсы, отобразить количество выполняемых операций в секунду и так далее. Разнообразные счётчики доступны для каждого компонента системы.
Система хранения FlashSystem 820 оснащена двумя управляющими модулями (MCP — management controller ports). Модуль может находиться в активном или пассивном режиме. MCP в активном режиме управляет LUN-ами, а также позволяет просматривать состояние компонентов системы. Пассивный модуль используется для обеспечения отказоустойчивости в случае отказа активного MCP. Вкладка Cluster отображает информацию об управляющих модулях MCP и позволяет переключать активный MCP, то есть «кластер» собирается из двух модулей, установленных в одну систему FlashSystem 820.
Доступ к журнальной информации системы можно получить с помощью пункта Logs.
На этом мы завершаем рассмотрение веб-интерфейса системы хранения IBM FlashSystem 820, а напоследок хотели бы упомянуть, что управление устройством возможно не только с помощью браузера и графического интерфейса, но также и с использованием командной строки при подключении с помощью протоколов Telnet и SSH.
Займёмся теперь тестированием IBM FlashSystem 820.
Подключение к IBM FlashSystem 820 может производиться с двумя принципиально разными целями: для получения данных и для управления. Экземпляр FlashSystem 820, который мы тестировали, был оснащён четырьмя портами FibreChannel для передачи данных, поэтому говорить о защищённости устройства стоит лишь в контексте защищённости модуля управления. Конечно же, мы понимаем, что управляющий интерфейс будет подключен в какую-либо внутреннюю защищённую сеть, доступ к которой будет ограничен списками доступа на маршрутизаторах или иными способами. Однако при этом нас интересовал вопрос наличия доступных сервисов в принципе. Для тестирования использовался сканер сетевой безопасности Positive Technologies XSpider 7.7 (Demo build 3100). Всего было обнаружено четыре открытых порта: TCP-22 (SSH), TCP-23 (Telnet), TCP-80 (HTTP) и TCP-443 (HTTPS). Наиболее интересные сведения представлены ниже.
Перейдём теперь непосредственно к нагрузочному тестированию.
Перед тем, как мы начнём описывать методику проведённого нагрузочного тестирования и предоставлять результаты, нам хотелось бы особо отметить, что мы не ставили перед собой цели получить максимальное количество Мбайт/с или IOPS. Единственная цель, которую мы преследовали, — выяснить, какие реальные скорости будут доступны пользователям при подключении к хранилищу одного или двух серверов. Как мы покажем далее, полученные нами значения не являются ограничениями FlashSystem 820, но того оборудования, которое использовалось для тестов. Таким образом, чтобы «выжать» из устройства максимум, потребуется подключить к нему одновременно несколько производительных серверов. И хотя данная система хранения создавалась для сверхбыстрого обслуживания запросов от приложений заказчиков, а также для ускорения существующих систем хранения с обычными жёсткими дисками, мы всё равно решили провести измерения скоростей файлового доступа.
Основные параметры тестового стенда перечислены ниже.
Первым измерительным инструментом стала утилита CrystalDiskMark версии 3.0.3. Сначала мы произвели измерения для подключения с помощью одного FC-линка.
Затем подключили второй FC-линк и задействовали балансировку, путём добавления компонента «Многопутевой ввод-вывод».
Следующие измерения мы провели с использованием Intel NASPT версии 1.7.1. При тестировании Intel NASPT с помощью утилиты msconfig оперативная память, доступная операционной системе, уменьшалась в соответствии с рекомендациями Intel, чтобы уменьшить влияние локального кеширования на результаты измерений. Сначала мы измерили скорости доступа к данным при одном FC-линке между сервером и хранилищем для трёх файловых систем: NTFS, FAT32 и exFAT.
Как видно из приведённой выше диаграммы, в некоторых тестах мы вплотную приблизились к производительности среды 8GFC (учитывая кодирование 8b/10b) – 8 Гбит/с. Для файловой системы NTFS мы решили сравнить производительность системы при одиночном и двойном подключениях сервера к хранилищу. Полученные с помощью двойного подключения скорости оказались ниже тех значений, которые нам удалось получить при одинарном подключении. Должны признаться, на данном этапе нас это несколько обескуражило. Конечно, позже мы обнаружили причину – высокая загрузка процессора при включённом MPIO, но обо всём по порядку.
Следующим инструментом для тестирования стала утилита Intel IOMeter, позволяющая как создавать абсолютно синтетическую нагрузку в виде чистого чтения или записи, так и использовать паттерны, эмулирующие поведение различных серверов и рабочих станций. Синтетическая нагрузка у нас представлена тремя тестами: 100% чтение, 100% запись, а также 50% чтение и 50% запись. На диаграмме ниже представлены результаты каждого из трёх синтетических тестов при подключении с помощью одного FC-линка в зависимости от размера блока данных. В тестировании участвовали два сервера, подключённых к Flash System 820 с помощью FC-коммутатора.
Как видно из представленных диаграмм с увеличением размера блока увеличиваются и скорости доступа к данным, пока не достигнут очевидного предела – производительности одного интерфейса Fibre Channel, то есть 8 Гбит/с.
Кроме измерения производительности хранилища в терминах полосы пропускания, мы также произвели замеры количества операций, выполняемых устройством в единицу времени (IOPS). На диаграммах ниже представлены результаты тех же самых измерений, выраженные в тысячах IOPS.
При любых операциях записи виден пик производительности при величине блока в 4 килобайта, что обусловлено размером внутренней структуры данных.
Естественно, мы решили произвести те же самые измерения, но при подключении к хранилищу с помощью двух FC-линков, чтобы интерфейс Fibre Channel не был узким местом нашего тестового стенда.
Как и ожидалось, мы обнаружили значительное увеличение производительности системы. Однако при чтении блоков размером в 4 и 8 килобайт мы были близки к производительности двух FC-интерфейсов, что заставляет нас думать, что производительность сетевого хранилища IBM FlashSystem 820 ещё выше, то есть при использовании всех четырёх FC-портов даже нашими двумя тестовыми серверами могли быть получены большие скорости доступа к пользовательским данным. На диаграммах ниже представлена производительность устройства в тысячах IOPS при подключении с помощью двух FC-линков.
Как и при подключении с помощью одного линка, здесь наблюдается явно выраженный пик производительности на блоках данных 4 килобайта.
Пришла пора отойти от синтетических измерений и заставить наш стенд имитировать нагрузку, производимую различными серверами и рабочими станциями. В качестве сценариев использования хранилища были выбраны следующие четыре: Database, Fileserver, Workstation и Webserver. Производительность хранилища при подключении с помощью одного FC-интерфейса представлена ниже.
Мы повторили те же самые измерения, но использовав уже два FC-подключения.
Полученные результаты, как и для синтетических тестов, явно указывают на то, что при подключении к FlashSystem 820 с помощью одного FC-линка, узким местом будет само FC-подключение.
Во всех следующих тестах данного раздела мы использовали Сервер №1 и считывали блоки данных, размером 4 килобайта. Сначала мы сравнивали производительность системы в зависимости от глубины очереди запросов при использовании одного потока.
Пожалуй, стоит дать некоторые пояснения к последнему графику, на котором отражено время выполнения запроса на чтение блока данных с хранилища. Пока система не перегружена, чтение производится приблизительно за 200 мкс и практически не зависит от количества физических подключений, что является очень достойным результатом.
Затем мы решили выяснить зависимость производительности системы от количества потоков при глубине очереди равной 4.
Единственное, о чём нам хотелось бы здесь ещё упомянуть, это возросшая нагрузка на процессор при использовании MPIO. То есть при балансировке нагрузки между несколькими физическими FC-интерфейсами, операционная система Windows тратит драгоценные процессорные такты. Так, например, почти во всех тестах без MPIO загрузка процессора не превышала 10% (колебалась в пределах 5-7%), тогда как использование MPIO приводило почти к стопроцентной загрузке ЦПУ. Забегая вперёд, отметим, что подобного эффекта при тестировании FlashSystem 820 вместе с базой данной Oracle, выполняющейся на операционной системе Oracle Linux Server release 6.6, не наблюдалось.
На этом мы завершаем файловые тесты СХД IBM и переходим к измерению производительности хранилища при работе с базой данных Oracle.
Цель тестирования
Определить основные характеристики производительности системы хранения IBM FlashSystem 820 при использовании его приложением базы данных Oracle.
Методика тестирования
Для тестирования производительности хранилища, используемого базой данных Oracle, использовалась утилита SLOB2 (The Silly Little Oracle Benchmark) от Кевина Клоссона (Kevin Closson). Он — бывший performance architect Oracle Exadata Machine. Более подробная информация об утилите представлена в блоге автора.
Тестирование подразумевает осуществление операций чтения/записи несколькими потоками выполнения. Для каждого теста собирается диагностический AWR (Active Workload Repository) отчёт. Он служит источником информации о фактической производительности дисковой подсистемы в рамках теста.
Платформа
Операционная система: Oracle Linux Server release 6.6 с ядром 3.8.13-55.1.5.el6uek.x86_64.
Процессор: Intel Xeon CPU E7-4830 @ 2.13 ГГц, 16 ядер, 32 процессоров
Размер блока файловой системы: 4 Кбайт
Параметры тестирования
Было проведено 24 замера. Варьировалось нижеследующее:
– Количество потоков (от 1 до 128 с двукратным увеличением).
– Отношение количества операций чтения к операциям записи (Read Only, Write Only и “70% Read, 30% Write”).
– Размер блока, используемого базой данных.
– Использование multipath I/O.
Результаты тестирования
4 Кбайта, без MPIO.
4 Кбайта, с использованием MPIO.
8 Кбайт, без MPIO.
8 Кбайт, с использованием MPIO.
IOPS и пропускная способность
Максимальная производительность по чтению 62К IOPS была достигнута при размере блока в 4 Кбайта на 32 потоках и отключённом Multipath I/O. Пропускная способность при этом составила 242 Мбайт/с. Замеры блоках размером 8 Кбайт с отключённым Multipath I/O показывают значения в среднем на 5.6% хуже по IOPS на чтении. Пропускная способность при этом возрастает в среднем на 88% до 457 Мбайт/с на 32 потоках.
Multipath I/O
Включение Multipath I/O негативно сказывается на результатах. При размере блока в 8 Кбайт получаем потерю примерно в 20% на замере чтения в 16 потоков и 25% при тестировании на 32 потоках. В смешанном режиме 30/70 пик IOPS также снижается на 20% и 25% для размера блока 4 Кбайт и 8 Кбайт соответственно. Однако при уменьшении количества потоков Multipath I/O способствует улучшение показателей IOPS и пропускной способности. Так, при размере блока 4 Кбайт замеры на 4 и 8 потоках показали на 12% лучшие результаты в смешанном режиме чтение/запись.
Режим 30/70
Случай “30% операций — запись, 70% — чтение” соответствует режиму реальной работы БД в составе многопользовательского приложения. “Насыщение” происходит при 16 потоках. При этом задержка чтения возрастает с 240 мкс на 1 потоке до 400 мкс на 16. Наиболее долгий отклик носителя был получен при тестировании на 64 потоках – 950 мкс. На 128 потоках задержка меньше по причине того, что на тестирующей системе происходила борьба за ресурсы между потоками исполнения. Это привело к тому, что генерируемая нагрузка на носитель в режиме чтение/запись снизилась.
Задержка
Максимально допустимой для базы данных задержкой чтения для современных HDD накопителей является 4 мс, что на порядок больше максимальных полученных значений для FlashSystem 820. Стоит отметить, что для реляционных баз данных параметр задержки критичен, так как задача получения необходимых записей из таблиц обычно состоит из череды последовательных обращений к данным из файлов. То есть, чтобы получить блок, содержащий нужную строку из таблицы, сначала необходимо найти эту информацию, зачитав несколько блоков индекса. Высокая задержка, допустимая для файловых хранилищ, может иметь сильное влияние на производительность базы данных.
Корреляция с реальной эксплуатацией
По нашему опыту эксплуатации приложения по обслуживанию сетевой инфраструктуры телекоммуникационного оператора с сотней активных пользователей в рабочие часы генерирует среднюю нагрузку, эквивалентную 8 потокам синтетического теста при доле операций записи в 30%. В этом режиме IBM FlashSystem 820 продемонстрировало задержку чтения 4 Кбайт блока данных равным 270 мкс, что является отличным результатом.
В заключении хочется отметить, что сетевое хранилище IBM FlashSystem 820 полностью оправдало наши ожидания по скорости доступа к пользовательским данным и вносимым задержкам. Сама флеш-память, а также разнообразные устройства, построенные на её основе, всё активнее выходят на рынок корпоративного оборудования. Флеш-память обеспечивает максимальное быстродействие, что вкупе с минимальными задержками позволит удовлетворить даже самых взыскательных заказчиков, предъявляющих высочайшие требования к производительности и надёжности систем хранения. Современным решением, способным продемонстрировать непревзойдённую производительность, является линейка сетевых хранилищ IBM FlashSystem, с одним из которых – FlashSystem 820 – мы достаточно плотно познакомились сегодня.
Системы хранения IBM FlashSystem 820 предназначены для ускорения работы разнообразных корпоративных приложений, включая базы данных для оперативной обработки транзакций (OLTP) и оперативного анализа данных (OLAP), инфраструктуры виртуальных настольных систем, приложений для технических вычислений и масштабируемых облачных инфраструктур. Данная система обеспечивает высочайший уровень производительности на гигабайт данных, что позволяет организациям быстро анализировать данные как при помощи традиционных инструментов, так и с использованием новых технологий, разработанных для анализа Больших данных. Однако для хранения больших объёмов архивной информации, к которой не требуется высокоскоростной доступ, СХД IBM FlashSysem 820 окажется явно избыточной. Вне зависимости от того, способны ли вы самостоятельно определиться с необходимым оборудованием или нет, специалисты компании SAFEDATA помогут вам с выбором, приобретением, размещением, настройкой и поддержкой любого сетевого оборудования и систем хранения.
Также нам хотелось бы поблагодарить компанию IBM за предоставленное для тестирования оборудование и помощь в процессе настройки и измерений.
Стоит сразу отметить, что клиентам SAFEDATA не обязательно самостоятельно приобретать и обслуживать дорогостоящее оборудование, указанные задачи можно делегировать менеджерам и инженерам компании, взяв требуемые устройства в аренду. Данный же цикл статей позволит определиться с конкретной моделью коммутатора, маршрутизатора или хранилища, максимально подходящей для решения поставленной задачи.
Начать же серию обзоров и тестов мы решили с системы хранения данных IBM FlashSystem 820, демонстрирующую потрясающую производительность и надёжность.
Описание
Постоянное развитие информационных технологий приводит к тому, что всё большее значение начинает играть производительность серверов и систем хранения. Задачи хранилища теперь не ограничиваются простым хранением пользовательских данных, сегодня от них требуется обеспечение высокоэффективного доступа к размещённой на них информации. Высокие скорости доступа и низкие времена отклика могут предоставить устройства, построенные на базе флеш-памяти. Сетевое хранилище IBM FlashSystem 820 использует флеш-память построенную на базе eMLC (enterprise MLC), являющуюся более надёжной по сравнению с MLC (Multi Level Cell) за счёт добавления ECC и увеличения количества циклов записи до 30000 (обычная MLC поддерживает до 10000 циклов стирания/перезаписи). Также, по заявлению производителя, поддерживаются модули на базе памяти SLC (Single Level Cell) с количеством циклов стирания/перезаписи равным 100000. Существует две модификации FlashSystem 820, отличающиеся объём предустановленной флеш-памяти: 10 или 20 Тбайт. Установленные модули флеш-памяти могут объединяться в массив RAID0 или RAID5. Основные технические характеристики СХД IBM FlashSystem 820 представлены в таблице ниже.
| Характеристика | Значение | |
| Модель | 9831-AE2 | |
| Тип флеш-памяти | eMLC | |
| Модификация | 10 Тбайт | 20 Тбайт |
| Доступная ёмкость RAID0 | 12.4 Тбайта | 24.7 Тбайта |
| Доступная ёмкость RAID5 | 10.3 Тбайта | 20.6 Тбайт |
| Минимальная задержка записи | 25 мкс | |
| Минимальная задержка чтения | 110 мкс | |
| 100% чтение 4 Кбайт | 525 000 IOPS | |
| 100% запись 4 Кбайт | 280 000 IOPS | |
| 100% чтение 256 Кбайт | 3.3 Гбайта/с (Fibre Channel), 5 Гбайт/с (InfiniBand) | |
| 100% запись 256 Кбайт | 2.8 Гбайта/с (Fibre Channel), 2.8 Гбайт/с (InfiniBand) | |
| Питание | 300 Вт | |
| Охлаждение | 1023 британских тепловых единиц (БТЕ)/час | |
| Интерфейсы подключения | 4 порта 8 Гбит/с FC, 4 порта 40 Гбит/с QDR IB | |
| Максимальное количество поддерживаемых томов (LUN) | 1024 | |
| Поддерживаемые уровни RAID | 0, 5 | |
| Габариты корпуса (Ш x Г x В) | 1U x 432 мм x 638 мм | |
| Масса | 13,3 кг | |
| Интерфейсы управления | HTTP, SSH, Telnet | |
| Надёжность | Аппаратная конфигурация с высокой доступностью Двумерная технология RAID во флэш-модулях Variable Stripe RAID на уровне модуля RAID 5 на уровне системы в каждом модуле Флэш-модули с возможностью горячей замены Резервные интерфейсы |
|
Пожалуй, сейчас самое время пояснить, что мы имеем в виду под сокращениями Кбайт, Мбайт, Гбайт и так далее. Под Кбайтом мы понимаем 1024 байта, под Мбайтом – 1024 Кбайт… То есть Гбайт будет равен 2^30 байт, а не 10^9. В этот раз мы решили отказаться от формально более правильных приставок киби, меби, гиби и теби, то есть от величин КиБ, МиБ, ГиБ и ТиБ, чтобы не смущать часть наших читателей, не готовых пока к таким приставкам. В следующей статье мы сразу же будем использовать правильные сокращения.
Отличие модификаций заключается в используемых модулях флеш-памяти, модификация 20 Тбайт обладает сдвоенными.
Также мы решили перечислить функциональные возможности и предоставляемые ими преимущества.
- Технология IBM Variable Stripe Redundant array of independent disks (RAID) позволяет одновременно поддерживать производительность и надежность без уменьшения доступной для использования емкости.
- Архитектура без единой точки отказа обеспечивает надёжность корпоративного класса и максимальную эффективность в условиях даже самых требовательных центров обработки данных.
- Превосходная технология флэш-памяти обеспечивает ёмкость в сочетании с производительностью при использовании флэш-накопителей eMLC.
- Технология 2D RAID, флэш-модули с возможностью горячей замены и резервные компоненты со встроенным вспомогательным блоком питания позволяют повысить доступность данных и продуктивность ИТ-инфраструктуры.
Технология VSR (Variable Stripe RAID) предоставляет защиту данных на уровне страницы памяти, блока или даже целого чипа. Такая защита позволяет избежать замены целого флеш-модуля в ситуациях, когда отказывает какой-либо отдельный чип. Как следствие, частота обслуживания хранилищ серии FlashSystem 820 существенно снижается.
Основные элементы архитектуры сетевого хранилища IBM FlashSystem 820 представлены на схемах ниже.
Модель FlashSystem 820 не является единственной системой хранения IBM, построенной на базе модулей флеш-памяти. Данный вендор предлагает также модели FlashSystem 710, 720 и 810. Соотношение производительности и доступности для всех четырёх моделей представлено ниже. Говоря о повышении доступности, стоит отметить, что в моделях FlashSystem 720 и 820 реализована технология защиты данных 2D Flash RAID.
В то время, когда мы готовили наш тестовый стенд к первым измерениям, компания IBM выпустила новую систему хранения данных – FlashSystem 900. Данная модель предлагает ещё большую производительность: до 1.1 MIOPS для операций чтения, 800 KIOPS для смешанного режима и 600 KIOPS при выполнении записи данных. IBM FlashSystem 900 использует MLC флеш-память, разработанную совместно с компанией Micron. В новой флеш-памяти устранён один из основных недостатков MLC-чипов – количество поддерживаемых циклов стирания/перезаписи: по заявлению производителя жизненный цикл новых чипов теперь не уступает таковому для eMLC-памяти. В компании IBM решили в принципе отказаться от использования eMLC флеш-памяти в новых моделях СХД.
Вернёмся теперь непосредственно к обсуждаемой модели – FlashSystem 820 – и рассмотрим возможности по её настройке.
Настройка
Управление сетевым хранилищем IBM FlashSystem 820 производится с помощью java-приложения, запускаемого браузером, при обращении по протоколам HTTP или HTTPS к устройству. При входе требуется ввести логин и пароль, а также указать, необходимо ли использовать шифрование.
После ввода корректных учётных данных перед администратором открывается главное окно программы Monitoring Utility, позволяющей производить настройку и собирать статистику одновременно с нескольких систем хранения FlashSystem.
Мы не станем подробно рассматривать все возможности данной системы управления, однако остановимся на наиболее на наш взгляд интересных.
Меню Options позволяет производить добавление систем хранения в ручном или автоматическом режиме, осуществлять подключение сразу к нескольким FlashSystem, производить множественное обновление прошивки, отображать статистические данные для нескольких систем хранения.
Настройки утилиты в основном связаны с выбором способа обнаружения систем хранения данных в локальной сети.
Здесь стоит отметить, что под обнаружением понимается автоматический поиск и добавление именно управляющих модулей FlashSystem. Меню Actions позволяет выключать или перезагружать устройства, сохранять или восстанавливать конфигурацию, разрывать управляющее подключение или удалять систему хранения из списка.
Две расположенные внизу вкладки («Recent Event Log» и «Task Monitor») отображают список событий, происходящих с устройством, а также набор выполненных заданий администратора.
Какие же действия можно выполнять с самим устройством? Группа меню «Logical Units» позволяет управлять «виртуальными дисками» (LUN): создавать разделы требуемого размера, удалять ненужные, а также изменять параметры доступа.
В группе «Storage» представлены все флеш-накопители, установленные в хранилище. Допускается установка флеш-накопителей объёмом 1 Тбайт и 2 Тбайта. Все установленные флеш-карты могут быть объединены в RAID-массив.
Поддерживается два типа массивов: максимальной ёмкости (аналог RAID0) и RAID5. Для повышения надёжности рекомендуется использовать массив RAID5, именуемый IBM 2D Flash RAID, так как внутри самого модуля также используется массив RAID5, обеспечивающий отказоустойчивость всего модуля при выходе из строя одного из десяти чипов (девять хранят пользовательские данные, один используется для чётности). Стоит отметить, что при создании массива RAID5 не все модули используются для хранения пользовательских данных: десять модулей содержат данные, один используется для хранения сведений о чётности и ещё один не используется, он предназначен для горячей замены вышедшего из строя модуля. Таким образом, пользовательские данные останутся доступными даже при выходе из строя двух модулей, естественно, не одновременно. На диаграмме ниже представлена архитектура такого 2D Flash массива.
Группа Interfaces отображает информацию об установленных интерфейсных модулях и их портах.
Информацию о температуре воздуха и компонентов системы, параметрах питания, работе вентиляторов и состоянии батарей можно найти в группе Environmental. Убеждаться в работоспособности установленных внутри корпуса батарей можно с помощью периодически проводимого теста, запланировать который также можно здесь.
Настройки параметров модуля управления собраны в группе Management. Здесь администратор может указать IP-параметры обеих сетевых карт и адрес DNS-сервера.
Управление синхронизацией времени по протоколу NTP производится с помощью пункта Date/Time, тогда как пункт Users позволяет управлять локальными или доменными пользователями.
Пункт Firmware предназначен для обновления микропрограммного обеспечения. К сожалению, новые версии прошивок доступны только пользователям, приобретшим специальную поддержку (сервисный контракт), поэтому мы не сможем показать весь процесс обновления микропрограммного обеспечения. Здесь, пожалуй, стоит сказать о том, что клиенты компании SAFEDATA, арендующие оборудование, получают в своё распоряжение устройства с самыми свежими и стабильными прошивками. Кроме того, может быть заказана дополнительная услуга по поддержке оборудования, позволяющая выполнять все необходимые работы по обслуживанию серверов, систем хранения данных и прочего сетевого оборудования в течение всего срока пользования услугами дата-центра, включающая также и поддержку микропрограммного обеспечения в актуальном состоянии.
Группа Services позволяет администратору указать параметры подключения к FlashSystem с помощью протоколов SNMP, Telnet и SSH. Стоит также отметить, что при возникновении определённых событий администратору может быть отправлено оповещение по электронной почте, настройка которой также производится здесь.
За сбор и отображение статистических данных отвечает группа Statistics. Здесь администратор может просмотреть текущее использование системы, построить графики нагрузки на сетевые интерфейсы, отобразить количество выполняемых операций в секунду и так далее. Разнообразные счётчики доступны для каждого компонента системы.
Система хранения FlashSystem 820 оснащена двумя управляющими модулями (MCP — management controller ports). Модуль может находиться в активном или пассивном режиме. MCP в активном режиме управляет LUN-ами, а также позволяет просматривать состояние компонентов системы. Пассивный модуль используется для обеспечения отказоустойчивости в случае отказа активного MCP. Вкладка Cluster отображает информацию об управляющих модулях MCP и позволяет переключать активный MCP, то есть «кластер» собирается из двух модулей, установленных в одну систему FlashSystem 820.
Доступ к журнальной информации системы можно получить с помощью пункта Logs.
На этом мы завершаем рассмотрение веб-интерфейса системы хранения IBM FlashSystem 820, а напоследок хотели бы упомянуть, что управление устройством возможно не только с помощью браузера и графического интерфейса, но также и с использованием командной строки при подключении с помощью протоколов Telnet и SSH.
Займёмся теперь тестированием IBM FlashSystem 820.
Тестирование защищённости
Подключение к IBM FlashSystem 820 может производиться с двумя принципиально разными целями: для получения данных и для управления. Экземпляр FlashSystem 820, который мы тестировали, был оснащён четырьмя портами FibreChannel для передачи данных, поэтому говорить о защищённости устройства стоит лишь в контексте защищённости модуля управления. Конечно же, мы понимаем, что управляющий интерфейс будет подключен в какую-либо внутреннюю защищённую сеть, доступ к которой будет ограничен списками доступа на маршрутизаторах или иными способами. Однако при этом нас интересовал вопрос наличия доступных сервисов в принципе. Для тестирования использовался сканер сетевой безопасности Positive Technologies XSpider 7.7 (Demo build 3100). Всего было обнаружено четыре открытых порта: TCP-22 (SSH), TCP-23 (Telnet), TCP-80 (HTTP) и TCP-443 (HTTPS). Наиболее интересные сведения представлены ниже.
Перейдём теперь непосредственно к нагрузочному тестированию.
Файловые тесты
Перед тем, как мы начнём описывать методику проведённого нагрузочного тестирования и предоставлять результаты, нам хотелось бы особо отметить, что мы не ставили перед собой цели получить максимальное количество Мбайт/с или IOPS. Единственная цель, которую мы преследовали, — выяснить, какие реальные скорости будут доступны пользователям при подключении к хранилищу одного или двух серверов. Как мы покажем далее, полученные нами значения не являются ограничениями FlashSystem 820, но того оборудования, которое использовалось для тестов. Таким образом, чтобы «выжать» из устройства максимум, потребуется подключить к нему одновременно несколько производительных серверов. И хотя данная система хранения создавалась для сверхбыстрого обслуживания запросов от приложений заказчиков, а также для ускорения существующих систем хранения с обычными жёсткими дисками, мы всё равно решили провести измерения скоростей файлового доступа.
Основные параметры тестового стенда перечислены ниже.
- Сервер №1. IBM x3850, 32 ядра.
- Сервер №2. IBM x3650 M4, 24 ядра.
- FC-карта QLOGIC QLE2564.
- FC-коммутатор Brocade 300.
- Хранилище IBM FlashSystem 820 9831-AE2.
Первым измерительным инструментом стала утилита CrystalDiskMark версии 3.0.3. Сначала мы произвели измерения для подключения с помощью одного FC-линка.
Затем подключили второй FC-линк и задействовали балансировку, путём добавления компонента «Многопутевой ввод-вывод».
Следующие измерения мы провели с использованием Intel NASPT версии 1.7.1. При тестировании Intel NASPT с помощью утилиты msconfig оперативная память, доступная операционной системе, уменьшалась в соответствии с рекомендациями Intel, чтобы уменьшить влияние локального кеширования на результаты измерений. Сначала мы измерили скорости доступа к данным при одном FC-линке между сервером и хранилищем для трёх файловых систем: NTFS, FAT32 и exFAT.
Как видно из приведённой выше диаграммы, в некоторых тестах мы вплотную приблизились к производительности среды 8GFC (учитывая кодирование 8b/10b) – 8 Гбит/с. Для файловой системы NTFS мы решили сравнить производительность системы при одиночном и двойном подключениях сервера к хранилищу. Полученные с помощью двойного подключения скорости оказались ниже тех значений, которые нам удалось получить при одинарном подключении. Должны признаться, на данном этапе нас это несколько обескуражило. Конечно, позже мы обнаружили причину – высокая загрузка процессора при включённом MPIO, но обо всём по порядку.
Следующим инструментом для тестирования стала утилита Intel IOMeter, позволяющая как создавать абсолютно синтетическую нагрузку в виде чистого чтения или записи, так и использовать паттерны, эмулирующие поведение различных серверов и рабочих станций. Синтетическая нагрузка у нас представлена тремя тестами: 100% чтение, 100% запись, а также 50% чтение и 50% запись. На диаграмме ниже представлены результаты каждого из трёх синтетических тестов при подключении с помощью одного FC-линка в зависимости от размера блока данных. В тестировании участвовали два сервера, подключённых к Flash System 820 с помощью FC-коммутатора.
Как видно из представленных диаграмм с увеличением размера блока увеличиваются и скорости доступа к данным, пока не достигнут очевидного предела – производительности одного интерфейса Fibre Channel, то есть 8 Гбит/с.
Кроме измерения производительности хранилища в терминах полосы пропускания, мы также произвели замеры количества операций, выполняемых устройством в единицу времени (IOPS). На диаграммах ниже представлены результаты тех же самых измерений, выраженные в тысячах IOPS.
При любых операциях записи виден пик производительности при величине блока в 4 килобайта, что обусловлено размером внутренней структуры данных.
Естественно, мы решили произвести те же самые измерения, но при подключении к хранилищу с помощью двух FC-линков, чтобы интерфейс Fibre Channel не был узким местом нашего тестового стенда.
Как и ожидалось, мы обнаружили значительное увеличение производительности системы. Однако при чтении блоков размером в 4 и 8 килобайт мы были близки к производительности двух FC-интерфейсов, что заставляет нас думать, что производительность сетевого хранилища IBM FlashSystem 820 ещё выше, то есть при использовании всех четырёх FC-портов даже нашими двумя тестовыми серверами могли быть получены большие скорости доступа к пользовательским данным. На диаграммах ниже представлена производительность устройства в тысячах IOPS при подключении с помощью двух FC-линков.
Как и при подключении с помощью одного линка, здесь наблюдается явно выраженный пик производительности на блоках данных 4 килобайта.
Пришла пора отойти от синтетических измерений и заставить наш стенд имитировать нагрузку, производимую различными серверами и рабочими станциями. В качестве сценариев использования хранилища были выбраны следующие четыре: Database, Fileserver, Workstation и Webserver. Производительность хранилища при подключении с помощью одного FC-интерфейса представлена ниже.
Мы повторили те же самые измерения, но использовав уже два FC-подключения.
Полученные результаты, как и для синтетических тестов, явно указывают на то, что при подключении к FlashSystem 820 с помощью одного FC-линка, узким местом будет само FC-подключение.
Во всех следующих тестах данного раздела мы использовали Сервер №1 и считывали блоки данных, размером 4 килобайта. Сначала мы сравнивали производительность системы в зависимости от глубины очереди запросов при использовании одного потока.
Пожалуй, стоит дать некоторые пояснения к последнему графику, на котором отражено время выполнения запроса на чтение блока данных с хранилища. Пока система не перегружена, чтение производится приблизительно за 200 мкс и практически не зависит от количества физических подключений, что является очень достойным результатом.
Затем мы решили выяснить зависимость производительности системы от количества потоков при глубине очереди равной 4.
Единственное, о чём нам хотелось бы здесь ещё упомянуть, это возросшая нагрузка на процессор при использовании MPIO. То есть при балансировке нагрузки между несколькими физическими FC-интерфейсами, операционная система Windows тратит драгоценные процессорные такты. Так, например, почти во всех тестах без MPIO загрузка процессора не превышала 10% (колебалась в пределах 5-7%), тогда как использование MPIO приводило почти к стопроцентной загрузке ЦПУ. Забегая вперёд, отметим, что подобного эффекта при тестировании FlashSystem 820 вместе с базой данной Oracle, выполняющейся на операционной системе Oracle Linux Server release 6.6, не наблюдалось.
На этом мы завершаем файловые тесты СХД IBM и переходим к измерению производительности хранилища при работе с базой данных Oracle.
Тесты базы данных
Цель тестирования
Определить основные характеристики производительности системы хранения IBM FlashSystem 820 при использовании его приложением базы данных Oracle.
Методика тестирования
Для тестирования производительности хранилища, используемого базой данных Oracle, использовалась утилита SLOB2 (The Silly Little Oracle Benchmark) от Кевина Клоссона (Kevin Closson). Он — бывший performance architect Oracle Exadata Machine. Более подробная информация об утилите представлена в блоге автора.
Тестирование подразумевает осуществление операций чтения/записи несколькими потоками выполнения. Для каждого теста собирается диагностический AWR (Active Workload Repository) отчёт. Он служит источником информации о фактической производительности дисковой подсистемы в рамках теста.
Платформа
Операционная система: Oracle Linux Server release 6.6 с ядром 3.8.13-55.1.5.el6uek.x86_64.
Процессор: Intel Xeon CPU E7-4830 @ 2.13 ГГц, 16 ядер, 32 процессоров
Размер блока файловой системы: 4 Кбайт
Параметры тестирования
Было проведено 24 замера. Варьировалось нижеследующее:
– Количество потоков (от 1 до 128 с двукратным увеличением).
– Отношение количества операций чтения к операциям записи (Read Only, Write Only и “70% Read, 30% Write”).
– Размер блока, используемого базой данных.
– Использование multipath I/O.
Результаты тестирования
4 Кбайта, без MPIO.
4 Кбайта, с использованием MPIO.
8 Кбайт, без MPIO.
8 Кбайт, с использованием MPIO.
IOPS и пропускная способность
Максимальная производительность по чтению 62К IOPS была достигнута при размере блока в 4 Кбайта на 32 потоках и отключённом Multipath I/O. Пропускная способность при этом составила 242 Мбайт/с. Замеры блоках размером 8 Кбайт с отключённым Multipath I/O показывают значения в среднем на 5.6% хуже по IOPS на чтении. Пропускная способность при этом возрастает в среднем на 88% до 457 Мбайт/с на 32 потоках.
Multipath I/O
Включение Multipath I/O негативно сказывается на результатах. При размере блока в 8 Кбайт получаем потерю примерно в 20% на замере чтения в 16 потоков и 25% при тестировании на 32 потоках. В смешанном режиме 30/70 пик IOPS также снижается на 20% и 25% для размера блока 4 Кбайт и 8 Кбайт соответственно. Однако при уменьшении количества потоков Multipath I/O способствует улучшение показателей IOPS и пропускной способности. Так, при размере блока 4 Кбайт замеры на 4 и 8 потоках показали на 12% лучшие результаты в смешанном режиме чтение/запись.
Режим 30/70
Случай “30% операций — запись, 70% — чтение” соответствует режиму реальной работы БД в составе многопользовательского приложения. “Насыщение” происходит при 16 потоках. При этом задержка чтения возрастает с 240 мкс на 1 потоке до 400 мкс на 16. Наиболее долгий отклик носителя был получен при тестировании на 64 потоках – 950 мкс. На 128 потоках задержка меньше по причине того, что на тестирующей системе происходила борьба за ресурсы между потоками исполнения. Это привело к тому, что генерируемая нагрузка на носитель в режиме чтение/запись снизилась.
Задержка
Максимально допустимой для базы данных задержкой чтения для современных HDD накопителей является 4 мс, что на порядок больше максимальных полученных значений для FlashSystem 820. Стоит отметить, что для реляционных баз данных параметр задержки критичен, так как задача получения необходимых записей из таблиц обычно состоит из череды последовательных обращений к данным из файлов. То есть, чтобы получить блок, содержащий нужную строку из таблицы, сначала необходимо найти эту информацию, зачитав несколько блоков индекса. Высокая задержка, допустимая для файловых хранилищ, может иметь сильное влияние на производительность базы данных.
Корреляция с реальной эксплуатацией
По нашему опыту эксплуатации приложения по обслуживанию сетевой инфраструктуры телекоммуникационного оператора с сотней активных пользователей в рабочие часы генерирует среднюю нагрузку, эквивалентную 8 потокам синтетического теста при доле операций записи в 30%. В этом режиме IBM FlashSystem 820 продемонстрировало задержку чтения 4 Кбайт блока данных равным 270 мкс, что является отличным результатом.
Заключение
В заключении хочется отметить, что сетевое хранилище IBM FlashSystem 820 полностью оправдало наши ожидания по скорости доступа к пользовательским данным и вносимым задержкам. Сама флеш-память, а также разнообразные устройства, построенные на её основе, всё активнее выходят на рынок корпоративного оборудования. Флеш-память обеспечивает максимальное быстродействие, что вкупе с минимальными задержками позволит удовлетворить даже самых взыскательных заказчиков, предъявляющих высочайшие требования к производительности и надёжности систем хранения. Современным решением, способным продемонстрировать непревзойдённую производительность, является линейка сетевых хранилищ IBM FlashSystem, с одним из которых – FlashSystem 820 – мы достаточно плотно познакомились сегодня.
Системы хранения IBM FlashSystem 820 предназначены для ускорения работы разнообразных корпоративных приложений, включая базы данных для оперативной обработки транзакций (OLTP) и оперативного анализа данных (OLAP), инфраструктуры виртуальных настольных систем, приложений для технических вычислений и масштабируемых облачных инфраструктур. Данная система обеспечивает высочайший уровень производительности на гигабайт данных, что позволяет организациям быстро анализировать данные как при помощи традиционных инструментов, так и с использованием новых технологий, разработанных для анализа Больших данных. Однако для хранения больших объёмов архивной информации, к которой не требуется высокоскоростной доступ, СХД IBM FlashSysem 820 окажется явно избыточной. Вне зависимости от того, способны ли вы самостоятельно определиться с необходимым оборудованием или нет, специалисты компании SAFEDATA помогут вам с выбором, приобретением, размещением, настройкой и поддержкой любого сетевого оборудования и систем хранения.
Также нам хотелось бы поблагодарить компанию IBM за предоставленное для тестирования оборудование и помощь в процессе настройки и измерений.
