Высокая производительность
Блог компании КРОК
Комментарии 61
+17
>>Современный сервер – это электронное устройство, где движущихся механических частей почти нет.
Не только жесткие диски, но и кулеры с вами категорически несогласны.
>>срок жизни флеш-памяти намного больше, чем у обычных жестких дисков
Хотелось бы статистику, а не маркетинговую выкладку.
+3
Кулер с магнитным подшипником можно назвать движущейся частью только весьма условно.
+4
Необходимость в чистке крыльчатки от типа подшипника не зависит.
+2
Безусловно, но они не обеспечивают стопроцентной чистоты.
+10
И ни слова о главном минусе флэш-памяти — очень ограниченном количестве циклов чтения/записи.
А надёжность в СХД — главный параметр.
+12
Надежность в СХД не должна зависеть от надежности используемых устройств для хранения информации. Ограниченное количество циклов должно влиять только на количестве замен. То есть деньги-время и ничего больше.
+7
Другое дело — в какую цену обходится эта надежность, то есть оправдывает ли эта стоимость предоставляемую производительность А так все верно.
+4
Есть гарантия, есть raid, есть hot-spare, есть зип на полке. Надёжность очень важный показатель для системы в целом, при этом надёжность конкретно жестких дисков или ссд не так принципиальна. И поэтому главный минус флеш-памяти — цена. Набитая ссдшками полка будет стоить как самолёт.
+1
Есть один забавный момент: в реиде SSD диски очень часто помирают одновременно.
+2
Есть доступ к статистике отказов флеша в СХД? Ресурс же вроде кончается и он становится рид-онли, разве нет?
+1
В промышленных системах о которых речь? Или всякие корсары и ocz?
+1
Ну конечно нет! Если домашние мрут как мухи — всем пофиг, если серьезные решения изредка сбоят — катастрофа и погибель. Не сравнивайте карьерный самосвал и ладу — тут четыре колеса, там четыре, принципиальных различий в работе то нет.
0
Любое сравнение вызывает у меня приступ смеха, если в конце есть фраза «как самолет/ракета» :)
0
Спасибо, теперь знаю что делать, если мото надоест) Думал они сильно дороже)
0
Че-то как-то я не долистал вниз и не увидел тех самых 200 килобасков) Ну лан, буду копить на автожир ляма за 3 рублей.
+1
Конечно, всем известно, что стоимость дорогих устройств измеряется исключительно в боевых вертолетах.
0
А это в буквальном смысле =) Большие системы могут и как реальный лайнер стоить — десятки миллионов.
+1
Совершенно верно, ячейки флеш-памяти имеют ограниченный ресурс записей – около 100.000 на ячейку для SLC. Но ячейка SLC хранит всего 1 байт информации, MLC – два байта.
Контроллеры SSD-дисков (как и обычных флешек, кстати) отвечают за равномерное распределение записей (а следовательно – износа) по всему объему флеш-памяти — механизм wear leveling (http://en.wikipedia.org/wiki/Wear_leveling). В случае специализированных «флешовых» СХД, равномерный износ распределяется по всему объему массива и занимаются этим контроллеры СХД. SSD-диски обычно имеют до 25% емкости в резерве, чтобы вводить в строй вместо отживших ячеек.
Если каждый байт можно перезаписать 100.000 раз, то 100 гигабайт «сотрутся» за 8 лет при непрерывной записи (24 х 7 х 365) на скорости 5000 IOPS (блоки 8 килобайт). Один из производителей флешовых СХД говорил при встрече, что на их системах, которые работают в высоконагруженных средах уже 2-3 года, износ не превышает 1%. Они, кстати, дают на все системы гарантию 5 лет. На традиционные СХД срок 3 года или меньше.
+2
Но ячейка SLC хранит всего 1 байт информации, MLC – два байта

Не байта, а бита.

Надо было упомянуть, что ресурс MLC — 10 000 циклов. А найти SLC привод ещё надо сильно постараться. В общем, в соотношении время/деньги SSD по мне сильно проигрывают банальным HDD
0
Да, бита, рука дрогнула ) В коропоративных СХД преимущественно SLC используются, хотя сейчас часто и MLC можно встретить.
0
Неверно. MLC распрстранены в энтерпрайзе сейчас очень широко. Не готов подписаться, нет под руками количественных данных, но как бы уже не больше их, чем SLC.
0
Не знаю откуда у вас такие сведения, но вот у меня в ноуте SSD SLC, и чипы на нем — Samsung. Например, так сказать.
0
Ещё Intel продает платы для кеширования в десктопах и есть пара моделей флешек на SLC, но из дисков на рынке представлено лишь две модели Hitachi.
0
Посыпаю голову пеплом, как минимум есть ещё Toshiba, но массовый переход на E-MLC имеет место быть.
0
Массовый — конечно, просто потому, что всем хочется «того же, но чтобы подешевле».
0
Runcore. Но это на самом деле совершенно неважно, потому что ваши сведения про SLC неверны.
0
Однако та же HP сняла с производства старые ioAccelerator с SLC и теперь там только MLC
0
Ну так потому что все «хотят подешевле». Но HP ведь рынок не исчерпывается.
+1
Вы забываете упомянуть (возможно просто не знаете;), что у Flash-memory перезаписывается не один бит, как, например, у DRAM, перезаписывается целикомтак называемый «блок», в котором он находится, обычно это несколько килобайт (4-8), даже если меняется один бит в одном байте внутри таког блока. Причем стирается зачастую и еще более крупная группа блоков разом.
В арифметике это стоит также учитывать.
+3
И последний подход — использование не просто флешовых СХД, а попытка добавить еще один уровень кэша
Netapp успешно применяет этот подход внутри системы хранения, без всякого риска и далеко не стартап.

+2
EMC тоже, причем используя обычные SSD диски вместо отдельной вундервафли.
0
У NetApp недавно появилась возможность использовать обычные SSD под кэш — Flash Pool. Кэш работает как на чтение, так и на запись.
0
К сожалению, у этих дорогих компонентов присутствует двухкратное резервирование — половина емкости идет под свой контроллер, половина под второй, в случае с 2-х контроллерной системой. Если контроллеров 4, то доступна только четверть. Причем, насколько я знаю, такая штука должна стоять на кождом из контроллеров, невзоможно добавить плату за $70k только в один.
С появлением, например, Microsoft SQL 2012 применение «четвертого уровня кэша» в лице IO accelerator'а становится более оправданно на вычисляющих серверах.
Пример реализации использования в качестве системы обработки транзакций IO accelerator в серверах HP ProLiant DL380p: www.fusionio.com/blog/hp-proliant-gen8-servers-and-hp-io-accelerators-a-cost-effective-solution-for-accelerating-sql-server-databases/
0
> К сожалению, у этих дорогих компонентов присутствует двухкратное резервирование

Э-э… Чоа? Вы с NVRAM не путаете? :)

> Если контроллеров 4, то доступна только четверть.

Чоа? 8-|

> добавить плату за $70k

Ну не надо распространять невежественные слухи. 40 тысяч она, самая маленькая, на 256GB, стоит в листпрайсе, причем я не видел ни одного человека, который бы нетапп купил в листпрайсе, реальная цена продаж обычно на десятки процентов ниже.

А в 6240 она и вовсе идет бесплатной штатной опцией к любому контроллеру.

При этом за эти деньги вы получаете ровно 256GB, а не «минус RAID». И это очень хорошая цена для рынка, к слову. Как бы не лучшая вообще.
-1
Э-э… Чоа? Вы с NVRAM не путаете? :)

Нет, я имел в виду Flash Cache Performance Acceleration Module (PAM II), который ставится в количестве не менее 2-х штук (и да, у NetApp ведь 2 филера).
При этом за эти деньги вы получаете ровно 256GB

In block environments (FC or iSCSI) NetApp must reserve 100% or more space to avoid data corruption.
Плюс резервирование половины под второй контроллер. Может быть, есть документ где политика резервирования у NetApp подробно описывается?
40 тысяч она, самая маленькая, на 256GB, стоит в листпрайсе

Бывшему заказчику NetApp эту опцию даже не предлагали — системы сразу были забиты «под завязку».
И насчет листпрайса — да, сейчас ни один вендор не продает (в текущих реалиях) не то что системы хранения — жесткие диски и модули RAM по ценам листпрайса.
К слову, опция IO Accelerator на 365GB, про которую я упомянул и которую можно поставить на блейдсервер в листпрайсе стоит $11k.
0
Нет, я имел в виду Flash Cache Performance Acceleration Module (PAM II),

В таком случае вы прискорбно ошибаетесь. Не пользуйтесь этим сборником FUD-ов, больше. Пользуйтесь другим. :)

который ставится в количестве не менее 2-х штук

Нет. В количестве одной штуки на контроллер. Это существенная разница.

In block environments (FC or iSCSI) NetApp must reserve 100% or more space to avoid data corruption.

Вы неправильно понимаете написанное. Уж не говоря о том, что это вообще в данном случае «в Киеве дядька» и написано вообще про другое, про другой аспект использования стораджа. И вообще там не must, а may. ;)

Плюс резервирование половины под второй контроллер.

Еще раз, конкретно тут: Это не так. Никакого «резервирования половины» для Flash Cache нет. Он используется под данные полностью, целиком, весь его объем, под уникальные данные, не дублируясь.

Может быть, есть документ где политика резервирования у NetApp подробно описывается?

Конечно есть. :-}

Бывшему заказчику NetApp эту опцию даже не предлагали — системы сразу были забиты «под завязку».

Не понял этого предложения.

И насчет листпрайса — да, сейчас ни один вендор не продает (в текущих реалиях) не то что системы хранения — жесткие диски и модули RAM по ценам листпрайса.

То есть вы согласны, что приводить в вашем комментарии «цены листпрайса» в качестве цены было misleading и некорректно? ;)

К слову, опция IO Accelerator на 365GB, про которую я упомянул и которую можно поставить на блейдсервер в листпрайсе стоит $11k.

К слову: Сколько серверов сможет использовать его? А если у меня, допустим, 15 серверов крутят базу и фронтенд? Мне надо 15 таких плат в каждый сервер?
Но только одну в сторадж, потому что им могут воспользоваться все 15 моих серверов, не так ли? Выгода? Несомненно.
0
в количестве не менее 2-х штук

не менее 2 штук на 2 контроллера, не хотел ввести в заблуждение, что необходимо 2 штуки на каждый контроллер.
И вообще там не must, а may. ;)

Известно поведение системы без резервирования при заполнении дисков более, чем на 30%.
В таком случае вы прискорбно ошибаетесь. Не пользуйтесь этим сборником FUD-ов, больше. Пользуйтесь другим. :)

Конечно есть. :-}

Правильно ли я понимаю, что перечисленные источники информации не находятся в открытом доступе? Если есть ошибка, то можно это указать в доступных официальных документах?
То есть вы согласны, что приводить в вашем комментарии «цены листпрайса» в качестве цены было misleading и некорректно? ;)

Не согласен. Листпрайс — это единственные цены, которые доступны в открытом доступе, цены после скидки, естественно, величина относительная, на нее нельзя опираться.
Мне надо 15 таких плат в каждый сервер?

Все зависит от потребностей, производительности двух IO Accelerator более чем достаточно в абсолютном большинстве случаев.
0
Известно поведение системы без резервирования при заполнении дисков более, чем на 30%.

Это вопрос или утверждение? ;) Мне, например, это поведение неизвестно. Вернее даже будет сказать так, мне известно, что поведение не меняется при заполнении на 20, 30, 40, и так далее процентов. .

Правильно ли я понимаю, что перечисленные источники информации не находятся в открытом доступе?

Они есть для тех, кто хочет ими пользоваться. Но они неполезны для распространения FUD, поэтому куда менее популярны среди наших уважаемых конкурентов, ими нельзя напугать клиента до полусмерти ;)

Не согласен. Листпрайс — это единственные цены, которые доступны в открытом доступе, цены после скидки, естественно, величина относительная, на нее нельзя опираться.

Хорошо, тогда так: «Стоило сказать, что приведенные цены — фиктивные, и не имеют отношения к реальной цене, которую заплатит покупатель, так как она значительно ниже, поэтому ориентироваться на них не следует». Вы же приводите цену в «70 тысяч» словно бы это и есть их цена для покупателя, тем самым вводите его в заблуждение. Это я и имелл ввиду под misleading.

Все зависит от потребностей, производительности двух IO Accelerator более чем достаточно в абсолютном большинстве случаев.

Не понимаю ответа. Вот есть 15 серверов. Они интенсивно работают, и им нужно ускорение их операций. Могут ли несколько серверов использовать IO Accelerator совместно, как они используют таковой на централизованном SAN или NAS-сторадже, или для ускорения ввода-вывода нужно на каждый установить локально такую плату?
Если нет, то для больших IT-инфраструктур централизованный Flash Cache получается куда более выгоден с точки зрения экономической эффективности.

В случае Flash Cache на двухконтроллерном сторадже и 15 подключенных к нему серверах мне нужно две платы Flash Cache, по одному в контроллер. В случае IO Accelerator мне нужно 15 плат, по одному в сервер.
Не напутал?
0
Это вопрос или утверждение?

это утверждение, т.к. есть бывшие заказчики NetApp
и это вопрос, т.к. официальных опровержений нет.
ими нельзя напугать клиента до полусмерти ;)

Ни в коем случае, а как способ докопаться до истины, отбросив маркетинговый мусор — это полезно.
Стоило сказать, что приведенные цены — фиктивные, и не имеют отношения к реальной цене

Не фиктивные, т.к. они могут отражать:
а. стоимость комплектующих для фирмы, которую она платит производителю
б. стоимость относительно других похожих решений.
Могут ли несколько серверов использовать IO Accelerator совместно

Могут, такая функция реализована, например в MS SQL 2012.
0
это утверждение, т.к. есть бывшие заказчики NetApp

Это неверное утверждение.

и это вопрос, т.к. официальных опровержений нет.


Как можно официально опровергать то, что не существует?
Послушайте, если я буду на публичном ресурсе нести какую-то откровенную чушь в отношении лазерных принтеров, или чем там вообще занимается HP ;-D и вы, совершенно справедливо мне на эту чушь укажете, а я начну возражать, что официальных опровержений нет, будет ли это означать, что моя чушь — правда? Нет конечно, на все глупости официально отвечать — бумаги не хватит.

Давайте конкретнее, о каком именно «поведении» вы говорите?
Вот тут приводится официальное, независимо аудированное тестирование системы NetApp на блочном доступе, с заполнением дисков данными на 84%. Это является «официальным опровержением» поведения у анонимного «клиента NetApp»?

т.к. они могут отражать:

Вот именно, что только могут. ;)

Могут, такая функция реализована, например в MS SQL 2012

То есть я получаюсь привязан к одному решению одного производителя, и если, допустим, у меня Oracle, SAP DB, или даже MySQL (а также VMware, Apache или даже MS SQL 2008R2), то это не работает?
Плохая идея.
+1
в отношении лазерных принтеров, или чем там вообще занимается HP

Не пользуйтесь этим сборником FUD-ов ;)
Спасибо за ссылку по тестированию.
Тут нет фанатизма, есть желание разобраться, некоторые нюансы теперь понятны.

То есть я получаюсь привязан к одному решению

Нет, это решение пока поддерживается MS SQL 1012, остальные также будут поддерживаться.
0
Спасибо, в свою очередь, что не обиделись на туповатый подкол ;)

Так как наш диалог уже давно вышел за рамки топика, и, скорее всего уже никому тут не интересен, предлагаю, если у вас правда есть нужда разобраться в обсуждаемом вопросе, пойти друг другу в приват.
С удовольствием разобью пару-тройку пугалок, а вы, в свою очередь, расскажете что у HP нового в этой области.
0
In block environments (FC or iSCSI) NetApp must reserve 100% or more space to avoid data corruption.

Здесь речь идет о резервировании дискового пространства под тома (thick provisioning), а не о резервировании кэша Flash Cache. К тому же? судя по источнику этого документа, достоверность приведенной в нем информации вызывает сомнение. :)
0
Только этот вариант имеет существенный недостаток. SSD у EMC висят на и так обычно весьма загруженной внешней дисковой петле ввода-вывода, а вундервафля на более быстрой внутренней магистрали PCIe контроллера. И это, судя по всему, очень заметно на практике.
Так что гордиться «обычными SSD» не стоило бы.
+3
Статья крайне поверхностная, и местами наивная. Уровень, скажем так, tomshardware, несоответствующий заявоенной теме.

Совсем не охвачены существенные недостатки Flash, такие как, например, невысокая производительность на random write мелкими блоками (очень важный тип операций в высоконагруженных системах, если это, конечно, не вебсервер), а также тот факт, что многие SSD имеют эффект значительного нелинейного ухудшения характеристик по мере их заполнения данными и «состаривания файловой системы».
Этот эффект практически отсутствует в HDD, поэтому, зачастую, привычные методики построения хранилищ, работающие для HDD, не работают для SSD.
0
Статья действительно задумывалась как обзорная. Вопросы, которые вы затронули, весьма интересны и будут освещены в следующем посте. В нем я планирую рассказать про использование флеш-СХД с реальными приложениями. Если вам в голову придут еще какие-то моменты, про которые нужно упомянуть — пишите.
+4
Вообще-то с этого стоило бы начать, потому что вариант «как все чудесно и замечательно, ура-ура и пони на радуге» в первом посте, и второй пост начинающийся "… но есть нюансы." это, как мне кажется, не лучший способ рассказывать про технологии.
+1
Вы достаточно далеко обошли стороной работающие на практике гибридные решения и гибридные тома.

А ещё в полях есть загвоздка — SAS. На каждую петлю вешать больше 4-5 ssd дисков бессмысленно, они и так утилизируют полосу полностью. Рядом с ними добивают ёмкость другими дисками с механикой. Из 6 Gbit SAS имеет 4 канала по 1,5. Дьявол в деталях, а не в абстрактных рассуждениях.
+1
Обычно полки подключаются с помощью 4*6Gbit SAS. Да и затык по большей части в IOPS'ах, а не пропускной способности.
Только полноправные пользователи могут оставлять комментарии. , пожалуйста.