Комментарии 52
Через какие фильтры вы свои скриншоты прогоняли?)
Почему не bcache с отдельными SSD, который можно выбрать любой?
Некуда ставить ssd и решение должно быть универсальное, под все операционки и промышленным.
SSD можно ставить в PCI-e.
Это намного эффективнее SATA вариантов, а по деньгам не сильно дороже.
Это намного эффективнее SATA вариантов, а по деньгам не сильно дороже.
В сервер? Там один слот подходящий и он занят. Серверная SSD в PCIe стоит не как бытовая, это невыгодно и опасно.
Ну вы про сервер пишите.
Один слот PCI-E в 1U видел только half-depth supermicro.
Обычно это или комбинированный или двухсторонний riser.
PCI-E SSD стоит дороже потому что там не жалкие 44Gb, а объемы под 1Тб, а IOPS и линк ощутимо интереснее.
Один слот PCI-E в 1U видел только half-depth supermicro.
Обычно это или комбинированный или двухсторонний riser.
PCI-E SSD стоит дороже потому что там не жалкие 44Gb, а объемы под 1Тб, а IOPS и линк ощутимо интереснее.
Будет самое интересное когда он в сборе вылетит на тот свет без предупреждения и без шансов на восстановление даже в самом крутом даталабе. Так же можете ознакомиться сколько стоит Zeus на 1тб и как это относится к нашему топику и нашему бюджету про конкретную новинку от ЛСИ. Мне тут уже посоветовали violin memory прикупить ;)
А бытовые pcie карточки думаю только для кэша и годны — 3-6-12 месяцев и в помойку, так можно делать конечно — но мы не это обсуждаем. Мы обсуждаем бюджетное решение корпоративного уровня от лидера отрасли LSI, которая занимается вопросом лет 20 наверно. Я его потестил и делюсь с народом наблюдениями, автор коммента может сделать то же самое в отдельном топике
А бытовые pcie карточки думаю только для кэша и годны — 3-6-12 месяцев и в помойку, так можно делать конечно — но мы не это обсуждаем. Мы обсуждаем бюджетное решение корпоративного уровня от лидера отрасли LSI, которая занимается вопросом лет 20 наверно. Я его потестил и делюсь с народом наблюдениями, автор коммента может сделать то же самое в отдельном топике
Выглядит как бомба.… В сервере. Я к тому, что производительность сервера не предсказуемая, точнее, предсказуемая, но с падениями по производительности под 100 IOPS в случае продолжительной записи или холодного чтения.
Особо клиента порадует продолжительная запись. Феномен появится после того, как кеш забьётся и запись в заднее хранилище начнёт (пусть с задержкой) происходить по мере записи новых данных. Если данные достаточно рандомизированы, то никакой значительной экономии на объединении блоков не будет получаться, то есть в какой-то момент кривая производительности IO на запись дружно ухнет вниз, обеспечив пользователям непередаваемые ощущения лагов.
Особо клиента порадует продолжительная запись. Феномен появится после того, как кеш забьётся и запись в заднее хранилище начнёт (пусть с задержкой) происходить по мере записи новых данных. Если данные достаточно рандомизированы, то никакой значительной экономии на объединении блоков не будет получаться, то есть в какой-то момент кривая производительности IO на запись дружно ухнет вниз, обеспечив пользователям непередаваемые ощущения лагов.
Ваши предложения по конфигурации сервера с закупкой в 150000р, запрос клиента обозначен выше?
На мой взгляд под задачи клиента решение идеально, основное попадет в кэш и все будет летать.
У клиента проблема не вообще, а VDI с крупными по диску виртуалками, которые содержат на себе базы. Немного полагать на секунду-другую не проблема — не те задачи.
Я жду Ваше предложение по решению задачи.
На мой взгляд под задачи клиента решение идеально, основное попадет в кэш и все будет летать.
У клиента проблема не вообще, а VDI с крупными по диску виртуалками, которые содержат на себе базы. Немного полагать на секунду-другую не проблема — не те задачи.
Я жду Ваше предложение по решению задачи.
А разве есть решения без «бомбы»?
Когда забивается кеш SSD происходит деградация производительности.
У кого-то это происходит раньше, у кого-то позже.
Насколько я знаю, 4-х голых винтах не собрать ничего принципиально быстрее 100 рандомных IOPS.
Когда забивается кеш SSD происходит деградация производительности.
У кого-то это происходит раньше, у кого-то позже.
Насколько я знаю, 4-х голых винтах не собрать ничего принципиально быстрее 100 рандомных IOPS.
В общем случае решения нет. Нужно либо адаптироваться под задачу, либо обсудить с клиентом особенности решения. Меня возмутило не то, что используют wb на ssd, а то, что это выдают за решение поставленной задачи.
Кстати, если гнаться за попугаями, то я только что на паре магнитных дисков сделал 5800 IOPS на запись. Чистый рандом, 4к, никакого кеша. Диски 7200, магнитные. Разумеется, не без мухлежа — nilfs2, но 5000+ iops'ов на запись это вам не хухры мухры. Правда, 110 на чтение…
Кстати, если гнаться за попугаями, то я только что на паре магнитных дисков сделал 5800 IOPS на запись. Чистый рандом, 4к, никакого кеша. Диски 7200, магнитные. Разумеется, не без мухлежа — nilfs2, но 5000+ iops'ов на запись это вам не хухры мухры. Правда, 110 на чтение…
а сколько дисков-то в массиве?
То ли два, то ли четыре, лень смотреть на чём там лвм собран. Фишка не в числе дисков, а в nilfs2.
А у меня storage pools на hyper-v c штатной ntsf показывает на запись хорошо за 20000 iops на 8 дисках. Это только говорит о эффективном кэшировании записи через память системы, ни о чем больше. Если все таки посмотрите на графики, то указанный контроллер начинает раздавать на чтение наиболее популярные блоки из кэша огромной емкости. Именно про это топик, а не про волшебные экспирементальные файловые системы.
Не, при чём тут кеш. nilfs — log-based fs, она пишет все рандомные записи подряд, а потом по получившемуся копается при чтении. То есть это были «честные» 5к IOPS на запись. Путём похеривания линейного чтения, правда.
На nilfs можно неограниченно долго писать рандомно с высоким iops на медленные диски. Расплата приходит при попытке записанное линейно прочитать.
На nilfs можно неограниченно долго писать рандомно с высоким iops на медленные диски. Расплата приходит при попытке записанное линейно прочитать.
Подскажите, а вы не пробовали обратную ситуацию.
Есть рейд на 9260, заведётся ли он на NMR8100 если просто заменить контроллер?
Есть рейд на 9260, заведётся ли он на NMR8100 если просто заменить контроллер?
Речь именно про чтение и конкретную задачу, попугаи никому не нужны. Кстати при задачах длинного последовательного чтения/записи последнее что играет роль это Iops. Система свои 200-250Мб в секунду пишет без проблем, при этом первые 100гб хорошо кэшируются.
теперь когда речь на хабре заходит о тестировании дисков или контроллеров, я сразу начинаю искать в статье графики fio...:) подсадили
Скажите, не хотите ли к уже проведенному синтетическому тесту, описанному в этом посте, организовать тестирование на реальном приложении – в частности, замерить производительность базы данных Oracle? Во-первых, вы упоминали, что под базы данных описываемое решение годится очень хорошо. Ну и во-вторых — если ваши клиенты из Enterprise-сектора, Oracle там представлен более чем. Таким образом, если вы планировали в дальнейшем адаптировать пост к некоему виду «пресс-релиза» для клиентов — мол так вот и так, рекомендуем эту железку, получите такие-то результаты, в будущем его можно было бы расширить результатами тестов на базах данных Oracle.
Если вы готовы предоставить описываемое в посте железо, я бы мог организовать и провести тестирование с помощью «широко известных в узких кругах» инструментов для замера производительности Oracle:
Подсистема I/O:
База целиком:
Ну и если уж зайти совсем далеко – можно провести тестирование «уровня приложения», когда гоняются не тесты, а эмуляция работы реальных приложений. Инструменты:
Ну и высший уровень, но и самый трудозатраный – эмуляция работы реальных пользователей в реальной системе. Но на одну только настройку могут уходить многие месяцы, так что упоминаю этот инструмент тут только для полноты всей картины:
К тому же, LoadRunner «сильно проприетарный»…
Условием для полноценного тестирования, конечно, будет наличие аналогичного сервера с минимум двумя другими типами подсистемы I/O:
Встроенные диски и SAN необходимы, понятное дело, для сравнения — нужно же от чего-то отталкиваться, голые цифры мало что дают.
В общем, если Вам это интересно, сразу скажу – такая работа – пара недель “по вечерам”, т.е. это не быстро. Ну и зависит от количества выбранных утилит из списка выше.
В результате вы сможете подготовить пресс-релиз для клиентов, а может даже и отправить данные производителю, LSI. Ну а я – пост на Хабре – думаю, результаты интересны не только связанным с Oracle инженерам.
Если вы готовы предоставить описываемое в посте железо, я бы мог организовать и провести тестирование с помощью «широко известных в узких кругах» инструментов для замера производительности Oracle:
Подсистема I/O:
- orion
- winsat
- iometer
База целиком:
- SLOB
- Oracle Database I/O calibration feature
Ну и если уж зайти совсем далеко – можно провести тестирование «уровня приложения», когда гоняются не тесты, а эмуляция работы реальных приложений. Инструменты:
- Hammerora
- Swingbench
- Simora
- Oracle Real Application Testing
Ну и высший уровень, но и самый трудозатраный – эмуляция работы реальных пользователей в реальной системе. Но на одну только настройку могут уходить многие месяцы, так что упоминаю этот инструмент тут только для полноты всей картины:
- HP LoadRunner
К тому же, LoadRunner «сильно проприетарный»…
Условием для полноценного тестирования, конечно, будет наличие аналогичного сервера с минимум двумя другими типами подсистемы I/O:
- встроенные диски
- подключение к «обычной» SAN
Встроенные диски и SAN необходимы, понятное дело, для сравнения — нужно же от чего-то отталкиваться, голые цифры мало что дают.
В общем, если Вам это интересно, сразу скажу – такая работа – пара недель “по вечерам”, т.е. это не быстро. Ну и зависит от количества выбранных утилит из списка выше.
В результате вы сможете подготовить пресс-релиз для клиентов, а может даже и отправить данные производителю, LSI. Ну а я – пост на Хабре – думаю, результаты интересны не только связанным с Oracle инженерам.
Ростислав, благодарю за предложение, но мы не тестовая лаба с сайтом — у нас совсем другой бизнес.
Энерпрайз не арендует машины под Оракл. За 5 лет работы я ни разу не видел запроса ни про Оракл, ни про его производные ни от кого.
Это параллельная вселенная, я знаю что она есть — но мы никак не пересекаемся.
Энерпрайз не арендует машины под Оракл. За 5 лет работы я ни разу не видел запроса ни про Оракл, ни про его производные ни от кого.
Это параллельная вселенная, я знаю что она есть — но мы никак не пересекаемся.
Используем новую LSI Nytro MegaRAID NMR8100-4i… Нитра стоит 27000р ...
Где вы такие цены берете?
На Никс.ру вообще нет таких железок.
На Амазоне и то только у одного продавца за $988.49 без стоимости доставки.
Вот эти два утверждения не сходятся:
> Можно сделать зеркало или страйп – выберем страйп, тем более что в документации явно написано, что если диск выйдет из строя, то система сама уберет его из дела.
> Нитра пишет в SSD и потом из него крупными блоками на диски.
Если SSD выйдет из строя, то это аварийная ситуация, потому что данные не успеют записаться на HDD.
Так что Raid 0 для SSD-кэша — это только для некритичных данных.
> Можно сделать зеркало или страйп – выберем страйп, тем более что в документации явно написано, что если диск выйдет из строя, то система сама уберет его из дела.
> Нитра пишет в SSD и потом из него крупными блоками на диски.
Если SSD выйдет из строя, то это аварийная ситуация, потому что данные не успеют записаться на HDD.
Так что Raid 0 для SSD-кэша — это только для некритичных данных.
У меня возник тот же вопрос, специально искал, задал ли его уже кто-нибудь. Хотелось бы ответ увидеть.
Согласен, тоже хотел прокомментировать это. Raid 0 для SSD-кэша который работает на ЗАПИСЬ. Это мина, причем при выходе одного SSD из строя мина фатальная 100%. Если бы там был режим SSD кеш на Чтение, то да, проблем нет, контроллер мягко выведет один диск SSD из этой кеш группы, при этом данные просто будут читаться с жестких дисков.
Думаю вероятность внезапного выхода из строя интегрированного ssd примерно та же что и выход из строя контроллера в сборе. Посмотрим практику эксплуатации, но в документации сказано что если флэш начинает кончаться — система его первая отключает.
Так же никто не мешает отключить кэширование записи, эти настройки есть. А так, она раз в 5 секунд сбрасывает на диск кэш. На мой взгляд — надежность достаточная, повышать надо на уровне приложения, а не блочного устройства.
Так же никто не мешает отключить кэширование записи, эти настройки есть. А так, она раз в 5 секунд сбрасывает на диск кэш. На мой взгляд — надежность достаточная, повышать надо на уровне приложения, а не блочного устройства.
SSD может кончиться неожиданно. Очень неожиданно. Поэтому использовать stripe в кэше на запись на критически важной системе (а система с кучей виртуалок — критически важная) — это не просто некомпетентность, это халатность.
Клиент сам разберется что ему важно, а что нет. Там можно включить и зеркало и страйп, можно включить write-back, а можно и не включать. Каждый по своим задачам смотрит как ему надо.
Вам придется заново прогнать тесты, потому что кеша будет в 2 раза меньше.
Вы нам тут показали решение за 500 баксов, которое можно заменить двумя машинами из Хетцнер — это будет раза в 3-4 дешевле, а по надежности они будут даже лучше (2x2TB HDD + 2x240GB SSD, софтовый рейд, софтовый кеш).
У вас при выходе из строя одного SSD, потеряются десятки гигабайт данных.
Вы нам тут показали решение за 500 баксов, которое можно заменить двумя машинами из Хетцнер — это будет раза в 3-4 дешевле, а по надежности они будут даже лучше (2x2TB HDD + 2x240GB SSD, софтовый рейд, софтовый кеш).
У вас при выходе из строя одного SSD, потеряются десятки гигабайт данных.
Когда возьмете машину в хетзнере, напишите тут модель ssd и hdd которые там обнаружите и их wear-out. Используя 4 ssd вместо одного промышленного решения вероятность отказа возрастет в 4 раза. Затраты на лицензии ОС и администрирование второго сервера возрастут ровно в 2 раза.
И еще раз, топик про новинку Lsi, а не про софтовый кэш и хетзнер. Хотите — берите в хетзнере и делайте софтовый кэш, думаю все в курсе что это тоже вариант.
И еще раз, топик про новинку Lsi, а не про софтовый кэш и хетзнер. Хотите — берите в хетзнере и делайте софтовый кэш, думаю все в курсе что это тоже вариант.
Когда возьмете машину в хетзнере, напишите тут модель ssd и hdd которые там обнаружите и их wear-out.
Device Model: INTEL SSDSC2CW240A3
Четыре SSD в двух машинах работают с ноября. Если верить smartctl, все устройства были новыми в момент получения серверов. Опять же, если верить смарту, Avaliable Reseved Space не уменьшился с тех пор ни на один процент. Как-то так.
И при отказе одного устройства (и даже двух в определенной конфигурации, если использовать, скажем, zfs mirror 2x2TB плюс 2x240GB SSD частично в зеркале под ZIL, и частично в страйпе под L2ARC) не приведет к фатальным последствиям. А в приведенном вами случае выход из строя любого из составляющих кэша, который буфферизует запись, приведет к потере всего массива.
Решение само по себе, вообще говоря, интересное (я сейчас про Nytro), но вот данные вашего тестирования вообще никакой практической пользы не имеют, потому что либо мы говорим, что это промышленное решение, и тогда о каком страйпе может идти речь при записи критических данных, вне зависимости от того, шпиндели у нас или SSD, либо мы пытаемся выяснить скорость пролета попугаев в вакууме, зашвыривая их с помощью ракетных ускорителей в космос. При этом всем ясно, что попугаи в космосе летать не могут, ибо воздуха нет, по той же причине они там не выживут, да и вообще, зачем кому-то попугаи в космосе?
И еще один момент. Интелловые SSD — причем, как вы говорите, «не промышленные» — имеют пятилетнюю гарантию. Учитывая их стоимость, я с огромным удовольствием предлагаю заказчикам использовать их при необходимости высоких скоростей и IOPS'ов, но пока с двойным дублированием — т.е. RAID1 на три устройства либо в массивах типа RAID-Z2\RAID6. Опять же, учитывая замену по гарантии в течение двух-трех дней, плюс hot-spare — это достаточная гарантия выживаемости данных. А цена из расчета на IOPS получается очень сладкая. Шесть дисков на 500GB будут стоить в районе 100 000 рублей (даже меньше, наверное).
все предсказуемо медленно, как и должно быть с пары дисков.
Собираем том на 4Тб — RAID10В одной из этих фраз затаилась ошибка.
Скажите, а откуда берётся конкретная цифра бюджета (16 тысяч, в данном случае) до анализа доступных технологий?
Думаю это психологически важная отметка в 500 баксов или расчет денег с клиента за ВПС с учетом достижимой их плотности на ноде. Как раз доступные технологии и сдели это возможным, пару лет назад для этого бы потребовалось 2-3 сервера и куча дисков. А сейчас всего 500 баксов и 3 дня.
А я подумал, что они хотят поднять на сервере 32 виртуалки по 2 ГБ и продавать их по тысяче. Итого доход 32 тыс, постоянный расход разумно установить в половину этой суммы — 16 тыс. Ну грубо прикинул, цифры могут отличаться, но подход к ценообразованию такой, я думаю.
там сервер совсем не про это.
Меня на такую мысль натолкнули слова
>более-менее однотипные виртуалки
А как вы оцените такую железку под хостинг многих (мелких) сайтов?
Видел, что вы написали
>Для чего точно не надо использовать:… Для веб-сайтов тоже особого смысла нет
Но всё же, если поставить на неё, например, 64 виртуалки, или даже 128 виртуалок по 512МБ, что из этого может получиться?
>более-менее однотипные виртуалки
А как вы оцените такую железку под хостинг многих (мелких) сайтов?
Видел, что вы написали
>Для чего точно не надо использовать:… Для веб-сайтов тоже особого смысла нет
Но всё же, если поставить на неё, например, 64 виртуалки, или даже 128 виртуалок по 512МБ, что из этого может получиться?
Такое решение хорошо, если объем данных, которые надо держать в кэше помещается в объем кэша. :) Звучит банально, но факт. :) У меня на сервере база данных 400Гиг, во время работы базы специально чтобы уменьшить этот эффект запросы стараемся гонять по небольшим областям данных, чтобы после отработки первого запроса, последующие запросы работали через ssd кэш. В качестве ssd кэша: bcache + 2х120Gb ssd в RAID 0. Кэш рид-онли, так что можно и RAID-0.
Выгоды не будет – кэш не отработает или будет слишком слаб.
Зато очень поможет при ребилде массива:
www.storage-switzerland.com/Articles/Entries/2012/10/23_Is_it_Time_for_Hybrid_SSD_RAID_Controllers.html
После пяти лет работы в сервере бекапов с RAID6 из 11x4 TB HDD и пары ребилдов (значения в ГБ):
smartctl -a -d megaraid,4 /dev/bus/3
ID# ATTRIBUTE_NAME FLAG VALUE WORST THRESH TYPE UPDATED WHEN_FAILED RAW_VALUE 232 Available_Reservd_Space 0x0032 000 000 000 Old_age Always - 17 233 Media_Wearout_Indicator 0x0032 000 000 000 Old_age Always - 299428 241 Total_LBAs_Written 0x0032 000 000 000 Old_age Always - 317754 242 Total_LBAs_Read 0x0032 000 000 000 Old_age Always - 64239
Зарегистрируйтесь на Хабре, чтобы оставить комментарий
LSI Nytro MegaRAID NMR8100-4i в деле