Как стать автором
Обновить

Комментарии 21

Простите, что комментарий не по теме, но КДПВ довольно-таки иронична. HP 3PAR ассоциируется не со всеми любимым котиком, а с мутантом вымирающего вида. Да, они красивые, но вики пишет что имеют много проблем из-за близкородственного скрещивания.

Наверное, это не лучший вариант? :)
Представьте: идет боевой ввод-вывод, а 3PAR в онлайне дедуплицирует эту информацию! Этого пока никто не умеет делать, только 3PAR.
Шёл 2009 год.... И не надо оправдываться, что в HP это сделано «аппаратно», а в ZFS программно. Современных ЦПУ вполне хватает что бы выполнять всю работу возложенную на хранилище. Если пичкать туда аппаратные чипы ускорители, то ЦПУ там просто простаивает.
При прочтении статьи складывается впечатление, что старые дисковые массивы решили выдать за новые, не особо вкладываясь. Даже картинки в презентации взяли старые, датированные 2012м годом. И опять в качестве основного преимущества выделяют процессор ASIC, без которого другие производители создают отличные массивы. Специализированный процессор ASIC сделает больше операций за один такт, чем стандартный. Но если он работает на 300Мгц, вместо 3 Ггц у Intel, то производительность будет меньше.
И еще удивила ответственность, которую HP готов на себя взять в случае нарушения надежности в 99,9999%. Если массив перестал работать и Ваш бизнес под угрозой, HP готов… не возместить ущерб или хотя бы выкупить массив обратно, а бесплатно продлить поддержку массива на 3 месяца. Вот это уверенность в их отказоустойчивости!
По комментариям выше складывается впечатление, что софтовое ускорение (процессором Intel) лучше чем аппаратное. Ответьте тогда на вопрос почему же вы все берете себе графический акселератор для игр? Всегда (подчёркиваем, ВСЕГДА) ФОП (Функционально ориентированные процессоры) превосходят процессоры общего назначения для узкоспециализированных задач. В случае 3PAR дедупликация и ускорение RAID как раз и являются такими задачами.
И при чем тут ZFS? В статье идет речь о блочном вводе выводе, а не файловом. Учите теорию систем хранения, господа комментаторы….
Переходим по указанной мною ссылке и, опачки, что мы видим...
ZFS deduplication works at the block level, not on an individual file basis, so it is possible that «mostly the same» files can enjoy benefits of deduplication and reduced disk space consumption. Imagine even a single user working with a series of medical image files from CAT scans, or different versions of an animated film. The different files might be almost identical in contents, and potentially the majority of disk blocks could be the same — and stored only once instead of storing the same contents multiple times.
Фраза «Этого пока ни кто не умеет делать» очень опрометчива. Маркетологи вы наши…

Далее. Узкоспециализированные действительно лучше заточены на конкретные задачи, ради которых их создавали, НО когда в это тычат пальцем, забывают уточнить что обещанная производительность появилась в том числе за счёт освобождения ресурсов ЦПУ, НО если ЦПУ и так справлялся со всеми описанными задачами, то на кой хрен тратится на доп. железо?
Всегда (подчёркиваем, ВСЕГДА) ФОП (Функционально ориентированные процессоры) превосходят процессоры общего назначения для узкоспециализированных задач

Это неправда, если мы говорим не о теоретических умозаключениях или лабораторных исследованиях. В жизни значение имеет performance/$. И тут у ЦПУ общего назначения большая фора из-за массовости производства: менее эффективное расходование «транзисторного бюджета» компенсируется более низкой стоимостью транзисторов. ФОП могут превосходить ЦПУ общего назначения по performance/$ только в том случае, если производятся достаточно массово. При чём под $ нужно понимать полную стоимость владения. С ФОП могут быть связанны дополнительные расходы/риски т.к. их мало, мало специалистов с ними знакомых, нюансы эксплуатации менее исследованы. Все любят работать со стандартными компонентами, это неспроста.
По комментариям выше складывается впечатление, что софтовое ускорение (процессором Intel) лучше чем аппаратное.

Часто так и есть.
Во-первых, у Intel не софтовое ускорение, а такое же аппаратное(SSE инструкции и проч).

Во-вторых, утверждение: «Всегда (подчёркиваем, ВСЕГДА) ФОП (Функционально ориентированные процессоры) превосходят процессоры общего назначения для узкоспециализированных задач.», не корректно, если вычислительная часть не является узким местом. 24 ядера Intel(2 сокета например) вполне вероятно справятся с задачей расчета crc32(который аппаратно ускорен).

И при чем тут ZFS? В статье идет речь о блочном вводе выводе, а не файловом. Учите теорию систем хранения, господа комментаторы….

Наверху любого блочного устройства лежат, либо ФС, либо специализированные LVM(например Oracle ASM).
Надо признать, для второго как раз дедупликация могла бы быть полезна, но по факту не будет, ибо одинаковые блоки в БД большая редкость. Сжатие, прозрачное как в IBM Storwize(обычные Intel ядра к слову) например тут поможет.

Неважно какой в автомобиле двигатель, если мы соревнуемся на 1/4 мили. Важен результат.
Кроме того не нужно забывать, что в общем случае чип общего назначения проще загрузить работой, а значит время простоя у него будет меньше. Это сильно зависит от области применения, но даже только одного этого эффекта во многих случаях может быть достаточно что бы софтовое ускорение оказалось «лучше» аппаратного.
Кстати, лучше-то по какому критерию?
Общий коммент №1
Еще раз, дедупликация происходит на БЛОЧНОМ уровне (вы «поверху» можете ставить любую файловую систему, хоть ту же ZFS, но это уже дело ОС сервера, а не системы хранения данных)
дедупликация происходит в реальном времени в отличии от других СХД где это происходит по расписанию. Для сомневающихся в эффективности скриншот из реального 3PAR ниже

Сжатие в реальном времени в 3 раза — в ТРИ раза.
_____________________________

Для комментаторов — любителей софтовых ускорений:
Вы так и не ответили на вопрос по видеокартам. Если процессор общего назначения так хорош, почему вы используете аппаратный акселератор для видео?
Потому что основной ЦПУ в этот момент занят другими делами и нечего его загружать расчётом графики, НО я Вам ещё раз втолковываю и не только уже я — в СХД ЦПУ делать нечего кроме как расчёта контрольных сумм, дедупликации (если она есть) и обработки SCSI команд. Итого, если с него снять ещё и дедупликацию, то он просто будет простаивать!
А ещё можно RAID поставить аппаратный со своим контроллером для подсчёта сумм, тогда вообще можно СХД на пеньке 4-ом замутить…
Предлагаем вам создать свою СХД на «пеньке» 4.
Еще раз, дедупликация происходит на БЛОЧНОМ уровне

Как и в ZFS, и да, в ZFS вы тоже можете установить ЛЮБУЮ файловую систему поверх ZVOL. Сжатие на лету, на блочном уровне в ZFS тоже есть.
Если процессор общего назначения так хорош, почему вы используете аппаратный акселератор для видео?

Потому что там это окупается. Потому что с одной стороны производство видеокарт — массовое, а с другой видеокарты на данный момент — весьма универсальные ЦПУ, которые ускоряют много чего. Например, в научных и инженерных вычислениях очень широкое применение сейчас нашли GPU. Современные GPU — это универсальные процессоры, пусть и другого типа, чем x86 CISC.
На счёт видеокарт могу привести очень показательный пример из своей области. Существует такой метод как Молекулярная Динамика (МД), он очень широко применяется в биофизике, фармакологии, материаловедении и др. Еще 3 года назад подавляющие число вычислений велось на суперкомпьютерах на x86 процессорах с использованием MPI. Конечно, x86 процессоры не созданы для МД, но до ~2011 года почти все ими пользовались для МД.
Существует в Мире один частный научно-исследовательский институт, называется D. E. Shaw Research, который создал специальный компьютер «Anton» для МД на основе ASIC, который на два порядка (в 100 раз) превосходил по производительности то, чего можно было добиться на суперкомпьютерах общего назначения. Оказалось, однако, что его цена столь велика, что никто, кроме самих разработчиков не купил ниодной такой машины — дешевле и проще пользоваться стандартным оборудованием и ПО. А к тому же видеокарты становились со временем все более и более универсальными — появивились и развивались CUDA, OpenCL. И примерно в 2011-2013 годах начался повальный переход с x86 на видеокарты. Но никто не купил «Anton». Причина в том, что только совместный объем рынков видеоигр+ научных вычислений + обработки изображений и видео + ускорение инженерного ПО оказался достаточным что бы экономически оправдать создание и использование менее стандартных, чем x86 процессоров.
Дорогие коллеги из МУК, если уж решили написать статью на хабр, то пишите ее сами, а не по ХП-шным презам двухлетней давности.
Не прикреплялся скриншот к прошлому комменту. Для сомневающихся в эффективности скриншот из реального 3PAR ниже, сжатие в реальном времени в 3 раза:

image

Так как у нас ограничение – 1 коммент в час, будем отвечать всем сразу.

Дорогие коллеги из МУК, если уж решили написать статью на хабр, то пишите ее сами, а не по ХП-шным презам двухлетней давности.

А с чего вы решили что презентации двухлетней давности? Из-за того, что в скриншот попал некорректный колонтитул из PowerPoint? Описанный в статье функционал (дедупликация, к примеру) появился с выходом ASIC 5-го поколения (начало этого месяца). Так что вы проверяйте информацию перед тем как говорить.
Как я понимаю, Вы хотите здесь прорекламировать продукт. Для успешности рекламы на хабре, мне кажется, нужно ответить на один вопрос: какие конкурентные преимущества имеет ваше решение. Детали реализации не являются сами по себе конкурентным преимуществом. Конкурентным преимуществом могут быть эксплуатационные качества. Вам указали в сторону конкурентной реализации функциональности которую Вы рекламируете — ZFS.
А сколько памяти нужно воткнуть в сервер, чтобы dedup нормально работал в ZFS на емкости, скажем, 1PB?
Не знаю точно, но dedup может использовать SSD через L2ARC, так что, наверное, меньше, чем может показаться.
Интересно, а когда речь идет о:
«Зачастую выбор СХД похож на выбор кошки в черной комнате, и очень не хочется, чтобы после пары лет работы оказалось, что за красивым фасадом скрываются давно устаревшие технологии, не готовые к новым тенденциям и не имеющие «запаса прочности» для масштабирования в будущем.»
это кто-то конкретный имеется ввиду? На рынке вообще остались «обычные» СХД? А то куда ни глянь — везде самые передовые технологии.

По поводу inline дедупликации, ее поддерживают EMC XtremIO, Pure Storage, Violin Memory.

Если ASIC так хороши, то почему тот же Hitachi отказался от них в новой серии массивов? Или у них были неправильные ASIC'и?
упс, это ответ на комент выше про память.
Есть рекомендации считать что чисто на DDT уйдёт 20Гб памяти на хранилище в 1PB, я склонен рассчитывать на 40Гб, но всё зависит от того на сколько хорошо у Вас работает дедупликация. Не в плане абстрактного качества её работы, а в плане повторяемости записываемых данных.
Так же можно использовать L2ARC на SSD.
Только полноправные пользователи могут оставлять комментарии. Войдите, пожалуйста.