Comments 6
А разве в HDP не включён менеджер кластера? В CDH, например, всю процедуру установки и значительную часть дальнейшего управления кластером можно сделать из встроенного Cloudera Manager-а. Это, конечно, не полная автоматизация в Chef (кстати, зачем?), но зато развёртывание сводится к 10-15 кликам в веб-интерфейсе. При этом вместе с HDFS и YARN вы можете также поставить весь зоопарк — Hive, HBase, Pig, Impala, Hue, Sqoop и даже Spark.
Ambari? Включен, как вариант. Но опять же — есть свои особенности, связанные с приватным облаком, согласно которых попросили сделать это исключительно на Chef. Ставить при помощи Chef — Ambari и руководить ним — не оч хорошо. А так — имеем решение, при котором запуск стека приводит к развертыванию кластера. С 1 нажатия кнопочки :)
А вы планируете разворачивать много кластеров, или это для поддержания одного конкретного кластера? Просто я слабо себе представляю, как можно одним конкретным рецептом покрыть варианты развёртки кластера, да ещё и поддерку изменений в последующем.
Много. Расскажу вкратце как.
Есть кукбук, в нем рецепты, соответствующие частям кластера.
Есть Chef роли. Запускаем (через template) наши виртуалки, назначаем роли, соблюдаем последовательность и тайминги при запуске — получаем кластер.
Как настроить или внести изменение? Все параметры (хочется верить что все) из файлов core-site, hdfs-site, etc. — вынесены в атрибуты кукбука (их там порядка тыщи, чтоб не соврать), то есть доступны нам для назначения.
Если я хочу изменить, к примеру, defaultFS — я устанавливаю атрибут node['hadoop_cluster']['core_site']['defaultFS'] и при следующем запуске Chef-клиента — ВУАЛЯ, он попадает на место.
Есть кукбук, в нем рецепты, соответствующие частям кластера.
Есть Chef роли. Запускаем (через template) наши виртуалки, назначаем роли, соблюдаем последовательность и тайминги при запуске — получаем кластер.
Как настроить или внести изменение? Все параметры (хочется верить что все) из файлов core-site, hdfs-site, etc. — вынесены в атрибуты кукбука (их там порядка тыщи, чтоб не соврать), то есть доступны нам для назначения.
Если я хочу изменить, к примеру, defaultFS — я устанавливаю атрибут node['hadoop_cluster']['core_site']['defaultFS'] и при следующем запуске Chef-клиента — ВУАЛЯ, он попадает на место.
Ну это уже немножко больше, чем одно нажатие кнопочки ;) В целом, менеджер даёт такой же функционал (плюс установку сторонних вспомогательных сервисов при необходимости, удобное добавление и/или удаление узлов и т.п., что вам ещё, возможно, предстоит добавить).
А зачем вам, если не секрет, разворачивать много кластеров? Ведь даже небольшой кластер в десяток слабеньких машин — это уже $30-50к прямых затрат. Мне слабо верится, что Епам будет разворачивать такие кластера налево и направо.
А зачем вам, если не секрет, разворачивать много кластеров? Ведь даже небольшой кластер в десяток слабеньких машин — это уже $30-50к прямых затрат. Мне слабо верится, что Епам будет разворачивать такие кластера налево и направо.
Sign up to leave a comment.
Hadoop и автоматизация: Часть 2