fortyseven Oct 22 2013 at 15:41

Hadoop, часть 1: развертывание кластера

11 min

57K

Selectel corporate blogBig Data*Hadoop*

+38

Comments 16

saa Oct 22 2013 at 19:56

А для каких целей вы используете hadoop?

fortyseven Oct 23 2013 at 14:27

Пока активно экспериментируем, исследуем, где вообще можно применить Hadoop для решения насущных задач. В следующих статьях цикла постараюсь рассказать подробнее на примере одной задачи.

rudenkovk Oct 23 2013 at 14:28

Как уже ниже писал, очень жду рассказ про Flume. Мы сейчас используем logstash, но он… не комфортный для нас пока.

nshopik Oct 23 2013 at 00:00

Зачем использовать сокращатели ссылок там где они не к чему, что за дурацкая мода?

dev1ce Oct 23 2013 at 00:54

Почему это не к чему?

fortyseven Oct 23 2013 at 14:29

Если вы про ссылку в блог, то мы используем собственный сокращатель ссылок как единую точку мониторинга посещаемости наших веб-ресурсов. Приносим извинения, если это доставляет вам неудобства.

nshopik Oct 24 2013 at 19:24

Я догадываюсь о назначении, но что мешает вам мониторить вашу статитиску через ссылку редирект, чтобы не скрывать URL назначения?

rudenkovk Oct 23 2013 at 09:25

Очень интересно послушать про Flume. Как раз сейчас думаю о его установке для сравнения с текущим решением.

xhumanoid Oct 28 2013 at 18:39

один я не понимаю зачем делать это:
«/dfs» поверх LVM на все доступные диски под хранение данных HDFS;

не проще все N дисков подмонтировать в /dfs/{1..N}?
это гарантирует сразу несколько вещей:
1) вылет одного диска вызовет замену только одного диска без перепроверки всего lvm
2) при обновлении хадупа на каждый диск запускается отдельный тред для проверки дискового формата, с lvm и единым разделом мы будем иметь 1 поток

fortyseven Oct 29 2013 at 11:25

Да, вы правы, лучше монтировать каждый диск в отдельную папку. Но в таком случае главное не забыть перечислить все точки монтирования в настройках HDFS сервиса.
У нас использование LVM сложилось по историческим причинам (разное количество дисков на тестовых серверах), к сожалению, забыл упомянуть об этом в статье.

rudenkovk Nov 5 2013 at 13:14

Когда можно от вас будет ожидать статью про Hadoop+Flume?

fortyseven Nov 5 2013 at 16:12

Надеюсь, что на этой неделе успеем опубликовать.

rudenkovk Nov 5 2013 at 16:42

Очень ждем, очень намаялись с logstash, интересны альтернативы.

akme Nov 6 2013 at 19:06

Статья про Flume доступна уже в блоге

rudenkovk Nov 6 2013 at 19:08

Спасибо! Пошел с интересом читать! )

Ihor_Bobak Jul 19 2015 at 17:10

Кого интересует детальная инструкция по установке дистрибутива от Hortonworks — можете ознакомиться с моей статьей:
ihorbobak.com/index.php/2015/05/06/installing-hadoop-using-ambari-server
ну а также здесь
ihorbobak.com/index.php/2015/06/23/installing-development-tools-on-hadoop
статья об установке средств разработки.