Comments 12
Интересно, у нас все это сейчас делается баш скриптами (копирование логов из серверов в hdfs, где начинается обработка). Правда после прочтения я таки не уверен, что оно того стоит, слишком уж сложно выглядит.
Наверно я напугал вас обилием скриншотов и слишком подробным объяснением того как оно устроено =) На деле на поднятие Flume по инструкциям из статьи у вас уйдет не больше часа. И оно того определенно стоит!
Поддержу мысль. Даже исходя из опыта logstash.
У меня вопрос: а не было опыта (или не пробегала ли информация), чтобы натравить на данные в hadoop elasticsearch?
У меня вопрос: а не было опыта (или не пробегала ли информация), чтобы натравить на данные в hadoop elasticsearch?
www.elasticsearch.org/overview/hadoop/ оно? у них там много на эту тему написано, например, www.elasticsearch.org/blog/elasticsearch-and-hadoop/
Доброго времени суток.
Интересная статья, спасибо.
Хочу попробовать применить flume для решения задачи.
— Есть ряд online процессов, которые вызывают внешние web-сервис-ы и получают от них ответ;
— Ответы дальше маршрутизируются по шине;
— Факт запроса внешнего web-сервиса и ответ web-сервиса хочу сохранять в hadoop (hdfs);
Как вариант вижу одно из возможных решений асинхронно вызывать flume.
Что думаете?
И вообще эта штука стабильно работает?
Заранее спасибо за ответы.
Интересная статья, спасибо.
Хочу попробовать применить flume для решения задачи.
— Есть ряд online процессов, которые вызывают внешние web-сервис-ы и получают от них ответ;
— Ответы дальше маршрутизируются по шине;
— Факт запроса внешнего web-сервиса и ответ web-сервиса хочу сохранять в hadoop (hdfs);
Как вариант вижу одно из возможных решений асинхронно вызывать flume.
Что думаете?
И вообще эта штука стабильно работает?
Заранее спасибо за ответы.
А веб-морда какая-то к логам, собираемым Flume есть, или свою написали?
Вы можете просматривать содержимое файлов лога в интерфейсе Hue, если я вас правильно понял.
Не совсем. Логи обычно не просматривать нужно, а делать по ним поиск, выделять в них поля, фильтровать и т.п.
Что-то типа такого: logstash.openstack.org (здесь она, похоже, read-only).
Что-то типа такого: logstash.openstack.org (здесь она, похоже, read-only).
Выборки можно делать любыми средствами Hadoop: Hive, MR, Pig и т.д., все ни доступны через интерфейс Hue.
Вот хорошая статья hortonworks.com/hadoop-tutorial/how-to-refine-and-visualize-server-log-data
Вот хорошая статья hortonworks.com/hadoop-tutorial/how-to-refine-and-visualize-server-log-data
Sign up to leave a comment.
Hadoop, часть 2: сбор данных через Flume