Comments 6
По-моему данные инструменты не относятся к разряду «необходимо знать», скорее к «желательно знать о существовании».
А вот что необходимо, так это:
1) принципы map-reduce и итеративных алгоритмов
2) ну и действительно инструменты:
hadoop для batch обработки, доп инструменты для него hive и pig
storm и spark для реалтайм процессинга,
druid и impala для реалтаймовых выборок с sql подобным синтаксисом
то что перечислено в статье это обертки, которые можно использовать для того чтобы агрегировать потоки данных от приложений и последующей простой визуализации, а следовательно и целевая аудитория отнють не «программист, работающий с Big Data», а «разработчик приложений (в основном мобильных), которое может генерировать потоки данных, а сам разработчик не знает куда их залить и что с ними можно сделать»
А вот что необходимо, так это:
1) принципы map-reduce и итеративных алгоритмов
2) ну и действительно инструменты:
hadoop для batch обработки, доп инструменты для него hive и pig
storm и spark для реалтайм процессинга,
druid и impala для реалтаймовых выборок с sql подобным синтаксисом
то что перечислено в статье это обертки, которые можно использовать для того чтобы агрегировать потоки данных от приложений и последующей простой визуализации, а следовательно и целевая аудитория отнють не «программист, работающий с Big Data», а «разработчик приложений (в основном мобильных), которое может генерировать потоки данных, а сам разработчик не знает куда их залить и что с ними можно сделать»
8. Mortar Data
Mortar Data – это Hadoop для разработчиков, простой и ясный. Уже почти год назад компания предложила свой облачный сервис, заменяющий MapReduse комбинацией Pig и Python. В ноябре состоялся релиз открытого фреймворка Mortar с целью создания сообщества для обмена данными и опытом по работе с Hadoop. На данный момент Mortar Data работает поверх Amazon Web Services и поддерживает в качестве информационных ресурсов Amazon S3 и MongoDB (размещенной на Amazon EC2).
MapReduse — to reduce
UFO just landed and posted this here
Гм, я работаю как раз в области Big Data, мы создаем свою платформу на основе Hadoop (http://www.crn.com/slide-shows/data-center/240144276/the-10-coolest-big-data-products-of-2012.htm;jsessionid=LmE6GpmQffvVBtRJjXP00g**.ecappj03?pgno=5 — могу о ней рассказать, кстати), но ни об одной из предоставленных технологий до сего дня не слышал.
А почему не упомянуты такие вещи, как ZooKeeper, Flume, Mahout, Sqoop, Oozie?
И вообще вот этого списка? blog.ashwanthkumar.in/2012/02/list-of-hadoop-ecosystem-tools.html
А почему не упомянуты такие вещи, как ZooKeeper, Flume, Mahout, Sqoop, Oozie?
И вообще вот этого списка? blog.ashwanthkumar.in/2012/02/list-of-hadoop-ecosystem-tools.html
Sign up to leave a comment.
12 инструментов, о которых необходимо знать каждому программисту, работающему с Big Data