Как построить современное аналитическое хранилище данных на базе Cloudera Hadoop

[bigdata-dev]

в импале Admission Control используете, настроены пулы? много объектов в hive metastore? не было проблем с масштабируемостью hive metastore?

зы. 14 узлов, это всего 14к таблетов для куду, которых минимум на три надо для каждой партиции таблицы. далеко с такими крупными узлами на куду не уедешь.

[EvgenyVilkov]

Используем конечно. Про это написано в статье. Как можно не использовать при такой высококонкурентной нагрузке? Работает. Работает хорошо. Impala не падает. Совсем. В CDH 6 и CDP 7 работает еще лучше.
Проблем с metastore нет.
Они бывают
-CDH 5.14 и ниже
-в инсталляциях Oracle BDA встречаются

Kudu используется как буфер для онлайн загрузки и на kudu отрезано 10% всего. Куда на нем ехать?

[bigdata-dev]

а блин, это все ты же с рекламой.

[EvgenyVilkov]

Черт, это все ты с неработающим admission :)

[alexey_c]

Вы можете порекомендовать на основе успешного, как я вижу, опыта, примерно количество админов для поддержки кластеров хадуп? Какую-нибудь более-менее понятную метрику.

[EvgenyVilkov]

Ну давайте вместе посчитаем сколько и кого вам понадобится. На каждую роль будем отводить минимум 2 человека (отпуска, больничные и тд)
Сисадмины ОС 2 чел. Очевидно что может быть совмещение тк сисадмин nix не уникальная роль в ландшафте предприятия
Администратор Hadoop. от 2 чел Роль чисто администрирования Hadoop и его компонент. Установка, настройка, тестирование обновлений, раскатка конфигураций
Прикладной администратор от 2чел. Вся прикладная около-Hadoop часть.
Дежурная смена первой линии поддержки. От 2 чел. Мониторинг, регистрация проблем\обращений, маршрутизаций по назначению другим администраторам и линиям поддержки.