Как стать автором
Обновить

Комментарии 6

Какой объем данных вы обрабатываете с помощью такого пайплана?

При тестировании такой пайплайн обрабатывал до 500к записей/5мин объёмом по 6кб каждая. Можно и больше, если поднять число тредов в процессорах. Повседневные объёмы у нас гораздо меньше из-за лимитов со стороны источника, да и HRы столько не генерируют.

Отдельное спасибо за Jolt! Так как схожие проблемы всегда решали custom разработкой на Groovy =)

Здравствуйте, работаю сейчас с данным инструментом, но сталкиваюсь с проблемой, что apache nifi иногда перезапускается, и все мои процессоры просто слетают, возможно подкажите как вы его развернули у себя, заранее спасибо

Здравствуйте. К сожалению, по администрированию NiFi я подсказать не могу. Мой опыт ограничивается временным запуском локально для тестов. Попробуйте посмотреть в сторону файла flow.xml.gz, где NiFi хранит текущее состояние пайплайнов. Может быть что-то с записью/чтением. Если проблема не в пропаже процессоров, а в их state'ах, то может быть в nifi.properties нужно поставить nifi.flowcontroller.autoResumeState= в true

У NiFi подробные логи, можно глянуть причину там. Я запускаю в докере, делаю моунт хостовой папки в папку с логами в контейнере и потом анализирую эти логи. Помогло в свое время понять почему падает NiFi. У меня NiFi версии 2

Зарегистрируйтесь на Хабре, чтобы оставить комментарий