Приветствую!
Все чаще я встречаю упоминания такого замечательного продукта, как Apache NiFi. Даже на Хабре за этот год появилось несколько статей об этом достаточно нишевом продукте.
Мы в Тинькофф уже более двух лет используем Apache NiFi и поэтому посвятили ему митап (сразу признаемся, что на проведение мероприятия нас подвигло сообщество телеграм-канала @nifiusers). Событие мы разбили на две части, которые проходили два четверга подряд.
Его доклад — о способах автоматизации доставки flow между средами, а также об инструментарии, который создан в Apache NiFi и около него.
Дмитрий рассказал, с чем придется столкнуться на пути создания CI/CD. В докладе он рассмотрел инструменты:
Доклад будет полезен тем, кто начинает свой путь в NiFi и ищет возможность упростить доставку потоков до промышленной среды.
Этот доклад готовил я сам, в нем я рассказал о практиках организации потока в NiFi, обеспечивающих удобство чтения потоков при ревью и доработке, а также простоту их сопровождения. Об организации процесса доставки данных от источника к получателю, о способах контроля активности источника, о выделении ошибок и их обработке и о работе с архивом сырых данных.
Также в докладе есть пара советов по визуальному оформлению потока. Они упрощают чтение потока специалистами, которым придется с ним работать после разработки.
Доклад был не очень простой и касался внутреннего устройства NiFi. Илья постарался рассказать о компонентах, которые можно расширить для достижения целей пользователей, о структуре этих компонентов, о важных элементах, про которые не стоит забывать, когда вносишь изменения или создаешь новые объекты в NiFi.
Также Илья затронул вопросы поддержки внесенных изменений при переходе на новые версии NiFi. Доклад очень интересный, хотя требует от слушателей определенного опыта как в самом инструменте, так и в Java.
В докладе говорится о том, как Apache NiFi пришел в Сбербанк, как его презентовали бизнес-пользователям и какую роль играет инструмент в Data Platform Сбербанка. Андрей коснулся практических ситуаций и сложностей, которые возникают при внедрении инструмента, о его положительных сторонах и недостатках. Удалось поговорить и о будущем инструмента в Сбербанке.
Выступление пропитано практическим опытом и будет интересно не только новичкам, но и, возможно, откроет что-то новое и тем, кто давно работает с NiFi.
Надеюсь, нам удастся почаще проводить мероприятия, посвященные Apache NiFi. А пока, в ожидании новых событий, приглашаем всех в телеграм-канал @nifiusers, где мы с коллегами из других компаний активно обмениваемся информацией и помогаем друг другу решать проблемы, возникающие при работе с Apache NiFi.
Все чаще я встречаю упоминания такого замечательного продукта, как Apache NiFi. Даже на Хабре за этот год появилось несколько статей об этом достаточно нишевом продукте.
Мы в Тинькофф уже более двух лет используем Apache NiFi и поэтому посвятили ему митап (сразу признаемся, что на проведение мероприятия нас подвигло сообщество телеграм-канала @nifiusers). Событие мы разбили на две части, которые проходили два четверга подряд.
Дмитрий Быстриков, «Софт Инжиниринг»
Его доклад — о способах автоматизации доставки flow между средами, а также об инструментарии, который создан в Apache NiFi и около него.
Дмитрий рассказал, с чем придется столкнуться на пути создания CI/CD. В докладе он рассмотрел инструменты:
- NiFi Registry — его используют для хранения и версионирования потоков;
- NiFi CLI — для управления из командной строки;
- NiFi Rest API — для взаимодействия через веб из приложений;
- NiPyAPI — python-модуль для упрощения взаимодействия с Rest API.
Доклад будет полезен тем, кто начинает свой путь в NiFi и ищет возможность упростить доставку потоков до промышленной среды.
Бронислав Житников, «Тинькофф»
Этот доклад готовил я сам, в нем я рассказал о практиках организации потока в NiFi, обеспечивающих удобство чтения потоков при ревью и доработке, а также простоту их сопровождения. Об организации процесса доставки данных от источника к получателю, о способах контроля активности источника, о выделении ошибок и их обработке и о работе с архивом сырых данных.
Также в докладе есть пара советов по визуальному оформлению потока. Они упрощают чтение потока специалистами, которым придется с ним работать после разработки.
Илья Ковалев, «Тинькофф»
Доклад был не очень простой и касался внутреннего устройства NiFi. Илья постарался рассказать о компонентах, которые можно расширить для достижения целей пользователей, о структуре этих компонентов, о важных элементах, про которые не стоит забывать, когда вносишь изменения или создаешь новые объекты в NiFi.
Также Илья затронул вопросы поддержки внесенных изменений при переходе на новые версии NiFi. Доклад очень интересный, хотя требует от слушателей определенного опыта как в самом инструменте, так и в Java.
Андрей Тренин, Сбербанк
В докладе говорится о том, как Apache NiFi пришел в Сбербанк, как его презентовали бизнес-пользователям и какую роль играет инструмент в Data Platform Сбербанка. Андрей коснулся практических ситуаций и сложностей, которые возникают при внедрении инструмента, о его положительных сторонах и недостатках. Удалось поговорить и о будущем инструмента в Сбербанке.
Выступление пропитано практическим опытом и будет интересно не только новичкам, но и, возможно, откроет что-то новое и тем, кто давно работает с NiFi.
Надеюсь, нам удастся почаще проводить мероприятия, посвященные Apache NiFi. А пока, в ожидании новых событий, приглашаем всех в телеграм-канал @nifiusers, где мы с коллегами из других компаний активно обмениваемся информацией и помогаем друг другу решать проблемы, возникающие при работе с Apache NiFi.
