Информация

Дата основания
Местоположение
Россия
Сайт
www.tinkoff.ru
Численность
5 001–10 000 человек
Дата регистрации

Блог на Хабре

Обновить
240,59
Рейтинг
TINKOFF
IT’s Tinkoff — просто о сложном

Как мы провели встречи по NiFi. Видео и впечатления

Блог компании TINKOFFBig DataХранилища данныхData Engineering
Приветствую!

Все чаще я встречаю упоминания такого замечательного продукта, как Apache NiFi. Даже на Хабре за этот год появилось несколько статей об этом достаточно нишевом продукте.

Мы в Тинькофф уже более двух лет используем Apache NiFi и поэтому посвятили ему митап (сразу признаемся, что на проведение мероприятия нас подвигло сообщество телеграм-канала @nifiusers). Событие мы разбили на две части, которые проходили два четверга подряд.



Дмитрий Быстриков, «Софт Инжиниринг»


Его доклад — о способах автоматизации доставки flow между средами, а также об инструментарии, который создан в Apache NiFi и около него.

Дмитрий рассказал, с чем придется столкнуться на пути создания CI/CD. В докладе он рассмотрел инструменты:

  • NiFi Registry — его используют для хранения и версионирования потоков;
  • NiFi CLI — для управления из командной строки;
  • NiFi Rest API — для взаимодействия через веб из приложений;
  • NiPyAPI — python-модуль для упрощения взаимодействия с Rest API.

Доклад будет полезен тем, кто начинает свой путь в NiFi и ищет возможность упростить доставку потоков до промышленной среды.


Бронислав Житников, «Тинькофф»


Этот доклад готовил я сам, в нем я рассказал о практиках организации потока в NiFi, обеспечивающих удобство чтения потоков при ревью и доработке, а также простоту их сопровождения. Об организации процесса доставки данных от источника к получателю, о способах контроля активности источника, о выделении ошибок и их обработке и о работе с архивом сырых данных.

Также в докладе есть пара советов по визуальному оформлению потока. Они упрощают чтение потока специалистами, которым придется с ним работать после разработки.



Илья Ковалев, «Тинькофф»


Доклад был не очень простой и касался внутреннего устройства NiFi. Илья постарался рассказать о компонентах, которые можно расширить для достижения целей пользователей, о структуре этих компонентов, о важных элементах, про которые не стоит забывать, когда вносишь изменения или создаешь новые объекты в NiFi.
Также Илья затронул вопросы поддержки внесенных изменений при переходе на новые версии NiFi. Доклад очень интересный, хотя требует от слушателей определенного опыта как в самом инструменте, так и в Java.


Андрей Тренин, Сбербанк


В докладе говорится о том, как Apache NiFi пришел в Сбербанк, как его презентовали бизнес-пользователям и какую роль играет инструмент в Data Platform Сбербанка. Андрей коснулся практических ситуаций и сложностей, которые возникают при внедрении инструмента, о его положительных сторонах и недостатках. Удалось поговорить и о будущем инструмента в Сбербанке.

Выступление пропитано практическим опытом и будет интересно не только новичкам, но и, возможно, откроет что-то новое и тем, кто давно работает с NiFi.


Надеюсь, нам удастся почаще проводить мероприятия, посвященные Apache NiFi. А пока, в ожидании новых событий, приглашаем всех в телеграм-канал @nifiusers, где мы с коллегами из других компаний активно обмениваемся информацией и помогаем друг другу решать проблемы, возникающие при работе с Apache NiFi.
Теги:nifietletl-процессыdwhхранилище данных
Хабы: Блог компании TINKOFF Big Data Хранилища данных Data Engineering
Рейтинг +16
Количество просмотров 1,9k Добавить в закладки 8
Комментарии
Комментарии 1

Похожие публикации

Разработчик ETL-процессов
TINKOFFРостов-на-ДонуМожно удаленно
Системный аналитик DWH
TINKOFFРостов-на-ДонуМожно удаленно
Системный аналитик DWH
TINKOFFКраснодарМожно удаленно
Разработчик ETL (Streaming)
TINKOFFКраснодарМожно удаленно
Разработчик ETL (Streaming)
TINKOFFРостов-на-ДонуМожно удаленно

Лучшие публикации за сутки