DAG’и без напрягов: наш опыт использования метаданных при работе с Apache Airflow

[amarao]

Какой максимальный объём данных для одной задачи можно прокачать через airflow?

[andylar]

Мы не используем Airflow для прокачки данных, данные прокачивает GreenPlum в данном случае. Airflow — прежде всего оркестратор задач и лучше использовать его так.

[amarao]

Ясно, спасибо. Я ищу какую-то MQ, чтобы пересылать через неё задачи в единицы ГБ. Базу данных мы не хотим использовать, потому что это очень временные данные, из которых нужно "отжать" полезное (единицы килобайт).

[andylar]

NiFi?

[amarao]

Не слышал, но спасибо, мы её обязательно посмотрим.