Комментарии 3
Чем больше читаю про AirFlow, тем больше радуюсь, что у нас Oozie. При этом те примеры преимуществ, которые я читаю, для меня не преимущества вовсе:
— pytnon vs xml+java? Извините, но тот кто так пишет, явно кое-чего не понимает. Наши сложные случаи выглядят обычно так — приходится генерировать налету сложные графы, а генерировать xml на самом деле проще, чем генерировать питоновский код. А писать сложные графы руками — да ну их
— Oozie xml вполне заменяется на groovy builder. Даже если готовый чей-то компонент не годится, такое сделать самому раз плюнуть
— REST у Oozie (на мой вкус) сильно богаче (хотя мне бы хотелось еще возможностей)
— недостатки типа «нужно положить код в HDFS, чтобы узи с ним работал» выглядят вообще смешно — если у вас распределенная система, то именно HDFS самое логичное место хранения
И да, при чем тут аналитика? Это оркестратор пакетных процессов — насколько я понимаю, он вообще ничего не анализирует (так же, как и Oozie).
— pytnon vs xml+java? Извините, но тот кто так пишет, явно кое-чего не понимает. Наши сложные случаи выглядят обычно так — приходится генерировать налету сложные графы, а генерировать xml на самом деле проще, чем генерировать питоновский код. А писать сложные графы руками — да ну их
— Oozie xml вполне заменяется на groovy builder. Даже если готовый чей-то компонент не годится, такое сделать самому раз плюнуть
— REST у Oozie (на мой вкус) сильно богаче (хотя мне бы хотелось еще возможностей)
— недостатки типа «нужно положить код в HDFS, чтобы узи с ним работал» выглядят вообще смешно — если у вас распределенная система, то именно HDFS самое логичное место хранения
И да, при чем тут аналитика? Это оркестратор пакетных процессов — насколько я понимаю, он вообще ничего не анализирует (так же, как и Oozie).
Спустя год от написания всё работает нормально с первого раза без танцев с бубном (по Ubuntu ставится 20.04), но статья всё равно мне помогла найти оптимальный способ запуска Airflow на виндовсе, спасибо :)
botanic_kitty, подскажите, как Вы подключили локальную директорию с дагами, чтобы они были видны в airflow админке?
Зарегистрируйтесь на Хабре, чтобы оставить комментарий
Опыт установки Apache Airflow на Windows 10