Comments 21

А что Вы используете, если нужно передавать файлы между тасками внутри одного дага?

Если честно, такой необходимости еще не возникало.


Но если возникнет, то тут очевидное решение — использовать шару (S3, WebDAV, NFS, SMB, FTP, Gopher — что вам больше нравится), к которой имеют доступ все воркеры.

Мы решили что гонять по сети — не очень.
Передаём данные пиклами.

Совсем крохотный. Десятки мегабайт. Почему решили что не очень — это дополнительная система, ещё одно место где что-то может пойти не по плану.

Если бы мои воркеры работали локально, то я бы вряд ли принимал NFS за точку отказа, и всё-таки бы передавал через XCom путь к файлу.


Но на то Airflow и фреймворк, чтобы находить свои пути решения задач :)

Всё зависит от задач: когда в тасках — запуск спарка с обработкой гигабайт и терабайт данных, то без скидывания файлов в s3 уже сложнее обойтись.
А что-то совсем маленькое можно через XCom передавать. Или ссылку на данные.

Хорошая вещь, как-то думал ее приспособить к нашим нуждам, но в конце выбрали AWX/Tower с Ansible.
Спасибо за ссылки!
Почему перезапускаете таски руками, а не с помощью retries?

Я не хотел перенасыщать первый пример, совершенно точно хотел написать про retries отдельно, естественно забыл.


Но вы наверняка увидели, что в update_reports.py я их уже успользую. И вы тоже используйте :)

Как вы живете с двумя сотнями дагов в одном инстансе? Это ж такая портянка, читать неудобно.

Легко:


  • Всегда есть поиск по дагам и Cmd+F по странице.
  • Аналитики видят только те даги, которые их беспокоят.
  • Сейчас завезут теги и вообще заживем.

Да и вообще, зачем с ними «жить»? Работают и ладно. Изредка можно прокрутить экран и убедиться, что всё «зелёное».

Аналитики видят только те даги, которые их беспокоят.

Как вы это сделали?
  • Делаем роль,
  • набрасываем в нее аналитиков,
  • говорим что роль может такой-то даг смотреть, а другой — ещё и писать (триггернуть, например),
  • все прочие даги члены роли не увидят.

Не очень удобно, но работает.

Only those users with full accounts are able to leave comments. Log in, please.