Комментарии 4

Да, конечно можно. Dask развертывается в контейнерах, есть даже специальная версии планировщика для k8s. В документации есть видео — там примеры приводят как раз для облачного кластера.

Работал с Dask 2 года назад. Уже тогда это был мега-удобный инструмент для распределенных вычислений: кластер стартует с чистых машин за полчаса и, заметьте, чистый Python. Вот такие вот 2 камня в огород Spark, со всем его хайпом и наворотами.

Да, и вправду Dask очень удобен и начинать работу с ним просто. На официальном сайте Dask есть сравнение Dask vs Spark: https://docs.dask.org/en/latest/spark.html


При всей мощи Spark, Dask — более универсален. Так что, пока — Dask :)

Только полноправные пользователи могут оставлять комментарии. Войдите, пожалуйста.