Комментарии 5
прочитал, но так и не понял главного. куда спарк экзекьюторы писать будут? каждый на свою машину?
еще в тренде на k8s интересно чем конечный результат от спарка предполагается смотреть? что-то типа hive или impala ведь понадобится.
Спарк шеллом :) Вот кстати да, совершенно не улавливаю прелести подобных решений. Для хадуп видите ли у нас нормального дистрибутива нет, поэтому мы будем на коленке собирать его подобие из того что было под рукой? Как-то это все странно, и далеко не всем подойдет, очевидно. А уж с учетом второго минуса в виде безопасности — и подавно.
ну так из спарк шела то на других узлах запустятся экзекьютеры, там данных с прошлого пуска нет. нужен какой-то общий сторидж.
Шелл тут только как вариант UI для выполнения запросов. А дальше — само собой нужен.
>Первый и, пожалуй, главный минус — это отсутствие Data Locality.
Ну зато этот минус — всем минусам минус… Опять же, мне кажется, или вопрос планирования процессорных ресурсов вы рассмотрели, а вопрос хранения данных — как-то не очень. Все равно ведь что-то типа HDFS так или иначе нужно будет.
Только полноправные пользователи могут оставлять комментарии. Войдите, пожалуйста.