Comments 5
прочитал, но так и не понял главного. куда спарк экзекьюторы писать будут? каждый на свою машину?
еще в тренде на k8s интересно чем конечный результат от спарка предполагается смотреть? что-то типа hive или impala ведь понадобится.
Спарк шеллом :) Вот кстати да, совершенно не улавливаю прелести подобных решений. Для хадуп видите ли у нас нормального дистрибутива нет, поэтому мы будем на коленке собирать его подобие из того что было под рукой? Как-то это все странно, и далеко не всем подойдет, очевидно. А уж с учетом второго минуса в виде безопасности — и подавно.
ну так из спарк шела то на других узлах запустятся экзекьютеры, там данных с прошлого пуска нет. нужен какой-то общий сторидж.
Шелл тут только как вариант UI для выполнения запросов. А дальше — само собой нужен.
>Первый и, пожалуй, главный минус — это отсутствие Data Locality.
Ну зато этот минус — всем минусам минус… Опять же, мне кажется, или вопрос планирования процессорных ресурсов вы рассмотрели, а вопрос хранения данных — как-то не очень. Все равно ведь что-то типа HDFS так или иначе нужно будет.
Only those users with full accounts are able to leave comments. Log in, please.
Information
Founded

21 March 2005

Location

Россия

Employees

201–500 employees

Registered

20 April 2018