Spark SQL. Немного об оптимизаторе запросов

[andr1983]

Спасибо, хорошее интро. Но немного коробит от постоянного сравнивания Spark с РСУБД. Стоило бы ещё рассказать в каких случаях происходит pushdown предикатов, а когда нет. Хотя бы для основных источников, как orc, parquet, hive.

[kpavn]

Спасибо большое за отзыв. В принципе, со всем согласен :)

Насчет уклона — это скорее уже моя проф деформация восприятия технологий.
Насчет pushdown предикатов — возможно, стоило сделать отдельный раздел, информация получается размазалась по статье, например, в «Конвертации типов».
Но согласен, можно написать много больше, постараюсь дать развернутый комментарий на эту тему.

[andr1983]

Было бы классно, а то в своё время пришлось потратить много времени на разбор данного вопроса. А так готовая статья на Хабре — красота )

[sshikov]

>Join — это необходимое зло, но по возможности стоит их минимизировать и следить за тем, какая реализация используется под капотом.

Именно за этом мы и любим API :) Сделать на нем можно практически все тоже самое, и при этом сочетать гибкость и контроль над реализацией.