twitter.com/AlekseiPupyshev/status/1133333887843733504

ничего не понял в вашем комментарии

Недавно вышли Capsule Networks, которая прям про повороты:
www.youtube.com/watch?v=VKoLGnq15RM
Думаю в самое ближайшее время появятся реализации на TF/pyTorch, если уже не вышли

«streaming — как пилили микробатчи, так и будем пилить, ожидать честного стриминга не стоит и «он вам не нужен»»

Очевидно от микробатчей никуда сейчас не деться, но раньше даже с микробатчами работать было не удобно, теперь же у нас появился удобный API (насколько удобный еще только предстоит выяснить), который позволит применять эту технологию чаще.

«rdd — забили на развитие, используйте dataframe»

У вас есть какие-то предложения по их развитию? Кажется, что кроме багофиксов, доп-оптимизаций и небольших изменений в api-для основных языков там больше ничего глобального не сделать.

«dataframe — пока юзайте, но учтите, что основные изменения у нас в sql, так что может и вам что от планировщика перепадет, но вообще лучше тоже двигайте в sql, там все оптимизации»

Хм, в презентациях посвящённых Catalyst использовался, вполне себе dataframe-api и не было sql. Ну и потом, они же взаимозаменяемы и оптимизация будет одинаковой, если посмотреть доклад про внутреннее устройство оптимизатора тут, то становится понятно что нет разницы между SparkSql, DataFrame-api, ну и DataSet-там тоже перепадёт.