Комментарии 9
ну все таки в spark 2.х они выкатили совершенно другие api под стриминг и по хорошему надо именно на них надо тестировать. то что было в 1.6 у них не позиционируется как стриминг.
У нас в конторе как message broker используют AWS Kinesis.
Сначала на php пилили под него консьюмера (паблишер на Scala написан), получилось черти что. Потом ребята на Scala перепилили.
Я вот только до сих пор понять не могу, зачем для обычных сообщений (json), где немного данных, был выбран Kinesis с которым заморочек немерянно (или я просто его совсем не понял).
Может кто-то статью про Kinesis напишет?
О том для чего его стоит использовать, для чего не стоит. Его плюсы и минусы. Ну и личный опыт.
Было бы очень интересно почитать.
Сначала на php пилили под него консьюмера (паблишер на Scala написан), получилось черти что. Потом ребята на Scala перепилили.
Я вот только до сих пор понять не могу, зачем для обычных сообщений (json), где немного данных, был выбран Kinesis с которым заморочек немерянно (или я просто его совсем не понял).
Может кто-то статью про Kinesis напишет?
О том для чего его стоит использовать, для чего не стоит. Его плюсы и минусы. Ну и личный опыт.
Было бы очень интересно почитать.
А flink не рассматривали?
Есть ещё такой способ — вычитывать данные с помощью KafkaUtils.createRDD, а офсеты хранить самостоятельно. Если есть возможность сохранить данные и офсеты одной транзакцией, то получается Exactly once.
Зарегистрируйтесь на Хабре, чтобы оставить комментарий
Apache Spark как ядро проекта. Часть 2. Streaming, и на что мы напоролись