sergeysamsonov Mar 26 2019 at 12:35Spark Structured Streaming Applications on Kubernetes. Опыт ФАСТЕН РУСReading time4 minViews2.7KBig Data*From sandboxTotal votes 7: ↑7 and ↓0+7Add to bookmarks10Comments3
Yo1 Mar 27 2019 at 10:30Стриминг выступает ключевым компонентом BI-платформы ФАСТЕН РУС. Real-time данные используются командой дата анализа для построения оперативных отчетов. глупый вопрос — а как с S3 данные оперативно в BI платформы попадают?
sergeysamsonov Mar 27 2019 at 23:36Show previous commentданные стримятся как в S3 (для обучения нейросетей), так и в DWH (для построения отчетности)
sergeysamsonov Mar 28 2019 at 17:13Comment has been editedShow previous commentСоответственно, в Data Lake — история, в DWH — данные по ивентам за последние 3 месяца.
Spark Structured Streaming Applications on Kubernetes. Опыт ФАСТЕН РУС