winmasta Feb 27 2019 at 10:58 Создание Dataflow шаблона для стриминга данных из Pub/Sub в BigQuery на базе GCP с помощью Apache Beam SDK и Python Reading time 9 min Views 8.2K Python *DevOps *Google Cloud Platform * From sandbox В данный момент занимаюсь задачей стриминга (и преобразования) данных. В некоторых кругах такой процесс известен как ETL, т.е. извлечение, преобразование и загрузка информации. Весь процесс включает в себя участие следующих сервисов Google Cloud Platform: Pub/Sub — сервис для realtime стриминга данных Dataflow — сервис для преобразования данных (может работать как в realtime так и в batch режиме) BigQuery — сервис для хранения данных в виде таблиц (поддерживает SQL) Читать дальше → Total votes 13: ↑13 and ↓0 +13 Add to bookmarks 31 Comments 2