Pull to refresh
5
0
Константин Шестаков @winmasta

Разработчик

Send message

Создание Dataflow шаблона для стриминга данных из Pub/Sub в BigQuery на базе GCP с помощью Apache Beam SDK и Python

Reading time 9 min
Views 8.2K

image


В данный момент занимаюсь задачей стриминга (и преобразования) данных. В некоторых кругах
такой процесс известен как ETL, т.е. извлечение, преобразование и загрузка информации.


Весь процесс включает в себя участие следующих сервисов Google Cloud Platform:


  • Pub/Sub — сервис для realtime стриминга данных
  • Dataflow — сервис для преобразования данных (может
    работать как в realtime так и в batch режиме)
  • BigQuery — сервис для хранения данных в виде таблиц
    (поддерживает SQL)
Читать дальше →
Total votes 13: ↑13 and ↓0 +13
Comments 2

Information

Rating
4,337-th
Location
Томск, Томская обл., Россия
Date of birth
Registered
Activity