Комментарии 17
Круто, может еще через 5 лет сайт научится запоминать выбраный регион, брать его из кукисов, по геометки или хотя бы подтягивать из профиля авторизированного профиля. А то авторизацию запоминает, а регион стабильно мск выбирает.
Когда уже для клиентов что нибудь сделают?) Сайт как был унылой затычкой 10 лет назад, так и остался таким до сих пор.
Хорошо хоть магазин остался нормальным.
В целом решение весьма логично, но, возможно несколько перегружено технологическими слоями. Flink, Nifi, Spark... Причём много усилий для перерасчёта дельт. На следующем этапе я бы исследовал возможность исключения Nifi из цепочки и рассмотрел бы возможность и целесообразность перехода к Databricks с его стримингом и Delta tables. Возможно упростит обслуживание дельт без ущерба масштабируемости решения.
NiFi мы уже на текущем этапе исключили, заменив его Flink-ом
Леройчик в яндекс клауде, Весь креатив надо самому впиливать. Не все на это готовы
Коллега, а почему DataBricks?
Все, что представлено, является бесплатным решением.К тому же, все представленные сервисы можно замостить у себя, без ухода в облака. С точки зрения безопасников, это просто Must Be.
Интересно как вы 800 источников насчитали...
В верном направлении движетесь.
Через Х лет ждем материал "мы наконец то решили отказаться от GreenPlum".
Вы сторону delta lake не смотрели? Соглашусь с коллегой, решение кажется технологически перегруженным. Я правильно понимаю что flink вы внедрили ради оконных функций для применения дельт?
пользуясь случаем, хочу спросить:
почему софт на служебных леруашных смартфонах так болезненно реагирует на разлочку загрузчика и рутирование, что даже magiskhide не спасает?
Хорошо бы еще ценность научиться понимать всех этих 800 источников)
Теперь я знаю как выглядит зоопарк технологий. Причем зоопарк почти одних и теже технологий которые в большинстве случаев замещают друг друга.
Как будто ктото пытался впихнуть всё что слышал знает...
Вообще ни разе не правы. Очень простая архитектура и почти правильная. Все то лишнее не этой картинке - это GreenPlum. Но до этого они пока не созрели.
Коллега, а какую альтернативу СУБД для аналитического хранилища вы рассматриваете?
А что такое СУБД? :) Зачем она? Есть хранение в S3, к которому легко приклеивается например iceberg. К слою хранения нужен метастор (который к слову скоро появится у яндекса как SaaS). Дальше нужен движок (spark, impala, trino - выбирай любой) который в зависимости от потребности поднимается в managed k8s. Работает быстрее GP а еще и дешевле в плане билинга в облаке.
Платформа данных в Леруа Мерлен — как мы победили масштабирование