Как стать автором
Обновить
2
0
Иван Солякин @pony77

Data Scientist

Отправить сообщение

Да. Статья устарела, но, поскольку CH немного странно реализует оконные функции, в каких-то случаях подход может быть полезен.

Боюсь что сам движок такие конструкции не оптимизирует. Вот комментарий (авторская орфография сохранена) из телеграм-канала «ClickHouse не тормозит». По большому счету предлагаемое решение костыль для реализации оконных функций на ClickHouse. Ждем релиз оконных функций Q4Y2020.
Denny Crane [not a Yandex bot], [18.08.20 16:59]
[В ответ на Ivan Solyakin]
arrayMap(x -> arraySlice(summ, 1, x), arrayEnumerate(summ)) AS cum_summ

лучше так не делать, жопа в том что summ будет размножаться лямбдой, т.е. arrayEnumerate(summ) создаст массив [1...1000], summ тысячу раз скопируется в памяти.

лучше избегать arrayEnumerate и передачи массива в лямбду, почти всегда это достижимо потому что все (нужные) ФВП принимают несколько массивов (аргументов лямбды)
Вы правы. По этому вопросу я дал неверную информацию в статье.
А еще есть Spark и Spark SQL… Он может не только со стримами работать. На планете есть много колоночных СУБД, в которых реализованы оконные функции.
Эта статья для аналитиков, которые работают с ClickHouse и которым может пригодиться этот функционал.
Вы деньги из тумбочки берете?
Не я, а работодатель и не из тумбочки, а из воздуха (банковский мультипликатор — это даже не воздух, а вакуум, полная пустота). Вы, видимо, не читали первый абзац статьи.
Поэтому разговоры про AWS (и даже про Яндекс.облако) бессмысленны. Есть законодательство, есть СБ банка, они определяют что и как делать. Без санкции СБ вы даже чихнуть не сможете.
Нам интересна общая нагрузка, чтобы сопоставлять её с пользователями,
— я не настаивая на использовании этого решения вами.
А на эти 3 часа поднимать еще контейнер или контейнеры.
— не все legacy приложения контейнеризируются. Описаный пример — это сервер отчетности, при недостатке вычислительной мощности приложение падает по таймауту, при недостатки памяти — memory error. Второй контейнер не поможет. А если приложение упало, то вас поднимут по звонку в 3 ночи в воскресенье и потребуют отчетов для топов по почте.
Из-за того, что у вас появилась технология контейнеризации никто не будет бросаться переписывать приложения. Работает — не трогай. Это типичная картина для многих крупных организаций.
В Графане таких возможностей нет. Смысл статьи — оценить загрузку сервера за период по нескольким числам (это называется интегральные метрики).
Если у вас десяток серверов — эта статья не для вашей ситуации. Если их 500 — тогда за день вы не сможете просмотреть графики и оценить нагрузку. Если серверов 16000, то для просмотра графиков нужно нанимать армию сисадминов.
Эта методология позволяет исключить этап разбора графиков.
Graphite (так же как SCOM или HP Operation Manager) это система сбора счетчиков.
Набор метрик для оценки счетчиков в системах такого рода сильно ограничен (среднее за период, возможно, медиана). В модельной ситуации по среднему за месяц вы сделаете ошибочный вывод об избыточности выделенных ресурсов.
Я в статье не рассматривал систему сбора, я рассматривал методологию оценки уже собранных счетчиков. Применение методологии помогает правильно оценить загруженность серверов в как сценариях равномерной загрузки, так и в сценарии, когда загрузка сильно неравномерно.

Информация

В рейтинге
Не участвует
Откуда
Москва, Москва и Московская обл., Россия
Дата рождения
Зарегистрирован
Активность