Когда-то я внедрял ClickHouse в стартапе, где даже алерты мониторили индийцы — это был Дикий Запад

[SLASH_CyberPunk]

Сейчас он стал сильно проще, но это по-прежнему не тот продукт, которым можно пользоваться сразу из коробки. Зато когда он таким станет — всяким Vertica и Redshift можно будет сворачивать свой бизнес.

SQL-92 поддержку планировали с самого начала, прошло уже сколько, 3 года вроде?
И вроде как окончательно отказались от этой затеи и теперь КХ априори не может быть «тем продуктом»…

[DurRandir]

Если ваши объемы данных позволяют пользоваться любой БД с SQL-92 — пользуйтесь, вы еще не созрели для клика. Ну или у вас семизначный бюджет на вертику.

[McKinseyBA]

семизначный бюджет на вертику

1-й Тб бесплатно. Хватит для любой системы мониторинга среднего бизнеса (без глубокой истории)

[DurRandir]

У нас сейчас под 50тб в клике, пока был 1тб — хватало и InfiniDB, даже без вертики. А аппетит аналитики приходит в процессе анализа данных, никто добровольно не откажется ни от истории, ни от новых событий. И это очень маленькая инсталляция, большие — это от десятков серверов клика. Предлагаю представить цену вертики на такие объемы.

[McKinseyBA]

Мои агрегаты клистрима хранятся в петабайтном Hadoop Impala, а в Vertica лишь агрегаты агрегатов этого потока, но в основном более ценные данные и уж точно не для целей всяких мониторингов (это даже не вторичное назначение).

В бизнесе нет понятия «дорого/дешево», но есть понятие «целесообразно/нецелесообразно». Решение принимается после рассмотрения пары финансовых моделей в Excel — не надо быть большим финансистом чтобы смочь в такие расчеты. Видимо, Вы не работали там, где Vertica/Teradata total cost of ownership имел экономический смысл — искренне желаю обрести подобный опыт.

Я это все к тому, что серебряной пули в мире анализа/хранения/обработки данных — нет. Нужно выбирать наиболее подходящие инструменты под конкретные задачи и не жить только в рамках opensource иллюзий. Есть сферы, где они почти безальтернативны (NGinx, например), а в мире серьезных DWH рулят проприетарные решения. Надеюсь, когда-нибудь у них появиться opensource конкурент.

[nickie]

Рассказ интересный! Правда лицензия Tableau online не стоит таких денег для небольшой компании. Скорее всего, речь идет про Looker.

[maxzhurkin]

Кто-то перепутал индейцев с индийцами?
Если это юмор такой, то, мне кажется, он немного устарел уже к моменту смерти Колумба

[DurRandir]

>в нем никто не шарит
Или вы просто не хотите платить нормальных денег :) Это вечная беда менеджеров — табло за 70к ок, деньги людям — нет.

[maxzhurkin]

Зачастую «считатели денег» не могут смириться с тем, что могут стать миллионерами только делая кого-то другого миллиардером, и в результате отказываются становиться миллионерами. Мне кажется, что DurRandir говорил именно о таких менеджерах

[Slach]

интересно ;-) с какой версии ClickHouse вы начали? и на какой версии сейчас?

[mikaakim]

Присоединяюсь к вопросу. Было бы интересно узнать историю костылей в разрезе времени и версий)

[paulousky]

Оказалось, что он удобен для андроид-разработчиков и предлагает даже больше возможностей, чем красавчик Tableau

как мобильная разработка связана с BI репортингом?

[Ivan22]

ну типа не получилось в табло дашборд сделать, не беда, сделаем дашборд в андроид приложении, пусть ребята с телефонов смотрят!

[tmin10]

Я так понял, там идёт Redash vs Tableau.

[kuznetsovin]

Можно подумать в тот же постгрес проще в настройке… Я сильно в этом сомневаюсь и спецов которые смогут настроить pg для работы выборок с такой же скоростью как делает кликхаус из коробки можно по пальцам пересчитать...

[algotrader2013]

Да, как раз 0 пальцев пригодиться)
Есть типы запросов, которые быстро выполняются на pg, и есть, которые на ch. И, как не настраивай, на чужом поле не победишь. Даже с cstore_fdw pg не будет способен эффективно распараллелить аггрегацию. Можно ещё неподдерживаемый citus использовать, но идея так себе.
Но, вцелом, сейчас по планировщику запросов ch отстает от вертики и редшифта на десятилетия. И, увы, ничего кроме group by делать эффективно он не способен.

[Ivan22]

вообще еще существуют и snowflake — который сильно дешевле редшифта и опенсорсный greenplum который реально не уступает вертике. И все они готовятся завоевать мир, кликхаус тут еще даже очередь не занимал на завоевание мира

[McKinseyBA]

опенсорсный greenplum который реально не уступает вертике

если бы так… Года 2 была назад статья на Хабре в блоге Ростелкома о том как они обновлялись на мажорную версию с Greenplum 4 на Greenplum 5 — так там пару лет человерокоразработки потребовалось) 200Тб Вертику в 2018 обновили через 1 мажорную версию (т.е. 2 обновления за раз) за 11 часов, запустив штатный питонячий скрипт и наблюдая за прогрессом.

А вообще greenplum и стал опенсорсным потому что никто не покупал лицензии ибо была Vertica & Teradata.

Конечно серьезные аналитические БД стоят денег. Круто если для ваших кейсов достаточно сливки или облачной БД, но adhoc запросы от десятков пользователей на сотнях миллиардов и триллионах строк за вменяемое время и не по стоимости годового бюджета Либерии получаются пока только на необлачных решениях 2 указанных вендоров.

[Ivan22]

я так получилось немного знаю изнутри как там было у ростелекома с их компетенциями по гринпламу (спойлер — все плохо) поэтому не сильно доверяю их статьям.
p.s. По гринпламу лучший опыт у тинькофбанка (спойлер — тоже знаю изнутри) поэтому их статьям доверия на порядок больше.
Можно например тут сравнение вспомнить habr.com/ru/company/tinkoff/blog/310620

[McKinseyBA]

По гринпламу лучший опыт у тинькофбанка

из общения в кулуарах одной конференции слышал, что они жалеют о своем выборе. И в качестве бенчмарка как раз Вертику упоминали. Однако про них — это единственная инфа у меня. Но, насколько знаю у них ведь GP на поддержке у подрядчика? А сами наоборот вроде экосистему Hadoop разивают? Могу ошибаться…

[Ivan22]

у них гп был на поддержке, но толку с этого не сильно много. Хадуп развивают, но он ни разу не замена, а лишь дополнение к гринпламу. Жалеют скорее всего от того что поначалу гп был просто напросто сырой… и требовал ООООчень много сил на администрирование и траблшутинг(с чем кстати ростелеком точно не справился), но после набития шишек и получения опыта, гп залетал точно не хуже вертики или терадаты.

[pepemon]

А когда Citus успел стать неподдерживаемым?

[sanchezzzhak]

Пользуюсь кх, как только упомянули на хабре спасибо колеге, за ссылку.

Какой тип движка используйте для евентов?

[doom369]

У кликхауса 3 основных преимущества перед конкурентами:

— Бесплатность и опенсорс
— Сжатие из коробки. Как на диске, так при передаче
— Быстрые выборки за счет гранулярного индекса

Разработчики вместо фокуса на этих трех пунктах наваливают сотни фич каждый мажорный релиз. В результате уже сейчас кликхаус нереальный монстр. С одной стороны — хорошо. С другой — поддерживать и развивать такого монстра очень очень трудно. Что ставит под сомнение его будущее. В гитхабе, например, сейчас 1400 тикетов…

Надеюсь разрабы одумаются и сфокусируются на стабилизации вместо бесконечной погоней за фичами.

[McKinseyBA]

Так они пытаются угнаться за Вертикой… А получается то, что вы описали — и Вертикой никогда не станет, и свои задачи по парсингу кликстримов выполнять будет сия штука через попу.

Лучше бы и правда сфокусировались на своих конкурентных преимуществах, а не лезли на суровый рынок колоночных MPP DB, поделенный между Vertica и Teradata.

[algotrader2013]

Greenplum, как описали выше, не может считаться конкурентом вертики и терадаты? А облачные решения? Где-то видел сравнение перфоманса Вертики против Редшифта. Да, редшифт чуть уступает, учитывая неадекватый прайс вертики, должен выходить даже дешевле только стоимости лицензии не считая железа

[McKinseyBA]

Если бы мог, то не стал бы opensource продуктом. Хотя из opensource — это единственный вариант, если не брать семейство Apache, но там не для слабонервных продукты.