Pull to refresh
38
0
Иван Вахмянин @BansheeRotary

Предприниматель и эксперт в области BI, DWH

Send message

7 направлений оптимизации ClickHouse, которые помогают в BI

Level of difficulty Medium
Reading time 12 min
Views 9.5K

Привет, Хабр! Меня зовут Никита Ильин, я занимаюсь разработкой архитектуры BI-платформы Visiology. Сегодня мы поговорим про оптимизацию ClickHouse — ведущей СУБД, которую все чаще используют для решения задач аналитики на больших объемах данных. В этой статье я расскажу, почему важно оптимизировать ClickHouse, в каких направлениях это можно делать, и почему разумный подход к размещению информации, кэшированию и индексированию особенно важен с точки зрения производительности BI-платформы. Также мы поговорим о том, к каким нюансам нужно готовиться, если вы решаете оптимизировать CH самостоятельно, сколько времени и сил может потребовать этот процесс и почему мы решили “зашить” в новый движок ViQube 2 десятки алгоритмов автоматической оптимизации. 

А что там с оптимизацией ClickHouse?
Total votes 27: ↑26 and ↓1 +25
Comments 2

Большой тест GPT4, GPT3.5, YandexGPT, GigaChat, Saiga в RAG-задаче. Часть 1

Level of difficulty Medium
Reading time 7 min
Views 20K

Меня зовут Дмитрий Гуреев. Я занимаю должность CDTO в одной из медицинских компаний и параллельно веду работу по популяризации ИИ в среднем бизнесе. Генеративные модели привлекли мое внимание ещё в феврале 2022 года. Тогда я внедрил цифрового ассистента для полевых продавцов.

Летом 2022 года хороший знакомый из крупной компании предложил совместный эксперимент. Создать цифрового юриста, способного отвечать на вопросы первой линии, используя в качестве базы знаний 200-страничный регламент из более чем 1200 пунктов. Все это должно было функционировать в закрытом контуре. Без интернета.

Задача представлялась крайне интересной...

Вторая часть здесь.

Читать далее
Total votes 31: ↑31 and ↓0 +31
Comments 52

все, Все, ВСЕ метрики мониторинга ИТ-инфраструктуры под один зонтик

Level of difficulty Easy
Reading time 13 min
Views 8.5K

Надоело, что одни пороги метрик настроены в Prometheus, другие в Zabbix, третьи еще в каком‑то Zabbix? А когда трясет инфру и vCenter, то с vROps летят оповещения, причем те же самые о виртуалках, что поставлены на мониторинг в первом и втором Zabbix?!

Тут можно менять названия уровней вашего ИТ‑окружения, можно менять названия систем мониторинга. Дубли, штормы, алярмы и алармы. Проблема будет знакома всем, кто работает с большими инфраструктурами. А еще не забываем о проблеме «сложить все в одну банку»: все метрики с разных прометеев, например; ну и, конечно же, совсем было бы здорово в одной системе увидеть все метрики и логи и настроить по ним корреляции и автоматизацию.

А так можно было? Конечно!

Читать далее
Total votes 10: ↑9 and ↓1 +8
Comments 4

Умный город Ташкент: как Visiology BI и Геоинтеллект помогли создать современный ситуационный центр

Reading time 9 min
Views 7.4K

Привет, Хабр! Меня зовут Ахрор, и я занимаю должность управляющего проектами в Департаменте Цифрового Развития Ташкента. Сегодня я хочу рассказать вам о том, как мы создавали систему управления Smart City для столицы Узбекистана на базе российских решений — ПО для бизнес-аналитики и визуализации Visiology и платформы “Геоинтеллект”. Новая система объединила более 60 ведомств и стала основой для работы диспетчерского ситуационного центра. В этом посте я подробно расскажу о том, как создавалась и проектировалась платформа, а также о том, какие возможности Геоинтеллекта и Visiology мы использовали.

Читать далее
Total votes 25: ↑25 and ↓0 +25
Comments 8

Проблемы при сборке Docker образов внутри Docker контейнеров на TeamCity

Reading time 4 min
Views 6.4K

"Запускаешь контейнер сервера, запускаешь контейнер билд агента и начинаешь собирать Docker образ своего приложения. Ничего сложного, работы на пару часов!" - так думали мы, но всё оказалось несколько сложнее. Дальше я расскажу с какими проблемами столкнулись мы и как мы их решили.

Поехали
Total votes 4: ↑3 and ↓1 +2
Comments 18

Российские BI-системы: второе исследование «BI-круг Громова 2021»

Reading time 4 min
Views 8.2K

Я уже рассказывал о том, как делался первый обзор российских BI-систем и почему было принято решение этим вопросом заняться. Прошел год выхода первой версии отчета. Как все знают, год далеко не самый простой, хоть, по мнению многих экспертов, и позволивший выйти ИТ-составляющей на новый уровень.

Так что мы решили не откладывать выход второго обзора, а посмотреть, удалось ли отечественным разработчикам BI выжить, а может, продолжить или даже ускорить свое развитие. Любопытно было посмотреть и на то, насколько разработчикам удалось реализовать те планы, о которых они говорили годом ранее.

Поэтому критерии анализа мы не меняли – зато несколько изменили сам процесс анализа платформ. В частности, мы устанавливали решение и использовали его на протяжении определенного времени. Кроме того, мы проанализировали восприятие клиентами сильных сторон и проблем BI-продуктов и т.д. К тому же наша команда весь год активно сотрудничала с представителями рынка, чтобы понять, что именно им кажется важным и что нужно отразить в обзоре. Так что изменений много, результат нам кажется интересным.

Вот краткие результаты исследования.

Читать далее
Total votes 5: ↑2 and ↓3 -1
Comments 6

Process Mining на базе BI — реальные возможности для оптимизации бизнеса

Reading time 16 min
Views 9.7K

В каких ситуациях Process Mining может принести организации пользу? Мы уверены, что практически в любой! Я, Иван Лазаревский, руководитель отдела Data Science в Visiology, и коллеги из практики автоматизации процессов компании 7RedLines - Андрей Шкулёв и Владимир Басов, поделимся с вами нашим опытом в области Process Mining, а также реализации этого подхода на базе BI-платформы. Здесь вы найдёте: немного теории о Process Mining, соображения о разных подходах к аналитике, выкладки с преимуществами технологии для бизнеса и мини-гайд по выбору решения, подходящего для конкретной организации.

Читать далее
Total votes 10: ↑8 and ↓2 +6
Comments 2

Мониторинг производительности приложений и метрики здоровья без APM

Reading time 9 min
Views 5.2K

Привет, Habr! Я уже рассказывал про AIOps и методы машинного обучения в работе с ИТ-инцидентами, про зонтичный мониторинг и различные подходы к сервис менеджменту. Сейчас хотелось бы поделиться вполне конкретным алгоритмом, как можно без особых затрат быстро получить информацию о работоспособности бизнес-приложений с помощью синтетического мониторинга и построить на базе этого метрики здоровья бизнес-сервисов. Рассказ будет построен на кейсе внедрения подхода в одной авиакомпании.

Сейчас есть много APM систем, таких как Appdynamics, Dynatrace, и других, где есть внутри модуль контроля UX через синтетические проверки. И если стоит задача быстрее пользователей узнать о сбое, я расскажу почему все эти APM не нужны. Также модной фишкой APM являются метрики здоровья, я покажу как можно их построить без дорогого APM.

Читать далее
Total votes 4: ↑4 and ↓0 +4
Comments 6

Root cause анализ инцидентов на корреляциях между временными рядами метрик ИТ-инфраструктуры

Reading time 11 min
Views 4.3K

Одной из задач систем ИТ-мониторинга является сбор, хранение и анализ различных метрик, характеризующих как состояние различных элементов ИТ-инфраструктуры (загруженность CPU, объем свободной оперативной памяти, объем свободного дискового пространства и т.п.), так и состояние различных бизнес-процессов. Для того чтобы применять обширный математический аппарат статистического анализа, эти данные часто удобнее представлять в виде упорядоченных временных рядов соответствующих переменных. Хорошим инструментом для обработки временных рядов в языке Python является комбинация трёх модулей: pandas, scipy и statsmodels (pandas.pydata.org, scipy.stats, statsmodels.org), которые предоставляют широкий набор классов и функций для построения временных рядов, для оценки множества различных статистических моделей, а также для проведения статистических тестов и исследования статистических данных. Из всего содержащегося в этих модулях математического паноптикума, конкретно в данной статье, будет описаны алгоритмы, в частности корреляционный анализ временных рядов метрик ИТ-инфраструктуры, которые мы применяем для root cause анализа в AIOps платформе monqlab.

Читать далее
Total votes 5: ↑5 and ↓0 +5
Comments 6

Подготовка к импортозамещению, или Куда бежать, на что смотреть и к кому обратиться за помощью

Reading time 7 min
Views 16K
Всем привет!

В этой статье попробую объяснить, как импорзамещаться (переходить на российское ПО), чтобы все были довольны, и постараюсь более простым языком раскрыть смысл требований актуальной версии приказа Министерства цифрового развития. Также постараюсь разобраться в нескольких скользких моментах и консолидирую список документов, требуемых для предъявления и отчётности перед регулятором при проверке соответствия приказу.

Дисклеймер: разбор имеет вольное толкование формулировок приказа и выражает субъективное видение. Но при этом, искренне надеюсь, что кому-то такие трактовки окажутся ближе и яснее. Увидимся в комментариях.

Источник
Читать дальше →
Total votes 70: ↑65 and ↓5 +60
Comments 37

Бизнес-процессы на прокачку: как Process Intelligence помогает компаниям определить, что, где и когда автоматизировать

Reading time 15 min
Views 7.9K

Как вы, возможно, слышали, в прошлом году ABBYY приобрела компанию TimelinePI – разработчика платформ Process Intelligence. Теперь, помимо интеллектуальной обработки информации, продукты ABBYY помогают компаниям решать новый класс задач – анализировать бизнес-процессы, понимать, как они устроены изнутри и как их изменить в лучшую сторону.

Для нас это логичный шаг. В недрах крупных компаний непрерывно генерируются и обрабатываются огромные объемы данных. Наши решения для корпоративных заказчиков помогают приводить в структурированный вид разнообразные сведения из бухгалтерских, кадровых, логистических и других документов и удобнее работать с ними. А почему бы не только упорядочивать информацию, но и делать на ее основе полезные выводы для бизнеса? Например, понимать, как устроены процессы, выявлять в них неочевидные закономерности, анализировать те метрики, которые раньше не учитывали, да еще и предсказывать, что будет, если автоматизировать процессы с помощью той или иной технологии?

Сегодня мы расскажем, что такое платформа для интеллектуального анализа бизнес-процессов ABBYY Timeline, для чего она нужна, и приведем примеры, как это решение работает и где оно полезно.
Читать дальше →
Total votes 21: ↑21 and ↓0 +21
Comments 9

Как разработать BI-платформу — наш трудный, но интересный опыт

Reading time 18 min
Views 8.6K

Привет, Хабр! Меня зовут Иван Вахмянин, я – один из сооснователей компании Visiology. Мы разрабатываем и развиваем одноименную аналитическую платформу, и теперь будем делиться нашим опытом, открытиями и интересными историями с вами. Это наш первый пост, и мы начнем с откровенного рассказа, как мы создавали компанию и саму корпоративную BI-платформу Visiology — без купюр, со взлетами и падениями. Если вам интересны реалии пути от стартапа до зрелой софтверной компании или тема Business Intelligence в целом — добро пожаловать под кат!

Читать далее
Total votes 25: ↑25 and ↓0 +25
Comments 13

Прошло 10 лет, а никто не придумал, как использовать блокчейн. И вот опять?

Reading time 4 min
Views 8.4K

Действительно ли это так? Это соответствует действительности почти на 100 процентов. Но есть пара нюансов. Первое, это всем известная криптовалюта. Ее свойства все таки имеют некоторую привлекательность на фоне фиата. Тема это острая, прямо скажем, политически очень "заряженная", потому объективности в ней ждать не приходится.

Читать дальше →
Total votes 20: ↑16 and ↓4 +12
Comments 61

Путешествие через вычислительный конвейер процессора

Reading time 16 min
Views 132K
Так как карьера программиста тесно связана с процессором, неплохо бы знать как он работает.

Что происходит внутри процессора? Сколько времени уходит на исполнение одной инструкции? Что значит, когда новый процессор имеет 12, или 18, или даже 31-уровневый конвейер?

Программы обычно работают с процессором, как с чёрным ящиком. Инструкции входят и выходят из него по порядку, а внутри совершается некая вычислительная магия.

Программисту полезно знать, что происходит внутри этого ящика, особенно, если он будет заниматься оптимизацией программ. Если вы не знаете какие процессы протекают внутри процессора, как вы сможете оптимизировать под него?

Эта статья рассказывает, как устроен вычислительный конвейер x86 процессора.
Читать дальше →
Total votes 160: ↑159 and ↓1 +158
Comments 43

Information

Rating
Does not participate
Works in
Registered
Activity