Pull to refresh
18
0
Иван Хозяинов @IvanKhozyainov

User

Обогащение данных — что это и почему без него никак

Reading time 5 min
Views 12K

Обогащение данных — это процесс дополнения сырых данных той информацией, которая в исходном виде в них отсутствует, но необходима для качественного анализа. Оно требуется, чтобы конечные потребители данных получали качественную информацию.

В этой статье рассмотрим, что такое обогащение данных в контексте их автоматизированной обработки и какие технические средства мы для этого используем. 

Главный результат — если объединять данные, применяя предложенную нами схему обогащения, то в дальнейшем аналитикам не потребуется каждый раз делать JOIN-запрос, что сэкономит как ценное время людей, так и машинные ресурсы.

Читать далее
Total votes 21: ↑18 and ↓3 +15
Comments 0

Организуем платформу обработки потоковых данных из Kafka, Spark и Greenplum

Reading time 8 min
Views 9.5K

Привет, Хабр! 

Меня зовут Иван Хозяинов, а работаю в ITSumma, где изучаю и применяю технологии, связанные с большими данными, машинным обучением и аналитикой. В этой статье хочу рассказать о системе хранения и обработки данных и инструментах, которые встречаются на пути от сырых исходников до представления, удобного для последующего анализа. 

Поговорим, как связаны серверы в дата-центре и распределенные приложения для обработки данных и почему пришлось написать свой коннектор для Spark и Greenplum.

Читать далее...
Total votes 19: ↑18 and ↓1 +17
Comments 28

Кибер-оракул: поиск аномалий в данных мониторинга с помощью нейросети

Reading time 8 min
Views 20K

Количество данных, которые получает наш мониторинг выросло настолько, что для их обработки мощности только человеческого разума уже не хватает. Поэтому мы надрессировали искусственный интеллект помогать нам искать аномалии в полученных данных. И теперь у нас есть Кибер-Оракул.


Кибер-оракул, очевидно

Читать дальше →
Total votes 35: ↑33 and ↓2 +31
Comments 30

Information

Rating
Does not participate
Works in
Registered
Activity