Pull to refresh
40
-2

Пользователь

Send message

Особенности партиционирования в PostgreSQL и Apache Hive

Reading time 11 min
Views 5.5K

Часто специалисты, работающие с классическими реляционными базами данных, например, с PostgreSQL, испытывают затруднения в работе при переходе на систему хранения больших данных типа Apache Hive. Это связано с непониманием того, как можно использовать в новой среде уже наработанные подходы и методы работы с данными.

В данной статье рассмотрены некоторые особенности использования языка SQL в реляционных СУБД и Apache Hive. Кроме того, проведен сравнительный обзор возможностей и подходов, а также применение партиционирования на практике.

Материал будет полезен специалистам младших и средних грейдов, которые используют в своей практике SQL, но имеют мало опыта в Hive или Postgres.

Читать далее
Total votes 2: ↑2 and ↓0 +2
Comments 22

Как оценить эффект от внедрения проекта?

Level of difficulty Easy
Reading time 27 min
Views 2.6K

Целью любого проекта, будь то разработка сайта, внедрение искусственного интеллекта или модернизация оборудования, является получение бизнес-результата. Поэтому для клиента важно понимать, какую выгоду он получит от внедрения проекта и как это отразится на его прибыли. Кроме того, разработчикам также необходимо оценить эффект от проекта по нескольким причинам: увеличение вероятности получения новых проектов, лучшее понимание потребностей клиента, повышение рыночной стоимости и моральное удовлетворение от значимости своей работы.

В статье показано применение таких методов оценки эффекта от внедрения проекта, как AБ-тестирование (классический подход, стратификация, CUPED), альтернативное прогнозирование, синтетический контроль и мэтчинг.

Читать далее
Total votes 11: ↑10 and ↓1 +9
Comments 0

Оптимизация хранения данных в Greenplum

Reading time 8 min
Views 4K

В мире современной аналитики данных, где информация – это ключевой актив организации, база данных должна быть не только масштабируемой, но и высокоэффективной. В этом контексте Greenplum, мощная и распределенная система управления базами данных, стоит в центре внимания. Greenplum предоставляет подходящие возможности для хранения и анализа огромных объемов данных, но, чтобы добиться максимальной производительности и оптимальной управляемости, необходимо грамотно оптимизировать хранение данных.

Данная статья в первую очередь для тех, кто только начинает знакомство с оптимизацией в Greenplum и хочет разобраться на что стоит обратить внимание в первую очередь. Будут рассмотрены три ключевых аспекта: компрессию данных, распределение и партиционирование. Узнаем – как правильно применять эти стратегии, чтобы улучшить производительность запросов, снизить потребление ресурсов и повысить эффективность работы базы данных.

Читать далее
Total votes 4: ↑3 and ↓1 +2
Comments 7

Сравнительный анализ методов аппроксимации на основе SQL-запросов

Level of difficulty Medium
Reading time 19 min
Views 4.3K

При работе с данными часто приходится сталкиваться с ситуацией, когда имеется некоторая функциональная зависимость yi = f(xi), которая получена в результате эксперимента или сбора статистики. То есть исходные данные представлены набором точек (x1, y1), (x2, y2) … (xn, yn), где n – количество экспериментальных значений. Если аналитическое выражение функции f(x) неизвестно или весьма сложно, то возникает чисто практическая задача: найти такую функцию Y = F(x), значения которой при x=xi будут близки к экспериментальным данным. Приближение функции f(xi) к более простой F(x) называется аппроксимацией. Аппроксимация позволяет исследовать числовые характеристики и качественные свойства объекта, сводя задачу к изучению более простых или более удобных объектов. Как правило, выбор модели аппроксимации определяется по минимальному значению погрешности на всем интервале исходных данных. Для расчетов необходимо использовать несколько видов аппроксимаций, чтобы определить более точное описание зависимости экспериментальных данных y = f(xi).

Читать далее
Total votes 8: ↑8 and ↓0 +8
Comments 8

Опыт внедрения UI CMAK для управления кластерами Kafka

Reading time 3 min
Views 2K

Apache Kafka – это платформа для обработки потоков данных в реальном времени, которая позволяет эффективно передавать и обрабатывать огромные объемы данных. Не погруженным в технологию пользователям сложно настраивать и осуществлять мониторинг Kafka без специализированных инструментов с графическим интерфейсом.

В этой статье мы поделимся опытом внедрения такого инструмента и расскажем про CMAK.

Читать далее
Total votes 2: ↑2 and ↓0 +2
Comments 3

Как расширить компетенции аналитиков при работе с Big Data

Level of difficulty Medium
Reading time 5 min
Views 4.6K

В данной статье мы решили рассмотреть вопрос повышения эффективности работы единого хранилища данных компании. Хотим поделиться опытом: как повышение экспертизы аналитиков ЕХД влияет на процесс взаимодействия с хранилищем, и как применять современные тренды в данном процессе. Статья будет полезна командам, которые используют возможности ЕХД больших компаний и занимаются их проектированием. 

Читать далее
Total votes 1: ↑1 and ↓0 +1
Comments 0

Построение ML-пайплайна для рекомендательной системы с помощью Google Cloud Platform

Level of difficulty Medium
Reading time 11 min
Views 1.5K

Построение ML-пайплайна для рекомендательной системы с помощью Google Cloud Platform

Данный материал будет описывать опыт нашей команды по построению end-to-end рекомендательной ML-системы визуального поиска похожих товаров с помощью инструментов, предоставляемых облачной платформой Google Cloud Platform (далее –  GCP) и структурно будет состоять из трех частей, описывающих три этапа разработки: от простой реализации задачи к более сложной, или точнее – из двух с половиной, так как второй этап оказался не жизнеспособным, но обо всем по порядку.

Читать далее
Total votes 1: ↑1 and ↓0 +1
Comments 0

Airflow vs NiFi: исследуем оркестратор для формирования витрин данных

Level of difficulty Medium
Reading time 19 min
Views 5K

Сегодня концепция витрин данных является стандартом и используется повсеместно. Поэтому даже небольшим компаниям важно определиться с помощью каких инструментов они будут решать проблему оркестрации процессов построения витрин. Какой инструмент в условиях относительно небольшого бюджета позволит достигать поставленных целей? Этот вопрос мы и постараемся раскрыть в статье. Для этого рассмотрим два известных инструмента: Airflow и NiFi, а также постараемся выявить их сильные и слабые стороны.

Читать далее
Total votes 9: ↑5 and ↓4 +1
Comments 14

Опыт работы с данными или с чем может столкнуться аналитик

Level of difficulty Easy
Reading time 8 min
Views 2.8K

В этой статье хотелось бы погрузить вас в мир данных и вспомнить: какие встречались проекты, связанные с хранилищами и данными, какие задачи приходилось решать, а также какие навыки пригодились. 

Но вначале придется разобрать извечные вопросы: кто же такие аналитики, что такое данные и понять – должны ли они быть вместе?

Читать далее
Total votes 2: ↑2 and ↓0 +2
Comments 7

Профилирование данных из СУБД Oracle с помощью DataHub и Great Expectations. Часть 2

Level of difficulty Medium
Reading time 11 min
Views 1.8K

В первой части статьи мы подключили DataHub к базе данных Oracle, во второй части рассмотрим подключение Great Expectations к DBMS Oracle, сделаем ряд проверок качества данных, а также отправим результаты проверок в DataHub.

Читать далее
Total votes 1: ↑1 and ↓0 +1
Comments 0

Профилирование данных из СУБД Oracle с помощью DataHub и Great Expectations. Часть 1

Level of difficulty Medium
Reading time 9 min
Views 1.5K

Всем привет! В данном цикле статей мы поделимся своими результатами исследования по составлению профиля объектов данных, которые хранятся в RDBMS Oracle с помощью DataHub и интеграции с инструментом Great Expectations. В первой части мы поговорим про проблемы, которые возникли в ходе интеграции, а также поделимся найденными решениями для их устранения.

Читать далее
Total votes 2: ↑2 and ↓0 +2
Comments 3

Особенности DevSecOps в облаке или как управлять безопасностью с помощью CSPM

Level of difficulty Medium
Reading time 6 min
Views 1.4K

В данной статье мы хотим осветить особенности организации безопасности в облаках и рассказать, как CSPM продукты помогают автоматизировать процесс обеспечения безопасности в рамках методологии DevSecOps. Также расскажем о продукте собственной разработки, который как раз решает эту задачу.

Читать далее
Total votes 3: ↑2 and ↓1 +1
Comments 0

Как развернуть кластерную версию Apache Airflow: пошаговая инструкция

Reading time 7 min
Views 3.1K

Примерно год назад в Neoflex стартовал большой проект в одной из крупнейших строительных компаний по созданию ЕХД, в которое предполагалось мигрировать 100+ систем-источников. Для этого мы выбрали Airflow в качестве оркестратора, но с учетом предполагаемого объема выполняемых задач, необходимо было установить кластерную версию, чтобы мы могли распределять нагрузку и при необходимости легко добавлять новые мощности.

Очень часто на практике приходится сталкиваться с тем, что отлично задокументированный продукт не «заводится» за пять минут, либо доступен быстро, но в ограниченной конфигурации. Airflow не стал исключением: подробной инструкции фактически нигде не нашлось и, кроме того, мы столкнулись с некоторыми неочевидными вещами. В этой статье поделились свои опытом и деталями пошаговой установки Airflow.

Читать далее
Total votes 1: ↑0 and ↓1 -1
Comments 4

Как не загубить потенциал и превратить рабочие задачи в спелые яблоки

Reading time 8 min
Views 1.3K

Привет! Меня зовут Анастасия, в Neoflex я за восемь лет прошла путь от младшего специалиста по тестированию до заместителя руководителя бизнес-направления. На каждом этапе было много энергии, амбиций, желания расти. Но в один момент потенциал и амбиции едва не стали причиной ухода из компании. Я обнаружила, что не могу проявить себя в Neoflex, как делала это раньше. Я страдала, потеряв себя за рутиной, бесконечным повторением задач.

Эта статья о том, как работа с HR-коучем помогла мне преодолеть этот блок и реализоваться внутри компании. Заходите под кат, если хотите разобраться, как преодолеть трудные периоды в карьере, остаться ценным сотрудником, обрести новые смыслы, вдохновение и реализовать свой потенциал с пользой для себя, компании и коллег. 

Читать далее
Total votes 9: ↑7 and ↓2 +5
Comments 0

ClickHouse: как мы уменьшили потребление памяти в 50 раз

Level of difficulty Medium
Reading time 12 min
Views 7.2K

Мы все чаще используем ClickHouse, и эта СУБД хорошо себя зарекомендовала для построения хранилищ данных и выполнения аналитических проектов. Благодаря column-oriented архитектуре ClickHouse сочетает в себе высокую производительность при вставке больших данных (миллионы строк в секунду) и невероятно быстрый full-scan по большим таблицам. Однако, за такую скорость работы этой СУБД приходится платить определёнными ограничениями, а пользователю – иметь ввиду нюансы (некоторые из них мы описали в предыдущей статье), которые непосредственно влияют на проектирование и разработку решений на базе Clickhouse.

В данной статье покажем – с какими трудностями мы столкнулись из-за архитектурных ограничений ClickHouse и как их преодолели, сократив потребляемые ClickHouse-сервером ресурсы почти в 50 раз.

Читать далее
Total votes 6: ↑6 and ↓0 +6
Comments 5

MLOps-платформа Dognauts для разработки и эксплуатации ML-моделей. Часть 1: предыстория создания

Level of difficulty Medium
Reading time 10 min
Views 2.2K

Добрый день! Меня зовут Евгений Овчинцев, я работаю в компании Neoflex и в настоящее время являюсь архитектором продукта Dognauts. В данной серии статей я планирую рассказать о том, как создавался и развивался продукт: почему принимались те или иные решения, с какими проблемами пришлось столкнуться и что из всего этого получилось. 

Читать далее
Total votes 6: ↑5 and ↓1 +4
Comments 1

Основные аспекты формирования маппинга витрины для миграции

Level of difficulty Easy
Reading time 10 min
Views 7.8K

В настоящее время наша команда в Neoflex выполняет работы по реализации нескольких проектов миграции данных, в рамках которых появляется потребность построения маппинга. Наш опыт основан на проекте крупнейшего в России банка по миграции витрин из СУБД Oracle в СУБД PostgreSQL в рамках импортозамещения отечественным ПО.

Читать далее
Total votes 1: ↑1 and ↓0 +1
Comments 1

Как воспитать GPT модель в домашних условиях [LLaMA Update]

Level of difficulty Medium
Reading time 11 min
Views 50K

Мы решили проверить технологию, на которой основан ChatGPT, посмотреть актуальное состояние open-source GPT-like моделей и ответить на вопрос — можно ли обучить GPT-like модель в домашних условиях?

Для эксперимента выбрали LLaMA и GPT-J и не самый мощный ПК с видеокартой Nvidia GTX 1080TI с 11 GB VRAM. Оказалось, что этого достаточно не только, чтобы загрузить модель, но и дообучить ее (fine-tune). Рассказываем — как мы это сделали.

Читать далее
Total votes 48: ↑46 and ↓2 +44
Comments 25

Алгоритм Forward-Forward: альтернатива backpropagation

Level of difficulty Medium
Reading time 11 min
Views 4.9K

Алгоритм обратного распространения ошибки уже давно доминирует в сфере обучения нейронных сетей. Несмотря на свою популярность и эффективность, у него есть свои недостатки, в частности, различие в работе с человеческим мозгом.

В конце прошлого года Джеффри Хинтон, пионер Deep Learning, на конференции NeurIPS 2022 предложил новый алгоритм обучения нейронных сетей — Forward‑Forward — как альтернативу методу обратного распространения ошибки. FF более гибок и использует меньше памяти, чем backpropagation в архитектурах с множеством скрытых слоев, а его основная отличительная черта в том, что он основывается на современном понимании устройства человеческого мозга.

В данной статье мы рассмотрим, что способствовало появлению данного алгоритма, принцип его работы, а также обучим с его помощью простейшую классифицирующую нейросеть на датасете MNIST.

Читать далее
Total votes 14: ↑14 and ↓0 +14
Comments 14

Мониторинг в NiFi. Часть третья. Задачи отчетности Site-to-Site

Reading time 19 min
Views 2K

В предыдущих частях мы рассмотрели вопросы мониторинга потоков данных и состояния системы средствами GUI NiFi и задач отчетности. В этой части поближе познакомимся с задачами отчетности Site-to-Site. При отправке данных из одного экземпляра NiFi в другой можно использовать множество различных протоколов, однако, предпочтительным является NiFi Site-to-Site. Данный протокол предлагает безопасную и эффективную передачу данных из узлов в одном экземпляре NiFi, производящем данные, на узлы в другом экземпляре, являющимся приемником этих данных.

Читать далее
Total votes 4: ↑4 and ↓0 +4
Comments 0

Information

Rating
Does not participate
Works in
Registered
Activity