Как стать автором
Обновить

Администрирование

Сначала показывать
Порог рейтинга
Уровень сложности

Как мы не выбрали Airbyte, или почему собирать данные лучше по старинке

Уровень сложностиСредний
Время на прочтение7 мин
Количество просмотров3.7K

Привет, Хабр! Меня зовут Илья, я работаю инженером данных в компании Selectel. В отделе BI мы собираем информацию из внутренних и внешних источников и предоставляем аналитикам.

У нас достаточно большой набор внешних ресурсов, данные из которых нужно собирать и обрабатывать. Среди них — различные SMM-площадки вроде VK и Telegram, платформы лидогенерации, инструменты таргетированной рассылки писем, системы автоматизации и многое-многое другое.

Так как компания развивается, мы спрогнозировали, что число источников тоже будет только расти. И назрела мысль, что нам нужно подобрать специализированное ПО, которое будет отвечать за доставку данных из внешних ресурсов в DWH. Время прошло, идея воплощена: мы используем Airflow и самописные коннекторы на Python. Но могло сложиться все иначе — и мы бы использовали Airbyte, если бы не одно но…
Читать дальше →
Всего голосов 37: ↑36 и ↓1+35
Комментарии5

Отопление в ИЖС с помощью сплит-кондиционера «на тепло». Так ли это выгодно на самом деле?

Время на прочтение30 мин
Количество просмотров15K

Отопление тепловыми насосами

Продолжим обсуждение способов экономичного отопления в ИЖС без использования трубного газа.

Ранее были рассмотрены варианты отопления электричеством и отопления с применением СУГ.

Экономика загородного дома. Как утеплить дом и не разориться?

По желанию читателей решил рассмотреть и вариант отопления с помощью «кондиционеров на тепло».

То есть нужно рассмотреть простую и дешёвую систему получения халявного тепла на отопление от и так уже установленного для лета кондиционера, который простым нажатием кнопки на пульте начнёт выкачивать тепло из воздуха холодной улицы, переправляя его внутрь отапливаемого домика.

Изначально предполагается использовать именно самую дешёвую версию сплит‑кондиционера, у которого компрессорно‑конденсаторный блок (далее ККБ) установлен на улице.

Идея сама по себе увлекательная, но содержит в себе ряд подводных камней, не очень афишируемых в рекламных проспектах.

Рассмотрением этих незаметных или преднамеренно скрываемых препятствий мы и займёмся в этой статье.

Читать далее
Всего голосов 53: ↑50 и ↓3+47
Комментарии139

Снова на те же грабли. Разбираемся с ошибками хранения ПДн и способами защиты медицинских данных

Время на прочтение5 мин
Количество просмотров1.3K

Привет, Хабр! Ловите новую подборку от beeline cloud — собрали практические истории по работе с персональными данными. Здесь и основные ошибки хранения ПДн, и советы, которые помогут навести порядок, и примеры защиты личных данных пациентов в виде кейса компании, которая проводит дистанционные медицинские осмотры.

Читать далее
Всего голосов 12: ↑8 и ↓4+4
Комментарии1

Не все логи одинаковы полезны: 3 истории из жизни

Уровень сложностиПростой
Время на прочтение8 мин
Количество просмотров5.7K

Прочитав статью "Утечки памяти, которые не утечки", я решил поделиться своим опытом поиска проблем, связанных с нагрузкой систем под управлением Windows. 2 проблемы были связаны с возросшей нагрузкой на ЦПУ и одна проблема связанна с утечкой памяти.

В своей статье я расскажу, как выявить проблемы в ПО, не имеющего исходного кода и написанного не вами, а так же как минимальными средствами выяснить, что происходит у вас в системе. Данный текст подойдет администраторам, где по условиям работы всё запрещено, а так же инженерам АСУТП, где систему приходится эксплуатировать в жестких рамках ИБ.

Подробнее далее
Всего голосов 23: ↑23 и ↓0+23
Комментарии1

Истории

Организация корпоративной ИТ-инфраструктуры для 1С (50, 100, 200 пользователей)

Уровень сложностиПростой
Время на прочтение9 мин
Количество просмотров9.3K

В данной статье мы рассмотрим пример подхода для создания инфраструктуры 1С в зависимости от количества пользователей.

Читать далее
Всего голосов 5: ↑5 и ↓0+5
Комментарии7

Как не облажаться при выборе российского NGFW

Уровень сложностиПростой
Время на прочтение11 мин
Количество просмотров8.2K

Исследование российского рынка NGFW показало, что только 16% опрошенных довольны установленными российскими межсетевыми экранами. Наше общение с клиентами это подтверждает. При этом ошибка при выборе межсетевого экрана нового поколения может стать фатальной, так как именно NGFW отвечает за отказоустойчивость бизнеса и его защиту от кибератак.

Я, Юрий Дышлевой, более 10 лет занимаюсь сетевыми технологиями. За это время я успел построить множество сетей федерального масштаба. Большинство этих сетей сейчас активно перестраивают, пытаясь найти аналоги зарубежным продуктам. Вместе с командой разработки PT NGFW мы поставили себе цель — создать межсетевой экран мирового уровня.

Проанализировав потребности клиентов, мы решили рассказать о том, какими сложными могут быть ответы на вроде бы простые вопросы: как правильно выбрать NGFW? Что может послужить стоп-фактором? Кроме того, собрали топ пять ошибок при выборе межсетевого экрана, чтобы вам было проще ориентироваться в будущем, когда вам понадобится идеальный NGFW.

Читать далее
Всего голосов 6: ↑6 и ↓0+6
Комментарии5

Как проводят оценку качества данных в Airbnb

Уровень сложностиПростой
Время на прочтение9 мин
Количество просмотров2.3K


Сегодня, когда объем собираемых компаниями данных растет в геометрической прогрессии, мы понимаем, что больше данных — не всегда лучше. На самом деле слишком большой объем информации, особенно если вы не можете гарантировать ее качество, может помешать компании и замедлить процесс принятия решений. Или это приведет к принятию неправильных решений.

Рост показателей Airbnb до 1,4 миллиарда гостей на конец 2022 года привел нас в точку, когда снижение качества данных стало мешать нашим специалистам по работе с этими самыми данными. Еженедельные отчеты по метрикам стало сложно предоставлять вовремя, такие базовые показатели как «Активные объявления» стали иметь целую паутину зависимостей. Для полноценной работы с данными стали требоваться значительные институциональные знания, просто чтобы преодолеть все «подводные камни» в нашем информационном потоке.

Чтобы решить эту проблему, мы внедрили процесс под кодовым названием «Мидас» (Midas), который предназначался для сертификации наших данных. Начиная с 2020 года, процесс Midas, а также работа по реорганизации наших наиболее важных моделей позволили значительно повысить качество и оперативность получения важнейших данных Airbnb. Однако достижение всех критериев качества данных требует значительных межфункциональных инвестиций в такие вещи как проектирование, разработка, проверка и поддержка необходимых информационных ассетов и документации.
Читать дальше →
Всего голосов 32: ↑30 и ↓2+28
Комментарии3

Без кого роботы-самосвалы не поедут

Уровень сложностиПростой
Время на прочтение7 мин
Количество просмотров1.8K

Мои коллеги уже написали не одну статью для Хабра о наших роботах-самосвалах. Я хочу продолжить эту серию материалов, но мой рассказ будет не о лидарах, радарах и прочем железе, а о людях, задача которых – приглядывать за роботами в карьере, чтобы они случайно не нарушили производственный процесс или чего доброго – законы Азимова.

Читать далее
Всего голосов 6: ↑6 и ↓0+6
Комментарии10

STS-107

Уровень сложностиСредний
Время на прочтение26 мин
Количество просмотров14K

- Lock the doors!

Эта короткая фраза имеет жуткий смысл, и двадцать один год назад она была произнесена в этом контексте второй раз в мировой истории.

Конечно, о второй катастрофе «Шаттла» написано многое, и более-менее все читатели знают и ход аварии, и причины, а кто-то, как автор, видели своими глазами и первые телерепортажи с печальной россыпью ярких «метеоров» в небе. Но спустя столько времени интересно не просто поговорить о сухих фактах, а проиграть в голове всю историю катастрофы от начала и до конца, прочувствовать все то, что окружало ее с самого старта миссии: голоса неуверенные и голоса заверяющие, тревожное ожидание и самообман ложной надеждой, беспечную халатность исполнителей и преступные директивы начальства.

Итак, во время старта международной космической миссии NASA STS-107 космический корабль «Колумбия» получил повреждения теплоизоляции крыла от попадания фрагмента другой теплоизоляции, оторвавшейся со стойки топливного бака. Подобные случаи были нередкими, а потому инциденту не придали значения, и на этапе возвращения корабль неожиданно и трагически сгорел в атмосфере, унеся жизни 7 человек экипажа. Такую картину рисуют большинство заметок, коротких статей и репортажей об инциденте. Но было ли это все так просто на самом деле?

Читать далее
Всего голосов 125: ↑125 и ↓0+125
Комментарии60

Основы репликации в Kafka

Уровень сложностиПростой
Время на прочтение5 мин
Количество просмотров5.7K

Привет, Хабр!

Репликация в Apache Kafka - это механизм, который обеспечивает доступность и надежность в обработке потоков данных. Она представляет собой процесс дублирования данных с одной части темы в другие, называемые репликами.

В этой статье рассмотрим основы репликации в кафке.

Читать далее
Всего голосов 12: ↑9 и ↓3+6
Комментарии2

Всё /var/lib/docker пожрал … docker

Уровень сложностиПростой
Время на прочтение2 мин
Количество просмотров4.9K

Небольшая юмористическая заметка на тему того, что делать, если докер всё пожрал всё место на диске, от для человека, который каждый день работает с докером не шарит за докер.

Заметку написала моя коллега, орфография и пунктуация по возможности сохранены. В какой-то момент ей надоело вспоминать или гуглить как чистить мусор, который оставляет докер, его билды, образы и вольюмы, и она свела всё в одну заметку.

Как мне кажется, получилось довольно смешно. Всё написанное в статье выдумка, любые совпадения с реальным миром случайны, если вы вводите в консоль sudo или его аналог - вы делаете это на свой страх и риск. Слова, замененные на другие для соблюдения правил Хабра, выделил курсивом, но думаю всё поймут, что было в оригинале написано.

Читать далее
Всего голосов 12: ↑12 и ↓0+12
Комментарии9

Prometheus: от основ до mem-saving оптимизации

Уровень сложностиСредний
Время на прочтение13 мин
Количество просмотров8.6K


Мониторинг в контексте современных инфраструктур играет критически важную роль и является неотъемлемой частью успешного управления и обеспечения стабильности систем. С ростом их сложности и масштаба, а также ввиду высоких ожиданий пользователей, возникает необходимость в непрерывном и детальном контроле за работой приложений и расходом аппаратных ресурсов. Мониторинг позволяет оперативно выявлять аномалии, прогнозировать потенциальные проблемы и оптимизировать работу системы, что в свою очередь, способствует повышению производительности, надежности и экономической эффективности инфраструктурных решений. Без качественного мониторинга становится невозможным обеспечить конкурентоспособность и успешное функционирование в реалиях современного рынка IT-продуктов.

Однако, настройка мониторинга сама по себе может стать вызовом, особенно когда речь идет о крупных инфраструктурах. На многих наших проектах в качестве инструмента мониторинга мы используем довольно популярное решение — Prometheus, при работе с которым порой возникают трудности. Их изучение и последующее решение и сподвигли нас на написание данной статьи.
Читать дальше →
Всего голосов 6: ↑6 и ↓0+6
Комментарии2

Шаг за шагом: Реализация автоматического резервного копирования PostgreSQL в Kubernetes и его синхронная отправка на S3

Уровень сложностиСредний
Время на прочтение27 мин
Количество просмотров6.5K


Привет! У каждого из нас бывает что после какой-то задачи, ты хочешь чем-то поделиться. Но зачастую мотивации хватает только на поделиться в рамках внутреннего Confluence. Сейчас, я реализовал решение которое объявлено в названии статьи. Сразу хотелось бы сказать, что я не претендую на истину в последней инстанции со своим решением, оно просто отражает путь который пройден мной. Более того, СУБД в кластере здесь тоже не предмет для обсуждения.

Читать дальше →
Всего голосов 5: ↑3 и ↓2+1
Комментарии9

Ближайшие события

Интеграция голоса клиента в продуктовую стратегию через онлайн-опросы

Время на прочтение7 мин
Количество просмотров527

Эта статья призвана осветить, как компании могут эффективно собирать, анализировать и интегрировать обратную связь от клиентов для формирования продуктовых стратегий, которые не только отвечают текущим потребностям рынка, но и прогнозируют будущие тренды и изменения.

Статья будет особенно полезна специалистам в области управления продуктами, маркетинга, а также тем, кто занимается исследованиями клиентского опыта. Мы рассмотрим, как онлайн-опросы могут стать мощным инструментом для сбора ценной информации от клиентов и как эта информация может быть трансформирована в стратегические решения. От улучшения продуктов и услуг до разработки новых идей и концепций - понимание голоса клиента является неотъемлемой частью продуктовой стратегии, обеспечивающей конкурентное преимущество и долгосрочный успех на рынке.

Читать далее
Всего голосов 10: ↑7 и ↓3+4
Комментарии1

Как установить Windows 11

Уровень сложностиПростой
Время на прочтение10 мин
Количество просмотров76K

Да, статья о том, как установить Windows 11 правильно. Этот процесс нынче сопровождается таким количеством шаманских плясок, что ей-богу, проще Arch устанавливать. Решил вот поместить все познания по этому вопросу из головы в статью.

Читать далее
Всего голосов 143: ↑121 и ↓22+99
Комментарии238

Что позволяют создать крипто оракулы?

Уровень сложностиПростой
Время на прочтение5 мин
Количество просмотров1.9K

Недавно появилась новость о партнерстве оракула Redstone и блокчейна TON. Появление такого оракула должно открыть возможности для создания новых проектов на TON. Но что вообще можно создавать на смарт-контрактах с использованием оракулов?

Если отбросить шлак, вроде угадывания курса криптовалют, лотерей, розыгрышей и прочего, оказывается, что на поверхности идеи не лежат. Вы прокинули, какую-то внешнюю информацию в сеть и что дальше? Ведь за использование информации оракулов нужно платить криптовалютой, соответственно любая переданная информация должна нести прибыль, для согласованности стимулов.

Поэтому этой статье мы рассмотрим, где и для чего используются оракулы в блокчейне.

Читать далее
Всего голосов 4: ↑3 и ↓1+2
Комментарии6

Обзор выставки Intersec 2024. Тренды рынка турникетов

Время на прочтение3 мин
Количество просмотров827

С 16 по 18 января в Объединенных Арабских Эмиратах проходила крупнейшая международная выставка в области безопасности — Intersec-2024. 

Среди основных трендов этого года – интегрированные решения, внимание к дизайну, безбарьерный доступ и оборудование для организации повышенного уровня безопасности. 

Давайте посмотрим, как эти тренды были представлены на стендах лидеров рынка турникетов.

Интегрированные решения

Главный сегодняшний тренд – интеграция турникетов с различным дополнительным оборудованием: биометрическими устройствами, сканерами штрихкода и QR-кода. На редком стенде в этом году не были представлены турникеты с терминалами распознавания лиц. Производитель из Нидерландов Boon Edam продемонстрировал скоростные проходы со встроенной прямо в стойку турникета камерой для распознавания лиц – такое решение позволяет организовать полностью бесконтактный доступ. 

В рамках этого тренда мы привезли в Дубай наш моторизованный тумбовый турникет PERCo-TTD-12A. Это турникет-трансформер, позволяющий устанавливать различное дополнительное оборудования в соответствии с потребностями заказчика –  это могут быть сканеры штрихкода, биометрические устройства, купюро- и монетоприемники.

Читать далее
Всего голосов 4: ↑3 и ↓1+2
Комментарии1

Linux Mint на ноутбуке Nerpa с рабочей RGB-подсветкой клавиатуры

Время на прочтение5 мин
Количество просмотров5K

В публикации речь пойдёт об установке Linux Mint и тестировании на этой ОС фирменного ноутбука компании Nerpa («дочки» российского IT-интегратора OCS), а именно модели Caspica I752-15, включая решение проблемы с запуском штатной RGB-подсветки клавиатуры. Изначально ноутбук поставлялся с ОС Windows 11 и драйверами для всех компонентов.

Читать далее
Всего голосов 16: ↑14 и ↓2+12
Комментарии13

Техдолга не существует

Время на прочтение9 мин
Количество просмотров7.6K

О техдолге говорят довольно давно и часто. Основные тезисы — он похож на денежный долг, накапливается, мешает вести разработку, и, как правило, противопоставляется задачам от бизнеса.

Мне как разработчику не нравится сложившаяся обстановка. Поэтому попытаюсь разобраться, что подразумевают под техдолгом в сообществе, какие типы задач к этому относят, расскажу, что весь техдолг влияет на бизнес и как можно построить процессы без отдельного техдолга. В качестве подготовки я провёл небольшой опрос, на который буду периодически ссылаться.

Читать далее
Всего голосов 38: ↑28 и ↓10+18
Комментарии33

Преимущества 6G. По-быстрому

Уровень сложностиСредний
Время на прочтение4 мин
Количество просмотров8.2K

Индия, экономика которой сейчас является одной из самых быстрорастущих в мире, объявила о замене пятого поколения мобильной связи на шестое – другими словами, в стране запускается сеть 6G. Это новый стандарт беспроводной связи, который гарантирует высокую производительность и более эффективный результат по сравнению с текущими сценариями использования мобильных коммуникаций. Он всё еще в процессе разработки, и на данный момент не существует никаких универсальных стандартов в части компонентов этой технологии, но 6G планируется запустить уже в 2028 году.

Мы, как компания, причастная к развитию телеком-отрасли в России, решили погрузиться в тонкости технологии и разобраться в ее преимуществах и ключевых особенностях.

Читать далее
Всего голосов 2: ↑2 и ↓0+2
Комментарии8
12 ...
50