Привет! Меня зовут Алексей Карпов, я DevOps-инженер (MLOps) отдела ML разработки в OKKO. Хочу поделиться опытом в работе с Apache Airflow в связке с Kubernetes. Расскажу, как установить Airflow в Kubernetes, настроить автоматическую синхронизацию DAG'ов с удалённым репозиторием, а также как отладить его работу. Всё это — на примере запуска простейшего DAGа. 

Привет Хабр! Снова я и сегодня снова будет разговор о хостингах. За время своих скитаний я пришёл к выводу, что сравнивать их между собой довольно бесполезно, поэтому в этот раз решил сравнивать с реальными железками.

Речь пойдёт о системе записи с IP-камер Surveillance Station от Synology. Я сам уже много лет использую Synology, причём впервые познакомился с ней ещё до покупки оригинального железного сервера, установив через Xpenology фирменную операционную систему на обычный компьютер.

Xpenology является загрузчиком операционной системы от Synology, которая называется DSM (DiskStation Manager) и используется на  фирменных NAS Synology. DSM работает на пользовательской версии Linux, разработанной Synology.

Веб-приложение Surveillance Station - это система NVR (сетевой видеозаписи) для обеспечения безопасности с помощью мониторинга IP-камер. Это приложение кажется довольно удобной, хотя и проприетарной системой видеонаблюдения, которая работает прямо из коробки. По умолчанию возможно бесплатное подключение только двух камер.

Однако бразилец Фабио Белавенуто в июле 2022 выложил на гитхабе проект загрузчика Automated RedPill Loader (ARPL), который позволяет практически без использования командной строки создать загрузочную флешку и протестировать запуск Synology DSM 7.1 и Surveillance Station 9.0.1-7673 на 8 камер без какой либо дополнительной оплаты на обычном компьютере при эмуляции сетевого хранилища DVA1622.

Всем привет! Я работаю не в IT компании системным администратором. В перечень обязанностей входит и администрирование систем видеонаблюдения [мы используем CTV и HiWatch], это обычная ситуация админ должен уметь все и сразу.

Информацией в данной статьей я хочу поделиться в виду того, что потребовалось не мало времени для поиска решения задачи и написания небольшого скрипта. Если у кого будут предложения по иной реализации задач, буду рад ознакомиться.

Thinkpad T480 - максимальное улучшение ноутбука, подробный гайд по замене/установке компонентов (ОЗУ, охлаждение, SSD, аккумуляторы и т. д.).

До недавнего времени я делал бэкапы своих устройств на внешний HDD. Такой способ меня устраивал потому, что бэкапил данные редко - раз в неделю. Когда задумался о ежедневных бэкапах, понял, что бегать с внешним HDD будет непрактично. Хочу рассказать про удобное (по крайней мере для меня) решение для ежедневных бекапов без проводов.

Proxmox — это специализированный дистрибутив для виртуализации и контейнеризации на базе Debian Linux.

Когда потребности перерастают один, ответственный за все, железный сервер, но еще не настолько велики, чтобы использовать Kubernetes, на помощь приходят разные решения, позволяющие управлять кластером из нескольких хостов, организовать High Availability, репликацию и централизованный бэкап контейнеров и виртуалок. Proxmox — одно из них.

С ним мы уже больше двух лет, и очень довольны: он сильно упрощает очень многое: нарезку и резервирование ресурсов, живую миграцию (qemu VM's only), централизованный сбор метрик (без необходимости впихивать экспортер/агент в каждого гостя), управление (через WebUI, api и ssh).

Наша сеть разрослась от трех серверов до дюжины, из них количество хостов Proxmox выросло от нуля до восьми, на текущий момент. Но иногда ломается и он.

Имеем микросервисную архитектуру в k8s, где крутятся и деплоятся сервисы на пхп, го, js ... Под каждый микросервис создается отдельный репозиторий, который содержит помимо исходников кода набор кубернетис ресурсов (deployment, configMap, Secret, Job...)

Что получится, если объединить Prometheus, работающий на Kubernetes, умный движок, взаимодействующий с ChatGPT, и мессенджер типа Slack? Вы получите платформу с открытым исходным кодом для поиска и устранения ошибок в Kubernetes под названием Robusta.

В этом посте мы рассмотрим применение Robusta поверх стека мониторинга Prometheus и покажем, почему возникают алерты и как их можно устранить.

Предыдущие статьи серии:

Современные технологии обхода блокировок: V2Ray, XRay, XTLS, Hysteria и все-все-все
Программы-клиенты для протоколов недетектируемого обхода блокировок сайтов: V2Ray/XRay, Clash, Sing-Box, и другие

С протоколами разобрались, с клиентами разобрались, теперь наконец-то настало время рассказать о том, как же настроить свой личный прокси-сервер с современными протоколами для обхода блокировок. Мы будем настраивать сервер на базе XRay (который является форком известного V2Ray, и еще я немного упомяну Sing-Box) с протоколами Shadowsocks-2022 и VLESS с транспортом XTLS-Vision и фейковым веб-сайтом для защиты от выявления. И в качестве запасного варианта на том же сервере мы настроим fallback на VLESS+Websockets, чтобы была возможность работать через CDN типа Cloudflare, если вдруг IP-адрес вашего сервера попадет под блокировку. В конце я приведу настройки десктопных и мобильных клиентов для подключения ко всему этому.

Ошибки серверного софта

Нестабильная работа серверных скриптов

В данной статье мы попробуем исследовать альтернативные варианты использования NAS.

Также мы попытаемся составить расширенный план тестирования на первых NAS, собранных на китайских процессорах RK3588 и на основе х86 архитектуры.

Мы уже приняли решение, что базовым софтом для нашего NAS будет OMV на Armbian. На этом стеке мы будем проводить тесты и замерять бенчмарки. Его мы будем оптимизировать под наше железо. Для него же в первую очередь будут составляться мануалы.

Но ресурсов нашего устройства хватит не только на организацию сетевого хранилища, но и на медиасервер, запускалку докеров, контроллер умного дома, VPN и прочее.

В этой статье попробуем разобраться, как обстоят дела с управлением паролями в компаниях, порассуждаем о том, какими характеристиками должен обладать идеальный корпоративный менеджер паролей и сравним четыре популярных в этой категории продукта.

Привет, Хабр! Меня зовут Вова, я разрабатываю observability-платформу в Ozon. Как-то раз в наш уголок на 42 этаже заглянули коллеги — и поделились наблюдением. Если открыть рядом графики времён запросов и ответов двух живущих в Kubernetes и общающихся между собой микросервисов, то иногда можно наблюдать большую разницу в высоких квантилях: клиент считает, что один ответ из сотни ему приходит за сто миллисекунд, сервер же говорит, что успевает ответить за десять.

Куда ушло время? Можно ли его вернуть? Под катом расскажу о том, с какими граблями может столкнуться микросервис, живущий в типичной инсталляции Kubernetes.

Современный и доступный NAS - понятие довольно растяжимое. Для чего он нужен - для дома или офиса, его размеры, мобильность, стоимость, программное обеспечение, все эти и другие вопросы так или иначе определяют конкретную модель и сферу применения. Рассмотрим то, что будет интересно всем - это системы хранения для дома или малых рабочих групп. Причем существуют не только ограничения по стоимости и локальной доступности, но также и простое желание собрать что-то своими руками. Мы постарались разобраться в ситуации, проанализировать существующие решения и, возможно, предложить свой вариант развития, который будет интересен и тем, кто хочет купить готовое решение, и тем, кто смотрит на NAS как на потенциальное устройство для самостоятельной сборки от железа до софта.

Жил был один новостной проект. Время шло, одни фичи добавлялись, вторые удалялись... Одной из важнейший фишек была генерация превьюшек к картинкам (thumbnails), а именно - быстрая генерация (до 5 минут) всех thumbnails. Все было хорошо, пока не начали поступать жалобы, что, иногда, генерация не успевает за 5 минут все сделать. Начали "копать" и обнаружили интересную вещь: мы генерим 112 превьюшек к одной картинке. Нашей "радости" не было предела. После небольших дискуссий было решено увеличить maxReplicas до 60 в HPA (проблема возникала когда загружалось больше 80 картинок), так как это самое быстрое и дешевое решение.

У меня на даче самый обычный сетап. Интернет раздается через 3g свисток + wifi роутер на openwrt. 

Здесь роутер с openwrt на борту это пограничное устройство между LAN и WAN.
Такой сетап работал годами и был супер надежным.

И вот я случайно узнал что некоторые сотовые операторы в моей местности уже ввели в эксплуатацию сети 4G и задумался как бы улучшить качество и скорость интернета. После чтения обзоров и недолгих раздумий было решено прикупить Mikrotik LTE6 kit (внешний 4g модем + тарелка) и заменить им устаревший 3g свисток.