Pull to refresh
6
0
Дергачев Сергей @mcleod095

Пользователь

Send message

Распутываясь из циклов Ansible

Reading time7 min
Views9.7K

Распутываясь из циклов Ansible

Написать данный опус навеяла статья на Хабре Распутывая Ansible Loops. Вообще с циклами у ansible на мой взгляд не задалось. Никаких тебе конструкций вида for и while. Официальная документация довольно-таки развернутая, но немного в ней не хватает элементарных примеров. Их и постараюсь привести.

распутать это
Total votes 10: ↑7 and ↓3+4
Comments3

Wazuh с точки зрения Windows-администратора

Reading time6 min
Views22K

Как подобрать решение, которое обеспечит стабильную конфигурацию файлов на серверах и стабильный аллертинг в случае изменения этих файлов.

В этом году компании Hostkey понадобилось обеспечить мониторинг ключевых файлов и истории их изменения на серверах. Мы стремились подобрать решение, позволяющее обеспечить стабильную конфигурацию файлов на серверах и стабильный аллертинг в случае изменения этих файлов. 

Мы рассматривали несколько сервисов, обеспечивающих мониторинг файлов и в итоге остановились на Wazuh. На то есть несколько причин:

1.  Высокое качество клиента. Клиентская часть Wazuh оказалась наименее ресурсозатратной, но при этом стабильной и надежной. Механизм обнаружения, просмотра и сравнения соответствия безопасности с открытым исходным кодом важен, но вторичным ПО. Соответственно, он не должен нагружать сервер. Если 50% ресурса сервера идет на мониторинг, значит, что-то работает не так.  

2. Развитость и поддержка клиента. Он работает на нескольких платформах, в том числе на Windows и Linux.

3. Итоговый интерфейс построен на Open Distro. У нас в инфраструктуре уже использовался логгер на Open Distro (со временем мы перешли на OpenSearch). Это решение показалось нам интересным и комфортным с точки зрения минимизации средств поддержки, поскольку используется платформа, с которой мы хорошо знакомы.

Изначально мы искали решение для ОС семейства Linux, но Wazuh оказался универсальным решением. Ниже будет описан опыт администратора Windows. О специфике использования Wazuh на ОС семейства Linux мы расскажем в отдельной статье.

Читать далее
Total votes 3: ↑3 and ↓0+3
Comments0

Несколько хостов FreeIPA за HTTP-proxy: настраиваем HAProxy 2+

Reading time5 min
Views3.9K

Путь инженера в телекоме часто начинается со службы технической поддержки. Чтобы вырастить из новичков высококлассных специалистов, нужно дать им возможность работать над выходящими за рамки служебных обязанностей задачами. Мы стараемся помогать активным коллегам в развитии — это один из главных принципов HOSTKEY с момента основания компании. Публикуем заметку о реализации проксирования административной панели FreeIPA через HAProxy, написанную нашим инженером техподдержки Александром Тряпкиным.

(А здесь можно прочесть, как синхронизировать FreeIPA с Active Directory).

Читать далее
Total votes 4: ↑3 and ↓1+2
Comments0

Реализация простой HTML5-панели управления серверами с поддержкой IPMI

Reading time5 min
Views8.5K

Для удаленного доступа к физическим серверам клиенты хостеров используют программные средства, которые работают только при наличии операционной системы и специального софта.

Если система не установлена или возникли какие-то проблемы с ее настройкой (например, при попытке изменить правила межсетевого экрана), доступ можно потерять. В таких ситуациях на помощь приходят специализированные контроллеры, позволяющие управлять серверами без ОС, как если бы вы сидели за физической консолью. Рассказываем, как это работает у нас в HOSTKEY.

Узнать, как все устроено
Total votes 8: ↑8 and ↓0+8
Comments18

Что нового в плане мониторинга в PostgreSQL (Алексей Лесовский)

Reading time22 min
Views7.1K


Доклад Алексея Лесовского про то, что нового есть в PostgreSQL в плане мониторинга.


Охватывать Алексей будет 13 и 14 версии. Далее от его лица.

Читать дальше →
Total votes 15: ↑14 and ↓1+13
Comments5

«Симпсоны» — лучшее TV-шоу для изучения английских слов. Доказано Big Data

Reading time6 min
Views16K

Мы уже давно говорим о том, что супер круто изучать английский по сериалам. Ведь главное их преимущество — повторение лексики. Из эпизода в эпизод большинство лексем повторяется много раз, что идеально для пополнения словарного запаса.

«Симпсоны» занимают особое место среди остальных сериалов и мультиков. Мы советуем его студентам из-за разнообразной лексики из разных сфер жизни. Но наше мнение основывалось на опыте преподавателей, а не на статистике и аналитике.

И вот мы нашли материал, который полностью подтверждает нашу точку зрения с помощью аналитики big data. Френк Андраде, Python-программист и data-аналитик, проанализировал 679 серий «Симпсонов» с точки зрения используемой лексики.  Спешим поделиться тем, что мы в нем узнали.

Читать далее
Total votes 11: ↑10 and ↓1+9
Comments9

Режим высокой доступности HashiCorp Vault (HA)

Reading time14 min
Views16K

Hashicorp Vault — open-source инструмент для управления секретами (пароли, ключи API и т.д.),


Vault может работать в режиме высокой доступности (HA) для защиты от сбоев за счет запуска нескольких серверов Vault. Vault обычно ограничивается пределами операций ввода-вывода серверной части Vault, а не требованиями к вычислениям. Некоторые серверные модули хранения, например Consul, предоставляют дополнительные функции координации, которые позволяют Vault работать в конфигурации высокой доступности, в то время как другие обеспечивают более надежный процесс резервного копирования и восстановления.

Читать дальше →
Total votes 9: ↑9 and ↓0+9
Comments6

Как ограничить частоту запросов в HAProxy: пошаговая инструкция

Reading time8 min
Views8.6K

Автор статьи объясняет, как реализовать в HAProxy ограничение скорости обработки запросов (rate limiting) с определенных IP-адресов. Команда Mail.ru Cloud Solutions перевела его статью — надеемся, что с ней вам не придется тратить на это столько времени и усилий, сколько пришлось потратить ему.

Дело в том, что это один из самых популярных методов защиты сервера от DoS-атак, но в интернете трудно найти понятную инструкцию, как конкретно его настроить. Методом проб и ошибок автор заставил HAProxy ограничить частоту запросов по списку IP-адресов, который обновляется в реальном времени.

Для настройки HAProxy не требуется никаких предварительных знаний, поскольку ниже излагаются все необходимые шаги.
Читать дальше →
Total votes 29: ↑29 and ↓0+29
Comments4

Проблемы безопасности Docker

Reading time15 min
Views26K


По мере взросления и стабилизации экосистемы Docker связанные с безопасностью этого продукта темы привлекают все больше внимания. При проектировании инфраструктуры невозможно избежать вопроса обеспечения безопасности Docker.


В Docker уже встроено несколько замечательных средств обеспечения безопасности:


  • Docker-контейнеры минимальны: один или несколько работающих процессов, только необходимое программное обеспечение. Это снижает вероятность пострадать от уязвимостей в ПО.


  • Docker-контейнеры выполняют специфическую задачу. Заранее известно, что должно выполняться в контейнере, определены пути к директориям, открытые порты, конфигурации демонов, точки монтирования и т. д. В таких условиях проще обнаружить какие-либо связанные с безопасностью аномалии. Этот принцип организации систем идет рука об руку с микросервисной архитектурой, позволяя значительно уменьшить поверхность атаки.


  • Docker-контейнеры изолированы как от хоста, так и от других контейнеров. Этого удается добиться благодаря способности ядра Linux изолировать ресурсы с помощью cgroups и namespaces. Но есть серьезная проблема — ядро приходится делить между хостом и контейнерами (мы еще вернемся к этой теме чуть позже).


  • Docker-контейнеры воспроизводимы. Благодаря их декларативной системе сборки любой администратор может легко выяснить, из чего и как был сделан контейнер. Крайне маловероятно, что у вас в итоге окажется неизвестно кем настроенная legacy-система, которую никому не хочется конфигурировать заново. Знакомо, не правда ли? ;)

Однако в основанных на Docker системах есть и слабые места. В этой статье мы как раз о них и поговорим, рассмотрев 7 проблем безопасности Docker.

Читать дальше →
Total votes 27: ↑26 and ↓1+25
Comments1

Load Average в Linux: разгадка тайны

Reading time18 min
Views213K


Средние значения нагрузки (Load averages) — это критически важная для индустрии метрика. Многие компании тратят миллионы долларов, автоматически масштабируя облачные инстансы на основании этой и ряда других метрик. Но на Linux она окутана некой тайной. Отслеживание средней нагрузки на Linux — это задача, работающая в непрерываемом состоянии сна (uninterruptible sleep state). Почему? Я никогда не встречал объяснений. В этой статье я хочу разгадать эту тайну, и создать референс по средним значениям нагрузки для всех, кто пытается их интерпретировать.

Читать дальше →
Total votes 127: ↑125 and ↓2+123
Comments25

Простенькая первичная авторизация с помощью iptables

Reading time1 min
Views11K


Очень простой способ прикрыть от посторонних сканеров и брутфорсеров важные сетевые порты такие как:

  • SSH
  • RDP
  • ...

Например, я сталкивался с тем, что брутфорсеры постоянно блокировали учетки в домене windows, долбясь по RDP и передавая пары логин/пароль валидных пользователей. Разумеется, DC блокирует такие учетки, пресекая брутфорс.
Читать дальше →
Total votes 16: ↑9 and ↓7+2
Comments32

Миллион WebSocket и Go

Reading time11 min
Views97K

image


Привет всем! Меня зовут Сергей Камардин, я программист команды Почты Mail.Ru.


Это статья о том, как мы разработали высоконагруженный WebSocket-сервер на Go.


Если тема WebSocket вам близка, но Go — не совсем, надеюсь, статья все равно покажется вам интересной с точки зрения идей и приемов оптимизации.

Читать дальше →
Total votes 119: ↑115 and ↓4+111
Comments78

Go дайджест. События, статьи, интересные проекты из мира Go [15 — 30 марта 2017]

Reading time3 min
Views9K

imageВсем привет!


Это второй выпуск дайджеста, посвящённого языку программирования Go, в этом году.


В нём перечислены лучшие статьи за прошедшие пару недель, а также новости, события и проекты, заслуживающие внимание.

Читать дальше →
Total votes 17: ↑17 and ↓0+17
Comments3

OpenResty: превращаем NGINX в полноценный сервер приложений

Reading time9 min
Views83K
Мы вновь публикуем расшифровку доклада с конференции HighLoad++ 2016, которая проходила в подмосковном Сколково 7—8 ноября прошлого года. Владимир Протасов рассказывает, как расширить функциональность NGINX с помощью OpenResty и Lua.

Всем привет, меня зовут Владимир Протасов, я работаю в Parallels. Расскажу чуть-чуть о себе. Три четверти своей жизни я занимаюсь тем, что пишу код. Стал программистом до мозга костей в прямом смысле: я иногда во сне вижу код. Четверть жизни — промышленная разработка, написание кода, который идёт прямо в продакшн. Код, которым некоторые из вас пользуются, но не догадываются об этом.

Чтобы вы понимали насколько всё было плохо. Когда я был маленьким джуниором, я пришёл, и мне выдали такие двухтерабайтные базы. Это сейчас тут у всех highload. Я ходил на конференции, спрашивал: «Ребят, расскажите, у вас big data, всё круто? Сколько у вас там базы?» Мне отвечали: «У нас 100 гигабайт!» Я говорил: «Круто, 100 гигабайт!» А про себя думал, как бы аккуратненько сохранить покерфейс. Думаешь, да, ребята крутые, а потом возвращаешься и ковыряешься с этими многотерабайтными базами. И это — будучи джуниором. Представляете себе, какой это удар?

Я знаю больше 20 языков программирования. Это то, в чём мне пришлось разобраться в процессе работы. Тебе выдают код на Erlang, на C, на С++, на Lua, на Python, на Ruby, на чем-то еще, и тебе надо это всё пилить. В общем пришлось. Точное количество посчитать так и не удалось, но где-то на 20 число потерялось.
Читать дальше →
Total votes 49: ↑44 and ↓5+39
Comments35

Бэкап VM ESXi средствами Bareos

Reading time14 min
Views17K


Продолжаем серию публикаций о возможностях бэкапирования с помощью Bareos. В этой статье пойдет речь о резервном копировании VM ESXi средствами Bareos.

Предыдущие посты: «Бэкап с помощью Open Source решения — Bareos»

Для резервного копирования виртуальных машин VMware ESXi зачастую применяют такие средства как Veeam или же скрипт ghettovcb. В этой статье мы рассмотрим способ резервного копирования виртуальной машины средствами Bareos 16.2, а именно будем использовать один из плагинов позволяющего расширить функционал Bareos — vmware-plugin. В 16-й версии изменено расположение конфигурационных файлов, теперь каждый ресурс (pool, client, job и т.д.) распределены по своим директориям, добавлена мультиязычность для web UI, улучшена работа плагина MySQL, более подробную документацию можно просмотреть тут.
Читать дальше →
Total votes 10: ↑9 and ↓1+8
Comments11

Подводные камни Bash

Reading time32 min
Views94K


В этой статье мы поговорим об ошибках, совершаемых программистами на Bash. Во всех приведённых примерах есть какие-то изъяны. Вам удастся избежать многих из нижеописанных ошибок, если вы всегда будете использовать кавычки и никогда не будете использовать разбиение на слова (wordsplitting)! Разбиение на слова — это ущербная легаси-практика, унаследованная из оболочки Bourne. Она применяется по умолчанию, если вы не заключаете подстановки (expansions) в кавычки. В общем, подавляющее большинство подводных камней так или иначе связаны с подстановкой без кавычек, что приводит к разбиению на слова и глоббингу (globbing) получившегося результата.


Читать дальше →
Total votes 143: ↑141 and ↓2+139
Comments63

Знакомство с хранилищем Ceph в картинках

Reading time11 min
Views280K
Облачные файловые хранилища продолжают набирать популярность, и требования к ним продолжают расти. Современные системы уже не в состоянии полностью удовлетворить все эти требования без значительных затрат ресурсов на поддержку и масштабирование этих систем. Под системой я подразумеваю кластер с тем или иным уровнем доступа к данным. Для пользователя важна надежность хранения и высокая доступность, чтобы файлы можно было всегда легко и быстро получить, а риск потери данных стремился к нулю. В свою очередь для поставщиков и администраторов таких хранилищ важна простота поддержки, масштабируемость и низкая стоимость аппаратных и программных компонентов.

Знакомьтесь: Ceph


Ceph — это программно определяемая распределенная файловая система с открытым исходным кодом, лишенная узких мест и единых точек отказа, которая представляет из себя легко масштабируемый до петабайтных размеров кластер узлов, выполняющих различные функции, обеспечивая хранение и репликацию данных, а также распределение нагрузки, что гарантирует высокую доступность и надежность. Система бесплатная, хотя разработчики могут предоставить платную поддержку. Никакого специального оборудования не требуется.



При выходе любого диска, узла или группы узлов из строя Ceph не только обеспечит сохранность данных, но и сам восстановит утраченные копии на других узлах до тех пор, пока вышедшие из строя узлы или диски не заменят на рабочие. При этом ребилд происходит без секунды простоя и прозрачно для клиентов.
Читать дальше →
Total votes 44: ↑42 and ↓2+40
Comments67

Масштабируемая конфигурация nginx

Reading time12 min
Views34K
Игорь Сысоев

Игорь Сысоев ( isysoev )


Меня зовут Игорь Сысоев, я автор nginx и сооснователь одноименной компании.

Мы продолжаем разработку open source. С момента основания компании темпы разработки существенно увеличились, поскольку над продуктом работает множество людей. В рамках open source мы оказываем платную поддержку.

Я буду говорить о масштабируемой конфигурации nginx, но это не о том, как обслужить с помощью nginx сотни тысяч одновременных соединений, потому что nginx для этого настраивать не надо. Нужно выставить адекватное число рабочих процессов или поставить его в режим «авто», поставить worker_connections в 100 000 соединений, после этого заниматься настройкой ядра — это гораздо более глобальная задача, чем просто настройка nginx. Поэтому я буду рассказывать о другой масштабируемости — о масштабируемости конфигурации nginx, т.е. о том, как обеспечить рост конфигурации от сотни строчек до нескольких тысяч и при этом тратить минимальное (желательно константное) время на сопровождение этой конфигурации.
Total votes 59: ↑57 and ↓2+55
Comments31

Асинхронная репликация без цензуры

Reading time12 min
Views23K


Олег Царёв ( zabivator )


Есть мастер, мастер неожиданно упал, но система продолжает работать. Клиенты мигрируют на вторую базу. Нужно делать резервные копии базы. Если делать резервные копии на основной базе, мы можем получить какие-то проблемы производительности, увеличение времени отклика. Это плохо. Поэтому достаточно распространенный пример асинхронной репликации — это снятие резервной копии со слэйва. Другой пример — это миграция тяжелых запросов с мастера на слэйв, с основной базы на вторую. Например, построение отчетов.

Иногда бывает необходимо, чтобы приложение могло получать все обновления из базы и желательно в режиме реального времени. Этим занимается оpen source библиотека, которая называется libslave.
Читать дальше →
Total votes 26: ↑26 and ↓0+26
Comments6

Умный дом или игрушка для мужчин: контроль электричества

Reading time7 min
Views48K
Вслед за статёй о контроле температуры, хочется еще немного рассказать о контроле электричества. Конечно, его интереснее контролировать, когда у Вас 3 фазы.

Тут много уже есть статей про измерение качества электричества. Обычно предлагаются дискретные измерения с помощью клещей, например. Не видел графиков, на которых отображаются важные характеристики электричества во времени: напряжение на фазе, нагрузка на фазу, напряжение на нуле и на защитном заземлении, потребление по приборам и др. С помощью таких графиков можно было бы вовремя заметить перекосы фаз, низкие-высокие напряжения на фазе, токи утечки в землю, анализировать причины отключения фаз и др.

Автор статьи не является электриком и не претендует на профессиональную подачу информации. Хотя с ПУЭ и оборудованием заземляющего контура пришлось плотно ознакомиться.

В моем случае (так уж вышло), сделана не совсем правильная схема TN-C-S, я разбил PEN на PE и N уже после счетчика (он на опоре). Но, несмотря на это, все же очень интересно, куда и как ходит электричество по 3-м фазам и 5 проводам. Эту систему можно даже использовать как учебное пособие для начинающих, наблюдая за поведением нуля при загрузке разных фаз. В частности, интересно, что в нулевом проводе всегда есть напряжение (относительно земли). Думаю, в садоводстве, а также в квартирах, полного нуля на рабочем нулевом проводнике вообще не может быть. Соответственно, с нуля в контур заземления практически всегда уходит часть электричества. Начинаешь понимать, что зануление в квартирах и на садовых участках опасно для жизни.



Подробнее тут
Total votes 21: ↑19 and ↓2+17
Comments53
1

Information

Rating
Does not participate
Location
Москва, Москва и Московская обл., Россия
Date of birth
Registered
Activity