Публикуем вторую часть руководства по модулю asyncio в Python, в которой представлены разделы оригинала №3 и 4. Читать головокружительную первую часть.
Полное руководство по модулю asyncio в Python. Часть 2
20 min
Tutorial
Translation
Специалист поИБэ
Полное руководство по модулю asyncio в Python. Часть 1
11 min
Tutorial
Translation
Python-модуль asyncio позволяет заниматься асинхронным программированием с применением конкурентного выполнения кода, основанного на корутинах. Хотя этот модуль имеется в Python уже много лет, он остаётся одним из самых интересных механизмов языка. Но asyncio, при этом, можно назвать ещё и одним из модулей, которые вызывают больше всего недоразумений. Дело в том, что начинающим разработчикам бывает трудно приступить к использованию asyncio.
Перед вами — подробное и всестороннее руководство по использованию модуля asyncio в Python. В частности, здесь будут рассмотрены следующие основные вопросы:
Бесплатные книги, полезные для IT-специалистов и DevOps
6 min
Перед вами подборка бесплатных книг, которые помогут разобраться в DevOps-практиках и стать сильнее как специалист. Вся литература — на английском языке, если не указано другого.
Архитектура IT-проекта с Attribute-Driven Design
9 min
Архитектура приложения — это его технологическая база, которая учитывает риски проекта, бюджет, требования и ограничения, потребности в масштабировании.
Помимо разработки архитектуры, на старте требуется приблизительно оценить объем и стоимость проекта. Для этого мы в своей практике используем одну из проверенных методологий создания архитектуры ПО — Attribute-Driven Design (ADD). При этом мы опираемся на атрибуты качества того или иного IT-продукта. На их основе мы на этапе оценки (пресейла) создаём архитектурную концепцию системы.
Рассмотрим этапы работы с архитектурной концепцией, возможные сложности и решения, исходя из опыта нашего Архитектурного комитета. Мы надеемся, что статья будет полезна архитекторам и разработчикам, желающим освоить методологию ADD, и может быть интересна смежным специалистам.
Как мы создали калькулятор для планирования трудозатрат в условиях неизвестности
4 min
Ведущий бизнес-аналитик отдела кассового обслуживания управления анализа и проектирования департамента производства казначейских решений ГК «ОТР» Ирина Метелева рассказала о разработке калькулятора, который помогает планировать трудозатраты в условиях неизвестности. Это одна из наиболее сложных задач для новичков, но и она элегантно автоматизируется при должном подходе.
Использование таймеров systemd вместо заданий cron
20 min
Translation
Сейчас я занимаюсь заменой моих cron-заданий на таймеры systemd. Я пользовался таймерами несколько лет, но обычно в тонкости их применения особо не углублялся, разбираясь лишь с тем, что нужно было для выполнения интересующей меня задачи. Недавно я работал над серией материалов про systemd и узнал о том, что systemd-таймеры обладают некоторыми очень интересными возможностями.
Эти таймеры, как и задания cron, могут, в заданное время, вызывать выполнение различных действий в системе. Например — запуск скриптов командной оболочки или программ. Таймеры могут срабатывать, например, раз в день, причём — только по понедельникам. Ещё один пример — срабатывание таймера каждые 15 минут в рабочее время (с 8 утра до 6 вечера). Но таймеры systemd могут кое-что такое, что недоступно заданиям cron. Например, таймер может вызвать скрипт или программу через заданное время после некоего события. Таким событием может быть загрузка системы или запуск systemd, завершение предыдущей задачи или даже завершение работы сервиса, вызванного ранее по таймеру.
Эти таймеры, как и задания cron, могут, в заданное время, вызывать выполнение различных действий в системе. Например — запуск скриптов командной оболочки или программ. Таймеры могут срабатывать, например, раз в день, причём — только по понедельникам. Ещё один пример — срабатывание таймера каждые 15 минут в рабочее время (с 8 утра до 6 вечера). Но таймеры systemd могут кое-что такое, что недоступно заданиям cron. Например, таймер может вызвать скрипт или программу через заданное время после некоего события. Таким событием может быть загрузка системы или запуск systemd, завершение предыдущей задачи или даже завершение работы сервиса, вызванного ранее по таймеру.
Настройка ядра Linux для повышения производительности памяти
4 min
Translation
Linux старается оптимизировать использование памяти, занимая свободное место кэшем. Если память никак не используется, то это память, потраченная впустую.
Кэш заполняется данными по мере работы системы и когда приложениям требуется память, ядро ищет среди страниц кэша блок подходящего размера, освобождает его и выделяет приложению.
В некоторых случаях этот процесс может влиять на производительность, поскольку освобождение кэша занимает больше времени, чем просто доступ к неиспользуемой оперативной памяти. Поэтому иногда можно наблюдать снижение производительности.
Причина этого исключительно в том, что оперативная память используется на полную мощность, и других симптомов, кроме случайного эпизодического увеличения задержек, может и не быть. Такая же картина может наблюдаться, если жесткий диск не справляется с чтением и записью. Влияние может быть и на такие компоненты операционной системы как сетевая карта / iptables / ebtables / iproute2 — вместо реальной причины вы видите проблемы в сетевой задержке. В этой статье обсудим это подробнее и посмотрим, как минимизировать воздействие на систему.
“Мир после капитала” Альберта Венгера (часть 7/7)
21 min
Translation
Книга Мир после капитала американского инвестора немецкого происхождения Альберта Венгера — один из наиболее значимых текстов об экономике после капитализма.
Этот перевод мы делаем сообществом энтузиастов совершенно бесплатно.
Системы класса Incident Response Platform: применение и основные функции
10 min
Друзья, в предыдущей публикации мы проанализировали международные документы по управлению рисками информационной безопасности, а в более ранних статьях рассмотрели основы информационной безопасности, обсудили законодательство в области защиты персональных данных и критической информационной инфраструктуры. В этой статье мы переходим в практическую плоскость и поговорим о системах IRP, призванных упростить и автоматизировать процедуры реагирования на инциденты ИБ. Начнем!
Как отец FinFET помог спасти закон Мура
10 min
Translation
Чэньмин Ху, обладатель почётной медали IEEE 2020 года, вывел транзисторы в третье измерение
Шёл 1995 год. Прогресс в технологии чипов не отставал от закона Мура — наблюдения, согласно которому количество транзисторов в чипе удваивается примерно каждые два года – в основном из-за уменьшения размера транзисторов.Однако горизонт уже не казался таким безграничным. Впервые по полупроводниковой индустрии поползли слухи, предрекающие кончину закона Мура. Золотые денёчки подойдут к концу, вещали предсказатели, когда размер критически важной характеристики транзистора, которая тогда имела размер порядка 350 нм, опустится до 100 нм. Беспокоилось даже правительство США – настолько, что агентство DARPA забило тревогу и запустило программу поиска новых технологий чипов, способных продолжить прогресс.
Захват всех доменов .io с помощью таргетированной регистрации
7 min
Translation
В предыдущей статье мы обсуждали захват доменных расширений .na, .co.ao и .it.ao разными хитростями с DNS. Сейчас рассмотрим угрозу компрометации домена верхнего уровня (TLD) и как нужно действовать злоумышленнику, чтобы достичь поставленной цели. Одним из довольно простых методов видится регистрация доменного имени одного из авторитативных серверов имён этой TLD. Поскольку в TLD авторитативные серверы могут размещаться на произвольных доменах, то есть вероятность зарегистрировать такой домен, воспользовавшись ошибкой из-за неправильной конфигурации, истечения срока действия или других ошибок. Затем этот сервер можно использовать для выдачи новых DNS-записей в целой доменной зоне.Приведу здесь соответствующую цитату из предыдущей статьи:
Такой вариант казался верной дорогой к победе, так что я потратил много времени на разработку инструментария для проверки ошибок этого типа. По сути, этот процесс состоит в записи всех хостов серверов имён для данного домена — и проверке, когда истечёт срок регистрации какого-нибудь из корневых доменов и он станет доступен для регистрации. Основная проблема в том, что многие регистраторы не говорят, что домен полностью свободен, пока вы реально не попробуете его купить. Кроме того, было несколько случаев, когда у сервера заканчивался срок регистрации, но по какой-то причине домен был недоступен для регистрации, хотя не был помечен как зарезервированный. В результате такого сканирования удалось зафиксировать много перехватов доменов в закрытых зонах (.gov, .edu, .int и др.), но не самих TLD.
Как выяснилось, такой способ не только подходит для атаки TLD, но в реальности привёл к крупнейшему захвату TLD на сегодняшний день.
Трагизм непризнанности и ранимая гениальность. Великие умы в истории криптографии США
13 min
Трагическая история непризнанного гения. Эдвард Хепберн
Американец Эдвард Хепберн посвятил дисковым шифраторам лучшие порывы своего таланта. Хепберн был в таком восторге от своего творения, что даже написал целую оду в честь дискового шифратора.
На Западе появилось удивительное изобретение.
Это триумф многолетнего, неустанного, терпеливого труда
Решена многовековая, сложнейшая проблема.
Создан изумительный, совершенный шифр…
Его достоинства столь очевидны, что ни одно государство в мире
Не может его игнорировать.
Он – результат глубоких исследований, продиктованных необходимостью.
Теперь «Хеберн электрик код» властвует над всеми шифрами.
Рыцарь радио, страж сокровищ,
Мозг нации, гарант полной безопасности,
Сердце корабля, хранитель жизней
В борьбе грубой силы против интеллекта…
Непостижимая, хитроумнейшая загадка для науки,
Настолько глубокая, что берегитесь, коварные предатели!
Вокруг вас расставлена невидимая гениальная западня.
Мировая война продемонстрировала его крайнюю необходимость,
Ученые всех государств участвовали в жестоком состязании.
Лучшие умы человечества стремились добиться успеха.
И сейчас в центре мирового внимания – американское изобретение.
Громкое заявление, не правда ли?
Хепберн заинтересовался криптографией только в возрасте 40 лет. Изначально он создал шифрсистему, в которую входили две электрические пишущие машинки, соединенные между собой 26 проводами. Когда нажималась какая-либо клавиша на одной машинке, это приводило к тому, что на другой печаталась буква шифртекста. Провода оставались подсоединенными к одним и тем же контактам на протяжении всего периода
51 бесплатная книга о Data Science
3 min
Смирись, человек 21 века, что твой главный инструмент — это информация, данные, цифры и управление с их помощью. Сегодня мы делимся с вами очень полезным списком литературы о Data Science!
vCloud Director для самых маленьких (часть 1): настройка сети
6 min
Tutorial
UPDATE: Мы автоматизировали создание сети и правил NAT. Теперь при оформление подписки все это создается само :). Все что вам остается — это развернуть виртуальную машину из шаблона или с нуля. При этом у вас по-прежнему остается возможность менять настройки сети при необходимости.
Только не забываем про Firewall, который по умолчанию не пропускает никакой трафик и требует настройки правил.
Сегодня расскажем о том, с чего начать работу в панели управления vCloud Director 5.5, которая используется в облачном сервисе Cloudlite.ru, и заодно поучимся настраивать сеть.
vCloud Director — это платформа для управления виртуальной инфраструктурой по модели IaaS. Для тех, кто раньше не сталкивался с «промышленными» вариантами панелей, может показаться сложной. Но первое впечатление обманчиво: как только «испуг» от богатого функционала пройдет, вы оцените ее возможности и ту, свободу в настройках, которую дает vCloud Director. А именно панель позволяет:
• создавать виртуальные машины и управлять ими;
• осуществлять их миграцию из другого облака;
• устанавливать любые виртуальные машины с ОС из имеющихся шаблонов и загружать ovf шаблоны самостоятельно;
• гибко управлять правами доступа к пулу виртуальных ресурсов;
• создавать внутренние и маршрутизируемые (с выходом в Интернет) и изолированные сети;
• настраивать гибкие правила Firewall и создавать VPN-соединения;
• настраивать балансировку нагрузки между виртуальными машинами и многое другое.
Начнем с самых азов, поэтому администраторы 80 lvl могут понаблюдать в стороне, как орлята учатся летать :)
Только не забываем про Firewall, который по умолчанию не пропускает никакой трафик и требует настройки правил.
Сегодня расскажем о том, с чего начать работу в панели управления vCloud Director 5.5, которая используется в облачном сервисе Cloudlite.ru, и заодно поучимся настраивать сеть.
vCloud Director — это платформа для управления виртуальной инфраструктурой по модели IaaS. Для тех, кто раньше не сталкивался с «промышленными» вариантами панелей, может показаться сложной. Но первое впечатление обманчиво: как только «испуг» от богатого функционала пройдет, вы оцените ее возможности и ту, свободу в настройках, которую дает vCloud Director. А именно панель позволяет:
• создавать виртуальные машины и управлять ими;
• осуществлять их миграцию из другого облака;
• устанавливать любые виртуальные машины с ОС из имеющихся шаблонов и загружать ovf шаблоны самостоятельно;
• гибко управлять правами доступа к пулу виртуальных ресурсов;
• создавать внутренние и маршрутизируемые (с выходом в Интернет) и изолированные сети;
• настраивать гибкие правила Firewall и создавать VPN-соединения;
• настраивать балансировку нагрузки между виртуальными машинами и многое другое.
Начнем с самых азов, поэтому администраторы 80 lvl могут понаблюдать в стороне, как орлята учатся летать :)
vCloud Director для самых маленьких (часть 2): создание виртуальных машин
4 min
Tutorial
UPDATE: Мы автоматизировали создание сети и правил NAT. Теперь при оформление подписки все это создается само :). Все что вам остается — это развернуть виртуальную машину из шаблона или с нуля. При этом у вас по-прежнему остается возможность менять настройки сети при необходимости.
Только не забываем про Firewall, который по умолчанию не пропускает никакой трафик и требует настройки правил.
Часть 1. Настройка сети
В vCloud Director виртуальные машины «живут» в контейнерах vApp, поэтому создание ВМ начинается с создания vApp. Можно выбрать следующие варианты:
В данном материале подробно рассмотрим первые два случая.
Только не забываем про Firewall, который по умолчанию не пропускает никакой трафик и требует настройки правил.
Часть 1. Настройка сети
В vCloud Director виртуальные машины «живут» в контейнерах vApp, поэтому создание ВМ начинается с создания vApp. Можно выбрать следующие варианты:
- vApp из шаблона (с ВМ с предустановленной ОС);
- vApp c «пустой» ВМ, т.е. без ОС.
- «пустой» vApp и добавить ВМ туда позже.
В данном материале подробно рассмотрим первые два случая.
vCloud Director для самых маленьких (часть 4): все о работе с шаблонами виртуальных машин
3 min
Tutorial
В одном из первых постов мы рассказывали, как в панели vCloud Director развернуть виртуальную машину из готового шаблона. Сегодня разберем, как импортировать свои OVF-шаблоны виртуальных машин, управлять каталогами и экспортировать шаблоны из vCloud Director.
Книги для системного администратора. Моя книжная полка
6 min
Книги.
Я считаю, что важнейшим инструментом получения скилов системного администрирования являются именно они — книги.
Нет специальных факультетов, обучающих «админству» — каждый постигает это самостоятельно. Путем проб, ошибок иболи, потере важных данных различных злоключений.
В начале пути сложно определиться, что же нужно прочесть — ведь массив информации столь огромен!
В данном посте я хочу собрать наиболее важные и значимые труды для системных администраторов.
Уклон будет на *nix админство, но, надеюсь тема окажется небезынтересной и для Windows коллег и в комметариях они заполнят мои пробелы.
Пост субьективен и отражает лишь мой собственный опыт — я раскажу о книгах, которые помогли моему становлению.
Я считаю, что важнейшим инструментом получения скилов системного администрирования являются именно они — книги.
Нет специальных факультетов, обучающих «админству» — каждый постигает это самостоятельно. Путем проб, ошибок и
В начале пути сложно определиться, что же нужно прочесть — ведь массив информации столь огромен!
В данном посте я хочу собрать наиболее важные и значимые труды для системных администраторов.
Уклон будет на *nix админство, но, надеюсь тема окажется небезынтересной и для Windows коллег и в комметариях они заполнят мои пробелы.
Пост субьективен и отражает лишь мой собственный опыт — я раскажу о книгах, которые помогли моему становлению.
DNS сервер BIND (теория)
21 min
Основная цель DNS — это отображение доменных имен в IP адреса и наоборот — IP в DNS. В статье я рассмотрю работу DNS сервера BIND (Berkeley Internet Name Domain, ранее: Berkeley Internet Name Daemon), как сАмого (не побоюсь этого слова) распространенного. BIND входит в состав любого дистрибутива UNIX. Основу BIND составляет демон named, который для своей работы использует порт UDP/53 и для некоторых запросов TCP/53.
Исторически, до появления доменной системы имен роль инструмента разрешения символьных имен в IP выполнял файл /etc/hosts, который и в настоящее время играет далеко не последнюю роль в данном деле. Но с ростом количества хостов в глобальной сети, отслеживать и обслуживать базу имен на всех хостах стало нереально затруднительно. В результате придумали DNS, представляющую собой иерархическую, распределенную систему доменных зон. Давайте рассмотрим структуру Системы Доменных Имён на иллюстрации:
Основные понятия Domain Name System
Исторически, до появления доменной системы имен роль инструмента разрешения символьных имен в IP выполнял файл /etc/hosts, который и в настоящее время играет далеко не последнюю роль в данном деле. Но с ростом количества хостов в глобальной сети, отслеживать и обслуживать базу имен на всех хостах стало нереально затруднительно. В результате придумали DNS, представляющую собой иерархическую, распределенную систему доменных зон. Давайте рассмотрим структуру Системы Доменных Имён на иллюстрации:
Xargs: многообразие вариантов использования
7 min
Об утилите xargs написано очень много — что можно написать еще? Но если, что называется, копнуть поглубже, то выясняется, что во многих публикациях излагаются лишь самые основы, но нет главного: не объясняется, как можно применять xargs в реальной практике. Статей с разбором сложных и нетривиальных вариантов применения этого весьма полезного для системного администратора инструмента, к сожалению, очень мало. Именно поэтому мы написали свою статью и постарались включить в нее как можно больше примеров использования xargs для решения различных проблем.
Сначала мы рассмотрим принцип работы xargs и разберем примеры попроще, а затем перейдем к разбору сложных и интересных кейсов.