Расшифровка доклада 2015 года Ильи Космодемьянского "Linux tuning to improve PostgreSQL performance"

Disclaimer: Замечу что доклад этот датирован ноябрем 2015 года — прошло больше 4 лет и прошло много времени. Рассматриваемая в докладе версия 9.4 уже не поддерживается. За прошедшие 4 года вышло 5 новых релизов PostgreSQL вышло и 15 версий ядра Linux. Если переписывать эти места, то получится в итоге другой доклад. Но здесь рассмотрен фундаментальный тюнинг Linux для PostgreSQL, который актуален и сейчас.

У каждого тимлида есть своё кладбище сотрудников управленческих ошибок. Каждый день публикуются новые статьи «5 ошибок начинающего разработчика», «7 примеров того, как не надо управлять процессами», «100 и 1 способ укладываться в сроки». И это круто!

Чужие грабли экономят ваше время, делают вас смелыми, похлопывают по плечу и наглядно дают понять, что не один вы такой «я сделяль», и все это проходили.

Прим. перев.: Оригинал этого текста написал Rob Scott — ведущий SRE-инженер компании ReactiveOps, которая и стоит за разработкой анонсируемого проекта. Нам очень близка идея централизованной валидации того, что деплоится в Kubernetes, поэтому мы с интересом следим за подобными инициативами.



Рад представить Polaris — проект с открытым исходным кодом, который помогает поддерживать «здоровье» кластера Kubernetes. Мы создали Polaris для автоматизации некоторых из лучших практик, используемых в ReactiveOps для поддержания безопасной и надежной работы кластеров у большого числа клиентов. Пришло время открыть исходный код.

Это история для тех, чьё единственное сходство с Эйнштейном — бардак на рабочем столе.
Фото рабочего стола великого физика сделано через несколько часов после его смерти, 28 апреля 1955 года, в Princeton, New Jersey.

Миф о Мастере

Вся культура, созданная человеком, базируется на архетипах. Древнегреческие мифы, большие романы, «Игра престолов» — одни и те же образы, или выражаясь айтишным языком, «шаблоны», встречаются нами вновь и вновь. Эта мысль уже и сама стала общим местом: на существование единой почвы для корней всех историй мира обратил внимание и автор книги «Герой с тысячью лицами», и многочисленные постмодернисты, которые стали вплетать давно рассказанные истории вроде библейских сюжетов и тех же мифов о Зевсе, Геракле и Персее в новые контексты.

Один из таких архетипов — это человек, который овладел своим ремеслом в совершенстве. Виртуоз. Гуру. Булгаков в самом известном своём романе назвал такого героя прямолинейно — Мастер. Первый приходящий в голову пример такого виртуоза — это гениальный сыщик, способный расследовать дело и найти преступника по нескольким, казалось бы, несвязанным, очень косвенным уликам. Это настолько избитый сюжет, что казалось бы: доколе это может быть интересно читать / смотреть с экрана? Но согласитесь: такая история не перестаёт быть интересной. А это значит, что по какой-то причине нас волнует образ человека, который достиг в своём ремесле совершенства.

При запуске Node.js-приложений в контейнерах Docker традиционные настройки памяти не всегда работают так, как ожидается. Материал, перевод которого мы сегодня публикуем, посвящён поиску ответа на вопрос о том, почему это так. Здесь же будут приведены практические рекомендации по управлению памятью, доступной Node.js-приложениям, работающим в контейнерах.

«Облачно-ориентированные» (cloud native) или просто «облачные» приложения создаются специально для работы в облачных инфраструктурах. Обычно они строятся как набор слабо связанных микросервисов, упакованных в контейнеры, которые, в свою очередь управляются облачной платформой. Такие приложения по умолчанию готовы к сбоям, а значит надежно работают и масштабируются даже при серьезных отказах инфраструктурного уровня. Обратная сторона медали – наборы ограничений (контракты), которые облачная платформа накладывает на контейнерные приложения, чтобы иметь возможность управлять ими в автоматическом режиме.



Прекрасно осознавая необходимость и важность перехода на облачные приложения, многие организации все еще не знают, с чего начать. В этом посте мы рассмотрим ряд принципов, соблюдение которых при разработке контейнерных приложений позволит реализовать потенциал облачных платформ и добиться надежной работы и масштабирования приложений даже при серьезных отказах на уровне ИТ-инфраструктуры. Конечная цель изложенных здесь принципов – научиться создавать приложения, которые могут автоматически управляться облачными платформами, такими как Kubernetes.

Прим. перев.: Автор оригинальной заметки, опубликованной 1 июня, решил провести эксперимент в среде интересующихся информационной безопасностью. Для этого он подготовил поддельный эксплойт к нераскрытой уязвимости в веб-сервере и разместил его в своём твиттере. Его предположения — быть мгновенно разоблачённым специалистами, которые увидят очевидный обман в коде, — не просто не оправдались… Они превзошли все ожидания, причём в обратную сторону: твит получил огромную поддержку от многочисленных людей, которые не стали проверять его содержимое.



TL;DR: ни в коем случае не используйте конвейеризацию файлов в sh или bash. Это отличный способ утратить контроль над компьютером.

DevOps- и SRE-инженеры уже, наверное, не раз слышали о Prometheus.

Prometheus был создан на SoundCloud в 2012 году и с тех пор стал стандартом для мониторинга систем. У него полностью открытый исходный код, он предоставляет десятки разных экспортеров, с помощью которых можно за считанные минуты настроить мониторинг всей инфраструктуры.

Prometheus обладает очевидной ценностью и уже используется новаторами в отрасли, вроде DigitalOcean или Docker, как часть системы полного мониторинга.

Что такое Prometheus?
Зачем он нужен?
Чем он отличается от других систем?

Если вы совсем ничего не знаете о Prometheus или хотите лучше разобраться в нем, в его экосистеме и всех взаимодействиях, эта статья как раз для вас.

Воланд у М. Булгакова говорил, что «кирпич ни с того ни с сего никому и никогда на голову не свалится». Может, и так, но, когда два с половиной года назад меня спросили, хочу ли я познать OpenStack, это был тот самый хорошо завуалированный кирпич (а на старте даже не кирпич, а гранитная плита). Именно 2016 год стал для меня так называемой «точкой невозврата», положив начало стремительному освоению концепций открытого мира и в значительной степени повлияв на менталитет, – превратив мою дальнейшую жизнь в праздник. «Праздник», который всегда со мной.

Желание что-нибудь автоматизировать — один из главных двигателей прогресса на протяжении всего XX века. От крупных производств этот процесс плавно перекинулся на повседневную жизнь и принялся штурмовать новые рубежи: в 60-е годы на волне создания мощных серийных ЭВМ и развития кибернетики стали появляться идеи масштабных автоматизированных систем управления. Особенно они казались привлекательным для социалистических государств с плановой экономикой.

И пока в капиталистической Америке граждан пугали властью машин, в Чили подобный проект почти реализовали.

Microsoft впервые объявила о сотрудничестве с Qualcomm и портировании Windows 10 на ARM-ноутбуки и планшеты в декабре прошлого года. Тогда Qualcomm анонсировала новый 64-битный процессор Snapdragon 835 (ARMv8), на котором сможет работать Windows 10. Эти процессоры можно устанавливать в ноутбуки вместо традиционных чипов Intel и AMD. Точно такой же мобильный процессор работает в смартфонах Samsung Galaxy S8, LG V30 и OnePlus 5.

В мае 2017 года инженеры Microsoft показали первый рабочий прототип компьютера с процессором Qualcomm Snapdragon SDM835 на тактовой частоте 1,9 ГГц, с 4 ГБ оперативной памяти. Показанный экземпляр Windows 10 для ARM успешно запускал даже x86-приложения из-за пределов Windows Store. По внешнему виду Windows 10 на ARM ничем не отличается от ОС на нормальном компьютере.

Вскоре состоялся и официальный анонс материнской платы ноутбука с процессором Snapdragon 835. Исполнительный вице-президент Qualcomm Technologies Криштиано Амон (Cristiano Amon) тогда заявил, что благодаря новому CPU производители смогут выпускать ПК в форм-факторах «следующего поколения» с энергопотреблением на 50% меньше.

Продажи этих ноутбуков начнутся в декабре 2017 года, но сейчас благодаря разговорчивости сотрудников Microsoft стали известны новые подробности.

Дисклеймер

За последний месяц я слушал интервью с разработчиками на всех трех продуктах и слышал утверждение «считайте [Ansible / Salt / StackStorm] клеем». А теперь я, как самоделкин-любитель, с удовольствием скажу, что у меня в гараже отнюдь не единственный горшок с клеем. У меня 6 разных типов клея для разного применения, различных склеиваемых материалов и условий среды. Все эти 3 продукта находятся в одном и том же лагере, и каждый может быть с успехом использован для достижения совершенно разных целей. Недавно произошел большой перехлест функционала, состоящий в том, что все они проникают в область сетевой автоматизации. Мнения, приведенные ниже, принадлежат мне, а не моему работодателю (который продает продуктов сетевой инфраструктуры и развертывания на миллиарды долларов).

В очередной раз сел писать типовое коммерческое предложение для новой услуги нашей компании, и словил себя на мысли, что хорошо было бы иметь для себя какой-то краткий мануал на эту тему. Так как коммерческие предложения я пишу по мере надобности (а это достаточно редко), навыки теряются, и каждый раз приходиться рыться в своих записках сумасшедшего записях на эту тему и каждый раз заново «изобретать велосипед». А чтобы мои труды не пропадали зря, я решил из всего этого составить статью для хабра.

Я думаю, что в процессе изучения той или иной СУБД каждый из вас не раз изобретал велосипеды для решения своих задач, не зная о существовании той или иной функции или приема, которые бы могли в разы ускорить выполнение запросов и уменьшить объем кода. В данной статье я хочу поделиться с вами своим опытом работы с очень «добрым» и «отзывчивым» MySQL, часто позволяющему программисту делать вещи, которые другие СУБД переварить бы не смогли. Материал будет полезен скорее тем, кто только решил углубиться в чудесный мир запросов, но возможно и опытные программисты найдут тут что-то интересное.