Потоковая репликация, которая появилась в 2010 году, стала одной из прорывных фич PostgreSQL и в настоящее время практически ни одна инсталляция не обходится без использования потоковой репликации. Она надежна, легка в настройке, нетребовательна к ресурсам. Однако при всех своих положительных качествах, при её эксплуатации могут возникать различные проблемы и неприятные ситуации.

Алексей Лесовский (@lesovsky) на Highload++ 2017 рассказал, как с помощью встроенных и сторонних инструментов, диагностировать различные типы проблем и как устранять их. Под катом расшифровка этого доклада, построенного по спиральному принципу: сначала мы перечислим все возможные средства диагностики, потом перейдем к перечислению типовых проблем и их диагностике, далее посмотрим, какие экстренные меры можно принять, и наконец как радикально справиться с задачей.


О спикере: Алексей Лесовский администратор баз данных в компании Data Egret. Одной из любимых тем Алексея в PostgreSQL является потоковая репликация и работа со статистикой, поэтому доклад на Highload++ 2017 был посвящен тому, как помощью статистики искать проблемы, и какие использовать методы для их устранения.

План

1. Немного теории, или как работает репликация в PostgreSQL
2. Troubleshooting tools или что есть у PostgreSQL и сообщества
3. Troubleshooting cases:
   
   • проблемы: их симптомы и диагностика
   • решения
   • меры, которые нужно принимать, чтобы этих проблем не возникало.

Зачем всё это? Эта статья поможет вам лучше разбираться в потоковой репликации, научиться быстро находить и устранять проблемы, чтобы сократить время реакции на неприятные инциденты.

Привет, юзернейм! Каждый день мы сталкиваемся с поиском различных данных. Почти на каждом веб-сайте с большим количеством информации сейчас есть поиск. Поиск есть в домашних компьютерах, в мобильных телефонах, в различного рода программном обеспечении. Конечно, если спросить любого разработчика про поиск с точки зрения технологий, на ум сразу придет elasticsearch, lucene или sphinx. Сегодня я хочу заглянуть с тобой «под капот» полнотекстового поиска и разобраться в первом приближении, как же он работает, на примере hh.ru.

Мобильная разработка — это особая кухня, и в ней есть свои нюансы. Именно поэтому собеседования с кандидатами в отдел разработки под iOS должны проходить с определенным уклоном. Сегодня мы расскажем, как проходит прием в штат мобильных разработчиков Acronis, и какие курьезы бывают на собеседованиях, когда соискатель считает, что достаточно запомнить несколько умных слов, а потом «разберемся на месте».

Сегодня давайте поговорим о преимуществах Postgres перед другими системами с открытым кодом. Эту тему мы обязательно раскроем более подробно на PG Day'16 Russia, до которой осталось всего два месяца.

Возможно, вы спрашиваете себя: «Почему PostgreSQL?» Ведь есть и другие варианты реляционных баз данных с открытым исходным кодом (в рамках этой статьи мы рассматривали MySQL, MariaDB и Firebird), так что же Постгрес может предложить такого, чего нет у них? В слогане PostgreSQL заявляется, что это «Самая продвинутая база данных с открытым исходным кодом в мире». Мы приведем несколько причин, почему Постгрес делает такие заявления.

В первой части этой серии мы поговорим о хранении данных — модели, структуре, типах и ограничениях размера. А во второй части больше сфокусируемся на выборке и манипуляциях с данными.

Изображение, полученное с телескопа Хаббл, демонстрирует массивное скопление галактик PLCK_G308.3-20.2, ярко светящихся в темноте. Именно так выглядят огромные участки удалённой Вселенной. Но как далеко простирается известная нам Вселенная, включая и ту часть, что мы не можем наблюдать?

13,8 млрд лет назад произошёл Большой взрыв. Вселенная заполнилась материей, антиматерией, излучением, и существовала в сверхгорячем и сверхплотном, но расширяющемся и охлаждающемся состоянии. К сегодняшнему дню её объём, включающий наблюдаемую нами Вселенную, расширился до того, что его радиус составляет 46 млрд световых лет, и свет, сегодня впервые приходящий в наши глаза, соответствует пределам того, что мы способны измерить. А что же находится дальше? Что насчёт ненаблюдаемой части Вселенной? Именно это хочет знать наш читатель:

Мы знаем размер наблюдаемой Вселенной, поскольку нам известен её возраст (по меньшей мере, с момента фазового перехода) и мы знаем, как распространяется свет. Мой вопрос в том, почему математика, описывающая реликтовое излучение и другие предсказания, не может сообщить нам размер Вселенной? Мы знаем, насколько горячей она была, и насколько холодная она сейчас. Разве масштаб не влияет на эти расчёты?

Ох, если бы всё было так просто.

Рассказывать о новых проектах это, конечно, хорошо, но не всегда всё получается, как мы хотим.

В общем, начали тут вспоминать факапы из прошлого, когда решение одной проблемы прибавляло новых, увлеклись и решили поделиться парочкой. Как забанить невиновных игроков, заддосить собственные сервера, ошибиться в одной букве и словить тонны негатива от пользователей — вот это всё, как мы любим.

Парадокс Ферми заключается в том, что вероятность возникновения внеземной цивилизации обычно оценивается довольно высоко, а признаков её существования что-то не видать. Недавно на arxiv появился препринт Сандерса с соавторами «Dissolving the Fermi paradox», который уже успели интерпретировать как отмену этого парадокса (правда), пустую болтовню в отсутствие данных (скорее правда, но верно для парадокса Ферми вообще, а не только для этой статьи), и как доказательство несуществования инопланетян и/или низкого L (неправда). В этой статье попробуем разобраться, что в препринте содержится на самом деле.

Существует два основных пути становления топ-менеджмента в IT-компаниях:

1. Менеджерский — когда менеджер проекта начинает управлять другими менеджерами.
2. Технарский — когда разработчик начинает управлять другими разработчиками и количество управляемого им персонала увеличивается.

Первый путь является более естественным, поскольку, подразумевает развитие основных качеств менеджера по мере его роста. По сути менеджер остается менеджером, только становится специалистом более высокого звена.

Второй путь является более долгим и не гарантирует успеха, так как является противоречащим сути интроверта-программиста. Однако, на этом пути я бы хотел заострить внимание и поделиться опытом и знаниями.

На сайте бесплатных лекций MIT OpenCourseWare выложен курс лекций по космологии Алана Гуса, одного из создателей инфляционной модели вселенной.

Вашему вниманию предлагается перевод четвертой лекции: «Кинематика однородной расширяющейся вселенной».

Теория о том, что первое обнаружение внеземного разума произойдёт при помощи радиоволн, была высказана давно. Но возможно, что в космосе существует такое, о поисках чего мы до сих пор даже не могли и мечтать

В 1961 году учёный Фрэнк Дрейк записал просто выглядящее уравнение для оценки количества активных, технологически развитых и передающих сообщения цивилизаций в Млечном Пути. Не существовало удобного способа просто оценить это количество, но у Дрейка возникла гениальная идея записать множество параметров, которые можно было оценить, а потом перемножить. Если числа верны, то вы получите точное число технологически продвинутых цивилизаций, с которыми могло бы общаться человечество, расположенных в пределах нашей Галактики, в любой момент. Концепция гениальная, но чем больше мы узнавали о нашей Вселенной, тем менее она становилась полезной. Сегодня уравнение Дрейка не работает, но о Вселенной нам известно достаточно для того, чтобы создать улучшенный метод для подсчёта.

Агентство НАСА сегодня собирается запустить в космос спутник TESS, при помощи которого ученые надеются обнаружить тысячи новых звездных систем, включая как звезды, так и экзопланеты. Запуск будет произведен при помощи ракеты Falcon 9 компании SpaceX. Если погода будет ясной и в последний момент не обнаружатся неполадки с ракетой, спутник отправится к месту назначения.

Общая продолжительность миссии TESS составит два года. Если все пойдет хорошо, ее могут и продлить. За указанное время телескоп должен будет изучить около 200 тысяч звезд, что позволит ученым получить огромное количество новых данных. TESS — наследник телескопа Kepler, у которого подходит к концу горючее, без которого двигатели не смогут правильно его позиционировать в пространстве.

На сайте бесплатных лекций MIT OpenCourseWare выложен курс лекций по космологии Алана Гуса, одного из создателей инфляционной модели вселенной.

Вашему вниманию предлагается перевод второй лекции: «Инфляционная Космология. Является ли наша вселенная частью мультивселенной? Часть 2».

У каждого опытного разработчика есть набор инструментов, к которым он привык и с которыми ему удобно работать. Это может быть простейшая настройка окружения, утилиты для промежуточных операций (к примеру, помощник по тестированию API Postman), проверенные временем и лично разработчиком библиотеки и сниппеты.

Также у многих разработчиков может быть свой подход к реализации выбранной архитектуры. Поэтому очень полезно иметь в своем арсенале заготовку приложения – общий скелет, к которому останется только добавлять новые модули, экраны и фичи. В этом материале я расскажу, как создать собственный шаблон приложения в Xcode.

Фрагмент Солнечной системы (слева) в сравнении с восьмипланетной системой Kepler 90 (справа). Обнаруженная нейросетью Google экзопланета Kepler 90i с периодом обращения 14 дней отмечена оранжевым цветом

Исследователи находят всё новые применения нейросетям для обработки изображений. Теоретически возможности машинного обучения с подкреплением (DL) поистине безграничны, но когда смотришь на реальные достижения этих программ — среди них не так уж много действительно полезных на практике. Чаще всего нейросети достигают успеха в какой-нибудь игре, выдавая в качестве положительного стимула количественный результат в очках. Но какой смысл, что ваш ИИ научился отлично играть в Counter-Strike, если он не способен реализовать свои знания на практике и обезвредить настоящих террористов?

Но в отдельных случаях DL всё-таки используют не только для изучения самого DL, но и для решения практических задач, важных для человечества. Например, они используются в здравоохранении, квантовой химии и ядерной физике (везде даны ссылки на исследования Google). Теперь к этому списку присоединилась астрофизика. Инженеры из подразделения Google Brain нашли две новые экзопланеты, обучив нейросеть анализировать данные с космического телескопа «Кеплер». Хотя это всего лишь предварительные результаты после обработки 670 звёздных систем, но они доказывают применимость машинного обучения в данной области.

8 марта 2018 года разработчики Google выложили на GitHub исходный код программы для обработки данных с «Кеплера», программ обучения нейросети и выдачи прогнозов по самым перспективным звёздным системам.

Профессор Эрик Верлинде (Erik Verlinde) из Амстердамского университета разработал новую гипотезу гравитации. Свои выкладки ученый опубликовал на днях в нескольких научных изданиях. Основную часть гипотезы он предложил еще в 2010 году. Главный ее посыл в том, что гравитация не является фундаментальной силой природы, скорее, это случайный феномен.

По словам Верлинде, гравитация появляется в результате изменения в главных битах информации, сохраненных в самой структуре пространства и времени. Он утверждает, что гравитация объясняется определенным различием в плотности энтропии в пространстве между двумя телами и в окружающем пространстве. Так, притяжение двух макроскопических тел он объясняет ростом полной энтропии с уменьшением расстояния между телами. Другими словами, система просто переходит в более вероятное макросостояние.

День Святого Валентина уже завтра. Для некоторых это время романтических надежд, время, чтобы спросить «даму сердца» и получить ответ. Это может быть просто «да», грустное «нет» или загадочное «Я не думала о нас, как о паре, но, может быть, завтра мы сможем поужинать вместе?»

Это, хотя и косвенно, приводит нас к кодам статуса HTTP (Hypertext Transfer Protocol). Когда URL-адрес вводится в браузере, запрос отправляется на сервер. Как и в нашем сценарии, браузер ожидает ответа. Эти ответы поступают в виде HTTP-кода, который представляет собой трехзначное число, которое сопоставляется с определенным смыслом.

Вот несколько вероятных сценариев в виде комиксов ко Дню Святого Валентина.

200s: Успех

Коды 200-го класса обычно означают, что все в порядке. Запрос был получен, понят, и на сервере не было ошибок. Например, этот URL-адрес вернет код 200 OK — успешный запрос.

Идеальное завершение для пар «браузер + сервер» и «разработчик + его проект»

Помните угрозу анонима уничтожить Интернет? Где хакер грозился «положить» 13 корневых DNS серверов сети Интернет и сделать получение информации, посредством запроса с использованием доменного имени, невозможным? В результате чего любой, кто введёт «http://www.google.com» или какой-либо другой URL-адрес, получит страницу с ошибкой, что заставило бы большинство пользователей думать, что Интернет не работает.



В представлении современного человека, слабо связанного с IT, Интернет — это Wi-Fi, и мало кто задумывается, что большая часть сети Интернет расположена под водой и вообще о том, насколько огромное количество данных передаётся по этой подводной сети магистральных каналов, которая хоть и избыточна, но довольно-таки уязвима и может быть в один прекрасный момент уничтожена физически. Для лучшего понимания проблемы рекомендую к прочтению статью: Сообщения в глубине: удивительная история подводного Интернета. В этой же статье мы рассмотрим вероятные точки отказа, несмотря на то, что Интернет-сеть децентрализована и принято считать, что отключить её полностью невозможно и предположим ситуацию, при которой сеть перестанет функционировать полностью.

Когда мы были детьми, мы многого не понимали, что на данный момент является абсолютно очевидным. "Почему я не могу есть одни конфеты? Почему бутерброды — не еда, я же это ем? Почему я не могу спать с хомяком? Зачем чистить зубы каждый день, да еще целых два раза?!" Действительно, зачем? Но будучи взрослыми, зрелыми людьми, мы не задаемся подобными вопросами.

Похожая ситуация происходит и в мире IT (возможно, это касается любой профессиональной деятельности). Многих вещей на начальных стадиях мы можем не понимать. "Зачем, да и вообще кому нужны всякие Symfony, если есть WordPress? Зачем тратить время на автоматическое тестирование, если и так все работает? Git? Linux? SOLID, DRY, DDD, TDD? Что за страшные слова?". Новичкам сложно понять, зачем нужно так много всего. Осознание приходит со временем и вскоре такие вещи становятся не только понятными, но и очевидными.

Хочу рассказать свою историю того, как я дорос до Docker и что этому поспособствовало.

Если вы когда – либо интересовались фреймворком ReactiveCocoa, то заметили, что есть небольшое количество постов на тему реактивного программирования и фреймворка ReactiveCocoa, такие как Знакомство с ReactiveCocoa, или Лучший мир с ReactiveCocoa. До сегодняшнего дня, все эти посты были на тему ReactiveCocoa 2 версий, которая была написана на и для Objective-C. Сейчас все больше набирает популярность язык Swift, разработчики ReactiveCocoa усиленно работают над новой версией, которая будет написана на языке Swift и будет иметь некоторые функциональные особенности, которые являются фундаментальными для данного языка.

Я подозреваю, что многие из вас, как и я, с огромным желанием оставили Objective-C и перешли на Swift. Если вы хотели бы использовать ReactiveCocoa с новым языком, я вам настоятельно рекомендую попробовать использовать новую версию ReactiveCocoa. И я уверен, что наше сообщество получит огромную пользу от вклада, сделанного вами. С другой стороны, если вы работаете над большими бизнес приложениями в продакшн для определенного заказчика, я должен вам сказать – не делайте этого или хорошенько подумайте перед тем как использовать его. Но об этом мы поговорим дальше, если кого заинтересовал — прошу под кат.

Разработчики приложений и игр iPhone заполучили смартфоны iPhone X и поделились с нами впечатлениями



Главное для iPhone X — сторонние приложения. От дополненной реальности до сенсора TrueDepth, новые функции должны стимулировать креативность и подтолкнуть к действию сообщество разработчиков, которые выпустят для пользователей iPhone X инновационные новые приложения. Но хотя Apple даёт разработчикам новые игрушки на пробу, она должна при этом убедиться, что не сломала старые.

iPhone X — самое значительное изменение iPhone за несколько лет. У него увеличенное разрешение и иная форма экрана. Он избавился от кнопки Home, добавил новые или изменил старые жесты. Каждое из этих изменений может прибавить работы дизайнерам и разработчикам… а тут ещё вырез (notch). Можно ожидать, что примеру Apple последуют и другие производители смартфонов. Но как обойти эту штуку в дизайне? Насколько сложно адаптировать приложение для неё? Правда ли это, как говорят некоторые критики, пример плохого дизайна?

Чтобы выяснить, я поговорил с дизайнерами и разработчиками приложений и игр для iOS, которые недавно завершили процесс обновления своих приложений для iPhone X. Я хотел задать им некоторые из этих вопросов, но в целом хотелось услышать, как прошёл переход на новый смартфон для всех, кто работает в индустрии.