Pull to refresh

Подсмотрено, подслушано и записано на HighLoad++ 2018

Reading time 10 min
Views 20K
В этом году московский HighLoad++ побил очередной рекорд, собрав в стенах кампуса Сколково 3096 участников. Под катом подробности двенадцатой по счету конференции. О докладах, спикерах, митапах, выпитых литрах пива, съеденных пирожных, татуировках, чемпионате по Counter-Strike и прочих многочисленных интересностях.

Мероприятие получилось очень атмосферным, потому хотим поделиться его деталями в не совсем обычном формате. В этот раз мы примерили на себя роль участника конференции, чтобы подсмотреть, подслушать и записать то, что происходит на площадке.
Мое путешествие на конференцию начинается от музея-панорамы «Бородинская битва». Жду автобус с надписью «HighLoad++», который повезет нас в Московскую школу управления Сколково. Ехать примерно 20 минут. В пути кто-то изучает программу конференции, кто-то (не иначе как спикер) перечитывает речь, а с заднего сиденья доносится серьезный спор двух коллег-айтишников.
В этом году автобусы на конференцию ходили от метро «Парк Победы», а также от гостиниц «Салют» и «Аструс». За все время HighLoad++ они выполнили 260 рейсов. Из приятных новшеств: зарегистрироваться на конференцию можно было прямо в отеле.
В автобусе знакомлюсь с Ольгой Мегорской — спикером из Яндекса, которая слегка удивлена, что ее пригласили выступать. Позже я обязательно расскажу про Олю и ее доклад. Мы уже на месте, заходим внутрь и как будто переносимся на другую планету — технологий, общения, вопросов и ответов, новых идей, объективных оценок, общих интересов и вдумчивых взглядов.
Программа конференции насыщенная, поэтому, не теряя ни минуты, отправляюсь слушать доклады, которых в этом году заявлено аж 138, плюс 73 митапа.
На этой конференции многие участники выкладывали свои конспекты выступлений в социальные сети или на GitHub
Как устроить хайлоад на ровном месте
Олег Бартунов, Федор Сигаев (Postgres Professional)
Для Олега и Федора, в IT-сообществах известных как «деды» российского Postgres, это уже далеко не первый HighLoad++. В этом году они вместе со слушателями разбирались, что вообще за зверь такой этот хайлоад, и пришли к выводу, что в идеале хайлоад в компании возникать не должен — однако он неизбежен. Также спикеры говорили про действия, которые приводят к хайлоаду «на ровном месте», про известные, но важные ошибки. Грех было не пройтись по Postgres и не обсудить таймауты, нелепые ошибки и камни, под которые редко кто заглядывает.
Конспект по докладу от одного из участников конференции можно почитать здесь.
Тернии контейнеризованных приложений и микросервисов
Иван Круглов (Booking.com)
Иван уже третий год выступает на HighLoad++ и в этот раз рассказал интереснейшую историю о том, как его команда, намереваясь сократить time to market, оказалась утоплена в поддержке, потеряла всяческое доверие своих пользователей и приобрела до отказа забитый бэклог. За последние годы Booking.com прошел через три поколения приватных облаков. Первое было построено на Mesos и Marathon, второе — на OpenShift. Сейчас используется чистый Kubernetes. Иван поведал, как они жили с каждым из этих продуктов, почему приходилось отказываться от них и как внедрение контейнеризованных приложений и сервис-ориентированной архитектуры заставило их перестраивать внутренние процессы. А вот, кстати, и конспект этого доклада.
Базы данных и Kubernetes
Дмитрий Столяров (Флант)
Дмитрий начал свое выступление с вопроса: «Можно ли размещать stateful в Kubernetes?». И сам же ответил на него: «В целом да, но...» , объяснив, что за этим «но» кроется огромное количество нюансов. Чтобы разобраться во всем, Дмитрий рассказал слушателям о философии высокой доступности в Kubernetes, гарантии согласованности и хранении данных. Конспект доклада есть, например, вот тут.
Deploying MySQL on Kubernetes & Openshift
Александр Рубин (Percona)
Александр тоже не новичок на HighLoad++, к тому же по праву считается экспертом в MySQL. В своем докладе он рассказал о том, как с помощью всего одной команды развернуть целый MySQL-кластер (Percona XtraDB Cluster), а также как Kubernetes & Openshift позволяют оркестрировать контейнеры и быстро развертывать приложения. После вместе с участниками конференции он попытался сломать только что развернутый кластер для того, чтобы посмотреть, как Openshift и Percona XtraDB Cluster починят сами себя.
Топ ошибок со стороны разработки при работе с PostgreSQL
Алексей Лесовский (Data Egret)
Алексей, как человек с большим опытом в качестве PostgreSQL-консалтера, рассказал про основные ошибки, которые допускают команды разработки при работе с Postgres. Откуда берутся все проблемы? Их порождают некорректное использование возможностей Postgres, неверно спроектированная архитектура БД и неправильно выстроенный жизненный цикл разработки. Алексей подсказал своим слушателям, как разобраться во всем и начать наводить порядок. А также рассмотрел ситуации, связанные с планированием, мониторингом, проектированием схем данных и проблему длинных транзакций. А вот конспект по данному выступлению.
Как стать классным спецом по базам данных?
Илья Космодемьянский (Data Egret)
Отметим еще доклад от Data Egret. У Ильи получился классный гайд для всех тех, кого мучает вопрос «Как же стать классным DBA?». По мнению Ильи, есть несколько причин, чтобы погрузится в данную специализацию: скучно точно не будет; покуда есть данные, будут и БД, и, пожалуй, самая мотивирующая — DBA это как сантехник, но только в тепле и за клавиатурой. Конспект можно найти тут.
Анализ производительности запросов в ClickHouse
Алексей Миловидов (Яндекс)
Чем примечательно такое мероприятие, как HighLoad++? Если есть какой-то крутой проект, на который следует обратить внимание, то он обязательно всплывет на конференции. На этом HighLoad++ очень много говорили о ClickHouse.
Алексей — разработчик ClickHouse и довольно часто выступает с докладами на конференциях. Проблематика выступления Алексея кажется простой и понятной: что делать, если ваш запрос выполняется недостаточно быстро, и можно ли его ускорить? Но вот в самом докладе уже есть достаточно хардкорные вещи: как понять, почему запрос выполняется 10 мс, а не 5? На что стоит обратить внимание при проведении анализа производительности запросов, чтобы выявить проблему медленной их работы.
Will Postgres Live Forever?
Bruce Momjian (EnterpriseDB)
Один из очень глубоких докладов представил Брюс Момжан, соучредитель и член основной команды PostgreSQL Global Development Group, который работает над PostgreSQL с 1996 года и выступал на HighLoad++ в далеком 2007 году.
Он говорил о том, как open source ПО может жить в течение длительного времени и с годами набирать популярность, а еще о различии между жизненными циклами у проприетарного программного обеспечения и ПО с открытым исходным кодом. В своем выступлении Брюс затронул темы того, почему ПО может «умереть», почему Postgres продолжает быть актуальным, обсудил будущее данного проекта и возможные риски.
Make Your Database Dream of Electric Sheep: Designing for Autonomous Operation
Andy Pavlo (Carnegie Mellon University)
Энди поднял актуальную тему и рассказал про СУБД будущего, в сторону которых можно посмотреть уже сегодня, а также представил основные принципы автономной СУБД. Между прочим, под руководством Энди создается «самоуправляемая» СУБД PelotonDB.
MyRocks deep dive and production deployment at Facebook
Yoshinori Matsunobu (Facebook)
Несколько лет назад Facebook, на базе своего хранилища RocksDB, создал storage engine для MySQL — MyRocks. Работающая реализация MyRocks выложена в open source.
MyRocks является альтернативой InnoDB и имеет несколько преимуществ, за счет которых увеличивается скорость транзакций на HDD и уменьшается изнашиваемость SSD, а также существенно ускоряются репликации. В своем докладе Ешинори рассказал о том, как они мигрировали из InnoDB и HBase, с какими проблемами столкнулись во время миграции и какие решения нашли.
Трафик-инфраструктура Dropbox
Алексей Иванов (Dropbox)
Алексей Иванов из компании Dropbox впервые на HighLoad++, но с достаточно серьезным и полезным докладом о трафик-инфраструктуре Dropbox. Он рассказывал о том, какую проблему решают точки присутствия, как и с помощью каких технологий распределять трафик по дата-центрам, а также что происходит с трафиком внутри дата-центра. Кроме того, Алексей рассказал о внешней DNS/BGP-балансировке с использованием RUM и ее плюсах и минусах.
Один из VShard — горизонтальное масштабирование в Tarantool
Владислав Шпилевой (Tarantool)
Владислав рассказал, зачем вообще нужен шардинг и масштабирование и как это работает в Tarantool. Вплоть до 2018 года единственным средством горизонтального масштабирования СУБД Tarantool был Shard, имеющий существенные недостатки, которые не позволили применить его в одном из важных проектов компании. В начале этого года была завершена разработка нового модуля VShard — альтернативной реализации шардирования. Владислав подробно рассказал про первый модуль Shard, зачем был создан VShard, как он работает, как его использовать и про пользу, которую он может принести.
Митапам и докладам иногда становилось тесно, и они плавно перетекали в коридоры. Те, кому не хватило места в зале, могли смотреть онлайн-трансляцию в одной из шести специальных зон.
Replicated service mesh: hardedning systems against failure modes in load balancing, distributed state, lifecycle management, configuration and release pushes
Oleg Klyudt (Google)
Олег из команды Authentication & Authorization of web flows in Google, посвятил свое выступление обсуждению сбоев и ошибок, наблюдаемых в распределенных приложениях Google на протяжении уже многих лет, а также рекомендациям по их предотвращению и устранению.
Высоконагруженная распределенная система управления современной АЭС
Вадим Подольный (Физприбор)
Владимир рассказал о новой платформе распределенной системы управления АЭС. Доклад был наполнен реальными кейсами. К примеру, как разруливать ситуацию, при которой система управления может превратиться в огромный источник DDoS, как обеспечивается управление нагрузками, как устроен QoS и что будет, если отключится система нормальной эксплуатации, как было на Фукусиме.
Управление людьми как инженерная задача: экосистема краудсорсинга
Ольга Мегорская (Яндекс)
А вот и Ольга, с которой мы вместе ехали в автобусе, — и, между прочим, на докладе у нее аншлаг. Ее рассказ — о краудсорсинге, мощном инструменте решения производственных задач в самых разных областях. Такой подход позволяет выстраивать масштабируемые и измеримые процессы производства, но не подменяет собой автоматизацию. Ольга рассказала про исследования Яндекса о влиянии суммы вознаграждения на качество выполнения задач, объяснила, где они применяют краудсорсинг, какие возможности это дает и какие требования к экспертизе специалистов появляются в экосистеме краудсорсинга.
Конспект доклада можно найти тут.
Новинка этой конференции: Премия HighLoad++, которая вручается профессионалам, оказавшим положительное влияние на развитие экосистемы интернет-разработки в России. Все подробности о премии и интервью с победителями читайте в отдельном посте.
CS, tattoo and ushanka
Между докладами тоже есть чем заняться: иду в холл, где представлены стенды компаний-партнеров конференции, их в этом году 36. Со всех сторон конкурсы, лотереи и подарки. Вот, например, на стенде PVS-Studio можно выиграть шапку-ушанку, что как раз кстати — зима близко!
Некоторые компании устроили настоящие интеллектуальные битвы за ценные призы, и участникам пришлось в прямом смысле включить мозги и постараться. На стенде GridGain проводили опрос, по результатам которого можно было выиграть наиполезнейшую книгу. Все верно, знание – это светлая сторона силы. Data Egret приглашала всех поиграть в домино с Андреем Сальниковым и делала участникам стильные татуировки. Ребята из Badoo предлагали сыграть в IT-настолку Badoo Tech Alias.
На стенде Авито, как и на докладах, аншлаг. Как оказалось, участники конференции с азартом играют в игру «поставь контейнер на докер». Подробнее об игре и докладах специалистов из Avito можно почитать здесь.
Мне не удалось протиснуться в толпу, поэтому бегу дальше, прихватывая по дороге наклейки и всякие прикольные штуки.
Для статистики: за два дня участники конференции выпили 15 000 чашек кофе и 1500 литров чая, 1600 литров пива и сидра, съели 9000 пирожков, 17 000 пирожных и 20 000 других закусок.
Сбербанк Технологии создал своего чат-бота, а тех молодцов, кто набрал наибольшее число баллов в боте, ждал суперприз – любимое средство передвижение айтишников – самокат. Эх, кто-то теперь будет гонять по офису, а я пока пешком.

Теперь мне понятно, как Райффайзенбанк привлекает своих клиентов: они установили SEGA на ATM. Ребята говорят, что сегодня они здесь вещают не про банк, а про IT, точнее про IT в банке. На данный момент они уже накопили солидный багаж компетенций, которым хотят делиться, поэтому на HighLoad++ пришли с докладом «Нагрузочное тестирование Atlassian Jira» и обсудили с участниками, зачем и когда нужно проводить подобные мероприятия, раскрыв много подводных камней.
Еще можно было вспомнить детство и вытащить панду из автомата с игрушками. Единственное, мы не успели проверить, каково соотношение нормальных попыток к тем, при которых манипулятор на полсекундочки ослабляет хватку в верхней точке, чтобы как бы случайно уронить «добычу». Судя по азарту игроков, с этим было все в порядке.
А мы снова развлекаемся: строим пирамидку с ребятами из PVS-Studio.
Прогулявшись по Сколково, мы убедились, что в этот раз, да и в предыдущие тоже, на HighLoad++ нашлось место всем: разработчикам, тестировщикам, тимлидам, релиз-инженерам, техдирам и даже любителям погамать, которые пришли сюда совместить приятное с полезным.
В этом году на HighLoad++ состоялся чемпионат по Counter-Strike. В течение первого дня проходили соревнования, на которых были отобраны команды для финального сражения в главном зале.
Итоги
Несмотря на формальный рекорд, организаторы уже вынашивают в голове очередную порцию идей, которые планируют запилить в следующем году на HighLoad Siberia++, а также питерском и московском HighLoad++. В планах — сделать мероприятие еще более полезным и атмосферным. Записи же докладов с минувшего форума будут выложены на Youtube-канале. Не все и не сразу, но самая интересная часть уже есть.
Stay connected!
Tags:
Hubs:
+28
Comments 4
Comments Comments 4