Pull to refresh
  • by relevance
  • by date
  • by rating

На чем работает Digg

Website development
Главный архитектор Digg.com Джо Стамп (Joe Stump) рассказал в корпоративном блоге о том, как на данный момент устроен и работает крупнейший новостной агрегатор, находящийся на 142 месте по посещаемости в рейтинге Alexa.com.


Читать дальше →
Total votes 77: ↑75 and ↓2 +73
Views957
Comments 36

Когда нужно много, действительно много серверов

Hewlett Packard Enterprise corporate blog
HP ProLiant SL160z G6 ServerВ 1993 году на рынке впервые появились серверы HP ProLiant, разработанные на основе архитектуры x86. Семейство ProLiant пополнялось новыми линейками по мере того, как росла сфера применения таких устройств. До недавнего времени можно было выбрать: линейку ML – башенные серверы, которые вы как правило покупаете поштучно; DL – стоечные машины для серьезных задач, несколько которых вы покупаете с большим заделом на будущее; и BL – заполнив стойку десятком таких блейдов, вы всегда сможете добавить в нее еще, если запросы возросли.

Но в последние годы BL и их аналоги использовались и в том случае, когда запросы возрастают в десятки и сотни раз – в веб-поисковиках, больших СУБД и научных суперкомпьютерах. И хотя в конструкции этих серверов применяются различные технологии, обеспечивающие уменьшение энергопотребления и компактное размещение внутренних компонентов, тем не менее при эксплуатации комплексов из нескольких тысяч вычислительных узлов даже небольшая экономия мощности и сокращение габаритов на уровне одного сервера давала бы значительный экономический эффект.

Поэтому HP специально разработала линейку HP ProLiant SL6000, в которой вместо стандартного стоечного корпуса применен новый форм-фактор. Наша новая система использует двухюнитовое шасси z6000, в котором несколько серверов обслуживают общие источники питания и вентиляторы. По сравнению с обычными одноюнитовыми серверами энергопотребление сокращается на 28%, а общий вес серверной стойки – на 31%. Подобное решение используется и в шасси BladeSystem для линейки BL, но в z6000 нет общей объединительной панели, за счет чего улучшается воздушное охлаждение внутри шасси.
Читать дальше →
Total votes 36: ↑22 and ↓14 +8
Views6.3K
Comments 16

Путешествие в мир сервисных корпоративных шин на IBM WebSphere ESB

PNN corporate blogWebsite developmentJava
Sandbox
imageДанной статьей хочется открыть цикл, посвященный IBM WebSphere ESB (далее — ESB) в разрезе разработки под этот продукт. И, в первую очередь, придется познакомиться поближе с технологиями такого рода.
Enterprise service bus (сервисная шина предприятия) — связующее программное обеспечение, обеспечивающее централизованный и унифицированный событийно-ориентированный обмен сообщениями между различными информационными системами на принципах сервис-ориентированной архитектуры.
Конечно же, можно и без специального ПО (возможно, что-то общее таки придется разработать) строить корпоративную систему основываясь на таком подходе, и то, что в результате получится, называть сервисной шиной. Но в продукте от IBM есть не только уже готовый аппарат для централизованного обмена сообщениями и контроля этого процесса, но и полный набор возможностей для разработки гибких сервис-ориентированных приложений специально под ESB. В итоге, можно выделить следующие возможности и преимущества IBM WebSphere ESB:
  • Порядок и единообразие архитектурных связей
  • Централизованное управление
  • Конфигурация приложений на стороне сервера
  • Реализация технологии Service Component Architecture (SCA) в духе принципов сервис-ориентированной архитектуры
  • Протоколо-независимость разрабатываемого программного кода
  • Широкие возможности конфигурирования шины и приложений
Читать дальше →
Total votes 14: ↑8 and ↓6 +2
Views34.4K
Comments 2

Модели акторов 40 лет

LLC Tik-Tok Coach corporate blogProgrammingConcurrent computing
Высоконагруженные системы, построенные по модели акторов – это тренд сегодняшнего времени. Вот далеко неполный перечень статей на хабре, в которых, в той или иной степени, упоминается данная модель или одна из ее реализаций, например,1, 2, 3, 3, 4, 5, 6, 7. Есть хорошая статья в википедии, рассказывающая про акторы. К сожалению, после ее прочтения, у меня осталось много вопросов, ответы на которые я смог найти только в первоисточниках. Результаты этого обзора я и хочу представить Вашему вниманию.
Читать дальше →
Total votes 34: ↑32 and ↓2 +30
Views19.9K
Comments 20

HighLoad++ — это блюдо, которое подают высоконагруженным

Конференции Олега Бунина (Онтико) corporate blogHigh performanceWebsite developmentBig Data


Пожалуй главным отличием конференции разработчиков высоконагруженных систем HighLoad++ от многих других является отсутствие скрытых целей. За нами не стоит ни одного лица или организации, которая бы навязывала правила игры или занималась хантингом на мероприятии, типа:
  • Крупной компании
  • Толстосума-спонсора
  • Государственных структур

Уже долгие годы HighLoad++ остается событием, которое одни разработчики организуют для других разработчиков.

Девять лет назад мы приняли для себя несколько строгих правил, которым стараемся неукоснительно следовать. Не будем перечислять их все — для этого еще придёт время, назовем лишь основные.
Читать дальше →
Total votes 35: ↑27 and ↓8 +19
Views19.7K
Comments 10

Текстовая трансляция HighLoad++ 2016. День первый

Конференции Олега Бунина (Онтико) corporate blogHigh performanceWebsite developmentMySQLPostgreSQL

Трансляция первого дня от 7 ноября окончена. 8 ноября в 09:45 Мск продолжение видео на странице спецпроекта и текстовой трансляции в новом посте и на странице спецпроекта.

Сегодня в этом посте весь день будет вестись текстовая трансляция конференции HighLoad++ 2016, проходящей в Сколково 7 и 8 ноября. HighLoad++ — это более 200 экспертов высочайшего класса с докладами о высоконагруженных сервисах, проблемах работы с ними и вопросах администрирования. Более 15 залов, плотный график, честный и полезный опыт спикеров — HighLoad++ умеет собирать крутые темы, задавать тон дискуссии и всё на одном дыхании.

Если вы хотите смотреть видео из главного зала и включения из мобильной студии Хабрахабра, то вам на страницу спецпроекта. Если почитать онлайн и поообщаться в кооментариях — под кат.


Читать дальше →
Total votes 31: ↑29 and ↓2 +27
Views9.8K
Comments 11

Балансировка нагрузки и отказоустойчивость в «Одноклассниках»

High performanceWebsite development
Мы продолжаем посты с расшифровками выступлений на конференции HighLoad++, которая проходила в подмосковном Сколково 7—8 ноября 2016 года.

Здравствуйте, меня зовут Никита Духовный, и я работаю ведущим системным администратором в проекте «Одноклассники».

На данный момент инфраструктура «Одноклассников» располагается более чем на 11 тысячах физических серверов. Они расположены в 3-х основных дата-центрах в Москве. Также у нас есть точки присутствия CDN. По последним данным в час пик мы отдаем нашим пользователям свыше 1 терабита трафика в секунду.

В отделе системного администрирования мы разрабатываем и развиваем системы автоматизации. Мы занимаемся многими исследовательскими задачами. Мы помогаем разработчикам запускать новые проекты.

Сегодня мы поговорим о балансировке нагрузки и отказоустойчивости на примере нашей социальной сети.
Читать дальше →
Total votes 26: ↑24 and ↓2 +22
Views26.4K
Comments 20

Почему большие БД работают не как хочется, или про несбыточные мечты SQL-запросов

ЮMoney corporate blogServer optimizationDatabase AdministrationData storagesDevOps

image


В команде эксплуатации подумали, что наш опыт с Microsoft SQL в нагруженной среде больше нельзя скрывать, и потому родилась эта статья. В ней я расскажу о нюансах работы с этой СУБД из практики.


Microsoft SQL Server давно нашел свое место в семействе продуктов Яндекс.Денег и успешно решает задачу сбора разрозненной информации обо всех операциях из множества отдельных сервисов. Без такой сборки воедино нельзя было бы отследить платеж, собрать статистику или решить проблему.


Все сказанное далее будет полезно администраторам крупных БД – тем, кто заботится о быстрой и точной работе аналитики Microsoft SQL Server 2012-2014.


Если информация окажется вам полезной и интересной — обязательно дайте знать в комментариях, чтобы автор не расслаблялся.

Итак, чем занимается MS SQL в Яндекс.Деньгах
Total votes 21: ↑21 and ↓0 +21
Views22.3K
Comments 24

Новый курс «Проектирование высоконагруженных систем» в Технополисе

Mail.ru Group corporate blogJavaSystem Analysis and Design

image


Технополис — образовательный проект, запущенный «Одноклассниками» (Mail.Ru) совместно с Санкт-Петербургским политехническим университетом Петра Великого. В рамках проекта студенты политеха изучают проектирование, разработку, внедрение и поддержку высоконагруженных Java-приложений. Преподаватели проекта — программисты, системные администраторы, дата-майнеры и другие специалисты из команды «Одноклассников».

Читать дальше →
Total votes 17: ↑17 and ↓0 +17
Views6K
Comments 2

Как мы переписали архитектуру Яндекс.Погоды и сделали глобальный прогноз на картах

Яндекс corporate blogHigh performanceWebGLMachine learning

Привет, Хабр!


Как говорится, по традиции раз в год мы в Яндекс.Погоде выкатываем что-нибудь новенькое. Сначала это был Метеум – традиционный прогноз погоды с помощью машинного обучения, затем наукастинг – краткосрочный прогноз осадков на основе метеорологических радаров и нейронных сетей. В этом посте я расскажу вам о том, как мы сделали глобальный прогноз погоды и построили на его основе красивые погодные карты.



Сперва пару слов про продукт. Погодные карты — способ узнавать погоду, очень популярный на западе и пока что не очень популярный в России. Причиной тому является, собственно, сама погода. Из-за особенностей климата наиболее населенные регионы нашей страны не подвержены внезапным погодным катаклизмам (и это хорошо). Поэтому интерес к погоде у жителей этих регионов скорее бытовой. Так, людям в центральной России важно знать, например, какая погода будет в Москве в выходные или что в четверг в Питере будет дождь. Такую информацию проще всего узнать из таблицы, в которой будет дата, время и набор погодных параметров.

Читать дальше →
Total votes 108: ↑107 and ↓1 +106
Views28K
Comments 92

Как прогнозировать спрос и автоматизировать закупки с помощью machine learning: кейс Ozon

Ozon Tech corporate blogHigh performanceBig DataMachine learningE-commerce management
image
В интернет магазине Ozon есть примерно всё: холодильники, детское питание, ноутбуки за 100 тысяч и т.д. Значит, все это есть и на складах компании — и чем дольше товары там лежат, тем дороже обходятся компании. Чтобы выяснить, сколько и чего людям захочется заказать, а Ozon нужно будет закупить, мы использовали machine learning.
Читать дальше →
Total votes 42: ↑39 and ↓3 +36
Views21.3K
Comments 19

Векторные представления товаров, или еще одно применение модели Word2Vec

Ozon Tech corporate blogDevelopment for e-commerceMachine learning
image

Каждый день полтора миллиона людей ищут на Ozon самые разные товары, и к каждому из них сервис должен подбирать похожие (если пылесос все-таки нужен помощней) или сопутствующие (если к поющему динозавру нужны батарейки). Когда видов товаров тоже много, решить задачу помогает модель Word2Vec. Разбираемся, как она работает и как создавать векторные представления для произвольных объектов.

Читать дальше →
Total votes 35: ↑35 and ↓0 +35
Views9.4K
Comments 7

Построение кластера PostgreSQL высокой доступности с использованием Patroni, etcd, HAProxy

System administrationPostgreSQLServer Administration
Sandbox

Так уж вышло, что на момент постановки задачи я не обладал достаточной степенью опытности, чтобы разработать и запустить это решение в одиночку. И тогда я начал гуглить.


Не знаю, в чем загвоздка, но уже в который раз я сталкиваюсь с тем, что даже если делать все пошагово как в туториале, подготовить такой же enviroment как у автора, то все равно никогда ничего не работает. Понятия не имею, в чем тут дело, но когда я столкнулся с этим в очередной раз, я решил — а напишу-ка я свой туториал, когда все получится. Тот, который точно будет работать.

Читать дальше →
Total votes 13: ↑13 and ↓0 +13
Views15.2K
Comments 7

Почему может понадобиться полусинхронная репликация?

OTUS corporate blogHigh performanceWebsite developmentIndustrial ProgrammingDistributed systems
Всем привет. На связи Владислав Родин. В настоящее время я преподаю на портале OTUS курсы, посвященные архитектуре ПО и архитектуре ПО, подверженного высокой нагрузке. В преддверии старта нового потока курса «Архитектор высоких нагрузок» я решил написать небольшой авторский материал, которым хочу поделиться с вами.




Введение


Из-за того, что на HDD может выполняться лишь порядка 400-700 операций в секунду (что несравнимо с типичными rps'ами, приходящимися на высоконагруженную систему), классическая дисковая база данных является узким горлышком архитектуры. Поэтому необходимо уделить отдельное внимание паттернам масштабирования данного хранилища.

На текущий момент имеются 2 паттерна масштабирования базы: репликация и шардирование. Шардирование позволяет масштабировать операцию записи, и, как следствие, снижать rps на запись, приходящийся на один сервер вашего кластера. Репликация позволяет делать тоже самое, но с операциями чтения. Именно этому паттерну и посвящена данная статья.
Читать дальше →
Total votes 15: ↑13 and ↓2 +11
Views2.7K
Comments 5

Как Netflix поддерживает надежность сервиса: ограничение нагрузки на основе приоритетов

OTUS corporate blogHigh performanceServer Administration
Translation

Застрять в пробке — нет ничего хуже для любого водителя в мире. Движение замедляется до скорости черепахи, зачастую из-за какой-то ерунды или вообще без причины. Мы, инженеры из Netflix, постоянно ищем способы улучшения управления трафиком — в нашем случае сетевым, — но представим на минуту, что мы управляем уличным движением. Что если бы мы знали, насколько важно проехать тому или иному водителю, и могли бы выборочно обеспечивать движение отдельных машин, вместо того, чтобы заставлять ждать всех?

Сотрудники технических подразделений Netflix стремятся сделать так, чтобы сервис Netflix работал всегда, когда он вам нужен. И все же, еще совсем недавно (буквально в прошлом году) в наших системах регулярно возникали «пробки». У нас были автоматические выключатели, но не было прогрессивного способа ограничения нагрузки. Задавшись целью улучшить опыт наших подписчиков, мы внедрили прогрессивное ограничение нагрузки на основе приоритизации запросов.

В приведенной ниже анимации демонстрируется работа интерфейса Netflix, используемого зрителями, когда серверные системы регулируют трафик с учетом приоритета. Запросы с низким приоритетом отбрасываются, но воспроизведение идет без перебоев, поэтому зрители могут наслаждаться любимым сериалом. Давайте разберемся, как мы смогли этого добиться.

Читать далее
Total votes 9: ↑8 and ↓1 +7
Views2.6K
Comments 0

Оцените шансы хакнуть криптообменник и получите книжку с кабанчиком в подарок

ГК ЛАНИТ corporate blogHigh performanceInformation SecurityProgrammingReading room
Разрабатываете софт под высокую нагрузку? Готовитесь к техническому интервью по System Design? Считаете, что криптообменники зажрались и пора бы их уже потрясти? Интересует, что такое надежность, производительность и масштабируемость, и какие метрики нужно использовать для их оценки? Хотите разобраться, какие типы баз данных использовать и для каких задач? Что такое Map Reduce? Что такое потоки событий и при чем тут Apache Kafka?

Тогда вам стоит почитать книгу «с кабанчиком» Мартина Клеппмана и оценить, какие ваши шансы хакнуть криптообменник с помощью теста (лучший получит от меня книгу в подарок с доставкой в любое место, куда доставляет Озон). 

Итак, в 2014 году из криптообменника Poloniex были украдены 12,3% BTC. Хакер нашел уязвимость в коде, реализующем снятие денег со счета... 

Читать дальше →
Total votes 56: ↑56 and ↓0 +56
Views6.7K
Comments 8

Спикер без имени и финтех без вундервафли. Рассказываем о HighLoad++

Конференции Олега Бунина (Онтико) corporate blogIT StandardsConferencesThe future is hereInterview

Хабр — то самое место, в котором иметь смысл обсудить самые интересные тренды в HighLoad. Чему сегодня уделяют внимание  разработчики высоконагруженных систем, и какие темы могут быть им интересны в ближайшем будущем, можно увидеть в этой статье. Чего нам ждать от нынешнего года и почему стоит прийти на конференцию HighLoad++ Весна 2021 лично, мы поговорили в интервью с куратором секций Финтех и Архитектура Евгением Кузовлевым.

В программном комитете конференции он всего несколько месяцев, поэтому вы получите свежий взгляд на ведущуюся подготовку, сюрпризы и плюшки для участников, а также ответ на два главных вопроса: зачем приходить оффлайн, и чего ждать, если предполагается лишь онлайн-участие?

Читать далее
Total votes 19: ↑18 and ↓1 +17
Views973
Comments 0

Как использовать ClickHouse не по его прямому назначению

Конференции Олега Бунина (Онтико) corporate blogHigh performanceMySQLDatabase AdministrationBig Data

Алексей Миловидов делает ClickHouse и, конечно, знает его вдоль и поперек. В том числе и о том, как его можно использовать дополнительно к его штатным и всем хорошо известным функциям.

И сегодня расскажет про эти необычные способы его использования и, может быть, даже не для хранения и обработки данных.

Read more
Total votes 47: ↑47 and ↓0 +47
Views10.5K
Comments 5

Безопасность в масштабе HighLoad — магия или realtime?

Конференции Олега Бунина (Онтико) corporate blogHigh performanceInformation SecurityProgrammingThe future is here

Миллионы запросов в секунду. Сотни серверов с десятками ядер и терабайтами оперативной памяти. Много пользователей и данных. И их становится всё больше. Да, это всё HighLoad. Но HighLoad — не только это.

В основе хороших высоконагруженных систем лежит тщательно спроектированная архитектура. Благодаря этому, системы постоянно масштабируются, а их ресурсов хватает для работы с текущими нагрузками. И тогда HighLoad-конференции не превращаются в дискуссии «Как сэкономить на ресурсах при штатно выросшей нагрузке» или «Куда девать все имеющиеся у нас мощности».

Но что насчет безопасности и защиты данных при высоких нагрузках? Что думают разработчики и эксперты о внешних угрозах, которые тоже могут вывести систему из строя? О сохранении данных, их правильной передаче и использовании? Артём Гавриченков в Программном комитете отвечает за эту область на конференции HighLoad++. Сегодня он расскажет, чем наша долгожданная офлайн-встреча Highload++ Весна 2021 будет интересна и полезна любому разработчику. Доклады на конференции будут и о безопасности, и о шифровании,  и о биометрии, и, конечно, о многих других смежных с безопасностью темах. 

Читать далее
Total votes 16: ↑15 and ↓1 +14
Views1.3K
Comments 1