Как стать автором
Обновить
  • по релевантности
  • по времени
  • по рейтингу

На чем работает Digg

Разработка веб-сайтов
Главный архитектор Digg.com Джо Стамп (Joe Stump) рассказал в корпоративном блоге о том, как на данный момент устроен и работает крупнейший новостной агрегатор, находящийся на 142 месте по посещаемости в рейтинге Alexa.com.


Читать дальше →
Всего голосов 77: ↑75 и ↓2 +73
Просмотры960
Комментарии 36

Когда нужно много, действительно много серверов

Hewlett Packard Enterprise
HP ProLiant SL160z G6 ServerВ 1993 году на рынке впервые появились серверы HP ProLiant, разработанные на основе архитектуры x86. Семейство ProLiant пополнялось новыми линейками по мере того, как росла сфера применения таких устройств. До недавнего времени можно было выбрать: линейку ML – башенные серверы, которые вы как правило покупаете поштучно; DL – стоечные машины для серьезных задач, несколько которых вы покупаете с большим заделом на будущее; и BL – заполнив стойку десятком таких блейдов, вы всегда сможете добавить в нее еще, если запросы возросли.

Но в последние годы BL и их аналоги использовались и в том случае, когда запросы возрастают в десятки и сотни раз – в веб-поисковиках, больших СУБД и научных суперкомпьютерах. И хотя в конструкции этих серверов применяются различные технологии, обеспечивающие уменьшение энергопотребления и компактное размещение внутренних компонентов, тем не менее при эксплуатации комплексов из нескольких тысяч вычислительных узлов даже небольшая экономия мощности и сокращение габаритов на уровне одного сервера давала бы значительный экономический эффект.

Поэтому HP специально разработала линейку HP ProLiant SL6000, в которой вместо стандартного стоечного корпуса применен новый форм-фактор. Наша новая система использует двухюнитовое шасси z6000, в котором несколько серверов обслуживают общие источники питания и вентиляторы. По сравнению с обычными одноюнитовыми серверами энергопотребление сокращается на 28%, а общий вес серверной стойки – на 31%. Подобное решение используется и в шасси BladeSystem для линейки BL, но в z6000 нет общей объединительной панели, за счет чего улучшается воздушное охлаждение внутри шасси.
Читать дальше →
Всего голосов 36: ↑22 и ↓14 +8
Просмотры6.4K
Комментарии 16

Путешествие в мир сервисных корпоративных шин на IBM WebSphere ESB

PNNРазработка веб-сайтовJava
Из песочницы
imageДанной статьей хочется открыть цикл, посвященный IBM WebSphere ESB (далее — ESB) в разрезе разработки под этот продукт. И, в первую очередь, придется познакомиться поближе с технологиями такого рода.
Enterprise service bus (сервисная шина предприятия) — связующее программное обеспечение, обеспечивающее централизованный и унифицированный событийно-ориентированный обмен сообщениями между различными информационными системами на принципах сервис-ориентированной архитектуры.
Конечно же, можно и без специального ПО (возможно, что-то общее таки придется разработать) строить корпоративную систему основываясь на таком подходе, и то, что в результате получится, называть сервисной шиной. Но в продукте от IBM есть не только уже готовый аппарат для централизованного обмена сообщениями и контроля этого процесса, но и полный набор возможностей для разработки гибких сервис-ориентированных приложений специально под ESB. В итоге, можно выделить следующие возможности и преимущества IBM WebSphere ESB:
  • Порядок и единообразие архитектурных связей
  • Централизованное управление
  • Конфигурация приложений на стороне сервера
  • Реализация технологии Service Component Architecture (SCA) в духе принципов сервис-ориентированной архитектуры
  • Протоколо-независимость разрабатываемого программного кода
  • Широкие возможности конфигурирования шины и приложений
Читать дальше →
Всего голосов 14: ↑8 и ↓6 +2
Просмотры34.9K
Комментарии 2

Модели акторов 40 лет

LLC Tik-Tok CoachПрограммированиеПараллельное программирование
Высоконагруженные системы, построенные по модели акторов – это тренд сегодняшнего времени. Вот далеко неполный перечень статей на хабре, в которых, в той или иной степени, упоминается данная модель или одна из ее реализаций, например,1, 2, 3, 3, 4, 5, 6, 7. Есть хорошая статья в википедии, рассказывающая про акторы. К сожалению, после ее прочтения, у меня осталось много вопросов, ответы на которые я смог найти только в первоисточниках. Результаты этого обзора я и хочу представить Вашему вниманию.
Читать дальше →
Всего голосов 34: ↑32 и ↓2 +30
Просмотры19.9K
Комментарии 20

HighLoad++ — это блюдо, которое подают высоконагруженным

Конференции Олега Бунина (Онтико)Высокая производительностьРазработка веб-сайтовBig Data


Пожалуй главным отличием конференции разработчиков высоконагруженных систем HighLoad++ от многих других является отсутствие скрытых целей. За нами не стоит ни одного лица или организации, которая бы навязывала правила игры или занималась хантингом на мероприятии, типа:
  • Крупной компании
  • Толстосума-спонсора
  • Государственных структур

Уже долгие годы HighLoad++ остается событием, которое одни разработчики организуют для других разработчиков.

Девять лет назад мы приняли для себя несколько строгих правил, которым стараемся неукоснительно следовать. Не будем перечислять их все — для этого еще придёт время, назовем лишь основные.
Читать дальше →
Всего голосов 35: ↑27 и ↓8 +19
Просмотры19.7K
Комментарии 10

Текстовая трансляция HighLoad++ 2016. День первый

Конференции Олега Бунина (Онтико)Высокая производительностьРазработка веб-сайтовMySQLPostgreSQL

Трансляция первого дня от 7 ноября окончена. 8 ноября в 09:45 Мск продолжение видео на странице спецпроекта и текстовой трансляции в новом посте и на странице спецпроекта.

Сегодня в этом посте весь день будет вестись текстовая трансляция конференции HighLoad++ 2016, проходящей в Сколково 7 и 8 ноября. HighLoad++ — это более 200 экспертов высочайшего класса с докладами о высоконагруженных сервисах, проблемах работы с ними и вопросах администрирования. Более 15 залов, плотный график, честный и полезный опыт спикеров — HighLoad++ умеет собирать крутые темы, задавать тон дискуссии и всё на одном дыхании.

Если вы хотите смотреть видео из главного зала и включения из мобильной студии Хабрахабра, то вам на страницу спецпроекта. Если почитать онлайн и поообщаться в кооментариях — под кат.


Читать дальше →
Всего голосов 31: ↑29 и ↓2 +27
Просмотры9.8K
Комментарии 11

Балансировка нагрузки и отказоустойчивость в «Одноклассниках»

Высокая производительностьРазработка веб-сайтов
Мы продолжаем посты с расшифровками выступлений на конференции HighLoad++, которая проходила в подмосковном Сколково 7—8 ноября 2016 года.

Здравствуйте, меня зовут Никита Духовный, и я работаю ведущим системным администратором в проекте «Одноклассники».

На данный момент инфраструктура «Одноклассников» располагается более чем на 11 тысячах физических серверов. Они расположены в 3-х основных дата-центрах в Москве. Также у нас есть точки присутствия CDN. По последним данным в час пик мы отдаем нашим пользователям свыше 1 терабита трафика в секунду.

В отделе системного администрирования мы разрабатываем и развиваем системы автоматизации. Мы занимаемся многими исследовательскими задачами. Мы помогаем разработчикам запускать новые проекты.

Сегодня мы поговорим о балансировке нагрузки и отказоустойчивости на примере нашей социальной сети.
Читать дальше →
Всего голосов 26: ↑24 и ↓2 +22
Просмотры26.6K
Комментарии 20

Почему большие БД работают не как хочется, или про несбыточные мечты SQL-запросов

ЮMoneyСерверная оптимизацияАдминистрирование баз данныхХранилища данныхDevOps

image


В команде эксплуатации подумали, что наш опыт с Microsoft SQL в нагруженной среде больше нельзя скрывать, и потому родилась эта статья. В ней я расскажу о нюансах работы с этой СУБД из практики.


Microsoft SQL Server давно нашел свое место в семействе продуктов Яндекс.Денег и успешно решает задачу сбора разрозненной информации обо всех операциях из множества отдельных сервисов. Без такой сборки воедино нельзя было бы отследить платеж, собрать статистику или решить проблему.


Все сказанное далее будет полезно администраторам крупных БД – тем, кто заботится о быстрой и точной работе аналитики Microsoft SQL Server 2012-2014.


Если информация окажется вам полезной и интересной — обязательно дайте знать в комментариях, чтобы автор не расслаблялся.

Итак, чем занимается MS SQL в Яндекс.Деньгах
Всего голосов 21: ↑21 и ↓0 +21
Просмотры22.4K
Комментарии 24

Новый курс «Проектирование высоконагруженных систем» в Технополисе

Mail.ru GroupJavaАнализ и проектирование систем

image


Технополис — образовательный проект, запущенный «Одноклассниками» (Mail.Ru) совместно с Санкт-Петербургским политехническим университетом Петра Великого. В рамках проекта студенты политеха изучают проектирование, разработку, внедрение и поддержку высоконагруженных Java-приложений. Преподаватели проекта — программисты, системные администраторы, дата-майнеры и другие специалисты из команды «Одноклассников».

Читать дальше →
Всего голосов 17: ↑17 и ↓0 +17
Просмотры6K
Комментарии 2

Как мы переписали архитектуру Яндекс.Погоды и сделали глобальный прогноз на картах

ЯндексВысокая производительностьWebGLМашинное обучение

Привет, Хабр!


Как говорится, по традиции раз в год мы в Яндекс.Погоде выкатываем что-нибудь новенькое. Сначала это был Метеум – традиционный прогноз погоды с помощью машинного обучения, затем наукастинг – краткосрочный прогноз осадков на основе метеорологических радаров и нейронных сетей. В этом посте я расскажу вам о том, как мы сделали глобальный прогноз погоды и построили на его основе красивые погодные карты.



Сперва пару слов про продукт. Погодные карты — способ узнавать погоду, очень популярный на западе и пока что не очень популярный в России. Причиной тому является, собственно, сама погода. Из-за особенностей климата наиболее населенные регионы нашей страны не подвержены внезапным погодным катаклизмам (и это хорошо). Поэтому интерес к погоде у жителей этих регионов скорее бытовой. Так, людям в центральной России важно знать, например, какая погода будет в Москве в выходные или что в четверг в Питере будет дождь. Такую информацию проще всего узнать из таблицы, в которой будет дата, время и набор погодных параметров.

Читать дальше →
Всего голосов 108: ↑107 и ↓1 +106
Просмотры28.1K
Комментарии 92

Как прогнозировать спрос и автоматизировать закупки с помощью machine learning: кейс Ozon

Ozon TechВысокая производительностьBig DataМашинное обучениеУправление e-commerce
image
В интернет магазине Ozon есть примерно всё: холодильники, детское питание, ноутбуки за 100 тысяч и т.д. Значит, все это есть и на складах компании — и чем дольше товары там лежат, тем дороже обходятся компании. Чтобы выяснить, сколько и чего людям захочется заказать, а Ozon нужно будет закупить, мы использовали machine learning.
Читать дальше →
Всего голосов 42: ↑39 и ↓3 +36
Просмотры21.7K
Комментарии 19

Векторные представления товаров, или еще одно применение модели Word2Vec

Ozon TechРазработка под e-commerceМашинное обучение
image

Каждый день полтора миллиона людей ищут на Ozon самые разные товары, и к каждому из них сервис должен подбирать похожие (если пылесос все-таки нужен помощней) или сопутствующие (если к поющему динозавру нужны батарейки). Когда видов товаров тоже много, решить задачу помогает модель Word2Vec. Разбираемся, как она работает и как создавать векторные представления для произвольных объектов.

Читать дальше →
Всего голосов 35: ↑35 и ↓0 +35
Просмотры9.5K
Комментарии 7

Построение кластера PostgreSQL высокой доступности с использованием Patroni, etcd, HAProxy

Системное администрированиеPostgreSQLСерверное администрирование
Из песочницы

Так уж вышло, что на момент постановки задачи я не обладал достаточной степенью опытности, чтобы разработать и запустить это решение в одиночку. И тогда я начал гуглить.


Не знаю, в чем загвоздка, но уже в который раз я сталкиваюсь с тем, что даже если делать все пошагово как в туториале, подготовить такой же enviroment как у автора, то все равно никогда ничего не работает. Понятия не имею, в чем тут дело, но когда я столкнулся с этим в очередной раз, я решил — а напишу-ка я свой туториал, когда все получится. Тот, который точно будет работать.

Читать дальше →
Всего голосов 13: ↑13 и ↓0 +13
Просмотры15.8K
Комментарии 7

Почему может понадобиться полусинхронная репликация?

OTUSВысокая производительностьРазработка веб-сайтовПромышленное программированиеРаспределённые системы
Всем привет. На связи Владислав Родин. В настоящее время я преподаю на портале OTUS курсы, посвященные архитектуре ПО и архитектуре ПО, подверженного высокой нагрузке. В преддверии старта нового потока курса «Архитектор высоких нагрузок» я решил написать небольшой авторский материал, которым хочу поделиться с вами.




Введение


Из-за того, что на HDD может выполняться лишь порядка 400-700 операций в секунду (что несравнимо с типичными rps'ами, приходящимися на высоконагруженную систему), классическая дисковая база данных является узким горлышком архитектуры. Поэтому необходимо уделить отдельное внимание паттернам масштабирования данного хранилища.

На текущий момент имеются 2 паттерна масштабирования базы: репликация и шардирование. Шардирование позволяет масштабировать операцию записи, и, как следствие, снижать rps на запись, приходящийся на один сервер вашего кластера. Репликация позволяет делать тоже самое, но с операциями чтения. Именно этому паттерну и посвящена данная статья.
Читать дальше →
Всего голосов 15: ↑13 и ↓2 +11
Просмотры2.7K
Комментарии 5

Как Netflix поддерживает надежность сервиса: ограничение нагрузки на основе приоритетов

OTUSВысокая производительностьСерверное администрирование
Перевод

Застрять в пробке — нет ничего хуже для любого водителя в мире. Движение замедляется до скорости черепахи, зачастую из-за какой-то ерунды или вообще без причины. Мы, инженеры из Netflix, постоянно ищем способы улучшения управления трафиком — в нашем случае сетевым, — но представим на минуту, что мы управляем уличным движением. Что если бы мы знали, насколько важно проехать тому или иному водителю, и могли бы выборочно обеспечивать движение отдельных машин, вместо того, чтобы заставлять ждать всех?

Сотрудники технических подразделений Netflix стремятся сделать так, чтобы сервис Netflix работал всегда, когда он вам нужен. И все же, еще совсем недавно (буквально в прошлом году) в наших системах регулярно возникали «пробки». У нас были автоматические выключатели, но не было прогрессивного способа ограничения нагрузки. Задавшись целью улучшить опыт наших подписчиков, мы внедрили прогрессивное ограничение нагрузки на основе приоритизации запросов.

В приведенной ниже анимации демонстрируется работа интерфейса Netflix, используемого зрителями, когда серверные системы регулируют трафик с учетом приоритета. Запросы с низким приоритетом отбрасываются, но воспроизведение идет без перебоев, поэтому зрители могут наслаждаться любимым сериалом. Давайте разберемся, как мы смогли этого добиться.

Читать далее
Всего голосов 9: ↑8 и ↓1 +7
Просмотры2.7K
Комментарии 0

Оцените шансы хакнуть криптообменник и получите книжку с кабанчиком в подарок

ГК ЛАНИТВысокая производительностьИнформационная безопасностьПрограммированиеЧитальный зал
Разрабатываете софт под высокую нагрузку? Готовитесь к техническому интервью по System Design? Считаете, что криптообменники зажрались и пора бы их уже потрясти? Интересует, что такое надежность, производительность и масштабируемость, и какие метрики нужно использовать для их оценки? Хотите разобраться, какие типы баз данных использовать и для каких задач? Что такое Map Reduce? Что такое потоки событий и при чем тут Apache Kafka?

Тогда вам стоит почитать книгу «с кабанчиком» Мартина Клеппмана и оценить, какие ваши шансы хакнуть криптообменник с помощью теста (лучший получит от меня книгу в подарок с доставкой в любое место, куда доставляет Озон). 

Итак, в 2014 году из криптообменника Poloniex были украдены 12,3% BTC. Хакер нашел уязвимость в коде, реализующем снятие денег со счета... 

Читать дальше →
Всего голосов 56: ↑56 и ↓0 +56
Просмотры6.8K
Комментарии 8

Приходи, общайся и слушай. Выходи из внутреннего бега

Конференции Олега Бунина (Онтико)Высокая производительностьКонференцииБудущее здесьИнтервью

Как считает Евгений Россинский, СТО должен быть одновременно и стратегом в настоящем, и мечтателем, смотрящим в будущее. Стратег должен очень хорошо понимать, где находится сейчас — «чтобы что-то улучшить, надо сначала померить и найти метрику качества». А мечтатель должен любить свое дело, чтобы заряжать людей вокруг и двигать дело вперед. 

Такой же стиль у него в Программном комитете HighLoad++ — находить интересных спикеров и животрепещущие темы, чтобы показать их широкой аудитории и продвинуть в будущее. Накануне конференции мы встретились с Евгением, чтобы расспросить о докладах и спикерах HighLoad++ Весна 2021. Что было бы интересно, а что — просто обязательно надо идти и слушать, если вы разработчик высоконагруженных систем.

Читать далее
Всего голосов 8: ↑7 и ↓1 +6
Просмотры1.2K
Комментарии 1

Спикер без имени и финтех без вундервафли. Рассказываем о HighLoad++

Конференции Олега Бунина (Онтико)IT-стандартыКонференцииБудущее здесьИнтервью

Хабр — то самое место, в котором иметь смысл обсудить самые интересные тренды в HighLoad. Чему сегодня уделяют внимание  разработчики высоконагруженных систем, и какие темы могут быть им интересны в ближайшем будущем, можно увидеть в этой статье. Чего нам ждать от нынешнего года и почему стоит прийти на конференцию HighLoad++ Весна 2021 лично, мы поговорили в интервью с куратором секций Финтех и Архитектура Евгением Кузовлевым.

В программном комитете конференции он всего несколько месяцев, поэтому вы получите свежий взгляд на ведущуюся подготовку, сюрпризы и плюшки для участников, а также ответ на два главных вопроса: зачем приходить оффлайн, и чего ждать, если предполагается лишь онлайн-участие?

Читать далее
Всего голосов 19: ↑18 и ↓1 +17
Просмотры1.1K
Комментарии 0

Как использовать ClickHouse не по его прямому назначению

Конференции Олега Бунина (Онтико)Высокая производительностьMySQLАдминистрирование баз данныхBig Data

Алексей Миловидов делает ClickHouse и, конечно, знает его вдоль и поперек. В том числе и о том, как его можно использовать дополнительно к его штатным и всем хорошо известным функциям.

И сегодня расскажет про эти необычные способы его использования и, может быть, даже не для хранения и обработки данных.

Read more
Всего голосов 47: ↑47 и ↓0 +47
Просмотры11.4K
Комментарии 5

Безопасность в масштабе HighLoad — магия или realtime?

Конференции Олега Бунина (Онтико)Высокая производительностьИнформационная безопасностьПрограммированиеБудущее здесь

Миллионы запросов в секунду. Сотни серверов с десятками ядер и терабайтами оперативной памяти. Много пользователей и данных. И их становится всё больше. Да, это всё HighLoad. Но HighLoad — не только это.

В основе хороших высоконагруженных систем лежит тщательно спроектированная архитектура. Благодаря этому, системы постоянно масштабируются, а их ресурсов хватает для работы с текущими нагрузками. И тогда HighLoad-конференции не превращаются в дискуссии «Как сэкономить на ресурсах при штатно выросшей нагрузке» или «Куда девать все имеющиеся у нас мощности».

Но что насчет безопасности и защиты данных при высоких нагрузках? Что думают разработчики и эксперты о внешних угрозах, которые тоже могут вывести систему из строя? О сохранении данных, их правильной передаче и использовании? Артём Гавриченков в Программном комитете отвечает за эту область на конференции HighLoad++. Сегодня он расскажет, чем наша долгожданная офлайн-встреча Highload++ Весна 2021 будет интересна и полезна любому разработчику. Доклады на конференции будут и о безопасности, и о шифровании,  и о биометрии, и, конечно, о многих других смежных с безопасностью темах. 

Читать далее
Всего голосов 16: ↑15 и ↓1 +14
Просмотры1.4K
Комментарии 1