Pull to refresh
  • by relevance
  • by date
  • by rating

GPFS. Часть 1. Создание GPFS кластера

Оверсан-Скалакси corporate blog
GPFS (General Parallel File System)

После одной из моих последних статьей на хабре про серверную оптимизацию мне прислали множество вопросов про распределенные файловые системы. И теперь я нашел в себе силы и возможности написать про замечательную кластерную файловую систему GPFS.

Описание тестовой лаборатории:
  • Сервер виртуализации Xen. Dom0 под SLES11
  • 3 Xen DomU виртуальных сервера под quorum-ноды с двумя дополнительно проброшенными блочными устройствами
  • 2 Xen DomU виртуальных сервера под client-ноды

Тестовый стенд, основанный на технологии Xen, крайне удобен, ибо позволяет на ходу подцеплять/отцеплять диски от виртуалок, добавлять в них память и процессоры.

Подробнее в примерах
Total votes 54: ↑44 and ↓10+34
Views22K
Comments 27

GPFS. Часть 2. Эксплуатация GPFS кластера

Оверсан-Скалакси corporate blog
IBM GPFSВ продолжение моего предыдущего поста о настройке GPFS-кластера, как и обещал, перехожу к описанию весьма распространённых ситуаций, с которыми можно столкнуться при работе с GPFS.




Читать дальше →
Total votes 46: ↑39 and ↓7+32
Views13K
Comments 10

324 Infiniband-порта в одной стойке или коммутатор Voltaire Grid Director 4700

Оверсан-Меркурий corporate blog
О дата-центре в целом мы уже практически все рассказали и показали. Теперь понемногу будем сосредотачиваться на интересном оборудовании, которое там установлено, или будет установлено в ближайшем будущем. Тема, конечно, весьма противоречивая, но время от времени появляются настолько любопытные устройства, что удержаться от соблазна просто невозможно. Как вам, например, 324-портовый QDR-Infiniband-коммутатор, с суммарной пропускной способностью за 50 Терабит? О нем мы сегодня и расскажем.

image

Читать дальше →
Total votes 88: ↑69 and ↓19+50
Views19K
Comments 104

Обзор архитектуры облачной платформы Скалакси

Оверсан corporate blog
В одном из наших предыдущих постов, мы описывали архитектуру дискового хранилища. Статья получила множество откликов и пришла идея описать всю актуальную архитектуру нашего облака.
Читать дальше →
Total votes 69: ↑62 and ↓7+55
Views15K
Comments 42

Infiniband: матрица для данных

Intel corporate blog

По мере роста трафика данных между компонентами высоконагруженных систем, все острее встает проблема его точной, а скорее даже точечной доставки. Идеальным решением в данном случае могла бы стать универсальная технология обмена информацией, обладающая высокой пропускной способностью и осуществляющая эффективное взаимодействие как локальных, так и сетевых устройств, то есть по сути объединяющая их в единую матрицу масштаба ЦОД или ядра сети. Забавно, но факт: одна такая «матрица» (а точнее, технология коммутации данных) появилась практически одновременно с фильмом братьев Вачовски. Речь идет о стандарте Infiniband.
Читать дальше →
Total votes 32: ↑30 and ↓2+28
Views35K
Comments 80

Бэнчмарк Windows Azure показал высокую производительность для масштабных вычислений

Microsoft Azure

151,3 TФлопс на 8064 ядрах с 90,2 процентной эффективностью.


Windows Azure предлагает своим клиентам облачную платформу, которая экономически эффективно и надежно удовлетворяет требованиям масштабных вычислений (Big Compute). При разработке Windows Azure были использованы инфраструктура большой мощности и масштабируемости, новые конфигурации экземпляра, а также новый HPC Pack 2012, которые позволили Windows Azure стать лучшей платформой для приложений использующих масштабные вычисления. В действительности, Windows Azure была протестирована с помощью LINPACK бенчмарка, который подтвердил мощность Windows Azure в масштабных вычислениях. Сетевая производительность очень впечатляет, и составила 151,3 ТФлопс на 8064 ядрах с 90,2 процентной эффективностью – эти результаты были отправлены в Топ-500 и исследователями был получен сертификат, подтверждающий включение в топ 500-от мощных суперкомпьютеров в мире.

Оборудование для масштабных вычислений

В виду заинтересованности Microsoft в масштабных вычислениях, было представлено оборудование, разработанное для удовлетворения потребности клиентов в высокопроизводительных вычислениях. Были представлены две высокопроизводительные конфигурации.
Читать дальше →
Total votes 26: ↑13 and ↓130
Views5K
Comments 9

Про InfiniBand: как мы уменьшали пинг с 7 мкс до 2,4 мкс (и результаты тестов)

КРОК corporate blogHigh performance

InfiniBand-свитч SX6005. 12 FDR 56Gb/s портов на одном юните, коммутация 1.3Тб/с.

Многие считают, что InfiniBand — это «космос». То есть считается, что дорого и нужно только для «суперкомпьютеров» (HPC) производительностью в 1-2 Петафлопа и с гиганскими объмами обрабатываемых данных. Тем не менее, с помощью этой технологии можно организовывать не только самые скоростные межсистемные соединения в кластерах, но и радикально снижать задержки в работе критичных приложений. Конкретно – делать то, что может решаться и с помощью Ethernet, но экономичнее и быстрее. Вот пример.

Задача


У одного нашего крупного заказчика из финансовой сферы была проблема в скорости работы двух приложений. Специфика приложений заключалась в том, что необходимо было обрабатывать большое количество транзакций с минимальной задержкой. 6-7 мкс latency – это лучшие результаты, которые они достигли путем апгрейда серверов и максимальной софтверной доработкой. Дальнейшие возможные оптимизации сулили улучшения на уровне 0,3-0,5 мкс. Мы же пришли и сообщили, что сможем уменьшить задержки в два раза.
Читать дальше →
Total votes 47: ↑35 and ↓12+23
Views36K
Comments 49

Дайджест новостей платформы Windows Azure, декабрь-январь

Microsoft corporate blogMicrosoft Azure
image

В рамках этого дайджеста новостей облачной платформы Windows Azure собраны основные анонсы для разработчиков, ИТ-профессионалов и для всех специалистов интересующихся облачными технологиями и платформой Windows Azure.

В этом выпуске:

  • Существенное снижение цен на хранилище данных Windows Azure;
  • Доступность новых экземпляров виртуальных машин для нагруженных вычислений c сетью InfiniBand;
  • Публичная доступность сервиса Hyper-V Recovery Manager;
  • Web Sites. Cтейджинг-окружение. Новый функционал Web Jobs. Функция AlwaysOn;
  • Mobile Services. Интеграция с SenchaTouch. Поддержка package.json. Поддержка startup-скриптов;
  • Windows Azure Scheduler. Интеграция с панелью администрирования;
  • Windows Azure Storage. Доступ на чтение к копии хранилища. Новая версия эмулятора. Библиотеки для С++ и Java;
  • Мониторинг. Новые функции службы мониторинга;
  • Платформа Windows Azure сертифицирована на соответствие PCI DSS;
  • А так же: новая библиотека для PHP, отчет Gartner, видео докладов Cloud OS Summit.

Предыдущие выпуски этого дайджеста можно найти в любой момент по следующей ссылке.
Читать дальше →
Total votes 33: ↑23 and ↓10+13
Views4.2K
Comments 5

Производительность 40G Ethernet с коммутатором на основе Intel ONS

ETegro Technologies corporate blog

Сегодня доступно приличное количество интерфейсов, каждый из которых претендует на полезность и необходимость. Традиционный Ethernet с 1G, 10G, 40G; InfiniBand FDR 56G и QDR 40G; FibreChannel 8G, 16G, обещанный 32G.

Все обещают счастье и рассказывают про свою крайнюю необходимость и полезность в быту. Как с этим быть, что выбрать и где подводные камни?

Читать дальше →
Total votes 20: ↑20 and ↓0+20
Views18K
Comments 50

Как мы переводили облако с Ethernet 10G на Infiniband 56G

КРОК corporate blog

Кабель Mellanox MC2609125-005

В нашем случае Infiniband работал бы в пять раз быстрее, чем Ethernet, а стоил бы столько же. Сложность была только одна – всё это нужно было делать без прерывания облачных сервисов в ЦОДе. Ну, это примерно как пересобрать двигатель автомобиля во время движения.

В России таких проектов попросту не было. Все, кто до сих пор пытались переходить с Ethernet на Infiniband, так или иначе останавливали свою инфраструктуру на сутки-двое. У нас же в облачном «плече», которое находится в дата-центре на Волочаевской-1, около 60 крупных заказчиков (включая банки, розницу, страховые и объекты критичной инфраструктуры) на почти 500 виртуальных машинах, размещенных на примерно сотне физических серверов. Мы первые в стране получили опыт перестроения стораджевой и сетевой инфраструктуры без даунтаймов и немного гордимся этим.


Infiniband-кабель на входе в сервер

В итоге пропускная способность каналов связи между серверами «облака» выросла с 10 Гб/сек до 56 Гб/сек.
Читать дальше →
Total votes 78: ↑75 and ↓3+72
Views59K
Comments 111

Технологии, позволяющие повысить отказоустойчивость VPS

FirstVDS / FirstDEDIC corporate blog
Недавно мы решили выйти за пределы сегмента бюджетных серверов: пересмотреть свое видение хостинга виртуальных машин и создать максимально отказоустойчивую услугу.
В этой статье я расскажу как организована наша стандартная платформа для VPS и какие приемы мы применили, чтобы ее улучшить.

Наша стандартная технология создания VDS
Сейчас хостинг виртуальных серверов у нас выглядит следующим образом:

В стойках установлены одноюнитные серверы примерно такой конфигурации:
  • CPU — 2 x Intel Xeon CPU E5-2630 v2 @ 2.60GHz
  • Motherboard: Intel Corporation S2600JF
  • RAM: 64 Gb
  • DISK: 2 x HGST HDN724040ALE640/4000 GB, INTEL SSDSC2BP480G4 480 GB

Один из серверов является основным. На нем установлен VMmanager и к нему подключены узлы — дополнительные серверы.
Читать дальше →
Total votes 5: ↑4 and ↓1+3
Views7.1K
Comments 7

Самая популярная сеть для суперкомпьютеров или Почему мы выбрали InfiniBand?

SIM-Networks corporate blogIT InfrastructureVirtualizationCloud computingNetwork technologies


Предисловие

Пропускная способность внутри облака — этот пункт очень важен с технологической точки зрения. Это щепетильный момент, очень многие поставщики неохотно говорят на эту тему. Они не хотят раскрывать структуру своей сети. Но если посмотреть на суть вопроса, то от этого зависит насколько качественную услугу вы купите у провайдера. Это во многом зависит от скорости внутри облака. Как ноды соединены между собой? На каких скоростях? По каким протоколам? Сервисы многих предприятий вполне могут работать на 1 гигабите, но нужно учесть, что большинство провайдеров используют 10G, и только самые продвинутые строят свои облака на 40G или InfiniBand 56G.

Под катом пару мыслей о том, почему для нашего облака мы выбрали именно InfiniBand.
Читать дальше →
Total votes 12: ↑11 and ↓1+10
Views7.4K
Comments 9

Есть ли будущее у InfiniBand на Hadoop?

SIM-Networks corporate blogIT InfrastructureNetwork technologiesServer AdministrationHadoop
Translation


Hadoop был создан для запуска на чипах компьютеров широкого употребления с сетевым подключением с низкой скоростью. Но Hadoop кластеры стали больше и организации превысили лимит мощности. Для решения проблемы были найдены специализированные решения такие как твердотельные накопители и сети InfiniBand, у которых есть запас роста.

InfiniBand был представлен миру в 2000 году как сетевой протокол, который был быстрее чем TCP/IP — первоначальный сетевой протокол в сетях Ethernet. Благодаря использованию прямого удаленного доступа к памяти (Remote Direct Memory Access (RDMA) InfiniBand позволяет напрямую записывать/копировать данные из памяти удаленного компьютера, обходя операционную систему и возможные задержки.
Читать дальше →
Total votes 10: ↑10 and ↓0+10
Views4.7K
Comments 7

Производительность сети малой латентности InfiniBand на виртуальном кластере HPC HUB

HPC HUB corporate blogHigh performanceOpen sourceBig DataConcurrent computing
areas

Моделирование сложных физических процессов в наши дни рассматривается как важная технологическая возможность многими современными компаниями. Широко используемым сейчас подходом для создания вычислителей, способных рассчитывать сложные модели, является создание кластерных систем, где вычислительный узел представляет собой сервер общего назначения, подключенный к сети малой латентности и управляемый своей собственной ОС (как правило, из семейства GNU/Linux).

Введение виртуализационного слоя в системное ПО вычислительных кластеров, позволяет в течение нескольких минут создавать “виртуальный кластер”. Такие виртуальные кластера в рамках одной OpenStack инфраструктуры являются абсолютно независимыми. Пользовательские программы внутри них могут изменяться так, как нужно пользователю без каких-либо согласований с кем-либо, а логические устройства, на которых находятся пользовательские данные, недоступны другим виртуальным кластерам.

Поддержка сети малой латентности виртуализационными решениями представляет собой отдельную сложную проблему. Для прикладных программ в большинстве случаев современная виртуализация на основе KVM приводит к минимальным потерям вычислительной мощности (<1%). Однако специализированные тесты сетей малой латентности показывают накладные расходы от виртуализации не более 20% на операциях синхронизации.
Читать дальше →
Total votes 12: ↑12 and ↓0+12
Views4.8K
Comments 6

Основные протоколы хранения: использование и перспективы

RAIDIX corporate blogIT InfrastructureServer AdministrationSANData storage


В этой статье мы проведем небольшой обзор наиболее популярных протоколов, которые используются для построения сетей хранения данных (SAN). Также рассмотрим перспективы развития и использования отдельных протоколов, опираясь на общедоступные роудмапы производителей.
Читать дальше →
Total votes 17: ↑16 and ↓1+15
Views25K
Comments 22

ZFS Storage, резерв и тестовые среды

Альфа-Банк corporate blogIT InfrastructureBackupData storage
— А у нас есть какой-нибудь снимок за январь, ближе к февралю?
— Сейчас посмотрим… Да, есть! Сейчас откроем.


Бывает так, что есть среднее время жизни тестовой базы, есть согласованное всеми заинтересованными время жизни снэпшотов, но какая-то из сред слишком долго «засиживается» на своём снимке, который никак не удаляется… а потом он оказывается полезен коллегам. И минус на минус даёт плюс.

Обычно для любых систем, в которых может что-то происходить, требуется формировать бэкапы. А если она ещё и развивается и дорабатывается, то где-то также разворачивать среды разработки и тестирования. Причём для бэкапов и сред тестирования, которые работают, по сути, с теми же данными, нужно немало места. А ещё эти среды надо как-то приводить к актуальному состоянию. И всё это требует аппаратных и временных ресурсов.

В нашем случае, эти потребности покрыли Oracle ZFS Storage Appliance и серверы Oracle / Sun, которые фактически слились в одну экосистему с Exadata, появившейся незадолго до них.
Читать дальше →
Total votes 20: ↑18 and ↓2+16
Views4.5K
Comments 10

Быстрая сеть в домашней лаборатории или как я связался с InfiniBand

Network technologiesNetwork hardwareDIYLifehacks for geeks
Sandbox

Пусть надо мной посмеются сетевые инженеры в больших интеграторах, у которых есть доступ к топовому оборудованию за кучу килобаксов. Я хочу рассказать о том, как можно получить свою домашнюю сетку, которая будет быстрой, и не разориться.

tl;dr Если кому интересно, то сейчас такая ситуация, что пару десктопов можно связать 56Gb сеткой за <$100+доставка из штатов. Если хочется больше компьютеров, то это <$100 за 12 портовый свитч 40Gb и ~$60 за десктоп, плюс доставка. Но это всё б/у и ноль гарантий.

К нудным подробностям
Total votes 53: ↑53 and ↓0+53
Views18K
Comments 47