Information

Founded
Location
Россия
Website
www.oversunmercury.ru
Employees
101–200 employees
Registered
Pull to refresh
Comments 104
Так данные то идут в обе стороны. На каждом порте 40 Гбит/с на вход и столько же на выход, то есть надо умножать на 2.
50Tb/s это backplane. Он всегда с запасом делается, потому что сейчас уже выпускаются порты IB EDR 120Gb/s.
Это понятно, я о другом. zenden2k всё правильно посчитал и на 2 не забыл умножить.

А то, что backplane модульного свича обеспечивает большую пропускную способность, нежели суммарная по портам, так это вполне нормально для железяк такого уровня. Это вам не SOHO свич, у которого внутренняя пропускная способность шины не более чем в 2 раза выше скорости одного порта, независимо от количества портов.
Мдэ. Это вам не какой-нить Длинк за двести баксов =)
В кабинет к хирургу входит грузин, снимает штаны и хлопает на стол полуметровый член
Хирург:
— Э-э… Жалуетесь?
— Нэт, пасматри какой красывый!

Ну типа да, «бохато», бабла влито без меры. И чего? «Жалуетесь?» ;)
Ну пыль в глаза публике Хабра пускать оно конечно пойдет, ага.

Но лично у меня, чем больше я а это смотрю, тем больше зреет вопрос, а при всех этих тратах на чем господа собрались все эти затраты отбивать. Хотя бы просто затраты, не говоря уже о прибыли?
Или это пресловутая «гитара Джимми Хендрикса» в фильме Бондарчука «Обитаемый Остров», на которой якобы «записывали саундтрек» купив ее тысяч за 70.

Красиво спустить бабло на коммутаторы инфинибэнд это все конечно весело, ага, в России всегда были большие мастера спускать отцовские состояния весело, с цыганами, медведями и шампанским, но все же?
На чем это окупать предполагается и за сколько десятилетий?
В статье косвенно указано и я лично неодократно говорил, в том числе и на конференциях, что фабрика IB стоит дешевле фабрик Ethernet + FibreChannel вместе взятых и по цене примерно равна фабрике Ethernet. Поэтому с экономикой тут никаких проблем нет.
Насколько я в теме, сказанное вами про цены довольно сомнительно.

Но вопрос не в том, почем вы купили, а в том, как собираетесь на этом зарабатывать и отбивать затраты. Толстые «папики»-инвесторы это конечно хорошо, но однажды они же захотят посмотреть как деньжата «работают», и когда ждать от них отдачи?

Пока же никакой конкретики, сплошные «пассы руками».
Присоединюсь сюда:
habrahabr.ru/company/oversun-mercury/blog/94708/?reply_to=2884344#comment_2884336
Если когда-нибудь мы станем открытой компанией, то я покажу вам все расчеты и предложу купить наших акций =)
коммутатор рассчитан на годы работы, и используется в системе облачного хостинга «Оверсан-Скалакси». насколько мне известно, дела у компании идут нормально, наблюдается стабильный рост.
UFO landed and left these words here
Реклама красивая!
Вы меня хотите куда-то пригласить на экскурсию в приделах РФ посмотреть на крутой хай-енд?
UFO landed and left these words here
экскурсии мы устраиваем регулярно. правда, для потенциальных клиентов. думаю, через какое-то время мы кинем клич в блоге и организуем экскурсию для десятка счастливчиков (больше просто сложно).
Дело в том, что на моем острове о ТАКОМ оборудовании можно только мечтать и смотреть на картинки и ваши (имеется ввиду фирмы) статьи. Я бы не пожалел денег и с удовольствием прилетел, только чтобы посетить ваш датацентр. А то как обычно, все достанется только москвичам…
ну, если уж вы прилетите в москву, чтобы, пусть и среди прочего, посмотреть дата-центр, то не устроить вам экскурсию было бы просто свинством. так что, как соберетесь — пишите, что-нибудь придумаем )).
Про системы кондиционирования habrahabr.ru/company/oversun-mercury/blog/89452/ и
электропитания habrahabr.ru/company/oversun-mercury/blog/89765/ вы тоже писали.

Процитирую письмо из оверсан скалакси:

К сожалению, сегодня 27 мая в 03:40 в дата-центре в результате скачка напряжения отключилась система кондиционирования, в связи с чем произошел перегрев оборудования и его автоматическое отключение. По вине оператора «Оверсан-Меркурий» резервное оборудование было включено только через час, а работоспособность Ваших ресурсов была восстановлена к 04:32.

С данного момента дублирующее резервное оборудование включено и более такая ситуация не повторится.

Приносим Вам свои извинения за причиненные неудобства.

Просьба прокомментировать ситуацию.
У меня нет основания верить вашей информации. Да и не относится это к делу.
можно теперь и грязью полить, раз это больше не «ваш» дата-центр? )))
в своем репертуаре…
Да кто ж поливает? Я просто дал ссылку на гугль… просто знаю, в чем дело и смешно иногда читать отмазки :)
И вообще, я непричастен :)
ситуацию прокомментирую в ближайшее время. о сбое знаю, но подробности выясняются. в любом случае, без внимания инцидент не оставим. «основная версия следствия» на текущий момент — человеческий фактор.
на текущий момент информация следующая: автоматикой был отключен кондиционер, работающий на ряд не до конца заполненных стоек, где, в том числе, было установлено оборудование нескольких клиентов, и компании «Оверсан-Скалакси».

остальные кондиционеры работали, поэтому проблема была замечена не сразу. в результате часть оборудования была автоматически отключена во избежание повреждения от перегрева.

потеря времени была вызвана долгим распознаванием проблемы и временными затратами на ручной пуск кондиционера, заблокированного автоматически.

производится перенастройка и повторное нагрузочное тестирование системы охлаждения, приняты кадровые меры.

это все, что я могу сообщить на данный момент.
Как всегда интересно, спасибо.

PS// А можно показать фото самих модулей? И раз вы проводили исследование то можно узнать во сколько обошлось такое оборудование?
боюсь, не смогу назвать цифры — коммутатор используется компанией «Оверсан-Скалакси» и лишь размещен в нашем дата-центре. с их разрешения я и написал этот пост — уж больно масштабный аппарат. возможно, кто-то другой, знакомый со спецификой, сможет вам подсказать.
Вообще он под ним и развернут. Ноды GPFS-хранилища с дисками коммутируются к серверам напрямую по IB через этот коммутатор.
Я ниже в комментах написал архитектуру. По ней узкое горлышко сведено к минимуму.
диски напрямую подключены к серверу, сервер — к коммутатору по Infiniband. по-моему, вполне достаточно.
Интерфейс SAS 3 Гбит/с. Гостевые ОС кластера работают с хранилищами через IB SAN (стучатся к серверам с подключенными MSA через SAS). Я правильно понимаю? Получается скорость записи в массивы очень мала по сравнению с интерконнектами между гостевыми ОС в среде IB.
Ниже в комментах написла поподробнее об архитектуре.
Так точно и есть :) Разве что использовать пропускную способоность IB, чтобы гонять данные из памяти между серверами.
Плюс на базе этого можно запускать HA-утилиты для Xen. Которые онлайн синкают состояние двух виртуальных машин которые на разных физических сервера работают. Естественно с некоторой потерей произхводительности самих машин и только по желанию пользователя.
Весь этот «geek porn» это все конечно интересно, сам такое люблю, но когда мы уже услышим не про то, как Оверсан тратит деньги, а про то, как он их зарабатывает?

Иначе быть вам в веселой компании, никакой инфинибэнд не спасет:
khanoyants.habrahabr.ru/blog/94665/
«Компания потратила 1 миллиард долларов на строительство складских помещений, и покупку более 1000 кресел Aeron (цена одного кресла более 1000$)»
блин, да ты лучше посмотри какая железяка!
а какой смысл технарей про бабло спрашивать?
Ну так я выше и пошутил уже про «Ты пасматры какой красывый!» ;)
хорошо. а спрашивать то зачем? технари редко участвуют в разработке финансовой стратегии компании.
Ну должен же это хоть кто-то спросить, чтобы люди не особо-то среди звезд парили ;)
Поближе к ней, нашей грешной, земельке, пожалуйста.
Лучше почитайте, сколько тратят наших денег чиновники себе на мебель.
Как только у них появится блог на Хабре — обязательно :)
А задача-то какая у всей этой груды железа? «Наши специалисты провели целое исследование, какое оборудование будет соответствовать налагаемым требованиям» — какие требования-то?
Требования — бездисковые сервера, отдельное надежное хранилище, быстрая IP сеть. Для того, что бы выполнять миграции онлайн с минимальной задержкой и высоким уровнем отказоустойчивости.
Бездисковые сервера, к которым подключен напрямую массив MSA? Я просто не могу всё равно понять, чем планируется загрузить 40Гбит на порт в рельной жизни :) Миграция ВМ с ноды на ноду — секунды, при использовании shared storage, даже по гигабитному iscsi. Интересен пример задачи под такой коммутатор, и какие сервера? А сколько дисков суммарно во всех MSAшках?
40Gb/s — это сырая шина. Полезная полоса 32Gb/s, 8Bb/s уходят на контроль ошибок и управление. Из этих 32Gb/s 10 на IP, оставшееся на хранилище, дополнительные сервисы, которые мы будем запускать в будущем и overhead.

Про архитектуру поподробнее написал пониже.
масштабируемость, запас мощности, работа на 40-гигабитной скорости, достойное управляющее ПО, гибкость конфигурирования.
Работа на 40-гигабитной скорости сама по себе не может являться задачей или целью, так же как и запас мощности. Для чего нужен запас мощности? Запас мощности нужен для достижения цели получить запас мощности. Так? Ну и масштабируемость, достойность управляющего ПО и гибкость — это вообще качественные характеристики, которые очень трудно оценить без привязки к конкретной потребности.

Конечно MSA на этом фоне выглядят несколько не сбалансированно: 40Гбит от него в жизни не добиться.
Выбор infiniband 40Gb/s обусловлен тем, что это дешевле и масштабируемей чем ethernet 10Gb/s + fibrechannel 4Gb/s. Ну а 10Gb/s общей шины это аккурат для виртуальных серверов.

MSA согласен выглядят не сбалансированно, но у MSA есть разные модели с разным количеством SAS портов. Ахитектура следующая: сервер в котором 12 дисков + MSA в которой еще 12 дисков, и GPFS который умеет балансировать данные по дискам в зависимости от нагрузки. А в сервере уже все диски подключены к контроллерам и уходят в два порта IB 40Gb/s.
Тут еще стоит добавить, что есть также ноды с SSD. Там никаких узких горлышек нет. А GPFS обеспечивает распределение горячих данных с учетом SSD.
В таком мощном проекте SAS коннект не должен использоваться вообще.

Если Вы скажете что MSA были куплены ранее и надо было их куда-то пристроить — то я думаю все этой поймут и все вопросы будут сняты.
Тут уже вопрос цены. Конечно можно было все построить лучше, но потом купил бы кто =)
Не понимаю откуда сыр-бор=) К сожалению 12 15к SAS дисков не могут полность утилизировать SAS-канал в 3 Гб/с, это протестировано. Так что выбор сделан абсолютно верно. А если учесть, что профиль нагрузки на диски рандомный, то получается еще и с запасом.
А сервер с подключенными к нему 12+12 дисками способен утилизировать 40Гбит? :)
40Гбит нет. Но ведь я написал как мы используем полосу.
Хорошо, 8Гбит на управление и целостность (а не много ли? 20% от фантастической полосы...), 10Гбит на IP, пусть ещё 10 на хранилище, и пара-тройка гигабит на «overhead» (накладные расходы? Ещё?? В добавок к тем 20%???). Остаётся ещё десяток гигабит под некие «сервисы». Эти сервисы будут в сферическом вакууме работать? Они что не будут использовать IO хранилища, или передавать данные не по IP-протоколу (на который уже выделен десяток)?

В общем, трудно представить чем можно занять хотя бы 10Гбит, которые отведены на IP, ведь у нас же не будет стоять задача гонять просто трафик.
Этой осенью на Highload'10 мы все расскажем, в том числе и куда использовать остатки полосы.

P.S. 8Gb/s на контроль зашито в архитектуре IB, это не мы столько отрезали.
правильно я понимаю, что infiniband в данном случае используется вместо сети и транспорта san, а не в «классическом» для обмена между нодами данными в вычислительном кластере?
PS сам люблю apc-шные шкафы, у вас все в них?
большая часть шкафов — АРС, еще несколько Rittal. планируются к установке жидкостные стойки Schaefer Uniqle, вся инфраструктура и помещение под них готовы.
Да, абсолютно правильно. Объединив SAN + Ethernet на одном транспорте Infiniband мы получаем как раз существенную экономию средств.
… подключены дисковые хранилища HP MSA c реализованной на них кластерной файловой системой GPFS. Это обеспечивает хорошую пропускную способность по дисковому вводу-выводу в виртуальных инстансах.

Это же с каких это пор MSA стала обеспечивать хорошую пропускную способность?
MSA -> это самый дешёвый вариант хранилища от компании HP. Да и «на лету» не переконфигурить.
В солидной организации её место -> хранилище для баз разработчиков и редко для тестов. Продуктивные системы на таких хранилищах НЕ ДЕЛАЮТ(!!!)…
чуть выше уже был ответ, цитирую: «у MSA есть разные модели с разным количеством SAS портов. Ахитектура следующая: сервер в котором 12 дисков + MSA в которой еще 12 дисков, и GPFS который умеет балансировать данные по дискам в зависимости от нагрузки. А в сервере уже все диски подключены к контроллерам и уходят в два порта IB 40Gb/s».
Итого получаемся 24 SAS диска по 200 (пусть даже так!) IOPS при размере блока эдак 16кбайт, итого получаем 76,8Мбайт/сек = 768Мбит/сек, ужас, упираемся в почти в полку гигабита при случайной нагрузке.
Абсолютно так. Только в MSA не 24 диска, а 12-ть. Я писал уже об этом выше.
Это я ещё 12 дисков установленых непосредственно в самом сервере прибавил, хотя требования вроде как «бездисковые сервера, отдельное надежное хранилище»
Имелся ввиду сервер ноды хранилища, а не сервер виртуализации.
Ну если взять Google, то у них работает железо и того проще, но ведь вы не назовете Google «несолидной оргаизацией»?
>В итоге выбор пал на Infiniband, как технологию проверенную, обкатанную
кагбэ «проверенную и обкатанную» — мягко говоря не совсем так. если мне память не изменяет, Дима даже на хайлоаде об этом говорил. скорее «передовая и малоисследованная» ;)
и хотелось бы услышать, если политика открытия данных не поменялась, какие реальные цифры по пропускной способности шины получаются на этой бандуре :)
Вадим, привет!

Она нами малоисследована =) А MPI-based ребята ее давно знают. Даже в России.

По поводу полосы — под IP клиентский выделено 10Gb/s. Хралищем до отказа забить канал не удается (нет еще таких хранилищ). Остатки отведены для сервисов дополнительных, а-ля memcached, mysql и т.д.
привет!
нее, понятно, что расчетные значения перекрываются. интересно именно реальная способность шины и конкретной железки. 40 — это ж теоретическая возможность.
Приходи в октябре на Highload, мы там расскажем кое-что =)
По моему идеальное начало для статьи было бы примерно такое:

50'000 $

:)
Вы оптимист однако, может один можуль столько и стоит. :)
Один только адаптер в сервер стоит порядка штуки баксов :)
сила!
так и хочется сказать коммутатор — мужик! =)
Меня пугает зоопарк, который вы разводите. HP, Cisco, Juniper. Проблем с управлением нет?
Only those users with full accounts are able to leave comments. Log in, please.