Comments 104
Класс!
Ждем статью о коммутаторах Juniper.
Ждем статью о коммутаторах Juniper.
внушает
Поздравляю с покупкой :)
324 x 40 Гбит/с x 2 = 25,9 Терабит, не?
Так данные то идут в обе стороны. На каждом порте 40 Гбит/с на вход и столько же на выход, то есть надо умножать на 2.
324 x 40 Гбит/с x 2 = 25,9
Кэп?
Кэп?
50Tb/s это backplane. Он всегда с запасом делается, потому что сейчас уже выпускаются порты IB EDR 120Gb/s.
Это понятно, я о другом. zenden2k всё правильно посчитал и на 2 не забыл умножить.
А то, что backplane модульного свича обеспечивает большую пропускную способность, нежели суммарная по портам, так это вполне нормально для железяк такого уровня. Это вам не SOHO свич, у которого внутренняя пропускная способность шины не более чем в 2 раза выше скорости одного порта, независимо от количества портов.
А то, что backplane модульного свича обеспечивает большую пропускную способность, нежели суммарная по портам, так это вполне нормально для железяк такого уровня. Это вам не SOHO свич, у которого внутренняя пропускная способность шины не более чем в 2 раза выше скорости одного порта, независимо от количества портов.
Крутая махина :)
Солидно, несколько контрастирует с недавним топиком о другом провайдере
Мдэ. Это вам не какой-нить Длинк за двести баксов =)
В кабинет к хирургу входит грузин, снимает штаны и хлопает на стол полуметровый член
Хирург:
— Э-э… Жалуетесь?
— Нэт, пасматри какой красывый!
Ну типа да, «бохато», бабла влито без меры. И чего? «Жалуетесь?» ;)
Хирург:
— Э-э… Жалуетесь?
— Нэт, пасматри какой красывый!
Ну типа да, «бохато», бабла влито без меры. И чего? «Жалуетесь?» ;)
Это красивая реклама, а не просто «понты»
Ну пыль в глаза публике Хабра пускать оно конечно пойдет, ага.
Но лично у меня, чем больше я а это смотрю, тем больше зреет вопрос, а при всех этих тратах на чем господа собрались все эти затраты отбивать. Хотя бы просто затраты, не говоря уже о прибыли?
Или это пресловутая «гитара Джимми Хендрикса» в фильме Бондарчука «Обитаемый Остров», на которой якобы «записывали саундтрек» купив ее тысяч за 70.
Красиво спустить бабло на коммутаторы инфинибэнд это все конечно весело, ага, в России всегда были большие мастера спускать отцовские состояния весело, с цыганами, медведями и шампанским, но все же?
На чем это окупать предполагается и за сколько десятилетий?
Но лично у меня, чем больше я а это смотрю, тем больше зреет вопрос, а при всех этих тратах на чем господа собрались все эти затраты отбивать. Хотя бы просто затраты, не говоря уже о прибыли?
Или это пресловутая «гитара Джимми Хендрикса» в фильме Бондарчука «Обитаемый Остров», на которой якобы «записывали саундтрек» купив ее тысяч за 70.
Красиво спустить бабло на коммутаторы инфинибэнд это все конечно весело, ага, в России всегда были большие мастера спускать отцовские состояния весело, с цыганами, медведями и шампанским, но все же?
На чем это окупать предполагается и за сколько десятилетий?
Фамилия ваша не Шнипельсон?
В статье косвенно указано и я лично неодократно говорил, в том числе и на конференциях, что фабрика IB стоит дешевле фабрик Ethernet + FibreChannel вместе взятых и по цене примерно равна фабрике Ethernet. Поэтому с экономикой тут никаких проблем нет.
Насколько я в теме, сказанное вами про цены довольно сомнительно.
Но вопрос не в том, почем вы купили, а в том, как собираетесь на этом зарабатывать и отбивать затраты. Толстые «папики»-инвесторы это конечно хорошо, но однажды они же захотят посмотреть как деньжата «работают», и когда ждать от них отдачи?
Пока же никакой конкретики, сплошные «пассы руками».
Присоединюсь сюда:
habrahabr.ru/company/oversun-mercury/blog/94708/?reply_to=2884344#comment_2884336
Но вопрос не в том, почем вы купили, а в том, как собираетесь на этом зарабатывать и отбивать затраты. Толстые «папики»-инвесторы это конечно хорошо, но однажды они же захотят посмотреть как деньжата «работают», и когда ждать от них отдачи?
Пока же никакой конкретики, сплошные «пассы руками».
Присоединюсь сюда:
habrahabr.ru/company/oversun-mercury/blog/94708/?reply_to=2884344#comment_2884336
коммутатор рассчитан на годы работы, и используется в системе облачного хостинга «Оверсан-Скалакси». насколько мне известно, дела у компании идут нормально, наблюдается стабильный рост.
UFO just landed and posted this here
В Яндекс-маркете нету:) негде цену посмотреть:)))
Экскурсии будете устраивать?
экскурсии мы устраиваем регулярно. правда, для потенциальных клиентов. думаю, через какое-то время мы кинем клич в блоге и организуем экскурсию для десятка счастливчиков (больше просто сложно).
Про системы кондиционирования habrahabr.ru/company/oversun-mercury/blog/89452/ и
электропитания habrahabr.ru/company/oversun-mercury/blog/89765/ вы тоже писали.
Процитирую письмо из оверсан скалакси:
К сожалению, сегодня 27 мая в 03:40 в дата-центре в результате скачка напряжения отключилась система кондиционирования, в связи с чем произошел перегрев оборудования и его автоматическое отключение. По вине оператора «Оверсан-Меркурий» резервное оборудование было включено только через час, а работоспособность Ваших ресурсов была восстановлена к 04:32.
С данного момента дублирующее резервное оборудование включено и более такая ситуация не повторится.
Приносим Вам свои извинения за причиненные неудобства.
Просьба прокомментировать ситуацию.
электропитания habrahabr.ru/company/oversun-mercury/blog/89765/ вы тоже писали.
Процитирую письмо из оверсан скалакси:
К сожалению, сегодня 27 мая в 03:40 в дата-центре в результате скачка напряжения отключилась система кондиционирования, в связи с чем произошел перегрев оборудования и его автоматическое отключение. По вине оператора «Оверсан-Меркурий» резервное оборудование было включено только через час, а работоспособность Ваших ресурсов была восстановлена к 04:32.
С данного момента дублирующее резервное оборудование включено и более такая ситуация не повторится.
Приносим Вам свои извинения за причиненные неудобства.
Просьба прокомментировать ситуацию.
Не все бабло допилили, вот и недоделки :)
ситуацию прокомментирую в ближайшее время. о сбое знаю, но подробности выясняются. в любом случае, без внимания инцидент не оставим. «основная версия следствия» на текущий момент — человеческий фактор.
на текущий момент информация следующая: автоматикой был отключен кондиционер, работающий на ряд не до конца заполненных стоек, где, в том числе, было установлено оборудование нескольких клиентов, и компании «Оверсан-Скалакси».
остальные кондиционеры работали, поэтому проблема была замечена не сразу. в результате часть оборудования была автоматически отключена во избежание повреждения от перегрева.
потеря времени была вызвана долгим распознаванием проблемы и временными затратами на ручной пуск кондиционера, заблокированного автоматически.
производится перенастройка и повторное нагрузочное тестирование системы охлаждения, приняты кадровые меры.
это все, что я могу сообщить на данный момент.
остальные кондиционеры работали, поэтому проблема была замечена не сразу. в результате часть оборудования была автоматически отключена во избежание повреждения от перегрева.
потеря времени была вызвана долгим распознаванием проблемы и временными затратами на ручной пуск кондиционера, заблокированного автоматически.
производится перенастройка и повторное нагрузочное тестирование системы охлаждения, приняты кадровые меры.
это все, что я могу сообщить на данный момент.
Как всегда интересно, спасибо.
PS// А можно показать фото самих модулей? И раз вы проводили исследование то можно узнать во сколько обошлось такое оборудование?
PS// А можно показать фото самих модулей? И раз вы проводили исследование то можно узнать во сколько обошлось такое оборудование?
MSA, да еще и SAS… Не серьезно как-то :)
Надо было и SAN разворачивать под Infiniband ;)
диски напрямую подключены к серверу, сервер — к коммутатору по Infiniband. по-моему, вполне достаточно.
А что серьезно?
Интерфейс SAS 3 Гбит/с. Гостевые ОС кластера работают с хранилищами через IB SAN (стучатся к серверам с подключенными MSA через SAS). Я правильно понимаю? Получается скорость записи в массивы очень мала по сравнению с интерконнектами между гостевыми ОС в среде IB.
Ниже в комментах написла поподробнее об архитектуре.
UFO just landed and posted this here
А это и есть главная составляющая для Live Migration.
Плюс на базе этого можно запускать HA-утилиты для Xen. Которые онлайн синкают состояние двух виртуальных машин которые на разных физических сервера работают. Естественно с некоторой потерей произхводительности самих машин и только по желанию пользователя.
Блин! Это же монстер. Спасибо за обзор ;)
Весь этот «geek porn» это все конечно интересно, сам такое люблю, но когда мы уже услышим не про то, как Оверсан тратит деньги, а про то, как он их зарабатывает?
Иначе быть вам в веселой компании, никакой инфинибэнд не спасет:
khanoyants.habrahabr.ru/blog/94665/
«Компания потратила 1 миллиард долларов на строительство складских помещений, и покупку более 1000 кресел Aeron (цена одного кресла более 1000$)»
Иначе быть вам в веселой компании, никакой инфинибэнд не спасет:
khanoyants.habrahabr.ru/blog/94665/
«Компания потратила 1 миллиард долларов на строительство складских помещений, и покупку более 1000 кресел Aeron (цена одного кресла более 1000$)»
UFO just landed and posted this here
масштабируемость, запас мощности, работа на 40-гигабитной скорости, достойное управляющее ПО, гибкость конфигурирования.
UFO just landed and posted this here
Выбор infiniband 40Gb/s обусловлен тем, что это дешевле и масштабируемей чем ethernet 10Gb/s + fibrechannel 4Gb/s. Ну а 10Gb/s общей шины это аккурат для виртуальных серверов.
MSA согласен выглядят не сбалансированно, но у MSA есть разные модели с разным количеством SAS портов. Ахитектура следующая: сервер в котором 12 дисков + MSA в которой еще 12 дисков, и GPFS который умеет балансировать данные по дискам в зависимости от нагрузки. А в сервере уже все диски подключены к контроллерам и уходят в два порта IB 40Gb/s.
MSA согласен выглядят не сбалансированно, но у MSA есть разные модели с разным количеством SAS портов. Ахитектура следующая: сервер в котором 12 дисков + MSA в которой еще 12 дисков, и GPFS который умеет балансировать данные по дискам в зависимости от нагрузки. А в сервере уже все диски подключены к контроллерам и уходят в два порта IB 40Gb/s.
Тут еще стоит добавить, что есть также ноды с SSD. Там никаких узких горлышек нет. А GPFS обеспечивает распределение горячих данных с учетом SSD.
В таком мощном проекте SAS коннект не должен использоваться вообще.
Если Вы скажете что MSA были куплены ранее и надо было их куда-то пристроить — то я думаю все этой поймут и все вопросы будут сняты.
Если Вы скажете что MSA были куплены ранее и надо было их куда-то пристроить — то я думаю все этой поймут и все вопросы будут сняты.
Тут уже вопрос цены. Конечно можно было все построить лучше, но потом купил бы кто =)
Не понимаю откуда сыр-бор=) К сожалению 12 15к SAS дисков не могут полность утилизировать SAS-канал в 3 Гб/с, это протестировано. Так что выбор сделан абсолютно верно. А если учесть, что профиль нагрузки на диски рандомный, то получается еще и с запасом.
правильно я понимаю, что infiniband в данном случае используется вместо сети и транспорта san, а не в «классическом» для обмена между нодами данными в вычислительном кластере?
PS сам люблю apc-шные шкафы, у вас все в них?
PS сам люблю apc-шные шкафы, у вас все в них?
… подключены дисковые хранилища HP MSA c реализованной на них кластерной файловой системой GPFS. Это обеспечивает хорошую пропускную способность по дисковому вводу-выводу в виртуальных инстансах.
Это же с каких это пор MSA стала обеспечивать хорошую пропускную способность?
MSA -> это самый дешёвый вариант хранилища от компании HP. Да и «на лету» не переконфигурить.
В солидной организации её место -> хранилище для баз разработчиков и редко для тестов. Продуктивные системы на таких хранилищах НЕ ДЕЛАЮТ(!!!)…
Это же с каких это пор MSA стала обеспечивать хорошую пропускную способность?
MSA -> это самый дешёвый вариант хранилища от компании HP. Да и «на лету» не переконфигурить.
В солидной организации её место -> хранилище для баз разработчиков и редко для тестов. Продуктивные системы на таких хранилищах НЕ ДЕЛАЮТ(!!!)…
чуть выше уже был ответ, цитирую: «у MSA есть разные модели с разным количеством SAS портов. Ахитектура следующая: сервер в котором 12 дисков + MSA в которой еще 12 дисков, и GPFS который умеет балансировать данные по дискам в зависимости от нагрузки. А в сервере уже все диски подключены к контроллерам и уходят в два порта IB 40Gb/s».
Ну если взять Google, то у них работает железо и того проще, но ведь вы не назовете Google «несолидной оргаизацией»?
Сколько стоит?
>В итоге выбор пал на Infiniband, как технологию проверенную, обкатанную
кагбэ «проверенную и обкатанную» — мягко говоря не совсем так. если мне память не изменяет, Дима даже на хайлоаде об этом говорил. скорее «передовая и малоисследованная» ;)
и хотелось бы услышать, если политика открытия данных не поменялась, какие реальные цифры по пропускной способности шины получаются на этой бандуре :)
кагбэ «проверенную и обкатанную» — мягко говоря не совсем так. если мне память не изменяет, Дима даже на хайлоаде об этом говорил. скорее «передовая и малоисследованная» ;)
и хотелось бы услышать, если политика открытия данных не поменялась, какие реальные цифры по пропускной способности шины получаются на этой бандуре :)
По моему идеальное начало для статьи было бы примерно такое:
50'000 $
:)
50'000 $
:)
А обзор Storage Works'ов будет ?!
очень интересуют модельки ;-)
очень интересуют модельки ;-)
UFO just landed and posted this here
Меня пугает зоопарк, который вы разводите. HP, Cisco, Juniper. Проблем с управлением нет?
Sign up to leave a comment.
324 Infiniband-порта в одной стойке или коммутатор Voltaire Grid Director 4700