Comments 132
«Свои ошибки я понял только после того, как посмотрел, как работают монтажники.»
Монтажники (высотники… по песни) не только высоты не боятся, но и серверных))
Отличная работа) Молодцы!
Руки важнее. Потому что чаще всего это «понимаю как нужно, но не получается».
С одной стороны красиво и эстетично. А с другой возникает вопрос, каким образом администратор должен работать с сервером, все выходы которого зажаты в стяжки по 3-4 штуки с соседним оборудованием и еще закреплены на стойках? Чтобы к примеру добавить память в сервер, нужно с обратной стороны стойки всё отключать от конкретной машины, выкатить его, поработать и потом всё воткнуть в обратной последовательности. Имхо, необходимо продумать длину патчкордов, кабелей питания, чтобы сервера могли свободно перемещаться в салазках.
Могу описать наш регламент: сервер демонтируется инженерами, выносится к заказчику, «делай что хочешь». В стойке никто никаких работ не проводит (это слишком опасно, когда рядом столько серверов).
А как демонтировать сервер из середины пачки? Придется отключать сеть всем соседним?
Да меня просто ручки на БП смутили, а потом вычитал что серваки там сами по себе
Спасибо за идею, выложу как-нибудь фотосессию вынимания сервера.

На самом деле всё просто: сервер отключается (если мешают провода, мелкие пучки расплетаются), вынимается. (в какую сторону я даже и не помню). Но в любом случае, горизонтальная часть не мешает движению сервера, а вертикальная в районе сервера достаточно маленькая, чтобы легко отогнуть можно было.
Выезжает на салазках с другой стороны. ;)

Разноцветные патчкорды очень приятно смотрятся.
насколько я знаю, для каждого цвета есть общепринятые рекомендации: какой-то цвет для магистральных линий, какой-то — для резервных, и т. п. не помню только, какой для какого, но нагуглить не слишком сложно.
Очень интересно! Нагуглите пожалуйста, если не сложно, т.к. у меня не получилось. И я вообще впервые об это слышу.

Вообще, производители обычно используют цветовую маркировку оболочек кабелей для разграничение линеек оборудования, то есть кабели категории 5е, наиболее часто сейчас используемые в горизонтальной подсистеме, имеют в большинстве случаев серую оболочку. Кабели категории 6 могут быть как серые, так и цвета так называемой морской волны. 10G — так же голубые и ещё бог знает какие. И каждый производитель использует цвет какой ему вздумается. Но ни в одном стандарте я не увидел вашей теории. Я что-то пропустил в этой жизни?
Я хотел было написать, что там слишком много стандартов (оранжевая оболочка для пленум полостей для бесхлорного кабеля, особый цвет для заземления и линии оповещения о ЧП), но понял, что в этом всём слишком мало знаю. Так что писать не буду.
Кажется я понял что вы имели ввиду. Скажем для внешних кабелей используется оболочка чёрного цвета, указывающего на её устойчивость к УФ излучению. Оранжевый — не горючий. Вы это имели ввиду?
Как по мне, это не выход. Сервер должен выниматься полностью из стойки, если он будет вытягиваться на длину кабеля — есть вероятность что вы можете зацепить соседний сервер или же при работе уронить что то. А так — вынули, добавили все что нужно, установили обратно.
Шикарно. Самое главное поддерживать и следить ) что бы опять все не превратилось в непониятную паутину
шикарно оформленные стойки, я уже ваш кумир. единственное что могу посоветовать — купить какойнить промышленный принтер для этикеток у brother'а например и подписать все коннекторы и вилки.

а технарей которые разводят кабельхел с первого всунутого провода надо выводить на арену всяких cisco expo и прилюдно рубить руки. чтоб неповадно было.
«я уже ваш кумир»
Это вы мощно задвинули-)
Спасибо, что не идол…
логистов, покупающие самые дешевые шкафы и не покупающие органайзеры, ставить рядом.
Везде где я работал (а также у себя дома) — приводил СКС в «правильный» вид. Главное (как было сказано уже выше) постоянно поддерживать и следить за порядком, иначе хаос будет уже через неделю-вторую.
хм!

У меня не было диктофона, а так бы я записал те заговоры и заклинания, которые обычно произносят во время монтажа. 18+ strictly.
Зато в конце стоишь и любуешься на проделанную работу!!!
И происходит это, как правило, ночью.
Да вам IT-интим-студию надо открывать.
Тут только доля сарказма — тема-то интересная ))
у вас питание и пачкорды впритык, а разве не бывает таких ситуаций когда сервер на салазках надо вытащить вперед без отключения, ну там посмотреть память, вентиляторы?
У тех серверов, у которых это можно сделать — там по-другому. У этих ничего вынимать не получится, так что и закладываться на онлайновое «движение» в стойке не нужно.
ну про красивые крепления деллов можно отдельный топик написать :) но это же вроде супермикро, которые тоже выдвигаются.
ОК, но всему время. Обрабатывать фотографии куда скучнее и дольше, чем делать.
Для этого существуют Cable Management Arm. Такая жесткая складывающаяся херовина, куда запихиваются кабели в сложенном виде. Обычно бывает складывающего пополам вида — не очень удобные. Цепного вида более удобны, но на моей практике подпадались один раз с интеловскими серверами. Обычно используют при монтаже в шкафы, ибо в этом случае с задней части не подобраться.
Они уже подключены по порядку. Зная номер сервера можно сразу определить номер порта на патч-панели.
Провода в этой области не промаркированы, потому что они укладываются раз и на всегда (т.е. провода принадлежат не серверу, а «юниту»).
Производителей уйма. Есть данное решение практически у всех производителей СКС вообще и телекоммуникационных шкафов частности. Например у Eurolan и Conteg как достаточно бюджетное решение. Есть решения вплоть до предустановленных в панель распределения электроснабжения (ПРУ по русски или PDU — power distribution unit на англ.) автоматических выключателей. Где конкретно взять могу посоветовать посмотреть дистрибьюторов. Из московских на вскидку это Lindex, Sonet и DNA. Можно глянуть на сайте Электромонтажа. У них с розницей по-моему попроще…
Спасибо. Совсем забыл про существование Электромонтажа. Тем более, что он рядом со мной находится.
Спасибо. Совсем забыл про существование Электромонтажа. Тем более, что он рядом со мной находится.
Не советую брать с пластмассовыми ушками, т.к. они достаточно хрупкие и при падении очень часто летят. В данном случае используются Conteg с металлическими ушами.
Спасибо. Актуально, т.к. рэк туровый, будет много носиться туда-сюда.
Читал, смотрел, радовался. Вот ведь умеют! Потом посмотрел название компании и понял, что мой сервер у вас стоит=)
Спасибо, выглядит так же хорошо, как и работает.
ну… а теперь должны были пойти фотки в комментариях со своими стойками :)
Сделано достаточно хорошо, только вот не соглашусь с жётским затягиванием стяжек. Это может повредить кабель. Для жгутирование патч-кордов рекомендуется применять стяжки на липучках. Во-первых, уменьшается вероятность повреждения. Во-вторых, в случае необходимости перекоммутации нет необходимости орудовать кусачками и срезать старые стяжки, а достаточно просто разлепить липучки.

А вообще очень приятно видеть что культура администрирования в нашей стране растёт. Мне, как человеку, занимающемуся проектирование в том числе и СКС, приятно в двойне, видя что твой труд не пропадает в «паучьем гнезде» =)
Посмотрел фотки, капнул слезой. Красиво, чего уж там.



Поколение пепси выбирает Адъ и кровавый проводастый угар! :)
UFO landed and left these words here
забавно наблюдать, как заходят люди и вертят камеру=)))) война прям идет!
Здесь, как раз все грамотно.
Все линки помечены, провода в органайзерах.
Супер! Очень понравилось, задумался о достижении такого же порядка в своем хозяйстве — не то, чтобы там был бардак, но и не так красиво.
«После долгих уговоров начальства, со скрипом, мне таки разрешили „
Почему после долгих уговоров? фотографировать дата-центр запрещено?
Вообще, да.

Я фотографировал только стойки с арендуемыми или своими серверами, т.к. без согласия клиентов фотографировать никак нельзя (а вдруг там стикер с рутовым паролем пришлёпнут?)
пардон, следует читать… фотографировать колокейшн/арендованные стойки никак нельзя…
Приятно осознавать, что тоже участвовал в создании этого чуда))
Все эти затягивания проводов стяжками, это вовсе нездорово, когда доходит до убитого патчкорда или перевешивания одной железки (Заколебешься работать кусачками)

Мое ИМХО правильно — это пихать кабеля в органайзеры и помечать их с обеих сторон.
согласен.
весьма удивлён использованием нерасцепляемых/одноразовых стяжек.
Ок, рассмотрим ситуацию когда все скреплено, уложено и вдруг «доходит до убитого патчкорда» — заменим без труда, поработать кусачками займет максимум 3 минуты времени (вскрыть косу и заново упаковать), т.к. известно какой именно патч-корд нужно заменить.

Это делается с надеждой на «раз и навсегда» + максимально аккуратно. Патч-корды стягиваются после проверки на работоспособность, ну а чтобы его «запороть» нужно конечно быть варваром в ходе дальнейшей эксплуатации — т.е. надо при каждом открывании шкафа дергать и гнуть его в разные стороны умышленно — как по-другому испортить патч-корд в серверном шкафу я не знаю…

Длины патч-кордов хватает на комфортное «перевешивание железки».
А «пихать кабеля в органайзеры и помечать их с обеих сторон» — спасибо, наелись! :) Это лишняя головная боль.
Я сейчас в отпуске, сижу, листаю пост. Девушка заглядывает через плечо и говорит «По серверам соскучился?» :)

По теме: очень грамотно и аккуратно. Маркировку бы еще добавить — было бы идеально, на мой взгляд.
Она присутствует, а маркировать сами патчи нет смысла, т.к. все включено в определённом порядке.
не согласен.
по поводу маркировки и выше про стяжки.

для вашего варианта — провод к юниту — да, возможно. но это относительно редкий, хостерский вариант.
для «обычной» серверной — упаковывать стяжками смысла нет, патчи коммутации юзеров — постоянно меняются, патчи идущие к серверам — как правило длинные и не очевидно какой куда ведущие.
Офигеть, вот это красотища, вот что значит человек с умелыми руками! Снимаю шляпу перед вами, мастер СКС!!!..
Я-то тут при чём? Я обычный криворукий админ, ты это <~yuhenobi> говори.
А можно подробнее? Я лично на выходных звонил, просил KVM перекинуть. Проблем не заметил.
Вы там оба работаете и вам это не выгодно :)
Советую успокоиться, я сам в этой сфере работал и знаю что да как.
Ну не ответили пару тройку раз на заявку, когда ночами сервант вис и хотел на ребут.
Меня инженеры мало волнуют (я над другим работают), так что вопрос был исключительно общего характера.

Если на какой-то тикет не ответили, пишите, будем устраивать неприятные моменты в жизни тому, кто не ответил.
Я вижу только один БП у каждого юнита. Никого это не смущает? БП выходят из строя не так уж редко.
Как можно один-единственный БП hotswap'нуть если нет второго который примет в этот момент всю нагрузку на себя??!
Разные сервера, разные задачи, разные решения. Для чего эти сервера используются я даже так с бухты-барахты не скажу. В тех, у которых критичен аптайм разумеется, резервирование (например, я с такими работаю, как только их закончат устанавливать, покажу).
Красиво, просто эротика для айтишника. Свои серверные, сколько не пытались делать красивые, все равно с ростом количества стоек, все превращалось в бардак. Завидую белой завистью!!!
Эх, хорошо когда у тебя вся аппаратура однообразна. А когда у тебя Cisco Catatyst 3560G, MRV, Metro 1000, пара МС-04, голосовой шлюз на 12 телефонов, линии к которому приведены где витой парой, где кроссировкой, пол десяка SHDSL модемов, естественно с линией каждый и ещё штуки 3 медиаконверторов, какая-то циска настольная. Остальная свободная ёмкость шкафа заполнена инверторами и аккумуляторами, чтобы обеспечить 220 вольтовые циску и ворох модемов гарантированным питанием так фиг уложишь…
А кто сказал, что у нас однородная аппаратура? Всё ещё впереди, насколько можно будет обходя арендованные стойки сфотографировать, сфотографирую. Там разная техника. И циски разные, и джуники.
Ну я про своё говорю. У нас шкаф провинциального города. Там чего только нет.
P.S. Кстати, вся аппаратура в стойке как правило 48-60В. Циски как правило не имею подобного питания и для них приходится городить огород.
Хочу тоже поделиться с хабрасообществом своими впечатлениями от одной из стоек в МТСе (кликабельно).

Когда первый раз увидел это, был очень удивлён. Не понимаю, как её собирали (собирал один из вендоров) — все провода подобраны по длине. Всё аккуратно уложено, нигде ничего лишнего (на фотке правда видно оранжевый оптический кабель, который непонятно как висит — это уже появилось в процессе эксплуатации). В стойке подведён KVM к каждому серверу, два питания (48V), два сетевых провода — всё соответствует требованиям к mission critical системам.
зы. Сори за качество — под рукой больше ничего не было, кроме мобилы.
У сотовиков качество монтажа оборудования как правило довольно высокое. Зачастую работы выполняют либо специалисты компании-производителя оборудования, либо профессиональные подрядчики. С каждой поставкой обычно идёт полный комплект инструментов для монтажа. Несколько примеров дотошности подхода:

— Для затяжки винтовых соединений (например при сборке шкафов) используют динамометрические ключи, и во время приёмки усилие затяжки запросто могут проверить

— Обрезку стяжек проводят бокорезами строго заподлицо (и не каждые бокорезы подходят) — были примеры когда проверяющий в произвольном месте автозала вскрывал фальшпол где были уложены жгуты кабеля и на выбор проводил пальцем по нескольким стяжкам в местах их обрезки. Если срез был сделан не заподлицо и стяжка царапала кожу — монтаж не принят, переделывайте.

— Обращается внимание на красоту укладки кабелей (недопустимы перекручивания, нарушения радиуса изгиба, длина должна быть подогнана), единообразие цветов и даже интервал установки стяжек и одинаковую ориентацию их замков.

— Окончательные маркировочные наклейки лепятся после завершения укладки и расшивки кабелей и должны по возможности быть ориентированы надписями в одном направлении для улучшения читабельности
Сам собирал. Не так уж круто как на картинках, но своими руками

ссылка на рисунок моей СКС :)

(тестю хтмл-тэги)
Видно по фото, с большой любовью к предмету сделано. И с не меньшим профессионализмом. =)
Блин, я бы выложил фото нашей аппаратной, но боюсь, что меня зарежут после этого :)
Эх… До вас нам еще далеко.

Это конечно начальный вариант, сейчас тут значительно лучше, но начальный вариант был именно таким.
Красота!!! Жалко, что такое встречается так редко. Лично я вообще видел только на Ваших фотках, хотя работал и в немаленьких провайдерских компаниях, с датацентрами дела не имел.
Я не знаю как у вас, но у нас такую красоту можно увидеть только первые месяцы после монтирования и запуска нового маш.зала в датацентре.
А потом начинается… Одни серваки нужно перенести в другую стойку, другие поехали в другой датацентр, какие-то наоборот приехали с другой площадки. В стойке получается неоднородность, пробелы, смесь разноюнитовых серверов. Провода каждый раз лениво даже укладывать чётко, не говоря уже про всякие плотные стяжки в жгуты. Постепенно из вылизанной конструкции стойка превращается в неряшливый «рабочий беспорядок». Увы, через несколько лет от этой красоты и следа уже в серверной не остаётся.

Скажите честно, у вас так же? Не врите нам :)
Я в селектеле третий месяц работаю. Большая часть — такая. Бывают ошибки (как рас собираюсь в следующем посте показать).
У нас скорее процесс обратный. Начинали с паутины проводов и пришли к этому, потому, что удобно, понятно, надежно и конечно же красиво.
UFO landed and left these words here
мои 5 копеек — топикстартеру есть куда стремиться — надо поменять PDUхи на с13/14ые и соотвтетвенно поставить их вертикально на боковую площадку — так называемый 0-unit design… в ХП шных стойках именно так и делается… преимущества — ещё место под оборудование и… НИКТО НЕ ВКЛЮЧИТ ПЫЛЕСОС… был однажды такой случай… участникам на долго запомнилось…
Уели. Времени совсем нет… Попробую собраться с силами и продолжить…
amarao, я тут гугель насилую запросами вида
красивая скс "часть 2" site:habrahabr.ru
но всё не то :) наткнулся на эту ветку. Интересная тема — будет здорово если продолжите. Я сейчас в своей конторе тружусь как раз над таким порядком.
Ох, это было давно. Я к СКС уже долгое время не подходил, так что ничего умного не добавлю.

Поправить заголовок не могу — блог компании, где я не работаю. Пишите запросы yuhenobi с запросом второй части или с исправлением заголовка.
Only those users with full accounts are able to leave comments. Log in, please.

Information

Founded
Location
Россия
Website
selectel.ru
Employees
201–500 employees
Registered

Habr blog