В прошлом топике про СКС меня упрекнули, что нет красивых картинок правильной СКС. Откровенно, мне никогда не удавалось самому сделать красивую серверную, на моей предыдущей работе после меня осталось «гнездо паука» (со стороны СКС, со стороны серверов там более-менее хорошо). С СКС я боролся несколько лет, но так и не одолел. После того, как я перешёл на работу в Селектел и посмотрел на машинный зал, у меня загорелись глаза пофотографировать. Свои ошибки я понял только после того, как посмотрел, как работают монтажники. Всё, стойки, кроме той, что на последней фотографии, оформлял yuhenobi, последнюю Саша Тугов (которого, увы, на хабре нет).
После долгих уговоров начальства, со скрипом, мне таки разрешили пофотографировать.(А, посмотрев на результат, решили перенести в блог компании).
Под катом фотографии из дата-центра Селектела (каждая фотография кликабельна на фулл-сайз) и комментарии.
Обратите внимание: провода перед попаданием в вертикальный толстый пучок, собираются в маленькие жгуты, благодаря этому операция с каждым жгутом может быть выполнена довольно просто: его просто расплести, найти нужный провод, сплести обратно. В данном конкретном случае не планируется провода перекроссировать, так что провода стягиваются очень плотно. Вторая важная вещь, которая достигается за счёт тонких жгутов: до момента, пока жгут не притянут к кабель-органайзеру, он создаёт минимальное сопротивление воздуху (который перегоняется из холодного коридора в горячий вентиляторами стоечных устройств).
Продолжение стойки. Сразу отвечаю на вопрос, почему так много патч-кордов: каждый юнит — это два сервера. К каждому серверу два патч-корда. Плюс, на каждый сервер ещё один патч-корд — это IPMI'ный KVM, который доступен клиентам через веб-интерфейс (на джаве). Вот и получается 6 проводов (не считая питания) на юнит. Кстати, обратите внимание на пустые юниты — это сделано специально, каждая группа серверов имеет по пустому юниту вокруг себя, это нужно для охлаждения. Кроме того, так проще искать нужный сервер (вся стойка режется на отдельные группы, найти нужную группу, а потом сервер в группе легче, чем искать нужный сервер среди 40+ одинаковых серверов с пола до потолка).
Монтаж питания и проводов к коммутатору. Как только проводов стало много, нужно не бояться жертвовать юнитами и ставить горизонтальный органайзер. Обратите внимание: поскольку большая часть разъёмов питания находится в середине юнитов, то монтаж питания без использования вертикальных кабель-органайзеров. Вариант с «питанием сбоку» будет чуть ниже.
В данном случае используются кольца (тип вертикального органайзера). В ситуации с большим количеством проводов используются другие органайзеры (пример ниже). Использование же колец позволяет быстрее переключать провода, но увеличивает вероятность запутывания.
Так выглядит самый обыкновенный вертикальный кабель-органайзер для большого количества проводов. Доска с кучей дырок. (Любой, кто пробовал укладывать провода на стойке знает, что главного, чего не хватает — это множества дырок, к которым можно притянуть стяжки; именно «дырки» и предоставляет такой кабель канал). Благодаря ширине он позволяет каждый жгут проводов притягивать отдельно, не создавая хаоса и путаницы. Важно: о месте для вертикального кабель-канала нужно думать ДО установки оборудования, потому что на живую двигать вертикальные направляющие стойки не получится.
Общий вид на стойку с серверами.
О том, как укладывать провода — в следующий раз.
После долгих уговоров начальства, со скрипом, мне таки разрешили пофотографировать.(А, посмотрев на результат, решили перенести в блог компании).
Под катом фотографии из дата-центра Селектела (каждая фотография кликабельна на фулл-сайз) и комментарии.
Обратите внимание: провода перед попаданием в вертикальный толстый пучок, собираются в маленькие жгуты, благодаря этому операция с каждым жгутом может быть выполнена довольно просто: его просто расплести, найти нужный провод, сплести обратно. В данном конкретном случае не планируется провода перекроссировать, так что провода стягиваются очень плотно. Вторая важная вещь, которая достигается за счёт тонких жгутов: до момента, пока жгут не притянут к кабель-органайзеру, он создаёт минимальное сопротивление воздуху (который перегоняется из холодного коридора в горячий вентиляторами стоечных устройств).
Продолжение стойки. Сразу отвечаю на вопрос, почему так много патч-кордов: каждый юнит — это два сервера. К каждому серверу два патч-корда. Плюс, на каждый сервер ещё один патч-корд — это IPMI'ный KVM, который доступен клиентам через веб-интерфейс (на джаве). Вот и получается 6 проводов (не считая питания) на юнит. Кстати, обратите внимание на пустые юниты — это сделано специально, каждая группа серверов имеет по пустому юниту вокруг себя, это нужно для охлаждения. Кроме того, так проще искать нужный сервер (вся стойка режется на отдельные группы, найти нужную группу, а потом сервер в группе легче, чем искать нужный сервер среди 40+ одинаковых серверов с пола до потолка).
Монтаж питания и проводов к коммутатору. Как только проводов стало много, нужно не бояться жертвовать юнитами и ставить горизонтальный органайзер. Обратите внимание: поскольку большая часть разъёмов питания находится в середине юнитов, то монтаж питания без использования вертикальных кабель-органайзеров. Вариант с «питанием сбоку» будет чуть ниже.
В данном случае используются кольца (тип вертикального органайзера). В ситуации с большим количеством проводов используются другие органайзеры (пример ниже). Использование же колец позволяет быстрее переключать провода, но увеличивает вероятность запутывания.
Так выглядит самый обыкновенный вертикальный кабель-органайзер для большого количества проводов. Доска с кучей дырок. (Любой, кто пробовал укладывать провода на стойке знает, что главного, чего не хватает — это множества дырок, к которым можно притянуть стяжки; именно «дырки» и предоставляет такой кабель канал). Благодаря ширине он позволяет каждый жгут проводов притягивать отдельно, не создавая хаоса и путаницы. Важно: о месте для вертикального кабель-канала нужно думать ДО установки оборудования, потому что на живую двигать вертикальные направляющие стойки не получится.
Общий вид на стойку с серверами.
О том, как укладывать провода — в следующий раз.
