Comments 17
Важное замечание — стоит пытаться распределять сервера из разных сервисов по стойкам горизонтально, если это возможно.
тут мне кажется Вы сказали меньше, чем могло бы быть.
Как минимум имеет смысл не хранить все реплики БД в одной стойке
Да, конечно.
И больше того, надо распределять реплики БД не просто по разным стойкам, но по разным свитчам в случае, если у нас сервера подключены только к одному ToR свитчу. Это нужно помнить в случае, когда у нас не один свитч на стойку, а один на две, три. Так, оба инстанса БД в соседних стойках умрут одновременно с падением одного свитча, к которому они подключены.
И больше того, надо распределять реплики БД не просто по разным стойкам, но по разным свитчам в случае, если у нас сервера подключены только к одному ToR свитчу. Это нужно помнить в случае, когда у нас не один свитч на стойку, а один на две, три. Так, оба инстанса БД в соседних стойках умрут одновременно с падением одного свитча, к которому они подключены.
А еще упомянуть необходимость резервирования коммутаторов, ввода питания и пр… Все-таки экономия должна быть разумной, а не оголтелой.
Стот делать отказоустой региональной. Т.е все в одном датацентре держать глупо, когда выросли из 1й стойки
Не так важно — одна стойка, или сто.
Региональная отказоустойчивость — это дорого: само оборудование, ДЦ, связность, более сложная архитектура для синхронизации данных между локациями. В целом ее надо делать осознанно, когда потери от отказов могут превысить расходы на обеспечение отказоустойчивости.
Тут могут сильно помочь облачные провайдеры, если уметь готовить инфрастуктуру как сервис и раскатывать ее в облаке в момент поломки основного ДЦ, не держа при этом постоянный запас.
Региональная отказоустойчивость — это дорого: само оборудование, ДЦ, связность, более сложная архитектура для синхронизации данных между локациями. В целом ее надо делать осознанно, когда потери от отказов могут превысить расходы на обеспечение отказоустойчивости.
Тут могут сильно помочь облачные провайдеры, если уметь готовить инфрастуктуру как сервис и раскатывать ее в облаке в момент поломки основного ДЦ, не держа при этом постоянный запас.
В-третьих, считаем, что у нас есть три ограничителя: физическое место в стойках, электропитание на стойку, и пусть стойки стоят в рядах, так что мы можем использовать один ToR свитч для подключения серверов в соседних стойках.
Вы как-то забыли взять в расчет отведение тепла…
Я считал, что это очевидно и подразумевается без обсуждений: ДЦ должен по умолчанию уметь отвести всё то электричество и соответственно то генерируемое тепло, что он подает в машинный зал.
Поэтому если мы не превышаем выделенное питание на стойку какое-то значимое время, тепло тут влиять не должно.
Если мы говорим о том, что вендор при проектировании «соптимизировал» и с машинного зала IT-мощностью 1МВт может отвести не более 700кВт тепла в расчете, что нагрузка выше 70% никогда не поднимется, то это мне кажется обманом клиента. Это надо тщательно проверять при выборе ДЦ.
Поэтому если мы не превышаем выделенное питание на стойку какое-то значимое время, тепло тут влиять не должно.
Если мы говорим о том, что вендор при проектировании «соптимизировал» и с машинного зала IT-мощностью 1МВт может отвести не более 700кВт тепла в расчете, что нагрузка выше 70% никогда не поднимется, то это мне кажется обманом клиента. Это надо тщательно проверять при выборе ДЦ.
есть нормативы тепла на одну стойку. на нормативы влияет множество факторов, например наличие холодных и горячих коридоров, изоляция коридоров, каким образом отводится тепло, и.т.д.
вы можете напихать в одну стойку столько горячих серверов, что тепло отвести оттуда будет физически невозможно. ДЦ вам даст данные, сколько он гарантирует отвести от одной стойки, а дальше ваш головняк, взять это в расчет или нет.
вы можете напихать в одну стойку столько горячих серверов, что тепло отвести оттуда будет физически невозможно. ДЦ вам даст данные, сколько он гарантирует отвести от одной стойки, а дальше ваш головняк, взять это в расчет или нет.
А как именно нормативы тепла на одну стойку отличаются от предлагаемого электричества для этой стойки?
Электричество подается в расчёте не на одну стойку, а на ряд (один автомат на несколько стоек, в каждый шкаф, минимум по две фазы от разных ИБП). Соответственно, где-то будет перекос. Где-то будет практически не продуваемый горячий Hi End дисковый массив, а где-то едва теплое телеком оборудование или ленточная библиотека. И вам придется думать, как это распределить более равномерно по разным стойкам.
Электричество подают в стойки по-разному. У Вас — по две фазы на ряд с автоматом на каждую фазу. Ок. У других — трехфазные автоматы на каждую стойку на каждый из двух вводов в стойку от разных ИБП, у третьих — это два трехфазных ввода с отводными коробками и автоматами на шинопроводах без резервирования на каждую стойку, у четвертых — по 4 однофазных ввода с автоматами в стойку от 4-х разных ИБП. На всё есть свои резоны.
Мне, например, в первом подходе не нравится мысль, что чужая закоротившая железяка или несколько чужих жрущих электричество как не в себя биткойн-майнеров из соседней стойки могут отрубить автомат и для моей стойки тоже. Но, видимо, такой сервис должен стоить дешевле для клиента.
Поэтому телеком оборудование и ленточная библиотека нас в этом контексте не интересуют. Мы распределяем существенно много подобных друг другу серверов по соседним стойкам в рядах. И я упомянул, что их надо распределять горизонтально — такое распределение эффективным образом улучшает теплоотвод.
Наверное, стоило написать, что перед началом распределения стойки пустые.
Мне, например, в первом подходе не нравится мысль, что чужая закоротившая железяка или несколько чужих жрущих электричество как не в себя биткойн-майнеров из соседней стойки могут отрубить автомат и для моей стойки тоже. Но, видимо, такой сервис должен стоить дешевле для клиента.
Во-вторых, считаем, что серверов достаточно много: сотни-тысячи, для меньшего количества этот текст не имеет смысла.Где сотни-тысячи серверов, разговор должен быть о десятках-сотнях стоек. В этом случае куда правильнее регламентировать питание на стойку, и это питание на стойку должно быть меньше либо равно отводимому от этой стойки теплу в масштабах машзала. Понятно, что мы отводим тепло не от одной единственной конкретной стойки.
Поэтому телеком оборудование и ленточная библиотека нас в этом контексте не интересуют. Мы распределяем существенно много подобных друг другу серверов по соседним стойкам в рядах. И я упомянул, что их надо распределять горизонтально — такое распределение эффективным образом улучшает теплоотвод.
Наверное, стоило написать, что перед началом распределения стойки пустые.
В чём смысл 47-вершковых стоек?
Есть куда более практичные 42U, они в лифт грузовой без проблем лезут, и обслуживание верхних юнитов упрощают.
Эзернетные и SAN свитчи занимают 4U сверху, итого 38 юнитов. Всё равно больше 16 двухюнитовых серверов нам питание не позволит. Остаётся пара PDU cнизу и 4 юнита под ящик с барахлом. Сервера туда ставить рисково, сервисники ходят и грязь тащат.
Что касается разных блейд-корзин, всё равно из-за веса больше двух в шкаф вешать плохо, да и питания с охлаждением по одной фазе — впритык.
А что до стораджей их вообще имеет смысл поставить в обособленную зону. А поскольку потребление любых массивов это в основном диски, то даже разнотипные массивы можно развесить по фазам, так что перекоса фаз не будет. Ленточку можно приткнуть где-нибуть с краю, в менее продуваемой части (обычно начало ряда), особенно если ленточка больше стандартной плитки. Туда же выкинуть коммутацию зоны, оптику и менеджмент.
Есть куда более практичные 42U, они в лифт грузовой без проблем лезут, и обслуживание верхних юнитов упрощают.
Эзернетные и SAN свитчи занимают 4U сверху, итого 38 юнитов. Всё равно больше 16 двухюнитовых серверов нам питание не позволит. Остаётся пара PDU cнизу и 4 юнита под ящик с барахлом. Сервера туда ставить рисково, сервисники ходят и грязь тащат.
Что касается разных блейд-корзин, всё равно из-за веса больше двух в шкаф вешать плохо, да и питания с охлаждением по одной фазе — впритык.
А что до стораджей их вообще имеет смысл поставить в обособленную зону. А поскольку потребление любых массивов это в основном диски, то даже разнотипные массивы можно развесить по фазам, так что перекоса фаз не будет. Ленточку можно приткнуть где-нибуть с краю, в менее продуваемой части (обычно начало ряда), особенно если ленточка больше стандартной плитки. Туда же выкинуть коммутацию зоны, оптику и менеджмент.
Что значит питание не позволит? Ладно еще отвод тепла. Если владелец ДЦ сэкономил на кабеле, автоматах и PDU и 5-7 кВА лимит на секцию — то в случае коллокейшена будет терять место в никуда.
Ну и в целоv есть еще вские инхаус серверные, контенеры и прочие мини цоды где +6-8 юнитов вверх решают…
Ну и в целоv есть еще вские инхаус серверные, контенеры и прочие мини цоды где +6-8 юнитов вверх решают…
Смысл 47U, 48U и даже 52U в том, что они с одной стороны выше, а с другой имеют какую-то другую стоимость. Пусть какой-то производитель предлагает 45U или 47U по цене 42U. Что брать будете?
Не в каждом дата центре лифты двухметровые. Совсем даже наоборот, в отличие от браунфилдов (как-то переделанных заводских/офисных/складских зданий), гринфилды — специально спроектированные и построенные датацентры — делаются с просторными грузовыми лифтами и с большой высотой проемов и дверей по пути следования стоек, например, 2400мм.
Дальше подумаем про место в стойках не для свитчей: разве везде и всегда только Ethernet и FC свитчи? А второй ethernet свитч для устранения единой точки отказа, а менеджмент свитч, а хотя бы 1U для кабелей у каждого свитча, а патч панель в стойке (хорошо, если она модульная и только одна, а если отдельно оптика и отдельно медь). И я еще очень надеюсь, что про все устройства подумали заранее, и нам не надо втыкать в стойку ATS. При этом для расстановок сотен-тысяч серверов мы точно используем вертикальные zero-unit PDUs, которые не занимают наших юнитов. «Ящики с барахлом», «сервисников с грязью» и «ленточку» я комментировать не буду.
Питание в стойках бывает разное не только по способу подключения, как я написал выше, но и по подведенной мощности: смешные 3кВт, или почти предельные для одной фазы в России 7кВт, или трехфазные 12кВт — это не предел (на 32А и 380В предел получается в 21кВт, но и его можно обойти, если надо). Сервера бывают и высотой не только 2U, но и 1U, и это отличный выбор для серверов приложений, особенно, когда есть отдельные хранилища. И при очень условной потребляемой мощности 1U сервера в 300Вт и предоставленной 12кВт на стойку наши сервера отлично займут 40 юнитов, а оставшихся двух юнитов для свитчей, скорее всего, не хватит. Тут нам захочется иметь более высокие стойки.
Чтобы более подробно отвечать на вопрос, какие стойки более правильные, надо понимать как ограничения, так и экономику датацентра, соотношение затрат на землю, строительство, электропитание, охлаждение, etc. И эта экономика уникальна для каждого отдельного проекта. Обычно электрика — это самая дорогая часть в России (но не обязательно в других странах), поэтому ее надо утилизировать полностью даже за счет того, что часть стоек не будет заполнена. Этот воздух в стойках обычно дешевле недоиспользованного электричества.
Что касается стораджей, а в более общем случае вопрос распределения разнородных типов оборудования, то это заслуживает отдельной статьи. Как и вопрос балансировки по фазам.
Не в каждом дата центре лифты двухметровые. Совсем даже наоборот, в отличие от браунфилдов (как-то переделанных заводских/офисных/складских зданий), гринфилды — специально спроектированные и построенные датацентры — делаются с просторными грузовыми лифтами и с большой высотой проемов и дверей по пути следования стоек, например, 2400мм.
Дальше подумаем про место в стойках не для свитчей: разве везде и всегда только Ethernet и FC свитчи? А второй ethernet свитч для устранения единой точки отказа, а менеджмент свитч, а хотя бы 1U для кабелей у каждого свитча, а патч панель в стойке (хорошо, если она модульная и только одна, а если отдельно оптика и отдельно медь). И я еще очень надеюсь, что про все устройства подумали заранее, и нам не надо втыкать в стойку ATS. При этом для расстановок сотен-тысяч серверов мы точно используем вертикальные zero-unit PDUs, которые не занимают наших юнитов. «Ящики с барахлом», «сервисников с грязью» и «ленточку» я комментировать не буду.
Питание в стойках бывает разное не только по способу подключения, как я написал выше, но и по подведенной мощности: смешные 3кВт, или почти предельные для одной фазы в России 7кВт, или трехфазные 12кВт — это не предел (на 32А и 380В предел получается в 21кВт, но и его можно обойти, если надо). Сервера бывают и высотой не только 2U, но и 1U, и это отличный выбор для серверов приложений, особенно, когда есть отдельные хранилища. И при очень условной потребляемой мощности 1U сервера в 300Вт и предоставленной 12кВт на стойку наши сервера отлично займут 40 юнитов, а оставшихся двух юнитов для свитчей, скорее всего, не хватит. Тут нам захочется иметь более высокие стойки.
Чтобы более подробно отвечать на вопрос, какие стойки более правильные, надо понимать как ограничения, так и экономику датацентра, соотношение затрат на землю, строительство, электропитание, охлаждение, etc. И эта экономика уникальна для каждого отдельного проекта. Обычно электрика — это самая дорогая часть в России (но не обязательно в других странах), поэтому ее надо утилизировать полностью даже за счет того, что часть стоек не будет заполнена. Этот воздух в стойках обычно дешевле недоиспользованного электричества.
Что касается стораджей, а в более общем случае вопрос распределения разнородных типов оборудования, то это заслуживает отдельной статьи. Как и вопрос балансировки по фазам.
Если автомат выбивает на 7квт то мы не сможем нагрузить его на 6.9, даже на 6 не сможем. Максимум пять. Иначе через час работы он отстрельнет тк разогреется. Для тех кто хочет сказать мол юзайте нормальные автоматы, а не китайское говно- отвечу что "нормальные" автоматы ведут себя так же как и китайские в случае продолжительной нагрузки)
Если внимательно посмотреть на время-токовые характеристики ваших автоматов, сравнить их с реальной температурой окружающей среды места их установки и точно замерить, что ваша нагрузка и вправду не превышает номинала/уставки автомата, то проблема может быть в их качестве. Тогда надо предъявлять их обратно производителю.
Но я сильно сомневаюсь, потому что для автоматов типов B, C, D ток минимум в 1.13 от номинала автомат должен держать 10000 минут при +30°С. И такие автоматы — это очень надежно отработанная техника.
См. тут.
Но я сильно сомневаюсь, потому что для автоматов типов B, C, D ток минимум в 1.13 от номинала автомат должен держать 10000 минут при +30°С. И такие автоматы — это очень надежно отработанная техника.
См. тут.
Sign up to leave a comment.
Оптимизация распределения серверов по стойкам