Все хозяйство у нас было размещено в офисе, состояло из 4-х серверов 3-х летней давности и честно купленного на Горбушке софта по 150 рублей за компакт.
Железо вполне нормально работало, кроме двух моментов: когда бухгалтеры отчеты колбасили проседало по дискам… и сами диски периодически вылетали. Вылет дисков особенно был болезненным, т.к. бекапы делаются только по ночам, а raid собран только на 2-х серверах.
Загадку с частым вылетом дисков я долго пытался разгадать, вначале думал – бракованные диски попадались… но догадался про истинную причину только после экскурсии в настоящий ЦОД.
В общем, я решил прикинуться раздумывающим клиентом и понапрашиваться в гости в сорвеменные ЦОДы, посмотреть и подумать. Набрал в гугле волшебное заклинание «услуга дата центр», обзвонил первые две страницы – оказалось, почти все шифруются. Кто-то говорит, что им надо передавать сервер у входа в здание и на неделе (!) они его подключат, а кто-то вообще не знает адрес своего ДЦ. А еще в гугловом списке оказались мелкие хостеры, которые пытаются стойки в чужих дата-центрах выдать за свои и навариться. Пригласили в живую посмотреть аппаратную только в одном ДЦ – в е-стайле в Бибирево. Я с радостью сорвался и поехал, не откладывая экскурсию на завтра.
Приехал, припарковался на внутренней стоянке под шлагбаумом (сказал номер машины менеджеру, пропуск заказали). Первое, что удивило — огромные современные здания с флагами и надписями в бетоне «R-Style» и «e-Style», внушает уверенность… я полгода назад с хостерами общался, где только чтобы в офис попасть, опросишь всех охранников и дворников района, плутая между помоек… окажется какой-то закуток в подвале.
Созвонился от охраны с менеджером, подтвердили пропуск – почему-то без типичного бизнесцентрового жлобства и ожидания… оказалось, охрана у них тоже своя и за каждого обиженного клиента зарплатой отвечает.
Провели в дата-центр, меня сопровождали менеджер и дежурный инженер. В принципе, ничего нового не рассказали, почти все, что раньше прочитал на сайте e-styleisp.ru про ЦОД, то и услышал, но есть и интересные особенности, про которые почему-то не пишут:
1. чистый холодный воздух, который вырывается из под перфорированного пола. Оказывается, помещение полностью обеспылено, воздух чистый… спросил я у инженера, он говорит – в кондеях фильтры мощные стоят, но и то их чистят и меняют еженедельно.
2. увидел большие шкафы кондиционеров, спросил про их запитку. Оказывается, блоки по 54 кВт каждый(!) подключены тоже через UPS. Удивился и спросил, зачем? Оказывается, все мощные кондеи не сразу запускаются после подключения питания, а еще какое-то время тормозят, выравнивая давления в компрессорах. То есть, получается, что если дернется питание на пару секунд в обычном дата-центре, то кондеи или повиснут совсем, или будут перезапускаться от 5 до 25 минут. Есть только две методики бороться с этим: или делать большой (тон на 10-20) накопительный бак для антифриза (в системе чиллер-фенкоил), или подключать кондеи через бесперебойники. В действительности, говорят, что в Москве всего три коммерческих дата-центра сделаны правильно… причем все три были запущены в 2008 и 2009 году, все остальные – классом ниже, кондеи в лучшем случае на дизелях с запуском в несколько минут… Эх, не любят в нашей стране делать правильно… не намного ведь дороже получается, а класс надежности совсем другой.
3. Отсутствие статики. Я даже не предполагал, что на этом можно так заморачиваться, но вспоминая несколько сдохших компов в офисе и постоянные напоминалки на комплектующих, понял, что кардинально эту проблему можно решить только так. По всему залу сделан контур заземления из толстенной медной полосы, абсолютно каждая железка заземлена на контур, а контур отдельным толстенным кабелем уходит на отдельное заземление в ВРУ. Инженер начал рассказывать про две системы заземления PE и FE и что они по электротехническим нормам делаются как-то совсем сложно… я не совсем понял, если честно. Мне более важным показалась зависимость накопления статики от влажности воздуха. Оказывается, статика заметна вообще, как правило зимой, когда воздух в помещениях нагревается… при нагреве происходит осушение воздуха (влажность резко уменьшается), а сухой воздух и поверхности проводят ток намного хуже, вот статика и не стекает никуда. А ведь все кондеи очень сильно осушают воздух! И увлажнение («парообразование») есть только в больших прецизионниках, которые по финансовым причинам в офисах не ставят, только в ЦОД.
4. Про аккумуляторные кабинеты и УПСы размером в комнату, и, конечно же, пару дизелей перед зданием даже рассказывать не хочу, все банально, как у всех. Хотя все же есть одна особенность: как известно, все оборудование надо периодически останавливать и отключать, такова уж жизнь… вентиляторы и аккумуляторы все же изнашиваются, а то и просто перегорает что-то… чем сложнее система, тем больше шансов, что сдохнет какой-то элемент. В общем, мне инженер около 5 минут рассказывал про сложную систему вывода из работы отдельной подсистемы UPS, при этом все это БЕЗ ОТКЛЮЧЕНИЯ НАГРУЗКИ! Представьте себе операцию полной замены большого бесперебойника (2 шкафа, весом около полутора тон), с клеммами и рубильниками на сотни кВт, и все это без остановки подключенных серверов! Я проникся. Переключение на резервные системы производится за время меньше половины периода синусоиды и абсолютно незаметно для серверов и оборудования.
Приехал обратно к себе в офис, подошел к стойке серверов и понял, что диски, реально умирали из-за пыли, температуры и вибрации, т.к. всего этого есть в избытке. Стало даже обидно как-то. Раньше можно было винить во всем производителей-бракоделов, а теперь понимаю – не в этом дело. Ладно, надо что-то делать. Как обеспечить нормальные условия в обычном офисе я так и не придумал: смету на гермозону мне сразу завернули, а фильтры чистить каждый день – ломает.
Тарифы на размещение серверов не особо дешевые, выносить в ЦОД старые сервера – идея дорогая и глупая. Я придумал иначе: в офисе остался только один сервер, который я собрал из старых (вырвал все диски из серверов и пересобрал в один сервер в Raid-6), на нем развернул домен и файлопомойку. Под все остальное (VPN, Web, MS Exchange с антиспамом, 1С, и пара специализированных баз) я арендовал сервер в ЦОД е-Стайла.
Новый настоящий интеловский сервер на проце Xeon 5520 с 24 Гб оперативки DDR3 обошелся моей конторе вместе с размещением на анлимном канале 100Мбит в 14 т.рублей в месяц. Сервер поддерживает виртуализацию, я на него сразу развернул ESXi, создал 4 виртуалки. По виртуалкам разложил аккуратно задачи, а самое сложное оказалось заставить бухгалтеров работать в терминале: всплыли принтеры и 1с-овый хасп, но и это победил. Еще из хитростей – я заказал доп. услугу «внешнего iscsi сториджа», это оказалось дешевле, быстрее и надежнее, чем у себя массив городить… когда виртуалки из образов на сторидже разворачивал, я не понял почему полностью система ставилась за 4-5 минут… так ведь не бывает, но видел сам! Сторидж ведь на гигабите подключен, по трансферу должен быть медленнее чем обычный SATA, но в реальной работе – внешний iscsi raid неповторим, вероятно в многогиговом кэше дело.
Еще в контракт добавил аренду лицензий на MS Server2008, MS Exchange и пользовательские лицензии, оказалось это не особо дорого (где-то 5% от общей стоимости софта, если покупать) и официальный контракт с золотым партнером Microsoft полностью успокаивает товарищей в пагонах, а еще и обновлять версии можно без затрат и отказываться от части лицензий в любой момент…
Нужно было заливать базы и файлы, от переливки через Интернет отказался сразу – поеду сам залью, заодно и посмотреть на сервер своими глазами. Приехал, меня привели к моему серверу (на бирке увидел мои ФИО и контакты) – я попросил консоль, мне дали монитор и клавиатуру – и правда мой сервер! Систему я на него ставил через IP-KVM, до последнего момента было ощущение, что окажется что-то не так… какой-нибудь блейд или рабочка какая… ан нет, НОВЫЙ отдельный настоящий 1U сервер. Подключил в hot-swap SATA полуторатеровик с данными, развернул и оставил бекапы складировать, лишним не будет.
Дата-центр предоставляет еще и «мониторинг», который я использую (это бесплатно!). Выглядит это как «бумажная» инструкция и перечень SNMP объектов и допустимых значений, если значение выходит из диапазона допустимых – дежурный инженер откроет мою инструкцию и по ней будет действовать… я в ней просто написал «звонить мне» и перечень телефонов, причем по не особо критичным вещам добавил «ночью не звонить, дождаться утра». Если на моих винтах в смарте что-то появится, или вентилятор остановится – мне сразу позвонят, а так как все железо в аренде, то еще и поменяют все сами, от меня только разрешить/согласовать и данные свои перекинуть, если нужно.
В итоге, загрузка на серверах сейчас (по процентам загрузки CPU) в среднем в три раза меньше, чем была, базы работают заметно быстрее, работает быстро и надежно. Из моих личных достижений – освоил ESXi, оказалось, не сложнее чем в лабе, за 2 дня заточил, штука интересная, за этим будущее.
Железо вполне нормально работало, кроме двух моментов: когда бухгалтеры отчеты колбасили проседало по дискам… и сами диски периодически вылетали. Вылет дисков особенно был болезненным, т.к. бекапы делаются только по ночам, а raid собран только на 2-х серверах.
Загадку с частым вылетом дисков я долго пытался разгадать, вначале думал – бракованные диски попадались… но догадался про истинную причину только после экскурсии в настоящий ЦОД.
В общем, я решил прикинуться раздумывающим клиентом и понапрашиваться в гости в сорвеменные ЦОДы, посмотреть и подумать. Набрал в гугле волшебное заклинание «услуга дата центр», обзвонил первые две страницы – оказалось, почти все шифруются. Кто-то говорит, что им надо передавать сервер у входа в здание и на неделе (!) они его подключат, а кто-то вообще не знает адрес своего ДЦ. А еще в гугловом списке оказались мелкие хостеры, которые пытаются стойки в чужих дата-центрах выдать за свои и навариться. Пригласили в живую посмотреть аппаратную только в одном ДЦ – в е-стайле в Бибирево. Я с радостью сорвался и поехал, не откладывая экскурсию на завтра.
Приехал, припарковался на внутренней стоянке под шлагбаумом (сказал номер машины менеджеру, пропуск заказали). Первое, что удивило — огромные современные здания с флагами и надписями в бетоне «R-Style» и «e-Style», внушает уверенность… я полгода назад с хостерами общался, где только чтобы в офис попасть, опросишь всех охранников и дворников района, плутая между помоек… окажется какой-то закуток в подвале.
Созвонился от охраны с менеджером, подтвердили пропуск – почему-то без типичного бизнесцентрового жлобства и ожидания… оказалось, охрана у них тоже своя и за каждого обиженного клиента зарплатой отвечает.
Провели в дата-центр, меня сопровождали менеджер и дежурный инженер. В принципе, ничего нового не рассказали, почти все, что раньше прочитал на сайте e-styleisp.ru про ЦОД, то и услышал, но есть и интересные особенности, про которые почему-то не пишут:
1. чистый холодный воздух, который вырывается из под перфорированного пола. Оказывается, помещение полностью обеспылено, воздух чистый… спросил я у инженера, он говорит – в кондеях фильтры мощные стоят, но и то их чистят и меняют еженедельно.
2. увидел большие шкафы кондиционеров, спросил про их запитку. Оказывается, блоки по 54 кВт каждый(!) подключены тоже через UPS. Удивился и спросил, зачем? Оказывается, все мощные кондеи не сразу запускаются после подключения питания, а еще какое-то время тормозят, выравнивая давления в компрессорах. То есть, получается, что если дернется питание на пару секунд в обычном дата-центре, то кондеи или повиснут совсем, или будут перезапускаться от 5 до 25 минут. Есть только две методики бороться с этим: или делать большой (тон на 10-20) накопительный бак для антифриза (в системе чиллер-фенкоил), или подключать кондеи через бесперебойники. В действительности, говорят, что в Москве всего три коммерческих дата-центра сделаны правильно… причем все три были запущены в 2008 и 2009 году, все остальные – классом ниже, кондеи в лучшем случае на дизелях с запуском в несколько минут… Эх, не любят в нашей стране делать правильно… не намного ведь дороже получается, а класс надежности совсем другой.
3. Отсутствие статики. Я даже не предполагал, что на этом можно так заморачиваться, но вспоминая несколько сдохших компов в офисе и постоянные напоминалки на комплектующих, понял, что кардинально эту проблему можно решить только так. По всему залу сделан контур заземления из толстенной медной полосы, абсолютно каждая железка заземлена на контур, а контур отдельным толстенным кабелем уходит на отдельное заземление в ВРУ. Инженер начал рассказывать про две системы заземления PE и FE и что они по электротехническим нормам делаются как-то совсем сложно… я не совсем понял, если честно. Мне более важным показалась зависимость накопления статики от влажности воздуха. Оказывается, статика заметна вообще, как правило зимой, когда воздух в помещениях нагревается… при нагреве происходит осушение воздуха (влажность резко уменьшается), а сухой воздух и поверхности проводят ток намного хуже, вот статика и не стекает никуда. А ведь все кондеи очень сильно осушают воздух! И увлажнение («парообразование») есть только в больших прецизионниках, которые по финансовым причинам в офисах не ставят, только в ЦОД.
4. Про аккумуляторные кабинеты и УПСы размером в комнату, и, конечно же, пару дизелей перед зданием даже рассказывать не хочу, все банально, как у всех. Хотя все же есть одна особенность: как известно, все оборудование надо периодически останавливать и отключать, такова уж жизнь… вентиляторы и аккумуляторы все же изнашиваются, а то и просто перегорает что-то… чем сложнее система, тем больше шансов, что сдохнет какой-то элемент. В общем, мне инженер около 5 минут рассказывал про сложную систему вывода из работы отдельной подсистемы UPS, при этом все это БЕЗ ОТКЛЮЧЕНИЯ НАГРУЗКИ! Представьте себе операцию полной замены большого бесперебойника (2 шкафа, весом около полутора тон), с клеммами и рубильниками на сотни кВт, и все это без остановки подключенных серверов! Я проникся. Переключение на резервные системы производится за время меньше половины периода синусоиды и абсолютно незаметно для серверов и оборудования.
Приехал обратно к себе в офис, подошел к стойке серверов и понял, что диски, реально умирали из-за пыли, температуры и вибрации, т.к. всего этого есть в избытке. Стало даже обидно как-то. Раньше можно было винить во всем производителей-бракоделов, а теперь понимаю – не в этом дело. Ладно, надо что-то делать. Как обеспечить нормальные условия в обычном офисе я так и не придумал: смету на гермозону мне сразу завернули, а фильтры чистить каждый день – ломает.
Тарифы на размещение серверов не особо дешевые, выносить в ЦОД старые сервера – идея дорогая и глупая. Я придумал иначе: в офисе остался только один сервер, который я собрал из старых (вырвал все диски из серверов и пересобрал в один сервер в Raid-6), на нем развернул домен и файлопомойку. Под все остальное (VPN, Web, MS Exchange с антиспамом, 1С, и пара специализированных баз) я арендовал сервер в ЦОД е-Стайла.
Новый настоящий интеловский сервер на проце Xeon 5520 с 24 Гб оперативки DDR3 обошелся моей конторе вместе с размещением на анлимном канале 100Мбит в 14 т.рублей в месяц. Сервер поддерживает виртуализацию, я на него сразу развернул ESXi, создал 4 виртуалки. По виртуалкам разложил аккуратно задачи, а самое сложное оказалось заставить бухгалтеров работать в терминале: всплыли принтеры и 1с-овый хасп, но и это победил. Еще из хитростей – я заказал доп. услугу «внешнего iscsi сториджа», это оказалось дешевле, быстрее и надежнее, чем у себя массив городить… когда виртуалки из образов на сторидже разворачивал, я не понял почему полностью система ставилась за 4-5 минут… так ведь не бывает, но видел сам! Сторидж ведь на гигабите подключен, по трансферу должен быть медленнее чем обычный SATA, но в реальной работе – внешний iscsi raid неповторим, вероятно в многогиговом кэше дело.
Еще в контракт добавил аренду лицензий на MS Server2008, MS Exchange и пользовательские лицензии, оказалось это не особо дорого (где-то 5% от общей стоимости софта, если покупать) и официальный контракт с золотым партнером Microsoft полностью успокаивает товарищей в пагонах, а еще и обновлять версии можно без затрат и отказываться от части лицензий в любой момент…
Нужно было заливать базы и файлы, от переливки через Интернет отказался сразу – поеду сам залью, заодно и посмотреть на сервер своими глазами. Приехал, меня привели к моему серверу (на бирке увидел мои ФИО и контакты) – я попросил консоль, мне дали монитор и клавиатуру – и правда мой сервер! Систему я на него ставил через IP-KVM, до последнего момента было ощущение, что окажется что-то не так… какой-нибудь блейд или рабочка какая… ан нет, НОВЫЙ отдельный настоящий 1U сервер. Подключил в hot-swap SATA полуторатеровик с данными, развернул и оставил бекапы складировать, лишним не будет.
Дата-центр предоставляет еще и «мониторинг», который я использую (это бесплатно!). Выглядит это как «бумажная» инструкция и перечень SNMP объектов и допустимых значений, если значение выходит из диапазона допустимых – дежурный инженер откроет мою инструкцию и по ней будет действовать… я в ней просто написал «звонить мне» и перечень телефонов, причем по не особо критичным вещам добавил «ночью не звонить, дождаться утра». Если на моих винтах в смарте что-то появится, или вентилятор остановится – мне сразу позвонят, а так как все железо в аренде, то еще и поменяют все сами, от меня только разрешить/согласовать и данные свои перекинуть, если нужно.
В итоге, загрузка на серверах сейчас (по процентам загрузки CPU) в среднем в три раза меньше, чем была, базы работают заметно быстрее, работает быстро и надежно. Из моих личных достижений – освоил ESXi, оказалось, не сложнее чем в лабе, за 2 дня заточил, штука интересная, за этим будущее.
