Pull to refresh

Comments 226

Интересно, это нормально, что я прям так, с улицы, могу смотреть все открытые тикеты этого датацентра и их содержимое?
travaux.ovh.net
Это status, а не тикеты, там пишут обо всех инцидентах. И да, это нормально
Да, изначально так и задумывалось.
И это не совсем тикетница, скорее «uptimerobot» их производства.
Смотрю на свои серверные и не понимаю что там вообще может интенсивно гореть.
Видимо у меня не хватает каких-то очень нужных конструкций ;-)
А у вас разве нет пучка силовых кабелей и витой пары от каждой стойки?
С витыми парами мне все понятно.
Сейчас действует много стандартов в разных странах что UTP должен быть LSZH, а это означает, как минимум: «Материалы класса LSZH не распространяют горение»

С силовыми пока не знаю, предполагаю что все тоже самое.
Да от температуры зависит, на самом-то деле. Они самозатухают, если их поджечь спичкой, или там от козы загорелось. Но все эти пластики с антипиреновыми добавками прекрасно горят, если вокруг горит всё остальное.
Угу, помнится на одной АТС-ке «негорючие» кабели горели так, что рама станции в штопор свернулась.

Горят не только оболочки, насколько я понимаю горит и алюминий, но вот вопрос как так хорошо подожгли...

UFO just landed and posted this here

При очень высокой температуре, вроде даже ролики есть… Ну и самолёты...

Алюминий горит очень хорошо.
Не горит оксидная пленка.
Но если алюминий нагреть так, что он начинает кипеть — то он горит не хуже магния.
UFO just landed and posted this here
Он не поддерживает горение в обычном огне(1500градусов) в виде пластин. Но если вокруг температура 2500+ то пластина кипит и кипящий алюминий вполне окисляется почти в 0.
Другой вопрос, что в горящем фасаде больше 1200 не должно быть. А вот в закрытом помещении — вполне может быть.
А при 3000 кипит сам оксид и тогда вообще все.
Но да, обычно таких температур нету. С другой стороны, та же фольга-самоклейка горит при меньшей температуре.
UFO just landed and posted this here
Да, врятли.
Такие температуры возникают когда было сильное пламя, а потом перекрыли приток свежего(охлаждающего) воздуха.
Часто бывает другая фраза: «Не распространяет горение при одиночной прокладке».
UFO just landed and posted this here
Это да, но вот сейчас отмотал пару метров из бухты более-менее честного UTP кабеля, прочитал маркировку «ETG UTP Cat 5e 24AWG Cable Cert to TIA/EIA 568 271m». Горит ли оно — а чёрт его знает. Да, можно конечно на всё, что менее брендово, чем хотя-бы Hyperline (а то и Panduit, если совсем много понтов), нос ворочать, но Low-Cost при этом не очень Low будет.
Сама электроника прекрасно горит, пока на ней есть напряжение, все эти процессоры, резисторы и танталовые конденсаторы. Особенно если она плотно упакована в стойку. А питание в дата-центре так просто не снимешь, во-первых, там многократное резервирование, а во-вторых, это будет диверсия.
во-вторых, это будет диверсия.

Хм. Как по мне, как раз не работающий сценарий пожаротушения — это диверсия ещё та, по сравнению с аварийным обесточиванием и отключением вентиляции :)
UFO just landed and posted this here
Это объект стандарта TIA-942. Если он был 4-го класса (судя по размерам — не ниже третьего), то он онлайн 99,995% времени, то есть суммарные простои в год не превышают 10...20 минут. Поэтому рубильника, одним нажатием выключающего всё, в нём гарантированно нет — там даже резервные источники питания продублированы. А вот почему не срабатала пожарная сигнализация, автоматика не обесточила аварийные стойки, а система пожаротушения не задула всё вокруг углекислым газом — очень интересные вопросы.
Поэтому рубильника, одним нажатием выключающего всё, в нём гарантированно нет

Почему нет? Все эти классы подразумевают, что оно имеет многоуровневые степени защиты от неконтролируемых инцидентов, а не от контролируемого отключения, если это необходимо.
UFO just landed and posted this here
Вот именно что щит, который почему-то не обесточил аварийную стойку. Весь ЦОД может отключить только самый верхний инженер, но никак не дежурный админ, причём он вначале переведёт нагрузку на другие ЦОДы, корректно сохранит все данные на диски… Поэтому скорее приедут пожарные, которых вызвали прохожие, заметившие, что дата-центр переносится в облако, чем вся эта бюрократия аварийно обесточит электронику и вручную запустит пожаротушение…
UFO just landed and posted this here
Аварийное отключение дата-центра такого масштаба может принести владельцам убытков больше, чем он стОит вместе со всем оборудованием. Это примерно как на сталеплавильном заводе — если в печи застынет металл, то её уже не растопить, придётся ломать и строить новую, поэтому на ютубе полно видео, как весело разлетаются по цеху брызги металла, и все прячутся, а не отключают печь и запускают охлаждение…
UFO just landed and posted this here
Я так понимаю это про нашу необъятную речь идет?

По аварийным остановам я уже чуть раньше отписался.
Человеческая жизнь ТАМ дороже, не здесь.

Вы в абсолютных, или относительных значениях? Если в относительных — примерно равнозначно. Более того, я вам тайну открою, но тот же самый ЕВРАЗ — международный холдинг и заводы есть в том числе в Канаде.
стоит компенсация на производстве за жизнь в не РФ

В зависимости от обстоятельств произошедшего. ИРЛ большая часть травматизма на производствах происходит из-за нарушения ОТиТБ. А дальше уже начинаются проверки и поиски виновных. Например, даже если сотрудник явно и грубо нарушил ОТиТБ, но в каком-нибудь журнале не хватает какой-нибудь подписи — работодателя ждёт грусть.
Там примерно так же. А сумма компенсаций в большинстве своём определяется лишь скиллом адвоката, предрасположенностью судьи и наличием/отсутствием лобби. Но в тех же самых штатах у конторы откосить от штрафа и компенсаций, если вина исключительно на работнике, значительно проще чем у нас.
ТАМ

На самом деле распространённое заблуждение. Я работал в международной иностранной металлургической компании и покатался по миру, побывав на многих заводах.
Могу сказать что «ТАМ» (естественно мы не берём в расчёт страны «третьего» мира типа Индии, Пакистана, Бангладеш) состояние производства, отношение к персоналу и условия труда во многих случаях не сильно лучше, чем тут: есть новые производства, есть не очень; есть производства с ответственным персоналом и эксплуатацией, есть не очень.
Аварийное отключение дата-центра такого масштаба может принести владельцам убытков больше, чем он стОит вместе со всем оборудованием

Это целиком и полностью зависит от SLA. Например, OVH никогда себя не обременял в своих договорах лишними обязательствами и ответственностью. С другой стороны, вот если бы тут нажали такую аварийную кнопку, которая бы всё обесточила и погасила нахрен вентиляцию, убытков было бы куда меньше, и оператору, и его клиентам. Так что ваша теория имеет пробелы.
В дата-центрах хостятся не только сайты с картинками котиков, но и, например, какая-нибудь биржа. И вот, идут миллиардные торги, прибыль или разорение зависит от того, кто на миллисекунду опередит конкурента, и тут сисадмин Вася, покурив на крыльце и увидев с улицы задымление над крышей, решает рубануть сразу всё здание… Таки нет, пусть лучше оно всё сгорит, и потом перед страховой и клиентами списать на форс-мажор (а мы старались до последнего поддерживать работоспособность), чем умышленно отключить серверы и потом Самим возмещать клиентам убытки, поскольку это не будет страховым случаем.
ну тут такая себе грань
а если соседнее здание — детский сад, вы не отключите датацентр ради биржи (ну чтобы там миллиардные торги не сорвались)… а потом сгорит детский сад и еще пару жилых домов?
А если проходящий мимо газопровод бахнет? еще еще какой бензовоз или чё покруче?

пожар это пожар, это уже форсмажор. если начинать приоритеты расставлять… то тут прям титаник вспоминается, 'сначала эвакиуруем богатых, потом всех остальных'… ну правильно Васян мелкий служащий не нужен для экономики, а банкир из пентхауса — владелец параходов самолетов — он рабочие места дает.

для всего этого есть страховка, если ты биржа то и заплатишь соответственно и дублирование у тебя будет в разных ДЦ с онлайн переключением.

p.s. я помню NY биржа падала несколько раз со страшным грохотом… ну и ниче, мировая экономика не рухнула и MS не обанкротилась (в те времена они хвастались что поставщики софта для них)
UFO just landed and posted this here
Будет, если мы говорим об аренде.

Дедики:

To apologise for the inconvenience caused, we will provide the service free of charge, for an equivalent of 3 times the amount of your February 2021 invoice for this service. We will get back to you in a few days to inform you about the conditions for receiving this service free of charge.

ВПС:

Для тех, кто сгорел: We recommend placing a new order for an alternative service in our Gravelines datacentre (GRA), where we are increasing our capacity. To support you, we will provide the service free of charge, for an equivalent of 6 times the amount of your February 2021 invoice for this service.

Для тех, кого задело: We will retroactively provide the service free of charge, for an equivalent of 3 times the amount of your February 2021 invoice for this service.

UFO just landed and posted this here
чем умышленно отключить серверы

Умышленное отключение серверов при пожаре юридически является таким точно форс-мажором, как и их физическое уничтожение. С той лишь разницей, что у вас не сгорает всё здание нафиг, а на восстановление вы тратите не месяцы, а дни.
Кроме того, даже такая авария на биржах не является смертельной. В подобных случаях происходит откат сделок на состояние, предшествующее открытию дня, это неприятность, но отнюдь не миллиардные потери.
Самим возмещать клиентам убытки, поскольку это не будет страховым случаем

Опять же таки, это зависит от SLA. Если по договору вы предоставляете хостинг и отвечаете за качество хостинга, вы хоть триллионные убытки можете нанести, но заплатите вы клиенту за стоимость оборудования и хостинга, а не за утраченную им прибыль.
если в печи застынет металл

Какой печи? :)
Их существует почти столько-же, сколько распространённых дистрибутивов линукса.
то её уже не растопить, придётся ломать и строить новую

Коксохимические батареи так-же.
поэтому на ютубе полно видео, как весело разлетаются по цеху брызги металла,

Которые могут разлетаться по тысяче различных причин. Более того в некоторых случаях это вполне себе нормальное технологическое явление.
а не отключают печь

В тех же самых АПК (агрегат печь-ковш) в ковшах, переносящих расплав, нет никаких отключалок. Только ковш отвалиться сможет. Плюс вы на минуточку забываете о теплоёмкости нескольких сотен тонн расплавленного металла.
запускают охлаждение

Этого не делают ровно по той же причине, по которой в космос их не запускают — такого функционала не завезли.
Я конечно понимаю, что это не совсем профильный ресурс, если мы говорим об инженерах. Но металлургические (или коксохимические) производства имеют крайне высокий SLA, те же коксохимические батареи работают десятки лет без останова.
И нет, те ролики, которые выглядят пугающими в сети (с брызгами расплава и прочим) в большинстве своём выглядят пугающе и завораживающе, но на самом деле «это норма» (с).
И нет, кнопки аварийного останова, по которым участок встаёт колом есть на всех производствах в нашей стране. И да, даже в «нашей необъятной» (с) травматизм на рабочем месте меньше всего нужен работодателю. Даже если отбросить все «человеческие» причины — потом проверками задолбают.
Выключение датацентра такого плана для бизнеса — аналог ядерной бомбы.
Не удивлюсь, если для этого надо два разных ключа повернуть.
То, что выставляет Uptime Institute и размеры ДЦ вещи не связанные. Есть мелкие ЦОДы, которые соответствуют Tier-IV, есть крупные, которые и на III не тянут.
А почему вы думаете, что там был газ? Я вот как раз на днях вернулся из поездки по нескольким крупнейшим североамериканским DC Tier III, в которых держат своё оборудование top brand names. Тушение у них у всех организовано трубами для воды с распылителями (sprinklers), которые будут лить воду на железные стенки шкафов. На мой вопрос все отвечали, что для сертификации на Tier III этого достаточно, и вообще этого же никогда не случится, и, если что, дежурный с огнетушителем прибежит и всё потушит, в том числе батареи ИБП, запакованные в многоэтажный закрытый шкаф. Главное — трубы сухие (dry pipes), так что волноваться вам нечего — оборудование случайно не зальёт.
А OVH — лоукостер, там и такого могло не быть.
На таком обесточивание должно одной кнопкой производится

Насколько я понимаю, смежные здания так и обесточивались. Пожарный не будет лить воду на работающую электроустановку, а это опять потеря времени.

Вопрос в другом — мы не знаем что произошло в действительности и гадаем по кофейной гуще. Мы не знаем, где произошло возгорание. Мы не знаем, на каком этапе была противопожарная система, может быть она и сработала, но уже поздно. Пока ясно только одно — как только прогорела стенка контейнера и у пламени появился доступ к кислороду, процесс горения стал неуправляемым; а штатные системы пожарной безопасности, основанные на ограничении кислорода — бесполезными.

PS: точно знаю что ночью техники работаю по датацентру, пару раз проводили работы (меняли БП, память) ночью. И хвата небесам, что не слышно про человеческие жертвы.
Пол\потолок из чего? Двери металлические? Шкафы деревянные со всяким хламом (картонные коробки картриджей) есть?
Ещё есть пластиковые pdu, розетки…
жидкосное охлаждение на каждое устройство (сервер), заправлено, возможно, этиленгликолем, плюс кабель (силовой, utp, оптика), плюс сами сервера — с кислородом горит все аки порох.
Интересно как современный датацентр со всеми мерами защиты смог полностью сгореть…
Плотность серверов и законы Мерфи.
Плюс отсутствие надлежащего контроля работоспособности системы пожаротушения.
Надо добавить четвёртым пунктом в чек-лист из поста )
Так о том и речь, что в такого уровня ЦОДах законы Мерфи не должны работать. А иначе это «трэш-дата-центр» (по строгой классификации TIA-942). ИМХО, конечно…
что в такого уровня ЦОДах законы Мерфи не должны работать

Мерфи был оптимистом…
Это ещё же не всё веселье. Как вам вот эта часть:
в связи с близким расположением зданий дата-центров SBG1, SBG3 и SBG4 к сгоревшему SBG2, пожарным пришлось их «охлаждать»

Т.е. если бы ветер дул сильнее в нужную сторону, то сгорел бы не один дата-центр, а несколько.
КМК эти ДЦ всяко не Tier-III и может даже не Tier-II

Данная картинка говорит о том что здание строили из чего попало (коридоры/отделка/стены и возможно даже перекрытия).
Вот я подумал, наши мостостроители просят разрешить им строить мосты из алюминия, как в высокоразвитых странах, а ведь они тоже могут сгореть....

UFO just landed and posted this here
Странно, что не каждый день такое горит.


Морской контейнер горит? Как?
UFO just landed and posted this here
фальшпол мог быть не металлический… (в дсп удобней дырки сверлить чтоб силовые провода в стойки заводить)
Если это так, то как такая компания может носить статус крупнейшего хостинга в Европе. Удивлен, что такое произошло не в каком-нибудь российском датацентре.
UFO just landed and posted this here
Кто сегодня научился держать актуальные бэкапы, тот я. Минус прод сервер в SBG2
К сожалению, помимо бэкапов есть еще много чего — эквайринг, системы оповещения (mail+sms) и т. д., часть из которых требуют перезаключения договоров или уведомления о смене провайдера/ip/настроек — а это не быстрый процесс. Легли пять серверов, расположенных в 1, 2, 3. Дев сервер у нас работает — по моему в 4, и то с перебоями. Офисы в России, Украине и Франции без работы. И сколько это все продлится...?
то что было в 2, скорее всего, поедет на мусорку, так как он весь сгорел
1 сгорел частично
3 и 4 — целые
в ближайшее время они будут вводить в работу 3 и 4, а потом рассказывать что будут делать с 1 и 2
1 сгорел частично

4 гермозоны повреждены, 8 уцелело — можно считать, что повреждена треть SBG1

они будут вводить в работу 3 и 4

Еще допишите потери на запуск, SBG3 и SBG4 тоже обесточивались в аварийном порядке.
Интересно, это отголосок из 2017 года, когда SBG весь «рухнул» на 3,5 часа из-за проблем с электричеством?
hosting.kitchen/ovh/teper-vot-dlinnyy-otvet.html

Остается только ждать публикации информации о причине возгорания, но моё мнение — электрика подвела.
«автоматы выключаются, насяльника, мы их заменили на более мощные»… Шутка с долей шутки, сам встречал такое не раз в жизни, начиная с квартир и до промышленных объектов. Переделывать же дорого и долго, «и так сойдёт» от «как выделят денег» до «работает же, зачем трогать»… Беда в том, что работать так может долго, прививая мысль что это норма, а потом ломается в самый неподходящий момент и «ты виноват, надо было что-то сделать».

А подвела тут таки система пожаротушения, и не факт что она вообще была, а если и была то полностью исправная, заряженная и включенная. Про включенное тоже не шутки, «а вдруг оно сработает, а там газ дорогой, сами потушим огнетушителем»…

«а вдруг оно сработает, а там газ дорогой, сами потушим огнетушителем»…
Увы он не дорогой, от него просто умирают, соответственно есть правила эвакуации из помещений в которых срабатывает система с газовым тушением, а если кто-то был внутри и покидал помещение не соблюдая инструкцию (а жить охото больше чем все двери запирать, в экстренной ситуации).

Увы он не дорогой, от него просто умирают

На самом деле, от газа не умирают уже какое-то время. Та фигня, которой тушили американские военные и которая по действию была близка к боевому ОВ — слишком дорогая и остальным не по карману. Тушат или фреоном (тогда проблема в основном в нехватке кислорода, но если автоматика настроена правильно, то исключается возможность срабатывания при людях внутри), или чем-нибудь типа Новек/FM-200. Реже встречается инерген. У всех этих систем есть одно общее (если все сделано правильно) — уровень кислорода если снижается, то ниже порога, при котором возможно горение, но остается выше того минимума, который нужен человеку для выживания.


А вот с ценой… FM-200 и Новек стоят дорого. Инерген сам по себе дешевый, но там очень высокое давление и из-за этого сама система стоит запредельных денег.


Больше ужаснуло то, что все декоративные конструкции сделаны из чего-то очень сильно горючего были. Наша Главгосэкспертиза такой проект бы зарубила бы однозначно. Ну и да… "Огнестойкость конструкций? Не, не слышали!"

Ну так то в идеале,


  1. Не сработает при человеке,
  2. Человек вероятно не умрёт если всё очень точно настроено и успеют потом откачать, причём человек — это нечто среднестатистическое, причём не из админов датацентров.
    А по факту не думаю что нашёлся кто-то кто готов был к эксперименту с реальным срабатыванием "правильно установленной" системы не в лаборатории… Слишком много допущений.

По поводу материалов, да вот это действительно проблема, причём если взять к примеру норм офис то там всё более менее, но вот как подумаешь, а что же там в квартирах под тобой… Так вспоминаешь утеплители для домов из пенопласта...

C нейтральными газами типа фреонов достаточно развесить по стенам самоспасы с запасом кислорода, этого достаточно чтобы выйти без паники, там минут на 15 запас (что я видел). И даже видел такие в ДЦ. Единственное — чтобы автоматика при пожаре не блокировала двери напрочь и можно было всё-таки покинуть помещение.

Да! Есть же еще вообще почти бесплатное и почти совсем нейтральное огнетушащее вещество. Тонко-распыленная вода. Централизованная установка стоит относительно дорого (пока), но зато огнетушащее вещество — 1-2 евро за кубометр (в Европе). Тушит достаточно эффективно. Если в помещении не работают с перфокартами, то примерно безопасное для всего оборудования. Абсолютно безопасно для персонала.

водяной аэрозоль не вытеснит воздух из зоны горения, а именно эта функция является основной в таких системах

электрика подвела.

Скорее подвела система пожаротушения, которая не позволила локализовать очаг возрастания.
UFO just landed and posted this here
Вывод: поджог :) Кому то было выгодно все уничтожить.
Та и владелец же в Твитере написал, что уже едут новые сервера.
UFO just landed and posted this here
А то что сразу ВСЕ загорелось это не подозрительно? Та и не одна система безопасности не сработала? А где дежурные? Просто визуально можно же увидеть огонь. Принудительно запустить пожаротушение, не?
Я не верю что оно само так загорелось.
Вы никогда не видели, как горят обычные подъездные стояки? Огонь быстро распространяется вверх, с этажа на этаж, просто за счет естественной конвекции воздуха. Здесь гораздо хуже, потому что кабелей-проводов просто в разы больше, а еще, в буквальном смысле, ветер гуляет. Вся наша надежда — на раннее обнаружение и локализацию очага.

Система пожаротушения, очевидно, не была исправной. А визуально увидеть такое не получится в большинстве случаев. Кабельное добро при горении выделяет очень много дыма, и прежде чем появится открытое пламя, там всё дымом закроет, и хрен поймёшь, где источник возгорания, пока он не разгорится основательно.
судя по графикам что я видел, температура с рабочей до 90+ выросла за 4 минуты. Если не находился прямо в помещении, можно очень долго не замечать. А ещё в ДЦ всегда очень шумно, по звуку тоже не обнаружить.
Вообще, датчики уже много десятилетий существуют, включая на радиоизотопах, плюс в вентиляцию ставят, там уже небольшой дым обнаруживают. Скорее всего или вообще не было, или выключили.
Я обслуживал Датацент…
Там холтура еще та. И руководство ЖМОТЫ.
Они там миллионы рубят на сервере который ты обслуживаешь примерно за 100$ в месяц… + еще и оверселлинг мощностей.
это офигеть как много звезд сошлось в один момент времени, этожеж неспроста
Это как в ДТП. Пока в одном месте не соберутся несколько альтернативно ездящих — ничего необычного не происходит, всё разруливается как-то.
А ведь в ЦоДах есть специальная система вентиляции. Неужели нельзя было как-то её перекрыть, чтобы кислород не поступал? Так огонь бы сам затух.
Нет. Чтобы локальное стало относительно глобальным, хватит и того что есть, а дальше оно себе прожигает дыры в другие гермозоны и на улицу и горит себе дальше. Подводные лодки тоже горят, и горят страшно…
И полностью герметичным без спец мер оно не будет, а спроектировать отдельные зоны, устойчивые к пожару хотя бы час в соседней зоне — стоят очень много. Дешевле нормальную систему тушения.
Исключительно системы пожаротушения помогут, причём с системами раннего реагирования. Более безопасны фреоновые и на «сухой воде», менее опасные углекислотные. Водяные — пожар может и потушат, но с долгим ремонтом (все кабели зальёт, железная основа включая стойки будет ржаветь и так далее) и заменой всего в гермозоне.
Подлодка — нерелевантный пример, на ней есть независимые источники сжатого воздуха (баллоны с ВВД).
Более безопасны фреоновые и на «сухой воде», менее опасные углекислотные.

Ммм… так какие безопаснее?
Более безопасные — менее опасные [относительно воды, для техники] — опасные.
Для человека более опасна углекислота, в замкнутом пространстве человек умирает не от того что кислород кончился, а что СО2 слишком много. Так же может вызвать термический ожог при попадании жидкой фракции на кожу. Он не так опасен как СО, достаточно просто покинуть место тушения. Фреоном я как-то дышал, когда проткнул холодильник, без последствий. Для техники это всё достаточно безопасно, правда есть опасность акустического разрушения (https://nag.ru/news/newsline/101227/lojno-srabotavshaya-sistema-pojarotusheniya-vyivela-iz-stroya-jestkie-diski-v-tsod.html), но это другое.
При этом сухая вода и фреон дороже углекислоты.
Интересно, а если в качестве термоизоляции в стенах между отсеками делать что-то типа льда — такой вариант не катит?
Лёд хреновый материал. Во первых он тает. Во вторых сильно меняет обьем.
UFO just landed and posted this here
Насколько я помню, фреон при взаимодействии с пламенем, претерпевает ряд химических превращений, побочным эффектом которых является появление фосгена.
Смотря какие. К примеру есть фреон(R718), который, после добавления солей, вполне себе становится питьевым, ну и ещё одна марка (R290), которую можно прекрасно использовать для приготовления еды, но вот тушить ей пожар (которому кстати для ликвидации можно просто удалить фреон R729 в некоторых случаях) — идея не очень.
фреоны это группа газов, и те что тушат — на фосген не распадаются. В гугле очень подробно есть.
побочным эффектом которых является появление фосгена.

помоему этот эффект только за давным давно устаревшим и много где запрещенным R12 был замечен
также там есть зависимость от температуры пламени

У PDFForge не работает сайт и как следствие лицензионный софт от них. Зато у крякнутых версий всё хорошо, я предполагаю — при том что модуль активации пишет, что до времени следующей активации ещё несколько месяцев. Ну вот класс...

Практика покупки лицензии, но использования крякнутого софта жива как никогда, когда каждый первый софт пытается в интернет ломиться.

Да ладно лицензия, захотел я eclipse (WTP тот который for jacaee) использовать для разработки под tomcat (так сказать совместить изучение с пользой для рабочих процессов) так вот оказывается без доступа в сеть даже пустой проект не запустить (с установкой всего нужного оффлайн тоже не так просто но решаемо), оказывается он не умеет по человечески брать xsd схемы из jar файлов tomcat (или с собой привезти), и хочет их через интернет привезти, при этом их не выходит даже в одном месте сложить чтобы использовать… Нужно чуть ли не поштучно искать какого не хватает и класть в правильный каталог (что-то вроде cashe/jcp.org/javaee/.../webXx.xsd).
Т.е. выходит что даже средства разработки уже работать не умеют…
p.s. ранее как-то пробовал лицензионную версию visual studio 2017 с полного архива поставить, вроде как инструкция есть но… но не работает...

Отличный повод перейти на IDEA.

К сожалению, практически это невозможно.


  1. Мои планы не подпадают под лицензию community edition
  2. В нашей ситуации приобрести лицензии практически невозможно(есть особенности, дело в внутренних процессах).
  3. Даже если с внутренними процессами вопросы решить, ввиду грозящего импортоза ещения, idea немного не подходит по параметрам к допустимому по(открытое/свободное под некоторым набором лицензий в принципе допустимо).
  4. Покупать её на себя не вижу никакого смысла, т.к. я фактически не совсем разработчик и в принципе мои интересы за пределами рабочего периметра немного не совпадают с закрытыми средами разработки (не говоря уже об отсутствии экономического смысла).

И да, мой опыт мне подсказывает, что опираться на коммерческие закрытые решения, наверное нет большого смысла.


p.s. но мысль попробовать запустить аналогичную конфигурацию в изолированной среде есть, интересно всё-таки заработает или точно так же танцы с бубном...

Можно использовать EAP: https://www.jetbrains.com/ru-ru/idea/nextversion/

EAP-сборки IntelliJ IDEA Community и IntelliJ IDEA Ultimate можно использовать для любых целей, включая разработку проприетарного и коммерческого ПО.

Из недостатков такого подхода:


  • Могут быть периоды, когда предыдущий EAP закончился, а новый ещё не начался.
  • Могут быть баги. Но баги могут быть всегда.

На мой взгляд это неправильно.


  • Есть проблема того, что то что не факт что возможность сейчас "доставить некоторое по на рабочую станцию" сохраниться со временем, в закручивании гаек участвуют как внутренние службы так и регулятор(законодатели)…
    Да и установив вчера idea для того чтобы ребёнок изучал kotlin, начал сильно сомневаться что будет работать offline… Консольная программка минут 5 не запускалась до того как среда что-то там заканчивала (да наверное нужно было как-то переключиться с gradle на внутреннюю сборку но это уже начало танцев с бубном).

p.s. jEE в community edición не входит

Хотелось бы знать в каком из этих ДЦ находилось ядро управления всеми сетевыми плюшками и позволит ли включение уцелевших ДЦ делать тот же «ip migration».
Пока даже из Рубе в Гравлин не могу роутить подсети, перестали приходить всякого рода уведомления об атаках и т.д., то есть, видимо, и защита от DDoS сейчас либо отключена, либо «замерзла» в состоянии на момент пожара/отключения ДЦ.

И вот ждать ли включения этих ДЦ и возможности роутиться или пяти сотням сайтов менять А-записи вручную…
Судя по дашборду, пострадали большинство сервисов компании. Будут постепенно давать апдейты по ситуации.
Завелось!
Вот надо было раньше пожаловаться на хабр…

Сервера в SBG-2 ожидаемо недоступны, но таски по переносу ip начали выполняться.

меня больше всего веселит в этой ситуации система мониторинга.
все сервера показывает — доступны.

Как вариант она фейковая)
А то что пишут, что она была на SBG2, так опять же не была бы доступна вообще.
Так что, я думаю что то просто для отчетности.
Еще, как вариант, такой алгоритм: если сервер выключился до 30 мин, то показывать что он офф. Если больше серверов потухло и все сразу, то знач что ЧП и не показывать это людям. Зачем портить статистику?

Я не думаю, что там такой хитрый замысел. Скорее, система построена на сигналах от watchdog'ов — как только те видят недоступность сервера, то сообщают на панель мониторинга. А если к праотцам отправился весь датацентр вместе с watchdog'ами, то и сигналов о недоступности не поступает.
Даа, но как проверить работает ли вобще watchdog? Должна же быть обратная связь. Если не выходит на связь, знач что то не впоряде.

Вы слишком усложняете :)
Не современно это...

Наоборот это современно! Должна быть же самодиагностика датчиков.
Тогда накой их ставить, если, например, мыша повредила провод и датчик ничего не показывает. А когда что то не так будет с сервером, то опять же датчик ничего не покажет, т.к. он поврежден :)

Увы как бы это не звучало, но я всё больше и больше вижу решений уровня "прототип" даже в тех местах где их быть вроде как не должно...

Ну системы диагностики на этом и строятся, а выше троллинг=) Namur для дискретных датчиков уже весьма распространен.
UPD к моему удивлению — печальный факт…
Достаточно, чтобы сервис мониторинга не пассивно ждал сигнала, а периодически опрашивал, все ли в порядке. И получал ответ — в порядке или нет. А если ответ не получен — то тревога.
Или не опрашивал, а вочдоги сами должны периодически отправлять сигналы «пульса», что они работают. Но то такое. Можно одно и то же сделать разными способами, было бы желание.
UFO just landed and posted this here

А если на лампочку никто смотреть не будет?

UFO just landed and posted this here

Смешно :)
на самом деле, когда мы делали мониторинг похожего места, обдумывали это и пришли к выводу, что 1) нужен внешний автоматизированный контроль (расположенный как можно дальше — хоть на другом континенте), 2) финальная надёжность всё равно на людях, но их тоже надо проверять. Например, техдиректор вводит в систему некоторое случайное число, а старший по смене мониторинга рапортует результат хитрой обработки этого числа (которая зависит от уровня текущих алармов и ещё и меняется каждый час). Могут быть другие похожие подходы.

это 100% ситуация из сети компании в которой я работал.
Удаленная циска (в Ступино) проверяла нашу сеть (Алматы), но когда сама легла — у нас никто об этом не узнал, пока не произошел сбой.

Потом мы настроили двухстороннюю проверку.
А как ущерб будут возмещать то? Если у меня, например, 8Тб инфы там было. Все транзакции… Статистика…
А вам кто-то давал гарантии сохранности данных?
UFO just landed and posted this here
Значит вы заплатили за лекцию о необходимости качественных бэкапов этими самими 8Тб информации. Если разнести/делать бэкапы мешала политика руководства вашей фирмы — то сейчас самое время прочитать им лекцию о стоимости бэкапа и стоимости отсутствия бэкапа.
У меня два VPS сервера в OVH. Тот который в SBG1 ожидаемо недоступен.
Но есть еще кое-что о чем не говорят — панель управления услугами и хостингом OVH почти не работает глобально — просто не получается залогинится или постоянные таймауты страницы, т.е. даже если у Вас сервер в другом дата-центре OVH, но ряд настроек Вам не доступен (биллинг, переустановка образа сервера, бэкап на уровне OVH, DNS записи на уровне OVH и т.д.
2. И более того, мой другой сервер в другом дата-центре OVH в другом городе тоже странно работает — файлы с него скачиваются со скоростью 12 килобайт в секунду. Фактически сервер тоже не работоспособен.

А как узнать, в каком ДЦ vps? Панель управления не работает, в почте от них этой информации не нашел...

Смотрите в ovh manager в панели vps вот такую колонку
Location Strasbourg (SBG1) — France

Мне тоже на почту ничего не пришло и в менеджере всё якобы неплохо, но при этом сам vps остаётся недоступен.
… А в остальном, прекрасная маркиза...


И это наводит на мысли о более тщательном анализе телеметрии других локаций.

Проблема в том, что ovh manager говорил, что виртуалки не существует :) И ничего, собственно, не показывал.


Но whois показал, что она SBG6. В твиттере ответили уже, что это виртуальное облако внутри SBG3

UFO just landed and posted this here
Возможно, те кто уцелел массово делают/качают бекапы — от того и скорость от дата-центра упала.
Было бы интересно узнать подробности, чтобы исключить это в других ЦОДах — возможно некоторые другие ЦОДы тоже не застрахованы от таких аварий.
UFO just landed and posted this here
Tier-III тоже не гарантия. «Извиняй чувак, мы тут в процессе ТО уронили твой сервак, нам очень сорри, но мы уже по договору задеплоили тебе другой, а твоему хана, в нём диски теперь все щёлкают»
интересно где вам так ответили в T-III цоде?
А что скрывать, у аналога OVH из той же страны.
UFO just landed and posted this here
А ничего, тут как говорится ССЗБ, если перед обслуживанием не сделал актуальный бэкап, не проверил его и даже не прочитал, что даже в рассылке упомянули «всё круто, мы супер, но бэкап таки сделать надо».
Мне в Tier-i от IBM(один из лучших в США) как-то сказали «извините, сервер восстановлению не подлежит, вместе с дисками. Вам развернут новый сервер с той же конфигурацией, в соответствии с SLA вы получите 15% компенсации за последний месяц»
Еще и адреса поменяли. Сервер был с рейдом и 2x PSU. Вышел из строя PSU и все сжег.
Это, часом, не наш ли ответ на падение сайтов кремлин, РКН и РТ? Удаленная перегрузка батарей упсов ;) (на правах шутки, если что)
SBG сгорел раньше.
Ну слегка поспешили. Бывают накладки.
Не учли разницу между московским и римским временем, и о покушении на папу московское радио сообщило на два часа раньше, чем оно было совершено
треш конечно… я вот тоже пошел проверять все… это же сколько IT-ишников без работы останутся? если нет бекапов вне ДЦ, полюбому увольняться же придется…
Да это фигня. Перекрёстная смена работ.
Тело А уволился\уволили из компании А, Тело Б из компании Б.
Теперь тело А в конторе Б, тело Б в конторе А.

Менеджеры HRени поделили премию за быстрый поиск сотрудника.

P.S. Я люблю людей.
Тут более уместен анекдот про замену по гарантии сгоревшего жёсткого диска…
Объясните. Как такое возможно? Где были сотрудники охраны? Где были датчики темпиратур/дыма и так далее? Как может быть такая халатность в крупном дата центре Европы?
Это Европа. Там работают с 8 до 17 пять дней в неделю.
Еще не придумали помещения с серверами заполнять углекислым газом?
Да хотя бы перекрыли бы вентиляцию, сгорела бы пара стоек, а не все несколько этажей.
UFO just landed and posted this here
придумали. но это такая себе штука… каждый раз заходя в серверную с этой самой 'порошокгаз уходи, газ не входи'… и страшные инструкции 'деактивируй систему входя в помещение!' 'не запускай систему при наличии людей внутри!'
и мысли когда там находишся...'ща если оно сработает по ошибке, и дверь не разблокируется, то мне крындец'… у нас тогда (покая я работал админом в одной конторе с небольшим собственным ЦОД в подвале) эта штука была включена только по ночам, днем её выключали от греха подальше (серверную только отлаживали, были еще косяки по кондиционерам и вообще по инженерке)
==
был свидетелем срабатывания такой системы в ЖД вагоне… и выпрыгиванием находившихся людей внутри через все доступные форточки и аварийные выходы… с тех пор везде во всех ЖД вагонах которые я видел, эта система была отключена сразу после приемки вагона с завода, провода насмерть заизолированы и спрятаны.

imho её могли тупо не включать, учитывая что там например работы могли проводиться
В нормальных ДЦ, оборудованных такими штуками, где мне приходилось бывать, на стенах висели ОЗК спаскомплекты — такие полускафандры, дающие сколько-то минут автономного пребывания в горящем помещении, заполняемом тушащей смесью.
UFO just landed and posted this here

Отлично сэкономили, офигеть как.

UFO just landed and posted this here
Открою страшную тайну — Хладон 125 или 227 относительно безопасны для человека в течении 5 минут (при концентрации достаточной для тушения) — пруф: algoritm.org/arch/09_1/09_1_6.pdf
Главное под насадком в момент запуска не находиться.
NOVEC1320 еще безопаснее вроде как.
Один производитель шкафов возит посмотреть чешский ЦОД — там вообще тонкораспыленная вода (вот насколько она действенно работает ведутся споры).
Небольшой нюанс для систем объемного пожаротушения: если будет открыт контроллируемый системой проем (например, входная дверь), который не дает создать необходимую концентрацию, то система тупо не запускается. Т.е. может система и работала исправно, но например персонал держал дверь приоткрыто (чтобы каждый раз карточкой туда-сюда не махать) и система фактически не могла сработать.
— Хладон 125 или 227 относительно безопасны для человека в течении 5 минут (при концентрации достаточной для тушения)

Опасность/безопасность хладонов (не только 125, они вообще практически все безопасны) тут вообще значения не имеет особо, опасность тут в том что они выдавливают кислород и в большом помещении если не разблокируются двери, человек элементарно задохнется
человек элементарно задохнется

Более того, эволюция заложила в человеке не контроль уровня кислорода, а контроль уровня углекислого газа. Достаточно заместить кислород даже довольно невинным азотом и незаметно для самого себя начнется кислородное голодание, которое закончится обмороком. А в состоянии обморока человек сам себе помочь не может.
Не понял в чем проблема эвакуации? В примере выше указывалось, что люди прям таки через окна выпрыгивали, чтобы спастись. Однако, за 5 минут можно вполне комфортно эвакуироваться практически из любого технологического помещения, которое тушится Хладонами.
Не разблокировать двери на пути эвакуации может только малограмотный проектировщик — все знают: ставь на выходе зеленую кнопку «ПОЖАР» на разрыв питания электромагнитного замка, а то потом получишь замечания. Данный метод разблокировки дверей можно дополнить другими.
UFO just landed and posted this here
открывание может блокироваться (в «вишне» кажется вообще амбарные замки на петлях повесили). Но иногда подобные замки бывают говёнными, быстро изнашиваются (например, если дверь на чёрную лестницу используется и в штатных случая) и их открыть сложно (год назад такой видел в двери с «эвакуационой ручкой»).
UFO just landed and posted this here
обратите внимание на "(в «вишне» кажется вообще амбарные замки на петлях повесили)" и «иногда подобные замки бывают говёнными, быстро изнашиваются». Во втором случае — там иногда толкатель стоит из г-металла (со временем гнётся или истирается). Иногда шарниры разблокировочных рукоятей превращаются в «г» ушатанное. Ну и элемент частого спора пожарных и безопасников тоже вносит свои коррективы :(…
Не так уж дорого будет принудить всю команду входить в помещение исключительно с сумкой аварийной кислородной маской на ремне и сдавать ежемесячно норматив по её одеванию.
И не выключать систему никогда.
Не так уж дорого будет принудить всю команду входить в помещение


далеки вы от реалий ;))
Это да.
Но был бы рад почитать о них, если напишете :)
реалии таковы что административные меры очень быстро заканчиваются
(применительно к ЦОДам не скажу конечно, я не особо много успел там поработать) но в целом
1) отключают пожарку если она часто срабатывает, например если рядом туалет
2) отключают автоматическое срабатывание пожаротушения — если оно сработало раза три подряд по ложной причине (и обязывают охранника, если будет пожар, его включить вручную… ХА)
3) 'принудить всех ходить в масках' — не удобно, долго, надо маски закупать, менять, мыть, чистить — полгода походят, потом забъют… само начальство их одевать не будет впервую очередь (оно начальство же, не гоже ему)… в итоге они будут на стене висеть и пылью зарастать.
4) был у нас регламент замены и проверки батарей в резервных светильниках в ЦОДе… как свет отключили все с телефонами там шарились… оказалось что не только в светильниках никто ничего не проверял и не менял, но и в УПСах (точнее первые месяца два проверяли и даже писали что купите батареи… но бюрократия… отложим на следующий квартал и т.п… а проверять каждый раз то что не работает не особо и охота… а там рраз и два года прошло)

и вообще человеческий фактор, когда я еще в офисе сидел класса А++… в первые годы на тест пожарки все выходили на улицу, а через пару лет большая часть народа начала по туалетам прятаться… не нуачо одеваться, бегать кудато… вот так реалии в жизни работают.
Это сидя в кабинете легко сказать, а на местах люди по 5 человек через шлюз пролезает потому что ждать лень… ну разок когото поругают зато остальной год быстро рраз и пробежал.
в первые годы на тест пожарки все выходили на улицу, а через пару лет большая часть народа начала по туалетам прятаться…

У нас по регламенту проверка 2 раза в месяц, так уже к концу первого года проверок даже с рабочих мест перестали вставать…
а у нас менеджерам отделов пообещали материальные страдания при получении бонуса в конце года, если при регламентной проверке обнаружится не вставший с рабочего места или спрятавшийся в сортире умник. Работало.
При вдумчивом совмещении данных с герконов дверей, датчиков движения внутри и кнопки активации контроля снаружи без задержки («все ушли»), а так же при доведении до автоматизма у всех привычки «вышел последним — нажми кнопку и пока идешь по лестнице, краем глаза отследи погасание таблички» — ситуация кажется близкой к идеальному балансу между пожарной безопасностью и ощущением безопасности при нахождении внутри. Но это наверное работает только в небольших серверных с небольшим штатом сотрудников.

И что самое главное — это правильно работает только когда вдумчиво интегрируются системы пожаротушения, охраны и СКУД. А в зданиях с 1-2 небольшими серверными обычно пультовая ОПС в не-серверных помещениях — это ЧОП, пожаротушение хладоном — подрядчик, СКУД — другой подрядчик или сами. Ни о какой нормальной интеграции речи не идет.
при доведении до автоматизма у всех привычки «вышел последним — нажми кнопку и пока идешь по лестнице, краем глаза отследи погасание таблички»
В момент пожара таких сложностей быть как раз и не должно.
Держал две VPS в SBG1.
7 сайтов лежат с 4:30 AM GMT+5.
Саппорт просто удаляет тикеты.
в твиттере же сообщили, что планы на ближайшие 2 недели это их восстановление, 1, 3 и 4. В комментариях многие сообщают что все бекапы так же недоступны, скорее всего на ближайшие 2 недели ОВХ в Страсбурге не будет доступно
В овх не было саппорта никогда и не будет даже в случае факапа. Через неделю пришлют релиз с расчетами компенсацию и докинут их либо на баланс либо на саму услугу.
Овх — лоукост, саппорта нет, при этом у них есть все инструменты чтобы знать, что случилось. Travaux показывал инфу ещё до того, как Octave написал об этом в твиттере.
Было бы неплохо, если бы они предложили сервер той же конфигурации в другом ДЦ, ну или явно написали что компенсации в виде альтернативного сервера не будет.
они всегда такие вещи компенсировали, ну пожаров у них не было, а вот когда в 17 отказали генераторы — да, тогда до 200% стоимости компенсировали, в зависимости от стоимости сервера.

kinopub — если зайти через впн — зависает при попытке авторизации
mos-gorsud.net зависает при попытке авторизации
kpdl.cc работает
персональные зеркала вообще исчезли из dns
в телеграме их — сообщение про технические работы.


любая авторизация

Перейти на статус-страницу kinopub.online и дальше на зеркало
P.S. Exchange на ошибке выкачали и майнер в облако пустили, дабы добру не пропадать, заодно логи подчистить.
А есть где-то понимание какие стойки в SBG1 как расположены и какие улетели в облака, а какие еще есть шансы актуализировать, а не воскрешать с бэкапов?
4 комнаты из 12 померло и не ясно целиком ли.
То есть это 12 контейнеров стоящие в 3 по высоте в 4 точках.
По видео и фото видно что 2 коробкам досталось. Но каким это по последовательностям чисел — абсолютно не ясно. По мониторингу лишь могу предположить, что померли 61E 61C 62B 62E — если у них по контейнерам именно так распределение было и мониторинг не врал.

Несколько серверов личес сгорело. Но пишут, что почти всё перезапустили/восстановили.

Перестал работать radiopicture.listbb.ru Наверное из-за этого инцидента.

Остаётся только соболезновать всем тем, кто пострадал от пожара.

Серверы перенеслись на настоящие облака!

Только не серверы, а данные загрузились в облако.
Вроде, Германия, педантичные немцы, где какие-либо случайности невозможны в принципе, и такое, где загоревшийся корпус чуть не утащил соседние.
Страсбург — это Франция, хоть уже и рядом.

Странно что упали сайты государственных органов и даже РТК, мне всегда было интересно какой смысл в ФЗ-152 если сервисы авторизации перестают работать когда сгорает дата центр где-нибудь в Страсбурге :) ладно коммерческие сайты, но государственные порталы… неужели в погоне за экономией не могут разместить в датацентрах того же селектела или где-нибудь в нерезиновой ...


<очередная теория заговора> В такие моменты начинаешь думать что просто была диверсия, которую скрыли при помощи пожара. </очередная теория заговора>

а может такое быть, что условный селектел гонит через себя трафик, а сами сервера в условном страсбурге, потому что так им дешевле?

не может, и так не дешевле

В 15-м году, когда вышел закон о ПД многие компании которые держали всё на серверах в условном «OVH» не стали реально переноситься в условный «selectel», а просто развернули nginx-proxy в «selectel» оставив сервера в «OVH».
Та же история с серверами в РБ, когда по 60-му указу обязали все BY-ресурсы хостить в РБ. И если сравнивать с условным «hoster.by», то стоимость отличается на порядок, если не больше.
Кое-что проясняется (http://www.economiematin.fr/news-ovh-incendie-strasbourg-seveso-klaba-introdu):
«Cet incendie pourrait-il remettre en cause les plans d’OVH? La question se pose. Le 8 mars 2021, soit la veille de l’incendie, l’agence Reuters annonçait que le groupe avait déposé les premiers documents en vue d’une introduction en Bourse en 2021.»

Перевожу с французского:

«Возможно ли что этот инцидент помешает планам OVH?
Такой вопрос вполне уместен.
Накануне этого происшествия, 8 марта 2021 года, агенство Рейтер анонсировало что OVH подала первый пакет документов для листинга на бирже в 2021 году.»

Совпадение? Не думаю (с)

Это как-то связано с троттлингом твиттера в России? Они не могли случайно что-то пережать лишнее в процессе? Отвод тепла там, или противопожарную трубу?

UFO just landed and posted this here
UFO just landed and posted this here
UFO just landed and posted this here
Да отчеты об аттаках на часть впсок были 4ого-7ого
На случайные, именно в SBG1
И не ясно зачем ддосили, если там ничего не было. (при этом на эти впски раньше вообще аттак не было). Случайно попали, может уязвимые искали.
image
Это не атаки, это моменты начала анализа арбором/тилерой, когда трафик становится существенно большим чем был (в данном случае просто отличным от нуля).
Эти ложные сработки на всплесках трафика наблюдаются ещё с 12-го года.
Нерасчетное потребление ЦОДа привлекает внимания где-то как пожар
Это же куча денег на электричество.
Как сказал Октав (CEO OVH) в сегодняшнем видеобращении, касаемо возможных причин пожара:
1) когда пожарные прибыли на место, то весь ДЦ был в дыму, и что-то понять визуально было невозможно. Они сделали снимок тепловизором, из которого стало понятно, что очаг возгорания находится в двух ИБП.
2) эти ИБП (или один из них) за день до этого ремонтировал подрядчик, менял там какие-то детали. Ну и меньше чем через сутки полыхнуло.
3) подтвердил, что ДЦ был старого типа, 2011 года. Сейчас все более новые ДЦ у них другого поколения и построены по-другому. Оставшиеся такие же будут проверять и модернизировать.
4) всё остальное по причинам пожара — предмет расследования, которое идёт.
Кстати, тут всплывает (на отключении 2017 года) что SBG2 в свое время питался от SBG1.
SBG-3 обещают запустить.
Гарантированно умер только SBG-2.
Sign up to leave a comment.

Other news