Комментарии 42

А вот Леночку за блок Сбербанка — ей что было? Просто интересно как поступили с человеком, который принял решение и что-то сделал несмотря на явное сообщение этого не делать.

Насколько я помню (но за давностью лет ручаться уже не могу) — ничего не было, сработал принцип «быстро поднятое упавшим не считается». Опять же, дежурные службы на то и созданы, чтобы с таким быстро разбираться.
Спасибо за ответ.
Считаю, что зря ничего не сделали, т.к. такое бездействие «воспитывает» в подобных Леночках безответственность, могущую создать ситуацию с большими последствиями.
Очень часто такое встречается в бухгалтериях «ой я не виновато, оно само».
Леночка поступила по служебной инструкции, и по сути была права — Сбербанк-то фактически спамил. А то, что это спам, кого надо спам, это вопрос отдельный :).
Я лишь про то, что в голове у человека, когда он видит надпись «НЕЛЬЗЯ», но все равно делает противоположно…
О! Т.е. действие по инструкции важнее, чем опасность.
Робот. Сказано идти туда — идет.
Так человек не видит опасности в надписи «НЕ БЛОКИРОВАТЬ НОМЕР 900» (мало ли, кто ее написал и почему).

В опасной ситуации в случае действия инструкции виноватым ты не будешь. А если отошёл от инструкции — вся ответственность на тебе. Человек недостаточно квалифицированный в вопросе просто не имеет возможности правильно оценить, лучше ли будет если будет действовать не по инструкции, или наборот, хуже. А брать ответственность за действия, результат которых ты не понимаешь и не можешь прогнозировать… ну такое себе.

Ближе к реальности. Вряд ли в инструкции было бы написано, блокировать всё что угодно, кроме номера 900. Так что все БОЛЬШИЕ КРАСНЫЕ БУКВЫ — это как раз про то, что нельзя вписать в инструкцию в явном виде.
Леночка могла поступить еще лучше: спросить других дежурных на тему «кто в курсе что за номер такой и почему сказано не блокировать? А то спамит тут...» — и если бы даже тут никто ей не подсказал, то что уж тогда. А так, все же Леночкина недоработка. Пусть и небольшая.
Все же, как работающий в саппорте, я скажу так: техподдержка — это прежде всего тимворк. Один в поле там не воин ни разу.
А вот Леночку за блок Сбербанка — ей что было?
Леночка, банк, что ей было… Навеяло, в общем. Леночка ли — не упомню, секретарь. Сидит, тихонько кнопает. Вдруг с высокого потолка начинает лить (не капать) вода, постепенно крепнущим могучим потоком. Хрупкая барышня, ни разу не растерявшись, хватает нелёгенький CRT-монитор, включённый в розетку, и с ним пятится к стенке, поджимаемая Ниагарским водопадом. Ещё чуть, и в монитор, в котором 27 кВ анодного напряжения, налилась бы вода, и ладно с ним, с монитором — барышня могла не уцелеть. Но тут поток стал иссякать, а героиня и героически спасаемая техника уцелели.
Что ей было — история умалчивает, а вот кондиционерщикам, по вине которых несколько вёдер конденсата из чиллера скопились там, где их никто не ждал, полагаю что-то было.

Физкульт-привет и поздравления всем дежурным по склепам!
Напомнили: после переезда в новёхонький дата-центр, мы засели в огромном и очень кайфовом помещении, фотка в посте с предновогодним отсчётом как раз оттуда. С айтишной точки зрения всё было сделано очень по уму, а вот строительные косяки правили ещё долго. Одним из них были быстро забивающиеся водосливы с крыши: после каждого ливня нам на головы и на оборудование начинала натурально течь вода. Приходилось ставить ведёрки под струи; через некоторое время все уже знали места протечек, и технику там не ставили.
Я так серверную клиента спасал.

Летом клиент делал ремонт фасада и плоской крыши, мастеровой люд оказался ленивым, и весь пластик от обеденной колы/фанты спускал в водосточные желоба. Зима в нашем регионе обычно теплая, но тут в феврале случился снегопад на пару дней. А потом потеплело на входных.
Прихожу я утром в понедельник на объект, по привычке первым делом заглядываю в серверную. А там воды уже сантиметров пять на полу, и с потолка хлещет прям на обе работающие серверные стойки. Перекрестился и ломанулся по воде к электрощиту автоматы отрубать. Как не шандарахнуло — до сих пор удивляюсь.

Тот потоп не пережили два древних сервака Compaq, один ИБП и завхоз…
Навеяло…

У нас был офис на первом этаже жилого дома в начале нулевых, приличный ремонт, в одном углу вокруг колонны стояли сервера… Прямо на полу, т.к. стол был занят…

И вот в один прекрасный день почему-то я и начальник оказались в офисе в воскресенье… Уже даже не помню, что-то срочно доделывали или просто в инете посидеть заехали… Факт что оба оказались случайно…

У вот вдруг слышим что откуда-то раздается журчание… И оказывается что журчит прямо из колонны, и это не просто колонна, а задекорированный канализационный стояк, и из него течет… И прям на пол к серверам… Тут же нашли свободное место на столе, все подняли…

Воскресенье, вечер… Аварийка приехала только часа в четыре ночи… Хорошо хоть стояк был кухонный, а не туалетный…

Но думать чем бы все закончилось, если бы случайно не оказались в офисе, не хотелось… Так как бэкапы на ленточках были там же рядом, в тумбочке, в нижнем ящике…

Про страшную, но глупую историю — а понятия "режим технологической тишины" у опсосов нет?

Если он реально вводился на период описываемых событий, то действительно виноват конечный исполнитель, проигнорировавший приказ или распоряжение, изданные топовыми руководителями, на основе устной команды мелкого начальника.

Да, и защищать его (тем более — постфактум, много лет спустя) не собираюсь.
Но более глобально «виновата» погоня за исполнением планов любой ценой, являющаяся, в том числе, недоработкой тех самых топов (должны были учесть сдвиг сроков на время введения режима).
НЛО прилетело и опубликовало эту надпись здесь

А почему в страшной истории с аварией на электростанции всё упало? Локальное питание же, бесперебойники, дизеля?

Я не могу дать точный ответ, поскольку в своё время, увы, его не выяснил. Теории у меня есть, но в силу слабого профильного знания, они вряд ли верны.
Переполненный за годы службы /var/log — очень знакомо.
Конфликт айпишников из-за новичка тоже, только не биллинг, а фтп, куда станции скидывали свои CDR.
Ещё один глобальный факап, вообще самый северный песец, который случился со мной — смена биллинга. Старый биллинг еле дышит: на NAS от Fujitsu подыхают диски один за другим, работает только за счёт хот свапов. Диски были ULTRA SCSI с какой-то прошивкой редкой, запасы кончились, в продаже не находились, последние брали вообще на барахолках. Новый биллинг ещё не допилили под наше древнее железо (а железо действительное древнее, некоторые станции в провинциях 96 года рождения). Сообщаю начальству, мол нужно купить диски, либо старый биллинг умрёт. Начальство передаёт наверх, но сверху отказывают — новый на подходе, зачем лишние траты на поддержку старой.
Выворачиваюсь как могу — из закромов родины достаю сервер, пичкаю разношёрстными дисками, делаю бэкапы базы туда, но места не хватает, данных всего около 10ТБ, у меня набирается всего 6 (это сейчас терабайты в каждом втором ПК, тогда самые большие серверные HDD доступные на рынке были максимум 500гб). Пришлось делать выборочный бэкап. Ухожу в отпуск, коллеге всё показываю что где лежит. Уезжаю в РФ. В моё отсутствие, вполне закономерно, подыхает NAS — сетевые диски больше недоступны, биллинг падает. Коллега в панике, решает ресетнуть NAS, авось заведётся. РЕСЕТНУТЬ, КАРЛ, ВЫДЕРНУВ ШНУР ПИТАНИЯ!!! Не ожидая такого подвоха старенький NAS окончательно обиделся и отказался дальше работать. А такого подвоха не ожидало высшее начальство. Меня выдернули из отпуска, но толку-то? Разворачивать из бэкапа некуда, сторадж не купили же. После бурных взаимных обвинений в поисках виновных, высшее начальство решает срочно вводить в эксплуатацию недопиленную биллинговую систему. Вводили в эксплупатацию полтора месяца, в течении которого вообще все звонки внутри сети были бесплатны, а в другие сети были доступны только абонентам с постоплатой (их CDR и так хранится на фтп сервере и обрабатывается в конце месяца). С разворачиванием данных из бэкапа тоже не всё гладко — я делал только выборочные бэкапы из-за нехватки места. Хорошо, что у меня и у моего начальника на руках была бумажка с отказом от закупки дисков и стораджа, иначе всех собак повесили бы на нас. После этого случая я уволился нахрен оттуда.
А вообще там было «весело»: однажды ИБП в серверной не справилось с нагрузкой, потому что кто-то не проверил батареи и их не меняли лет 5; кондиционеры были обычные офисные и под постоянной нагрузкой регулярно дохли; всего уж не вспомнишь.
Конфликт айпишников из-за новичка
В мануале к shdsl модему встречал предупреждение перед включением dhcp проверить корректность настроек, иначе можно стать очень непопулярным среди своих администраторов.
Чищу переполнившийся за годы /var/log, обновляю мониторинг — всё работает. Починил!


ЕМНИП у нас по аналогичной причине регулярно вис комп с мониторингом Cisco DWDM, толи сама система логами память забивала, толи касперский. А ведь что одна, что другая софтина была писана профи и стоила много денег.
Да, извечный вопрос — кто будет мониторить мониторинг?

Ну, тот кто в кресле перед монитором. Кстати, тоже смешная история вспомнилась.
Как-то начало начальство требовать (хз зачем) не просто рапортовать некоторые аварии, а тупо делать скрин монитора. Ну типа увидел аварии, сделал скриншот и отправил его на почту.
Один раз товарищь на ночной смене сделал все по инструкции, скрин отослал, только окно с ним забыть свернул. Так до утра скрин и мониторил :)))

Про bash.org.ru жизненно, тоже в тот день всем отделом не работали )
Эх, провайдинг, молодость…

Помнится, я как-то при перенастройке квартальной циски случайно погасил оба магистральных порта. Аварийщики, ездившие туда после этого с ноутом и консольным кабелем, долго и матерно меня вспоминали.

В другой день аварийщики чем-то разозлили техдиректора, и он бегал за ними по всему офису с огромными кусачками по металлу.

Бригада монтажников однажды умудрилась при работах в подвале здания, где были офис и серверная, обрезать целый жгут «лишних» кабелей: чужую оптику, коаксиал кого-то из сотовых операторов, и до кучи видеонаблюдение. Местный начальник АХО прискакал к нам и орал ультразвуком.

На респешн как-то раз пришли солидные клиенты в костюмах и выкатили претензию: они-де подключились к дорогому тарифу для бизнеса, купили дорогущий роутер, всё работало, но потом они поехали в Москву на переговоры, взяли роутер с собой, а он, падла, интернета-то и не раздает! На дворе был 2009 год…

В числе прочих абонентов, у нас была подключена общага военного института. Однажды оттуда позвонил какой-то дядя и стал изобретательно крыть 1 линию матом за разведенный по этажам срач из витухи, 5-портовых свитчей и прочих «надежных инженерных решений». Поскольку фамилия этого дяди среди контактов руководства общаги не значилась, его незатейливо послали в пешее эротическое путешествие, посмеявшись над угрозой показать нам кузькину мать. А спустя 15 минут начал отваливаться этаж за этажом… В общем, дядя оказался свеженазначенным завхозом и слов на ветер не бросал: взял кусачки и просто порезал всю витуху, до которой дотянулся.

Одна абонентка 70 лет от роду занималась тем, что постоянно сидела на сайтах вида speedtest и меряла скорость. Как только скорость падала хотя бы на килобит ниже тарифной — следовал звонок в техподдержку с крайне вежливым выеданием мозга минимум на полчаса.

Пара-тройка домов у нас была подключена по радиоканалу, который выдавал от силы 10 МБит, да и то в хорошую погоду. Что не мешало продажникам впаривать их обитателям тарифы по 5-10 МБит/с — каждому. Шишки, понятное дело, летели на техподдержку. Продажников мы очень «любили».

А один увольнявшийся сотрудник в свой последний рабочий день позвонил паре-тройке самых «душных» абонентов, соединил их всех вместе интеркомом, от души обматерил и повесил трубку, оставив их ругаться между собой :)
Бригада монтажников однажды умудрилась при работах в подвале здания, где были офис и серверная, обрезать целый жгут «лишних» кабелей: чужую оптику, коаксиал кого-то из сотовых операторов, и до кучи видеонаблюдение.
В очень старую канализацию добавляли кабель, а он не добавлялся — мешала муфта на кабеле, который согласно документации был отключён. Кабель выдернули. Трактором. Вместе с остальными и с куском трубы. Дело было недалечко от узла междугородней связи. Приехали все, включая вежливых неулыбчивых молодых людей в штатском.
О, кабельная канализация… :) В мои времена владельцы канализаций с теми, кто разводил там срач и не маркировал свои кабели, поступали достаточно незатейливо — кабели резались, а потом ждали, кто приедет. Приехавшая контора получала атомных люлей. После пары-тройки случаев даже самые раздолбайские провайдеры научились аккуратности.
Маркировать да, нужно. Но некоторые кабели лучше всё же не трогать, там ведь и спецсвязь, и ГО.
НЛО прилетело и опубликовало эту надпись здесь

Помню, работал я в одном банке. Внедрили корпоративный антивирус, McAffe. Все как положен — сервер обновлений, клиентские тачки с него обновляются, а он в свою очередь с головного офиса. Дело было давно, и платили мы за внутри корпоративный трафик нехило…
И вот, наступает конец месяца, от провайдера счёт приходит — раз так в 5 больше обычного. Директор филиала в шоке — меня на ковер. Куда дели трафик, чего качали?
Начали разбираться — а это сервер обновленияи McAffe скачивал обнову, не проверяя наличие свободного места на диски… Которого по стечению обстоятельств было маловато. Скачивал — проверял — обновление не применялось, он начинал все заново…
Как то отказались, обвинив буржуинов с их гадкой программой. Потом на Касперского кстати перешли быстро

История от вендора.
На исходе 2011 года заканчивали строительство дата-центра. Я руководил (со стороны вендора) установкой и запуском в эксплуатацию систему мониторинга физической инфраструктуры — кондиционеры, ИБП, вот это все.
Дата-центр примерно на 100 стоек, электрической мощностью 1.5 МВт с каждой стороны, то есть 15 КВт на стойку. Вообще объект был спроектирован по лучшим методикам. Полное дублирование по электричеству, огнеупорные стены машзала, изолированные холодные коридоры и система кондиционирования с чиллерами и водяным (этиленгликолевая смесь, на самом деле) теплоносителем, которая подает холод из-под фальшпола.
Но строители это такие специальные люди, которые любой проект могут испортить. Конкретно у меня внезапно отменился отъезд домой, когда на пробном запуске кондиционеры, все как один показали хрень по температуре и давлению входящего-выходящего теплоносителя. Довольно быстро разобрались, что выход горячей воды из машзала подсоединен ко входу холодной воды от чиллеров и, соответственно, наоборот. Ок, воду слили, трубы переварили. Запустились. Подписали акты. Новый год, шампанское, премия (на самом деле нет).

Месяца через три работаю на другом объекте. Ночью (привет разница в 7 часов между Мск и Хабаровском) звонит наш аккаунт менеджер, бьется в истерике, грозит страшными карами (он мне не начальник, конечно, но жизнь может испортить знатно). Через десять минут гвалта (там в кабинете оказались еще мой начальник, координатор и бог знает кто еще) выясняется, что у конечного заказчика случилась знатная протечка теплоносителя, ну то есть до такой степени что вот буквально вся жидкость вытекла, кондеи выключились и все упало по перегреву. На самом деле труба текла несильно, но долго, как потом выяснилось как раз на этом злополучном стыке, который переваривали, а фэйл случился когда при запуске нового оборудования, резко увеличилась нагрузка.

Ок, а я тут с какой стороны? А ты, говорят, не настроил алярм на ленточные датчики протечки, установленные на конечный пол, поэтому будешь самым крайним из всех виноватых.
Не дождетесь, говорю, у меня все ходы записаны. И вообще, прекратите истерику и не мешайте спать, ваши задницы вне опасности.
Датчики протечки не были установлены, о чем я не поленился сделать запись в рабочей документации и акте и даже ухитрился получить подпись представителя заказчика.
Конечный пол должны были очистить от строительного мусора и помыть до сдачи, но не успевали в срок, поэтому отложили на после Нового года (не видно же), а датчики мыть нельзя, они практически одноразовые, поэтому их забухтили и аккуратно так повесили под фальшполом. По уму не нужно было их вообще подключать, но тогда бы в системе была бы ошибка.

Так и получилась мойка полов этиленгликолевым теплоносителем.
Невыметенная и неотмытая пыль со времени строительно-монтажных и отделочных работ, поверх которой бодро устанавливается оборудование — это видимо стандарт. Наблюдал подрядчиков с пылесосом «Буран» но без страховки, резво пылесосящих балки на двенадцатиметровой высоте в ночь перед запуском объекта — при пробном запуске дымоудаления по всему огромному залу пошёл асбестовый снег от пожарной обработки металлоконструкций.

Над серверной с оптическим ядром сети, на гипсокартонном потолке — кусок кирпичной стены, вываленный и не подобранный вентиляционщиками при прокладке вентканалов, и тут же проходит линия отопления на батарею в холодном тамбуре.
Во второй серверной идёт ливень из-за недоделанной по предыдущему проекту вертикальной вентшахты.

Но местный электрик, болгарящий какую-то важную на его взгляд вещь, используя в качестве верстака шкаф гарантированного электропитания (а у него верстака же нету. а здесь удобно), размещённый в его владениях — электрощитовой — это апогей апофеоза.
НЛО прилетело и опубликовало эту надпись здесь
На тему «Леночки» и Сбербанка вспомнилось как в одной маленькой телеком компании умудрились продать телефонный номер одного из топов клиенту…

Одной «Леночке» сказали «убрать номера топов из биллинга» — она убрала, а о стандартных процессах никто не подумал… Поэтому потому другая «Леночка» — убрала номера в отстойник, а третья — через три или шесть месяцев отправила их в продажу (операции кажется были полуручные)… А в офисе продаж никому номер не показался знакомым, еще возможно и за «красивость» срубили. А топ просыпается — у него телефон не работает… Чудом головы не полетели, а вот «счастливому» клиенту ништяков отсыпалось на несколько лет бесплатной телефонии и еще чего-то…
Только полноправные пользователи могут оставлять комментарии. Войдите, пожалуйста.