Как стать автором
Обновить

Комментарии 93

НЛО прилетело и опубликовало эту надпись здесь
Да ладно, «это же маленькое изменение, оно ничего не сломает»! :)
НЛО прилетело и опубликовало эту надпись здесь
sudo halt
Аааа! Не то окно!!!
У меня так было раз :)

Что-то делал, нужно было перезагрузить ноутбук. Делаю «sudo reboot», и только потом осознаю что это была ssh сессия. По счастью к продакшну меня не подпускают, так что перезагрузил всего лишь shared dev-server. Но всё равно обидно, у него был аптайм около 500 дней.
У нас таким образом один товарищ сложил главный mysql в конце смены и ушел домой, а когда выяснили что произошло, пожаловались его начальнику. Начальник из под винды, через pyttu полез лично посмотреть в логи, выделил команду и случайно нажал MOUSE2 вставив это обратно. Сервер снова в даун ушел.
Я минут через 10 пришел на смену, а нач. эксплуатации спрашивает сходу «А ты будешь главный MySQL перезагружать». Я сходу сарказм не разобрал, предложил таску на железячников повесить с вовлечением DBA, а я, как сотрудник отдела мониторинга, послежу что бы все хорошо было.
НЛО прилетело и опубликовало эту надпись здесь
В putty можно настроить чтобы по клику правой выскакивало контекстное меню.
А панацеей от reboot может стать molly-guard.
Можно, да вот только сохранять это необходимо для каждого подключения отдельно, а настроек по умолчанию для новых коннектов нет.
Это почему нет настроек по умолчанию для новых коннектов? Настраваешь и сохраняешь Default Settings и все
Благодарю, а я балбес ибо не думал даже что так можно.
Поэтому я стараюсь вообще не пользоваться буфером обмена, работая в консоли. На крайний случай — блокнот, там все команды расписать, 8 раз просмотреть, 7 раз проверить и только потому от туда копи-паст в консоль )
Для того и существует кнопка power. После пары подобных случаев, я четырежды подумаю, прежде чем писать sudo shutdown. Жмёшь power — система предлагает, что ей сделать. Ещё возможно и передумаешь отключение делать, отправишь в сон.
А если до кнопки 3-4 часа пути? А если 20000 километров?
Тогда не понятно зачем вы вынесли кнопку от локального ПК на 20000 :)

Речь в этой ветке идет о выключении локального ПК через консоль, в результате чего выключался удаленный сервер.

Если Вы выключаете удаленный сервер, то наверное внимательно посмотрите что именно тот сервер, а когда выключаете свой ПК, чувство «опасности» не возникает.
В последнее время всё чаще вижу компании которые административно запрещают любые изменения в «Продуктиве» начиная с 15-20 декабря.

Но такие вещи как поломка рейд-контроллера на СХД, повреждение БД в какой-либо сложной системе и т.п. зачастую не зависят от чьих либо действий, для того «икс-команды» и формируются.
Пф, слабые, наши вон вчера ковыряли серваки АСЭД налоговой всей республики, патчи накатывали, и перед НГ ковырять будут. Хотя инфраструктуру вроде не трогали.
Так это ж налоговая )
А еще на майские праздники. Вообще штука крайне полезная, да.
НЛО прилетело и опубликовало эту надпись здесь
Ну в dev-ветку почему бы и нет?
сделал в пятницу коммит — в понедельник знаменит!
Пили пиво, меняли пароли…

Знаю несколько заказчиков, у которых с 15 декабря и до конца года действует мораторий на любые изменения в ИТ инфраструктуре, «дабы не было соблазнов». Причем имеются в виду любые измения, включая и накатку патчей. Исключение сделано, по-моему, только для свежих баз антивируса:)
Мы продуктовая компания, у нас весь декабрь IT freeze. Очень полезная вещь!
Целый месяц на то, чтобы писать документацию.
но ведь есть вероятность того, что её будут понимать только в декабре
Да-да, сколько историй было: «Ну, жену отправил в теплые страны, не пропадать же путевке, а сам до 7-го из серверой вылезал только в туалет»
Админская примета: «менять удаленно настройки сети — к дальней дороге»
да, вы, черт возьми, правы, проверено на опыте :(
составить график, когда инженеру нельзя бухать.

Вот это жестоко. Бедные инженеры.
Ну кому как. Некоторые вообще не пьют.
Ваниль какая-то) У коллеги отец под новый год АПЛ тушил с боевыми торпедами прямо над очагом пожара.
Да там тоже все празднуют. У нас солдаты в наряде на вышке шашлыки делали. А в соседней бригаде дежурный майор в дтп попал вдрызг пьяный.
У нас незабываемо было, когда «всё сломалось» 1 января с утреца. Лично меня, как оказалось, отлично отрезвляет тройная доза каркаде и морозный воздух. Но по сравнению с атомной подлодкой, это всё тоже ванилька :).
Про свою новогоднюю историю.
В принципе, ничего интересного. В новогоднюю ночь оставили двух самых молодых сотрудников на дежурстве над автоматизированной банковской системой (самый крупный банк в стране, если что). Один из них был я, другой еще веселее — вчерашний студент. Когда в 8 вечера началась веселуха с падениями и прочим, то никому из опытных коллег либо не дозвонишься, либо в трубке невнятное мычание. Коллега работал психологом — разговаривал с пользователями по телефону, а я в это время в пожарном порядке писал скрипты для фиксинга всяких разных проблем. Еле отстрелялись. Коллапс закончился также внезапно, как и начался. А в пол одиннадцатого позвонил начальник и отпустил нас. Мы даже успели к новогоднему столу.
С технической точки зрения ничего крутого мы не сделали, просто от большой ответственности поволновались порядочно.
так а что было то?
Парень получил сертификат сисадмина 80 уровня утром, сдав очередной экзамен MS. Ну, понятно, переволновался. Приехал в офис, расслабился, поставил мозг на спящий режим. В этот момент ему обновили права в корпоративной сети

Не понял… Какое отношение очередная бумажка вообще имеет к правам доступа? По какой логике одно привязано к другому? Мне казалось, единственным (необходимым и достаточным) условием расширения прав является мнение старшего/старших «он готов», либо на основании опыта работы с человеком, либо по результатам собеседования.

А те бумажки не значат ничего — вам ли как человеку из интегратора не знать, что в интеграторах примерно все сдают по дампам?
Для получения доступа есть формальные критерии, так что привязка доступ-сертификат верная.
Как хорошо, что я не работаю в интеграторе и что ни один интегратор (особенно КРОК) никаким образом не касается подотчетной мне инфраструктуры… Хотя вот коллегам из других подразделений не так везет.

Как я понимаю, этого товарища вы бы сразу взяли старшим инженером и дали бы ему domain admin'а у нескольких клиентов?
Сертификат — естественно, не единственное условие. Просто в данной истории он был последним пунктом, нужным до повышения.
Ну если тот товарищ сходу допустил такой косяк — значит, как-то плохо оценивали его скиллы. Нормальный инженер готов к работе через 10 секунд после звонка посреди ночи в фазе глубокого сна, и не станет допускать косяков вида «внес изменение, не имея подробной информации об изменяемом объекте и не оценив последствия» вне зависимости от состояния. Указанная вами ошибка достойна джуниора на первой неделе трудового опыта.

Но какой смысл вообще учитывать сертификацию в ранжировании инженеров? Ну да, если наличие бумажек важно для партнерского статуса — можно приплачивать за них, но по какой логике бумажка расширяет зону ответственности? Или у интеграторов принят самообман вида «больше бумажек => больше знаний», хотя все знают, как получают те бумажки сотрудники интеграторов?

Мне кстати доводилось успешно поднимать инфраструктуру и в состоянии «в глазах двоится так, что еле вижу, что на экране» — как ни странно, на новогоднем корпоративе :) Нехорошо конечно, но проблема была достаточно простой, направление важное, но не критическое, а трезвый коллега как-то пропал из связи. Починил, ничего попутно не сломал, пошел пить дальше. Правда, потом дома обнаружил потерю всякой мелочевки из рюкзака, которая вероятно рассыпалась на пол, когда ноутбук доставал.
Вообще косяк-то не профессиональный а организационный.
Фраза «поставил мозг на спящий режим» намекает на «профессиональный». И вообще, организационный косяк в случае информационной инфраструктуры тоже всегда сводится к профессиональному.
После того — не означает «вследствие того»
Да я вообще не могу представить себе никакой связи между «получил сертификат» и «расширили зону ответственности». Ни причинно-следственной, ни корреляции. Это — независимые понятия. Бумажка не дает никакой информации о знаниях и тем более навыках человека (последнее не проверяется даже формально).

Лишь бумажки уровня CCIE/JNCIE о чем-то говорят. Говорят они «крайне маловероятно, что сдавший будет иметь знания ниже уровня CCNA», так как вряд ли можно сдать лабу, не зная хоть что-то. Даже зазубривая сценарии лабы, все равно хоть нечаянно, но запомнишь и поймешь что-то.
Там нигде не написано, что права ему повысили исключительно вследствие получения сертификата. Это вполне могут быть независимые события или расширение прав было приурочено к окончанию сдачи экзаменов и выходу на работу.
Там же и сказано, что это был не единственный критерий.
Так с какой стати бумажки попали в список критериев? Наличие сертификаций вообще не должно рассматриваться в таком вопросе. Они не имеют значения, так как ничего не говорят о знаниях и навыках человека.
Возможно, это какая-то бюрократическая организация, которая просто не в состоянии получить неформальную оценку, не доверяет мнениям сотрудников, и поэтому полагается на бумаги.
И мы возвращаемся к тому, что я рад двум фактам:
1) Я не работаю в такой организации
2) Те, кто там работают, никаким образом не касаются чего-либо в моей зоне ответственности. Соответственно, та зона ответственности ломается куда реже, чем могла бы, если бы ей занимались такие специалисты.
Кстати, у двух людей от написанного мной про реальную ценность бумажек явно случился сильный butthurt. Я бы с удовольствием почитал их комментарии.
Я лично вам в карму минусов не ставил, если вы об этом, но мне вот не очень понравилось ваше занудное буквоедство в таком веселом новогоднем посте.
Не, я про комментарии. На тот момент на каждом было ровно по два минуса.

Ну ок.
Новый год прошел спокойно, все сделали, сотовую сеть удержали, не без эксцессов, но в целом абоненты не пострадали.
Все началось 3 или 4 января, уж не знаю как это можно было сделать, на нашей площадке в ЦОД пропало чистое питание, все. С выгоранием части электрораспределительного оборудования…
Что-то потухло аварийно само, что-то экстренно убивали, чтобы дать выжить пару часов основным системам. Основное выжило на DC и огромных батареях в подвале… Железячники справились за пару часов, а мы — прикладники, остались разгребать это все… Трое самых стойких ушли через сутки подняв все. Абоненты опять же почти ничего не заметили, ну может тариф у кого-то с задержкой изменился…
2006 или 2007 год, я зелёный инженер, первый год работающий в опсосе. Выпало дежурить в новогоднюю ночь, ну я и не против: во-первых бонус к зарплате, во-вторых — по проверенной временем традиции все важные и нужные инженеры съезжаются в главный офис, и страхуют друг друга. Т.е. я могу не особенно напрягаясь по поводу работы провести время в хорошей компании, а потом, по не менее проверенной традиции, в этой же компании и отпраздновать.
Ну и была ещё такая примета: новичок, отдежуривший в новогоднюю ночь, в наступившем году получает повышение (сбылось, кстати).
Что такое новый год для сотового оператора? Первое — рост нагрузки на всё оборудование. Второе — рост прибыли. К праздникам всё оборудование тестируется и резервируется, все работы запрещаются, и обычно всё проходит ок.
Обычно…
Для начала — я заболел. Дико, с соплями, хрипами, температурой. Обзваниваю всех, кто мог бы подменить — безрезультатно, кто уехал из города, кто сам болеет. Пришлось ехать с сумкой лекарств.
Потом, уже незадолго до НГ, даже ещё до роста нагрузки, упала скорость работы с дисковым массивом, на который должны сбрасываться какие-то биллинговые данные. Где инженер, который за это отвечает? А нету, должен (точнее должна) был быть, но не явился, и телефон не берёт. Ахтунг, щас все доступные буфера на сервере переполнятся, и данные будут теряться; нахожу админов, проясняю ситуацию, они включают какой-то свободный сервер, монтируют диски — и всю оставшуюся ночь я сижу, и в mc ручками перетаскиваю туда файло.
Наступает НГ, точнее наступают, потому что наша зона ответственности раскидана по нескольким часовым поясам. Первый НГ — всё ок, второй НГ — всё ок.
Зашёл Биг Босс, уже поддатый, увидел меня, обвязанного шарфом и обложенного пачками террафлю, умилился, что я так героически работаю в больном виде, обещал премию, которую я жду до сих пор.
Наступает третий НГ — и из соседнего кабинета доносится "@$#, про@$#"!
Один из региональных коммутаторов засбоил и потерял всю полуночную тарификацию. Никогда не забуду взгляд коммутаторщика, с которым тот спрашивал биллингиста: «Саша, Саша, ну может биллинг успел эти тарки выкачать? Ну хоть что-нибудь?», в ответ на что Саша показывал пустой листинг каталога-приёмника, разводил руками и ехидно улыбался (потому что влетит не ему).
Ну а к утру, когда всё успокоилось, пошли в столовую, сняли стресс за заранее накрытыми столами. И только я то и дело бегал нажимать F5 в mc.
Класс, столько драмы!
я зелёный инженер, первый год работающий в опсосе
После всех этих «самый крупный банк», «полосатый оператор» и т.д. первым делом на слово «зелёный» подумал о МегаФоне.
И верно, кстати.
Хех, 31-го декабря после обеда мы просто выключаем вообще всё, кроме почтового сервера :D
Но у нас, естественно, нет ничего вообще, что могло бы хоть кому-то понадобиться извне в эти дни.
Было дело, на новогоднем корпоративе сидел с ноутом и делал переключение клиенту. Ибо так договорились.
Видеонаблюдение накрылось в 7:15 первого января. поехал бухой по пустым дорогам.
Не за рулём, я надеюсь?
история умалчивает.
НЛО прилетело и опубликовало эту надпись здесь
Годах в 01-02 31-го в 22:00 вышел из строя кусок магистрального тв-кабеля. Полгорода без телевидения. На улице -30. Локализовали место примерно за час. Повреждение аккуратно под центральной улицей города, заменить кабель за час до боя курантов нереально, но и оставить народ без речи президента никак нельзя. Кидаем кабель прямо поверх асфальта, стучимся в окна домов, объясняем ситуацию, просим подавать вёдрами воду и в костюмах с галстуками бегаем поливаем кабель, чтобы он примёрз и его не раздавили колёсами. Три дня пока не заменили пролежал без проблем…
Это реальная история? Без обид, честно, но этот рассказ звучит как выдуманный новогодний трэш )
Абсолютно реальная. Вообще, после этого случая ещё 4 года подряд 31-го что-то случалось, то веерное отключение электричества, а в генераторе всего поллитра солярки, то блок питания на сервере биллинга помер («прострелило» по пыли), то уже собравшись домой идти сам решил сервер ребутнуть, у которого аптайм года 3 был и там столько понаменялось, что загружал его ещё часа два.
Ахаха, ребут сервера перед уходом домой это сила )) был такой опыт тоже )
Работал я в одной крупной игровой компании. Весело было, когда в 23:55 31 декабря начали падать игровые серверы одной свежей игры. Семья за столом, а я за компом и на телефоне с далёкой восточной страной… Потом выяснилось, что падали они от нагрузки, игра просто рассчитана не была на такое количество юзеров. Тогда я понял, что существует довольно много истинных задротов, играющих в новый год в сырую и довольно фиговенькую мморпг…
может конечно не в тему,
но только мне кажется ситуация с «вышедшим БП», «развалившимся рэйдом», «упавшим сервером» — обычной ситуацией?
и если это аффектит работу конторы, тем более банка, то значит где-то что-то не так с архитектурой ИТ системы?
но только мне кажется ситуация с «вышедшим БП», «развалившимся рэйдом», «упавшим сервером» — обычной ситуацией?

Когда счёт идёт на тысячи, то просто статистически — это норма.
и если это аффектит работу конторы, тем более банка, то значит где-то что-то не так с архитектурой ИТ системы?

Система работающая на резервных элементах или «зипе» = система требующая немедленного ремонта.
Возможно. А Вы когда-нибудь видели работающую систему, в которой с архитектурой всё абсолютно «так»?
Грустная история.
Всю осень меняли ERP у клиента под жестким прессингом компании, которая обслуживала предыдущую систему.
Клиент — крупная региональная торговая сеть. К Новому году был полностью обновлен главный офис и несколько магазинов. Все хорошо, на новый год коллектив разъехался по теплым и холодным странам, а на дежурство был оставлен самый опытный сотрудник. 1 января все обновленные магазины не смогли открыться, так как ни один комп даже на кассах не заводится. Никто ничего не может сообразить, а опытный сотрудник лежит с температурой 40. Несмотря на это. он все-таки добрался до магазина. Причина проста — ночью трижды срабатывала охранная сигнализация во всех магазинах. На третий раз они вызвали охранников компании на дежурство и отрубили электричество в магазинах на всякий случай. Бесперебойники в магазине еще некоторое время пищали, но в итоге заглохли. Работу компов и связи в магазинах восстановили ближе в после обеда. На следующий день сотрудники компании, которая поддерживала предыдущую систему уже вычищали компы от следов нашего софта. Руководство заказчика с нами даже не пожелало пообщаться, хотя центральный офис до этого три месяца выражал нам восторги о работе новой системы.
Через несколько месяцев после второй бутылки водки главный сисадмин заказчика признался, что все было неспроста.
Если вы саппортите все IT-хозяйство конторы, то не понятно почему вы все разъехались. Если вы саппортите только вашу ERP, то отвечаете «Обратитесь к вашему системному администратору что бы он починил ПК, когда компьютер загрузится — перезвоните нам, если с нашей системой будут какие то проблемы».
К сожалению, логика бизнеса не всегда совпадает с логикой обслуживания информационных систем. Возможно клиенту это позволило выбить существенную скидку, возможно было манипулирование информацией, возможно коммерческий подкуп. Таким мог бы быть беспристрастный взгляд со стороны. Об истинных подробностях этой истории не могу здесь распространяться.
>Через несколько месяцев после второй бутылки водки главный сисадмин заказчика признался, что все было неспроста.
Где похоронили?
Выжил. Админы — они такие. При любой власти полезны.
31 декабря лохматого года, древний компьютер с WindowMaker, ранним ядром 2.4 и дохлой батарейкой. Думаю, посижу на работе, хряпну шампанского, поковыряюсь в коде.
Скачок напряжения, ребут, бросаю взгляд на часы, и начинаю психовать, потому что из-за дохлой батарейки опять часы сбились на 1 января 00:01.
Не поверите, ещё минуты 3 ntpdate дёргал, не мог понять в чём дело.
Во многих историях упоминается алкоголь, почему, так сложно не пить? Ну или символический бокал шампанского.
Мне тоже нечем похвастаться.
у нас на работе за 2 недели до НГ и на новогодние праздники накладывают мораторий на все изменения в системе, кроме критичных.
Вот все пишут про невозможность изменения систем за какое-то время до нового года, а у нас наоборот в последние дни начинают срочно ставится патчи и вноситься изменения. В том числе 31 декабря.
а у нас половина клиентов все заморизо, а вторая активно пилит и внедряет тестинг\стэйж окружения. Что бы «иск-команда» во время праздников не просто так сидела в ожидании поломки, а могла пока «потренироваться на кошках».
Классные истории, хотел бы у вас работать )
В кроке? Упаси Вас Ктулху!
Чем он вам «насолил»? )
Слышал много гораздо менее весёлых историй об отношении к персоналу от пришедших к нам оттуда и от ушедших туда.
Ну а кто такие «Вы», это конечно же секрет?
Не интегратор. Просто ИТ одной немаленькой компании.
Но как пишут, а. Мне тоже после каждой статьи хочется к ним. Через полчаса отпускает
Зарегистрируйтесь на Хабре, чтобы оставить комментарий