Pull to refresh

Comments 135

Теплая ламповость этой истории подарила мне хорошее начало рабочего дня.
Вы рассказали это с такой теплотой и душевностью, что мне казалось, делали это лично для меня, спасибо :)
Хорошо сказано. Я прочувствовал историю всей душой. Благо подобные танцы по лезвию с кластером и хранилками у меня тоже были. =)
я веб-разработчик, но мне знакомо вот это чувство:
Мы переключили направление репликации и дали команду импорта дисковой группы на старом сервере. Я уже успел успокоиться и мечтал добраться до гостиничной кровати с чувством исполненного долга. И вдруг я услышал возглас: «А тут оно тоже не стартует». И внутри у нас все оборвалось…

очень знакомо…
Очень сильно. А потом еще говорят, что у админов скучная монотонная работа за экраном монитора. Хотя, наверное, в каждой профессии так. Мы не замечаем маленьких подвигов бухгалтеров, сталеваров и специалистов типографии.
Вот так современная литература потеряла еще одного писателя.
От чего же. Разве, не имея этот прекрасный жизненный опыт, он бы смог описать так подробно и понятно нам эту историю? Как раз не потерян, ведь никто не мешает ему начать писать в любое время и совсем не обязательно начинать это делать в 20 лет.
Наверно я неправ.
Историй у людей много, просто не все их рассказывают. И еще меньше их записывают, а со временем забываются детали и сама история. А автор почти мини рассказ написал.
UFO landed and left these words here
Прочитал этот экшн запоем. Зачётное чувство юмора и стиля изложения!
Предлагаю подумать над собранием очерков «Записки инженера» :)
Спасибо. Мои коллеги тоже уже пишут про работу инженерной службы вообще и запомнившиеся истории с некоторых выездов. Будет у нас в корпоративном хабе.
Просьба: снабжайте такого рода произведения уникальным тегом, наприер, «Записки инженеров КРОК». Потому что, например, я хабр не мониторю прям уж постоянно, а потом найти уже будет сложнее.

И советую все же писать, правда, если только если чуствуете в этом потребность — тогда получается все как по маслу, слова с оборотами нужные находятся и результат получается отличный.
Я вот решился написать книжку, что называется по мотивам EVE, и получалось что пока был настрой дело двигалось, а потом замотался и теперь никак не идет. Поэтому я благоразумно нажал на тормоз и поставил все пока на паузу (

P.S.
Я вообще когда дошел до «В библиотеке робот неистово колошматился об драйв, видимо, надеясь его рано или поздно взять измором», то натурально так заскулил — ну не ржать же во весь голос как лошать в общественном транспорте. А так как ехал в электричке на меня еще как на дибила народ посмотрел. Ну а что я — читаю я — не видно что ли — сделал морду кирпичём, что не касаемо меня что вокруг типа — чё вы все на меня смотрите. Я просто в подобных ситуациях был, когда до утра два часа, а утром уже надо, поэтому реально могу оценить переданную атмосферу. Это потом когда вспоминаешь почти все смешно, а когда делаешь такая бурная гамма эмоций в процессе — азарт, надежда, разочарование, когда «внутри все обрывается» и безбашенные решения ибо кажется, что хуже уже всё равно уже просто быть не может…
Это шедеврально :) Мой день будет с самого начала под впечатлением об этой чудесной истории о крутых Инженерах!
Ну так… мало ли. Есть ведь и чувствительные люди. =)
Не так, От человеческой крови железяки сходят с ума…
Смотря какая кровь… 0-1 группа не приводит к безумствам железок.

У меня вон новый велик как-то умудрился испить моей крови в самом начале, и ничего не сошел с ума!
Кровь 0 группы? это как?
А по поводу второго — так то велосипед бездушный, а то робот-манипулятор — сложная механико-электрическая конструкция :)
Если бы она имелась ввиду, то было бы указано "0-А группа не приводит"
Думаю, Alexeyslav имел ввиду O(I) (свою группу, вряд ли у него сразу 2 группы крови)
Имел в виду именно две группы… разве они не с нуля начинаются?
Давайте как медик поставлю точку в споре. Есть две классификации. Одна даёт номера: 1,2,3,4. Вторая отражает генетическую информацию группы крови:0, A, B, AB. Где, 0 — первая группа, у которой нет ни A, ни B. AB — 4 группа, у которой есть и то, и то. Отсюда следует, что у родителей с 2 и 3 группой крови могут быть только дети с 4 группой. A0 x B0 = AB
Ой, туплю. Ещё у них может быть 0 — первая группа.
Первая группа крови, резус-фактор отрицательный (нет белка резус-фактора)
1я группа 0(I) — 00
2я группа А(II) — A0, AA
3я группа В(III) — B0,BB
4я группа AВ(IV) — АВ
общем групп крови чуть ли 2 десятка, просто редкие
Нет, по агглютининам и агглютининогенам — 4 группы. По резус факторы еще 2. Итого 8 основных разновидностей. A0, AA и тому подобные — это генотип, а не фенотип, то есть на выходе один и тот же белок, но разные гены. Это важно в плане передачи признаков потомству.
Вообще существуют и другие факторы, но их обычно не учитывают, так как они несущественны при переливании небольших объемов
еше агглютиногены: А1, А2, А3, А4, А5, Аz, A0, M, N, S, P, Di, Ln, Le, Fy, Yt, Xg и другие, всего более 200, наличие или отсутствие которых необходимо часто учитывать при переливании крови
Я не спорю. Просто это имеет смысл лишь при очень массивных переливаниях. Или при очень частых. Цельную кровь сейчас почти не вливают. Обычно отдельные фракции типа эритроцитарной массы.
Тогда фраза не имеет смысла: «1-1 группа не приводит...» Ну и написано всё же 0, а не О.
0 по одной классификации, 1 по другой. Это как роутер и маршрутизатор.
Это одна группа и есть, просто записано как «0-1», а не «О(I)».</vanga mode>
Велосипед вообще тоже довольно сложная механическая конструкция…
<шутка>Суть повествования не раскрыта, что в итоге с сухим молоком то?</шутка>
Кстати да, очень интересно. Какой в нем сакральный смысл был? Не зря же оно столь часто упоминается.
Сакральный смысл мне кажется в том что могли люди в серых кителях забрать автора с молоком «до выяснения» и «пока анализы не докажут что это молоко», чего автор естественно опасался.
Присоединяюсь. Если в первом акте на стене висит ружье — то до конца представления оно обязательно должно выстрелить.
Как что… развели и съели в процессе. Что с ним еще можно сделать, это же считай концентрат сгущенки — очень энергетический.
На одном дыхании! Класс. Особенно про Семёна в конце 14-той части прикольно =)
Классно! Прям как-будто рядом стоял при разметке дискового пространства. Очень волнительно!
Спасибо автору за очень интересный случай из жизни.

Доставил момент:
И что с ним случилось?» — между прочим спросил тогда я. «Ну, он пока сидит здесь в подвале, третий день уже. Ждем генерального, он решит, что с ним делать», — на полном серьезе отвечал мне бритоголовый сотрудник с тяжелой цепью на бычьей шее.


Хорошо что сейчас так вопросы не решают:).
Сейчас про это просто не треплют первому встречному :)
С таким даром к написанию рассказов вы вполне и книгу можете осилить. Было бы интересно почитать.
О, прям накатили воспоминания в сервисе интегратора 8 лет назад. :)
Ах, как в старые, добрые, ламповые времена, когда можно было до помутнения зачитываться такими историями в бумажных IT-журналах, которые бережно хранились в аккуратных стопках и дарили истинный азарт и наслаждение :-)
Спасибо за чудесное начало дня!
Пошел переделывать бэкапы… Так, на всякий случай…
Когда делаете бекапы — лучше ещё и убедиться, что с них всё нормально восстанавливается.
UFO landed and left these words here
Коллегу из соседнего региона за такую мелкую ошибку уволили сразу. Не назвал бы это мелкой ошибкой :)
Не путайте объем косяка с его значимостью
Слова это хорошо, вопрос как?
Я придумал одну процедуру для Bacula (еще не реализовал):

После завершения полного рзервного копирования, развернуть копию (автоматически) на друой машине, и сравнить скриптом файлы в оригинале и развернутой копии. Так как ночь выходного дня, с файлами это прокатит, но если что-то по серьезнее, я пока не придумал как это проверять ((
Отлично написано!
Интересно, а маны и комменты автора так же легко и захватывающе читать?!..
Прочел одним глазом, глядя другим как мигрирует сервер на другой сервер. Острота ощущений и погружений получилась — никакое 3D кино и рядом не валялось.
Неужто у вас монтажники и админы ходят в датацентрах в гаслтуках?
А своими руками вместо робота кассету вставить было нельзя?
«у нас оставалось меньше часа до начала рабочего дня» Мне кажется, что времени на разворачивание из бэкапа всё равно бы не хватило, поэтому и не вставили.
Не все так просто. База большая, размазана по нескольким кассетам. Плюс восстановление идет сначала с полных копий, потом накатываются инкрементальные. Вся эта последовательность известна бакапному софту и он командует роботу, какую кассету брать, и драйву, насколько ее мотать. Человеку такая последовательность труднодоступна и это в любом случае крайне не быстро.
Спасибо.
Я до этого считал что бэкап записан на 1, максимум 2-3 заранее известные кассеты, в известной последовательности.
А теперь вы побудили меня начать изучать вопрос ленточного хранилища.
На хабре уже были статьи про «ленту» (или те, где эта тема так или иначе затрагивалась, хотя бы в комментариях) и некоторые из них довольно занятны. Найдёте без труда. Среди них есть и статьи (одна точно есть) в корпоративном блоге «КРОКа».
Так пусть бы робот кассеты носил а человек только вставляет…
UFO landed and left these words here
Это прекрасно! Вы не поверите, после предложения «Надежда в человеке не умирает никогда.» в офисе пропало электричество! Я не шучу. Включили его минут через 7, благо UPS на последнем издыхании смог поддержать сервер с виртуалками.
Все же есть какая-то магия в Вашем рассказе!
UFO landed and left these words here
Это в SOHO сегменте такое нужно, а в больших компаниях такое даже не предусмотренно, там UPS только до момента запуска генератора.
А в больших компаниях происходит большой ОЙ, когда внезапно выяснится, что из-за ошибок проектирования и регламентных работ сепараторы на топливной магистрали полные воды (ДТ гигроскопично) и дизеля либо не заводятся, либо хлебнув воды встали. Или много еще реальных сценариев умирания дизелей можно привести…

P.S. Если мне память не изменяет, то про ошибку проектирования и воду в дизелях толи ДЦ, только корпоративного ДЦ была даже на хабре статья.
В большихсерьезных компаниях регламент запуска дизеля раз в месяц плюс сезонные ТО по замене масла/фильтров/топлива.
Регламент не спасает от ошибок и ошибок проектирования и проведения регламентных работ. Попробую сегодня найти ту статью, но там и регламент был и все, кроме того, что для тестов и для реальной работы использовались разные баки топлива и в пусковом баке ДТ было нормальным, а в рабочих с водой, из-за чего после пуска и переключения на основные баки сепараторы переполнились и дизеля хлебнули воды.
По нормальному, топливо из основных баков должно было перекачиваться в пусковой, а из него уже попадать в двигатели. В этом случае при любом сценарии регламентных работ проблема с основной соляркой выяснилась бы на них, а не после того, как на основные баки переключились при работе под нагрузкой.

По этому в серьезных компаниях, где особо критичны процессы бывают и аккумуляторы, которые позволят корректно завершить работу без ущерба если дизеля не запустились.
Мы все по честному проводим, с отрубанием вводов здания, и минут 15 на дизеле гоняем.
Правда на одном объекте трудно победить местных тетенек, которые любят чайники в бесперебойные розетки втыкать. Смотришь на экран ИБП, время резервирования с 90 минут эдак так до 60 падает, а через пару минут обратно — значит чайник закипел :)
Отрубить бесперебойные розетки, не занятые бесперебойным оборудованием не дают?
На каждую розетку автомат не повесишь. Обычно закладывают на каждое рабочее место 2 розетки с бесперебойным питанием и одну «для чайников». А автомат один на этажную группу например.
при чем здесь автомат? я про то, что можно бы физически отрезать не используемые компами розетки от бесперебойника, и подключать их лишь когда новый комп ставят. В большой конторе компы и такие розетки все равно через айтишников идут.
Было что то подобное в практике, только масштаб учебного заведения с терминальным доступом. Массив тоже пришлось переделывать.
К таким ситуациям так по философски и поэтично можно относиться только спустя определенный промежуток времени. Можно себе представить какой стресс автор перенес во время такой командировки.
Стресс скорее был у местных, приходящий специалист обычно мало чем рискует, тем более упрекнуть его не в чем.
Как показывает практика, обычно, «козлом отпущения» делают человека со стороны. К сожалению, мне трудно представить, что если бы все таки базу потеряли, кто-нибудь из компании встал и сказал, что это его вина. Скорей всего пытались бы свалить всю вину на интегратора. Никого не хочу обидеть, но на моей практике по-другому не бывало.
А с роботом-то что? И с молоком…
А то рассказ отличный, но тут как с некоторыми фильмами и сериалами — оставляют зрителя со своими мыслями, додумывать детали, концовку и ждать продолжения)
UFO landed and left these words here
Захватывающая история, отличный слог! Вам надо книжки писать.
Также, мой внутренний Шерлок подсказывает мне, что действие проходило в одном из центров обработки данных Сбера.
Мне одному кажется, что весь этот зрелищный факап произошёл по вине тех людей, которые планировали эту миграцию? И у которых были только очень приблизительные представления о сроках, буферах, методе критической цепи и прочих методах, которые только и позволяют не накостыливать экстренные решения в последний момент ценой техники безопасности?

Ну то есть представим, что все железки встали в строй за неделю до миграции, а не в последний день. Ну и там что специалисту дали отоспаться, прежде чем что-то куда-то подключать, ломая логические тома…
Очень похоже на банальное «соблюдение сроков план-графика любой ценой» от менеджера проекта.

Если бы руководство действительно подозревало чем всё может кончиться, то раздало бы всем профилактических пенделей, но работы бы отложили.
… А теперь руководство будет в полной уверенности, что «профессионалы» спасут в любой зажопной ситуации, «ведь в прошлый раз тоже все говорили, что нельзя так, что не уложимся, и, видите, ничего! Все заработало же! Значит можно!»
Ну где-то это я и имел в виду.
«Соблюдение план-графика любой ценой» это же и есть недостаток управления.
Хотя казалось бы, тезис о том, что «план это объект управления», и его соответствие реальному состоянию дел должно быть приоритетнее его неизменности — этот тезис должны бы вколачивать на первом курсе любой управленческой школы, эмбиэй-шмембиэй…
Читал медленно и нервно. Ощущения как будто рядом стоял. Очень надеялся, что все получится.
Судя по всему для вас пишет «пейсатель»? Очень похоже на него
Чудесный слог у автора, большое вам спасибо за пост :)
А в Кроке так принято, что инженер, который кластеры настраивает, иногда и коробки таскает?
Да, если он сильный инженер.

А слабых инженеров в КРОКе не держат.
Люто, неудержимо плюсую все, до чего могу дотянуться. Спасибо!
История великолепно изложена, читается только в путь, у автора прекрасный слог.

Но что-то меня в ней напрягает. Точит меня изнутри мысль… А можно было бы избежать? А правда старт новой системы требовался кровь из носу через сутки (до поломки в смысле(? Если бы не торопились с запуском, возможно ошибки бы не допустили?
UFO landed and left these words here
Это объясняется просто… фейл не вылился бы в историю.
Спасибо огромное за рассказ. Вспомнились и мои приключения… Похожи — до невозможности.
UFO landed and left these words here
Уах, сердце буквально замирало! Прям какой-то админский триллер, брр… Спасибо огромное, один из лучших постов, прочитанных мной на Хабре;) Кто-нибудь знает еще подобные истории?
Потрясающе, на одном дыхании. Будто читал продолжение серии «Звездный лабиринт». Спасибо.
Очень рад счастливому концу =)
Господи, как знакомо — когда за час до начала торгов ты успеваешь залить боевой дамп, быстро поднять систему и бегло посмотреть что все вроде как стартануло правильно.
Уф, адреналин… я словно перенесся в то время и «летал» там вместе со всеми, столько эмоций от чтения я давно не испытывал. Интересно(или нет) какого быть Алексеем!? Но зато я в очередной раз убедился, проблема не приходит туда где с ней не могут справяться. Огромное спасибо, прекрасный рассказ.
Аж до мурашек) Ощущений больше, чем от просмотра фильма!
Удивительный рассказ! Спасибо за хорошее начало рабочего дня, вы прекрасно пишете :)
Это просто бесподобно! Одна из лучших статей, прочитанных мной на хабре. Спасибо.
Вдруг из библиотеки послышался звук глухого удара. Робот довез кассету до драйва, но не смог определить, где у драйва отверстие, и стал биться об его стенку, пытаясь ее куда-то вставить. Это было полное фиаско, и отчаяние охватило вас.

Не сразу, но вспомнилось
Скрытый текст
image
Хорошо, что догадались тестировать на изолированной системе.
похоже на vxvm split brain… Но группу инитить стемно конечно
У Вас отличный слог. Получил истинное художественное наслаждение от прочтения статьи. Спасибо, что поделились с миром этой интереснейшей и крайне экстремальной историей.
Only those users with full accounts are able to leave comments. Log in, please.

Information

Founded
Location
Россия
Website
croc.ru
Employees
1,001–5,000 employees
Registered