Comments 37
UFO just landed and posted this here
Отличная история про отличных людей. Немного сисадминской и саппортной романтики. Как говорят «тру» история.
Господа, я желаю всему вашему коллектив процветания. И надеюсь, что ваш пример будет вдохновлять «пионеров» и «конкурентов».
Успехов вашему коллективу и поменьше обвалов…
Господа, я желаю всему вашему коллектив процветания. И надеюсь, что ваш пример будет вдохновлять «пионеров» и «конкурентов».
Успехов вашему коллективу и поменьше обвалов…
Почти константа — шикарно звучит. Надо запомнить =)
Спасибо, прочитал с удовольствием.
Спасибо, прочитал с удовольствием.
Работаю я как раз в этом самом неназванном банке. Очень много и долго общаемся с вашей компанией. Разные ситуации бывают, но и на моей памяти много менее романтичных моментов. Один из них — приехал мальчик внедрять новую версию сервера Exchange. Угробил всю корпоративную почту за много лет, да еще вместе с выданными для восстановления бэкапами. Другие проекты внедряли, тоже приезжали «специалисты-интеграторы» только после института, которые систему видят первый раз. Изучали ее с книжкой под рукой методом научного тыка. Так и получалось, что он и компания получали десятки тысяч долларов за работу, бОльшая часть которой проводилась нашими силами.
Спасибо, что разбавили этот елей и повесть о сверхчеловеках :)
Обсуждать этот вопрос я с вами не могу по двум причинам: во-первых, все факты под соглашением, во-вторых, истории этой, если мне не изменяет память, уже больше 5 лет. Поэтому если было — значит, было. Никто не говорит, что у всех всё идеально, ошибки случаются (правда, с тех самых пор всё стало в разы строже). Единственное, если мы думаем про один и тот же объект, коллеги утверждают, что тезис про большую часть работы — это несколько неверно. Но, думаю, объём там был таким, что большей своя часть показалась обеим сторонам.
Возможно Вы думаете про другой объект или обладаете не полной картиной. Тезис про бОльшую часть работы действительно не совсем верен. Первые несколько дней этот «специалист» читал книгу и «спотыкался» на элементарных задачах. По моей оценке, это был просто продвинутый пользователь. Потом этот грустный мальчик сидел, заглядывал в книгу и часами смотрел через плечо, как один из моих коллег бросив всю свою работу и начал сам по той же самой книжке разворачивать систему.
P.S. Не все проекты так внедрялись. Приезжали и очень хорошие специалисты, которые в указанные сроки отлично исполняли свою работу. Но за ТАКИЕ суммы и этих случаев не должно было быть.
P.S. Не все проекты так внедрялись. Приезжали и очень хорошие специалисты, которые в указанные сроки отлично исполняли свою работу. Но за ТАКИЕ суммы и этих случаев не должно было быть.
Если бы вы знали, какие в этой компании условия и сколько там платят — такие ситуации не вызывали бы удивления.
У всех интеграторов так — есть отличные специалисты, но их не очень много относительно подаванов с инструкцией. Действительно хороший уровень в консалтинге у вендоров, хотя и там гуру вам выдадут только под очень жирный контракт.
А еще бывают такие заказчики, над которыми тяготеет злой рок. Я когда работал в интеграторе, у нас такой был. Причем и люди — хорошие, и заказчик интересный, с деньгами, и обижать его ну совершенно никаких нет желаний. Однако, если какие-то факапы и пролеты возможны, то они при работе с ним случаются. Если раз в полгода застревает груз на таможне и срываются сроки — будьте уверены — это груз для [имяневезучегоклиента], если накосячил стажер — это снова с ним.
Я не знаю отчего так происходит, но вот есть такие шлимазлы среди клиентов, которым постоянно не везет и все возможные шишки — на них.
Они, разумеется, считают, что виноваты интеграторы.
Я не знаю отчего так происходит, но вот есть такие шлимазлы среди клиентов, которым постоянно не везет и все возможные шишки — на них.
Они, разумеется, считают, что виноваты интеграторы.
Старые технологии, полагающиеся на надёжность отдельных узлов и реализующих резервирование на аппаратном уровне. В результате, оно так и не работает хорошо. Вот у того же Сбербанка всё насквозь на Ораклах и мейнфреймах, а что на выходе?
commodity железо с easy fall, софтовым резервированием и распределённостью — вот единственное решение для замены «железок на сотни тысяч долларов».
commodity железо с easy fall, софтовым резервированием и распределённостью — вот единственное решение для замены «железок на сотни тысяч долларов».
Не все на ораклах, а всего лишь пару автоматизированных систем. Причем, разработка и внедрение этих систем отдавалось на откуп интегратора-топикстартера. Как внедрили, так и работает. Много систем реализовано не «по уму» из-за постоянного сокращения расходов на технику, централизациии всего и вся. Счета за каналы связи просто астрономические, сами каналы связи не удовлетворяют требованиям по скорости и надежности. Сотрудников ИТ, проработавших 10 и более лет, сокращают и увольняют. Проблема в построении системы, из-за чего всплывают частные ошибки. Это еще будет нести свой отпечаток много лет.
если бы сисадмин из сбера не сделал SHUTDOWN ABORT, то всё вполне можно было бы реанимировать.
это уже вопрос конкретного DBA, здесь же было замечательное обсуждение на эту тему.
это уже вопрос конкретного DBA, здесь же было замечательное обсуждение на эту тему.
В каждом из случаев, когда у них не работали банкоматы? Я же не про «Тот Самый Случай» (не имею представления о нём), а про общую тендецию.
У других банков тоже случается, кстати.
У других банков тоже случается, кстати.
да у всех случается, чо уж там. Идеальной отказоустойчивости не бывает.
Я могу открыть такую тайну: в Сбере есть страшное слово — КГБ, которое расшифровывается как коэффициент готовности банкоматов. Он должен быть не ниже 96. Если хоть один день коэффициент опускается ниже, по голове получают все, начиная от руководителя головного офиса. Собираются рабочие группы, анализируются причины, вырабатываются меры недопущения в будущем.
Некоторое время назад хватало случаев, когда у многих банкоматов заканчивалась наличность. Сейчас сидит отдел, мониторит текущую загрузку, просчитывает будущие расходы. Не секрет, что в праздничные дни и в выходные, особенно сильно расходуется наличка. В такие дни меняется частота загрузки банкоматов. Есть банкоматы на предприятиях, где в дни зарплаты и аванса нагрузка растет. Такие дни отслеживаются и под них подстраиваются. Сейчас простоев банкоматов по причине отсутствия денег очень мало, считанные доли процентов от общего числа.
Каналы связи резервируются. Электропитание резервируется. Медленно, постепенно, но двигаемся к заветным 99,9. Можете себе представить порядок цифр, затрачиваемых на оборудование, когда в области количество банкоматов и УСО исчисляется тысячами. Все сразу не приведешь к идеалу, но я ежемесячно вижу реальные изменения, выраженные в сухих цифрах.
Некоторое время назад хватало случаев, когда у многих банкоматов заканчивалась наличность. Сейчас сидит отдел, мониторит текущую загрузку, просчитывает будущие расходы. Не секрет, что в праздничные дни и в выходные, особенно сильно расходуется наличка. В такие дни меняется частота загрузки банкоматов. Есть банкоматы на предприятиях, где в дни зарплаты и аванса нагрузка растет. Такие дни отслеживаются и под них подстраиваются. Сейчас простоев банкоматов по причине отсутствия денег очень мало, считанные доли процентов от общего числа.
Каналы связи резервируются. Электропитание резервируется. Медленно, постепенно, но двигаемся к заветным 99,9. Можете себе представить порядок цифр, затрачиваемых на оборудование, когда в области количество банкоматов и УСО исчисляется тысячами. Все сразу не приведешь к идеалу, но я ежемесячно вижу реальные изменения, выраженные в сухих цифрах.
Я сейчас не про подвоз нала, и вообще, я не про сбербанк.
Я к тому, что централизованные системы, работающие по принципу «всё или ничего» начинают со скрипом, медленно, заменяться на распределённые, в которых локальные отказы приводят к постепенному ухудшению сервиса либо кратоквременных перерывах, не мешающих выполнению задачи.
Этот процесс медленный, но неотвратимый. Монстры, в которых всё и вся резервировано и «он просто не имеет права не работать» отмирают.
Я к тому, что централизованные системы, работающие по принципу «всё или ничего» начинают со скрипом, медленно, заменяться на распределённые, в которых локальные отказы приводят к постепенному ухудшению сервиса либо кратоквременных перерывах, не мешающих выполнению задачи.
Этот процесс медленный, но неотвратимый. Монстры, в которых всё и вся резервировано и «он просто не имеет права не работать» отмирают.
Кстати, куда жаловаться, если банкоматы несмотря на ваше страшное слово КГБ все равно не работают? В Москве полным полно банкоматов от Сбербанка на станциях метро, и, по моим прикидкам, половина все время не работает.
1. Обычно, на каждом банкомате висит табличка с указанным номером поддержки по всем вопросам с банкоматами. Номер в каждом городе свой. Я живу не в Москве, поэтому подсказать не могу.
2. В любом филиале пишете жалобу с указанием конкретных банкоматов и времени, когда не работали. Каждая жалоба влечет проблемы начальникам, виновным сотрудникам, собираются комиссии и устраивают разбирательства, как не допустить подобных жалоб в будущем. Если проблема с питанием, ставят мощнее юпсы. Проблема с каналом связи — заводят резервный канал. Проблема с недостаточной загрузкой банкоматов, из-за чего его выгребают — загружают побольше, ездят чаще. Если загружать больше не получается, то ставят банкомат крупнее, куда влазит больше кассет. Все это вытекает в поставку оборудования, заключение договоров, согласование бюджета, привлечение сторонних организаций, выбивание разрешений у них, проведение ими же работ. Поэтому сроки исправления ситуации редко бывают меньше квартала, но и больше двух кварталов. Каждая жалоба — это инцидент, который напрягает кучу людей и в их интересах такого больше не допускать.
2. В любом филиале пишете жалобу с указанием конкретных банкоматов и времени, когда не работали. Каждая жалоба влечет проблемы начальникам, виновным сотрудникам, собираются комиссии и устраивают разбирательства, как не допустить подобных жалоб в будущем. Если проблема с питанием, ставят мощнее юпсы. Проблема с каналом связи — заводят резервный канал. Проблема с недостаточной загрузкой банкоматов, из-за чего его выгребают — загружают побольше, ездят чаще. Если загружать больше не получается, то ставят банкомат крупнее, куда влазит больше кассет. Все это вытекает в поставку оборудования, заключение договоров, согласование бюджета, привлечение сторонних организаций, выбивание разрешений у них, проведение ими же работ. Поэтому сроки исправления ситуации редко бывают меньше квартала, но и больше двух кварталов. Каждая жалоба — это инцидент, который напрягает кучу людей и в их интересах такого больше не допускать.
Но так, кстати, декомпилировать тоже не всегда можно, на всё нужно разрешение.
Это почему вдруг? Наш закон явно разрешает декомпилировать ПО при необходимости.
Это почему вдруг? Наш закон явно разрешает декомпилировать ПО при необходимости.
Это был крутой рассказ читается как роман на одном дыхании.
выделенные сервис-инженеры (это парни, которые, как пожарные, всё время ждут срочного выезда)
Вы же в Москве работаете? Скажите, сколько в среднем времени уходит у таких ребят на то, чтобы добраться до места?
Около 15 минут (и больше) уходит на корректную регистрацию заявки. Просто так ехать нельзя — нужно понимать, что случилось, какое оборудование везти, нужно ли что-то на срочную замену брать с собой «по подозрению». Крайне редко заказчик даёт полную информацию сразу, а ехать надо с пониманием что ожидать, хотя бы примерным.
Дальше сборы. Склад у нас прямо на месте, где дежурство, поэтому после регистрации инцидента ещё 10-15 минут уходит до выезда. Или больше, если оборудования много.
До места едем как быстрее: когда на машине, когда на метро или другом общественном транспорте. Может довольно много времени уйти, город большой и склонный к пробкам. Но может получиться и быстро.
Если ехать за пределы Москвы, то приезд в среднем на следующий день.
Пункты SLA про срочное исправление обычно касаются либо оборудования заказчиков на наших площадках (где всегда дежурит команда), либо, реже, ситуаций с возможностью удалённого доступа.
Дальше сборы. Склад у нас прямо на месте, где дежурство, поэтому после регистрации инцидента ещё 10-15 минут уходит до выезда. Или больше, если оборудования много.
До места едем как быстрее: когда на машине, когда на метро или другом общественном транспорте. Может довольно много времени уйти, город большой и склонный к пробкам. Но может получиться и быстро.
Если ехать за пределы Москвы, то приезд в среднем на следующий день.
Пункты SLA про срочное исправление обычно касаются либо оборудования заказчиков на наших площадках (где всегда дежурит команда), либо, реже, ситуаций с возможностью удалённого доступа.
Они в офисе сидят у вас? Всегда на вызовах? А если нет, то чем занимаются пока бездействуют?
Это отдельные люди, незадействованные в проектах. Они сидят и ждут заявок, в это время собирают стенды для обучения, занимаются документацией последних изменений и так далее — то есть делают то, что в случае «пожара» можно отложить или передать другому. Они же занимаются тестами новых для рынка решений (потому что потом им их поддерживать), участвуют в подготовке техдокументов, занимаются обучением коллег и сами повышают квалификацию. И делают ещё много вещей. В общем, понятия «бездействие» и «скука» им чужды.
Особенно доставила ссылка на «Документы нашего отдела для свободной закачки и использования: пригодятся любой техподдержке и аутсорсингу»
Тут скачивать нечего, банальная декларация громких слов без документации как таковой.
Зато в каждом пункте есть «Критерии для формирования стоимости услуг» и мифические специалисты категории В.
Тут скачивать нечего, банальная декларация громких слов без документации как таковой.
Зато в каждом пункте есть «Критерии для формирования стоимости услуг» и мифические специалисты категории В.
Еще немного разбавить елей:
Меня лично очень вымотал недавний переезд в датацентр КРОК.
Начну с плюсов (оговорюсь «пока»:
-стабильная температура в машзале
-отсутствие пыли
-стабильное электропитание (со звездочками*******)
А вот про минусы поговорить мне не получается в виду пункта 9. «Конфидициальность» текущего договора.
Какая печаль, я написал уже больше листа минусов, полез уточнить один пункт в договоре и столкнулся с таким вот пунктом.
А так как реальной информации на сайте КРОКА практически нет, написать про нее я не могу.
Вот краткое резюме- все как везде, советский сервис, забывчивость, местами размондяйство, бюрократия.
Пока я не встречал мест, где Заказчик, с большой буквы после подписания договора, увы и ах…
Меня лично очень вымотал недавний переезд в датацентр КРОК.
Начну с плюсов (оговорюсь «пока»:
-стабильная температура в машзале
-отсутствие пыли
-стабильное электропитание (со звездочками*******)
А вот про минусы поговорить мне не получается в виду пункта 9. «Конфидициальность» текущего договора.
Какая печаль, я написал уже больше листа минусов, полез уточнить один пункт в договоре и столкнулся с таким вот пунктом.
А так как реальной информации на сайте КРОКА практически нет, написать про нее я не могу.
Вот краткое резюме- все как везде, советский сервис, забывчивость, местами размондяйство, бюрократия.
Пока я не встречал мест, где Заказчик, с большой буквы после подписания договора, увы и ах…
Этот вопрос не ко мне лично, но к коллегам. Думаю, ваша обратная связь будет более чем полезна. Отправьте, пожалуйста, свой номер телефона и реквизиты заказчика на почту PKolmychek@croc.ru. Павел сможет помочь. На всякий случай отпишите здесь, пожалуйста, как отправите.
Да ты не тушуйся, попроси случайного человека из IRC «украсть» твой лист минусов и слить на pastebin.
Александр, чем конкретно мне смогут помочь?
Когда мы въезжали, за месяц до часа «Ч» просили организовать недельное тестирование линий связи. Обговаривалось все скрупулезно и дотошно.
«Да, хоть ставьте оборудование на пол и тестируйте сколько вам угодно» превратилось в итоге «ничего за пределами стойки в машзале быть не должно» и «мы не разрешим подключать PDU без стойки»…
Это потом приходят глупые мысли, что заинтересованный на удовлетворенность заказчика персонал, мог решить эту проблему за пол часа максимум — организовав пустую стойку на стойко место.
Пустое, ибо в итоге электропитание к стойко месту по отчету было подано вечером предшествующего дня до въезда, а когда мы уже завезли оборудование, начался еще один внезапно увлекательный квест — «тестирование линий питания», и после прям закономерное отсутствие питания как такового на розетках еще в течении часа.
Да, у нас переезд был расписан буквально по минутам, график сбился у ворот ДЦ.
Вы разместите понятный ценник и договор на сайте КРОКа?
Разместите там же все внутренние регламенты и инструкции, о наличии которых мы узнаем в тот самый момент, когда downtime тикает?
Напишите внятный HOW-TO въезжающим в ваш ДЦ и разместите в свободный доступ на сайте?
Почините наконец-то интеркомы в машзалах?
и т.д. и т.п. )))
Когда мы въезжали, за месяц до часа «Ч» просили организовать недельное тестирование линий связи. Обговаривалось все скрупулезно и дотошно.
«Да, хоть ставьте оборудование на пол и тестируйте сколько вам угодно» превратилось в итоге «ничего за пределами стойки в машзале быть не должно» и «мы не разрешим подключать PDU без стойки»…
Это потом приходят глупые мысли, что заинтересованный на удовлетворенность заказчика персонал, мог решить эту проблему за пол часа максимум — организовав пустую стойку на стойко место.
Пустое, ибо в итоге электропитание к стойко месту по отчету было подано вечером предшествующего дня до въезда, а когда мы уже завезли оборудование, начался еще один внезапно увлекательный квест — «тестирование линий питания», и после прям закономерное отсутствие питания как такового на розетках еще в течении часа.
Да, у нас переезд был расписан буквально по минутам, график сбился у ворот ДЦ.
Вы разместите понятный ценник и договор на сайте КРОКа?
Разместите там же все внутренние регламенты и инструкции, о наличии которых мы узнаем в тот самый момент, когда downtime тикает?
Напишите внятный HOW-TO въезжающим в ваш ДЦ и разместите в свободный доступ на сайте?
Почините наконец-то интеркомы в машзалах?
и т.д. и т.п. )))
Доставила отсылка на самолет А370. Сразу добавилось доверия ко всем остальным фактам в повествовании.
UFO just landed and posted this here
Sign up to leave a comment.
20 лет техподдержки: как мир менялся вокруг нас