dbarashev 23 мар 2010 в 04:03

Хронология отключения электричества в датацентре Google App Engine

4 мин

1.6K

Google App Engine*

+76

Комментарии 42

trevel 23 мар 2010 в 04:22

Я вот думал у них по разным датацентрам приложения GAE раскиданы. Оказывается пока нет.

mrskam 23 мар 2010 в 10:00

Думаю, что такая возможность скоро появится. По крайней мере переменная окружения DATACENTER появилась месяца 2 назад ('DATACENTER': 'na1',). Не думаю, что это просто так.

dbarashev 23 мар 2010 в 13:01

Думаю что эта переменная, если она есть (кстати, где? Не нашёл в коде на code.google.com/p/googleappengine/source/browse/ ) связана всё же не с разбиением множества приложений по разным ДЦ, а с multihoming'ом — возможностью одного и того же приложения работать одновременно в двух разных ДЦ

mrskam 23 мар 2010 в 13:15

Она в переменных окружения приложения (os.environ в рантайме питона)
А вот к чему разрабы придут в итоге — я не знаю (в смысле будем указывать, какой датацентр (-ы?)использовать, или еще что-то более сложное придумают). Ждем-с, не просто так она там.

bondbig 23 мар 2010 в 07:15

и у великого Гугла случаются факапы! Ох и влетит кому-то за неверные DRP для дежурных!

Gwindor 23 мар 2010 в 09:34

как мне кажется дело не в самих «факапах», а в том что делается, что бы они не повторились. А гугл это умеет.

bondbig 23 мар 2010 в 09:37

под «факапом» я имел в виду не отключение электричества как таковое, это скорее «дизастер», а то, что в DRP (Disaster Recovery Plan) закрались взаимоисключающие параграфы.

Busla 23 мар 2010 в 09:54

Да нет, тут всплыл целый комплекс ошибок проектирования всей системы.

Andrey_Rogovsky 23 мар 2010 в 08:54

Проблемы бывают у всех
Но не все способны их признать (вспоминаю русских хостеров)
Респект Гуглу

+18

dbarashev 23 мар 2010 в 13:13

Русские хостеры для начала могут пару недель о них тупо не знать (например о том что MySQL сломался и все данные утеряны). После того как их спросишь «ребята, а что у вас там с MySQL?» они выяснят что все две недели бекапы делались со сломанной базы и стало быть ничего в себе не содержат, а более древних бекапов нет. Личный опыт.

Впрочем, врядли это связано именно с русскимихостерами.

bondbig 23 мар 2010 в 09:31

может в тематический блог перенести? Например в habrahabr.ru/blogs/it-infrastructure/

dbarashev 23 мар 2010 в 12:53

Перенёс, но всё же в более тематический habrahabr.ru/blogs/gae

bondbig 23 мар 2010 в 12:54

может. Но по мне так вопрос больше инфраструктурный, а не конкретно по GAE.

Monoroch 23 мар 2010 в 12:07

Вот это я понимаю скорость ( при таких то огромных объёмах ), почему то сразу вспоминаются собственные провайдеры которые простейшую проблему решают сутками…

roller 23 мар 2010 в 12:58

>>>>9:35. Установлен контакт с инженером, знакомым с аварийной процедурой и он начинает руководить процессом. Трафик переносят в альтернативный ДЦ, сначала в режиме «только чтение»

они все таки смогли его разлбудить!!!111

+10

guiscard 24 мар 2010 в 00:56

не только разбудить, но и разговорить)

Leksisi 23 мар 2010 в 13:04

Интересно, а какая база данных у них стоит на серверах?

dbarashev 23 мар 2010 в 13:07

Datastore у AppEngine, если вы о нём, работает на Bigtable.

mrskam 23 мар 2010 в 13:18

Ну не совсем, Bigtable это промежуточный уровень (как распределенное транзакционное хранилище ключ-значение, не поддерживающее схемы и пр.), а на сегодня самый верхний уровень это megastore.

dbarashev 23 мар 2010 в 13:23

Ну да, Megastore. Но по нему нет таких научных статей :)

mrskam 23 мар 2010 в 13:26

Я думаю этой статьи хватит для того, чтобы было «понаучнее» :)

dbarashev 23 мар 2010 в 13:34

Ну это чьи-то записки с гугловской презентации на SIGMOD'08, не статья ни разу :)

JerryJJ 23 мар 2010 в 13:16

Какой забавный usecase! Спасибо за публикацию! :)

coolmiha 23 мар 2010 в 13:17

Так пишут, ей-богу, будто это хронология взрыва Чернобыльской АЭС

+24

dmiceman 23 мар 2010 в 14:19

Причем сильно не хватает вагонов матов между строк.

kurokikaze 23 мар 2010 в 16:10

Они подразумеваются )

eugenius_nsk 24 мар 2010 в 13:00

Кстати, а ведь очень похоже. Не по масштабам, конечно, а по некоторой идиотичности причин и по чёткости реакции и организации «спасательных работ».

НЛО прилетело и опубликовало эту надпись здесь

Softovick 23 мар 2010 в 13:44

Похвально, что подобные вещи не скрываются, а выносят на суд общественности с подробным описанием. За это можно лишь уважать.

solobot 23 мар 2010 в 14:02

Если электричество отключится у вас дома, то скорее всего ничего серьёзного с вашим компьютером не произойдёт. Может конечно сгореть блок питания или накрыться диск — для вас это неприятно, но не смертельно.

Если сгорит диск на котором 200 гиг редчайшего коллекционного музла, собиравшегося по крупицам 10 лет — это все же более, чем досадная неприятность…

silverwind 23 мар 2010 в 14:17

Давно пора купить внешний диск, который будет в роли резервного — подключаться только для синхронизации, вами, вручную, раз в неделю. К примеру до 320Гб эти диски стоят уже совсем небольшие деньги; и точно, несопоставимо меньшие по сравнении с потерей «200 гиг редчайшего коллекционного музла, собиравшегося по крупицам 10 лет»…

Но ваш контр-пример в тему)

k0ldbl00d 23 мар 2010 в 14:19

Я буду больше переживать из за личных данных — фото, видео, мультитреки из студии, куски кода, архив важной переписки. На всякий случай самое ценное храню в двух местах сразу.

Konstantin0Scheglov 23 мар 2010 в 14:27

Если вам дороги ваши фотки, музыка и т.д., то почему вы еще не используете что-то вроде https://mozy.com? Тогда это все-таки останется мелкой неприятностью — нужно будет всего лишь вытащить эти 200 гиг обратно на новый винт.

inshower 23 мар 2010 в 14:24

ВНИМАНИЕ!
Волнующие и захватывающие приключения APC UPS в фашистских условиях двухвазного тока, потеря надежды и душерзрывающая кульминация в рассказе «Хронология отключения электричества в датацентре у меня дома»:

21:34 — свет отключили
21:36 — свет включили

Конец.

+11

НЛО прилетело и опубликовало эту надпись здесь

Stas911 23 мар 2010 в 15:12

О Боже, сколько же раз я был в состоянии этого инженера…

tangro 23 мар 2010 в 18:05

Гуглу, конечно, респект за скорость и старания, но вот мне интересно, как так вышло, что никто из имеющихся инженеров:
-не знал процедуры переноса на резервный дата-центр
-не знал, что он не знает этой процедуры и не пытался её узнать
-не знал, где взять документацию

Вот есть пару десятков человек, в их ОСНОВНЫХ служебных обязаностях — безотказная работа системы, бекапы и восстановления, а они этого делать не умеют. И как бы это никого (ни их, ни их начальство) не тревожит?

-1

dbarashev 23 мар 2010 в 18:41

Дежурные инженеры — самые обычные разработчики, их основной обязанностью является всё же написание кода. Помимо этого они посменно дежурят и реагируют на сбои. Специальные SRE есть у многих наиболее критических продуктов и внутренних сервисов, но далеко не у всех.

Ну и «никто» — слишком сильное слово, кто-то как видите знал :) Проблема была в том что документаций было две, и непонятно какая правильная. Эта оплошность собственно в постмортеме и не отрицается, и выводы там делаются.

tangro 24 мар 2010 в 16:01

Что, правда одни и те же люди занимаются написанием приложений (ну, Gmail там пишут или код поисковика) и занимаются последствиями пропажи электричества в дата-центрах?

dbarashev 24 мар 2010 в 16:11

*Последствиями* отключения занимаются всё же SRE. Но инженеры, за приложениями которыми не следят постоянно SRE, сами должны на отключение отреагировать и перевести трафик в резервные ДЦ. А кроме таких катастроф, постоянно происходят мелкие и не очень происшествия, и таки да, их устраняют те люди, которые «пишут gmail» (подставьте нужный продукт).