Источник

На орбитальной станции очень жёсткая энергетическая дисциплина. Генерация только с солнечных панелей, для теневой стороны — аккумуляторы, а потребители — всё вокруг. Поэтому даже пульты светятся только тогда, когда нужна красивая картинка для научпопа. Обычное состояние светодиодов на пультах — если система работает нормально, то диоды выключены. Включаются они для временно включаемых потребителей и по запросу на статус. То есть экономят даже на такой, казалось бы, мелочи.

Ещё для некоторых экспериментов нужно было копить энергию в особом режиме несколько дней.

Но самое неприятное — это когда при столкновении транспорта «Прогресс М-34» с модулем «Спектр» и последующим отсечением модуля для восстановления герметичности станция лишилась 40% генерации. В этот момент началась настоящая энергетическая экономия.

В общем, раз уж мы подписали с Александром Ивановичем Лазуткиным контракт на рекламу и ссылаемся на то, что энергопотребление станции сопоставимо с потреблением нашего ЦОДа, стоит рассказать про детали этого самого потребления. Рассказывает непосредственно Александр Иванович с нашими небольшими пояснениями. Итак, поехали!

Кое-что пошло не так, поэтому российскую научную базу пришлось эвакуировать.

2 апреля мы должны были сбросить экспериментальный арктический мини-ЦОД (из одного сервера и двух систем спутниковой связи) на дрейфующую льдину со временной российской полярной базой. Потом — подняться в стратосферу и выпустить орбитального админа, который вместе с двумя напарниками поставит рекорд высотного парашютного прыжка.

Потом мы должны были поднять и подключить ЦОД и провести программу экспериментов, где бы он использовал наш же собственный спутник для связи.

История получилась немного фееричнее, чем мы ждали, потому что льдина, на которой стояла база Барнео (она разворачивается так каждый год и дрейфует несколько недель), треснула прямо по расчищенной взлётно-посадочной полосе. То есть самолёты не могли бы туда приземлиться в принципе. Вероятность новых трещин вынуждала убираться оттуда как можно быстрее.

Но кое-что сделать удалось.

Собственно, начну по порядку.

Полярный сисадмин в высотном кислородном снаряжении

У России есть арктическая дрейфующая научная станция Барнео — каждый год к весне, когда лёд самый прочный, выбирается подходящая льдина и на ней разворачивается база. Сначала десантным способом забрасывается первая партия людей и оборудования, расчищается полоса для «Чебурашек» — Ан-74, доставляющих основное оборудование.

Собственно, мы для экспериментов сбрасываем с самолёта туда мини-ЦОД и проводим все возможные опыты с ним. Вы тоже можете поучаствовать. Ну или просто принять участие в конкурсе, сколько эта инсталляция проработает и куда отдрейфует.

Связь в этом регионе возможна только спутниковая. Но так получилось, что у нас есть немного покоцанный собственный спутник, который прекрасно может работать ретранслятором.

Ещё в этом эксперименте есть три задачи со звёздочкой:

• Так как сервер сам себя устанавливать пока не умеет, то нужен сисадмин. И этот сисадмин будет прыгать на Северный полюс в команде с нашим другом-космонавтом Михаилом Корниенко прямо из стратосферы, попутно устанавливая мировой рекорд.
• Были сложные тесты выброски оборудования и людей на оборудовании Звёздного городка. Если обогрев и кислород мы продумали, то вот белых медведей в тестовой среде не было.
• Нас предупредили, что в этом регионе проводятся учения НАТО, и посоветовали ничего особо российского не оставлять в дрейфе на льдине, потому ЦОД будет работать на Intel под управлением Windows, а резервный спутниковый канал будет Иридиум.

В общем, сейчас объясню подробнее, что происходит.

У нас тут удивительная ситуация, когда в энтерпрайзе впервые стало пофиг на деловую репутацию. Если речь про зарубежную компанию — то подход простой: «Гендиректор русский? Да он даже не гражданин!» А если в России — то уже другой: «Куда ты с подлодки-то денешься?»

Свежий пример. Декабрь, самый активный месяц российской экономики. Распродажи, купи-продай, кибератаки, подарки на Новый год, вот это всё.

В этот самый декабрь банк СМП решает, что надо слиться и поглотиться об ПСБ. В момент слияния двух банков в экстазе меняются реквизиты. Как реквизиты меняла Точка: предупредили за полгода, потом ещё полгода со старых реквизитов стоял форвард денег на новый счёт. Как менял реквизиты банк СМП: прислал письмо счастья, что вот ваш новый счёт.

Старый перестанет работать 29 декабря, реквизиты нового есть, но деньги туда принять нельзя.

Разошлите всем, но обязательно скажите, чтобы ничего не оплачивали, пока переходный период.

А у нас там 500 юрлиц платит.

А, и да, кстати, зарплату вы с этого счёта тоже выплатить сотрудникам не сможете, потому что для его активации надо пойти в отделение. А отделение работает с 9 января. Оплаты за железо, за лицензии, зарплаты? Ну вы там держитесь.

Экипаж отлетает от гориллы, проникшей в американский сегмент МКС (на самом деле — нет, но это не фотошоп)

Орбитальная станция имеет микроатмосферу. Рядом скапливаются газы и частички от прилетающих кораблей, сама станция немного газит из различных сочленений и разъёмов. Но большинство частиц всё же образуется от прилетающих грузовых и пилотируемых кораблей.

Поэтому, например, иллюминаторы загрязняются снаружи, особенно от частиц топлива.

Соответственно, бортинженер «Союзов» ТМА-18 и ТМА-16М Михаил Борисович Корниенко как-то выходил в открытый космос протирать стёкла. Ну, то есть снимать плёнку с иллюминатора, потому что она ухудшала качество обзора.

МКС вообще постоянно уворачивается от разного рода мусора. На Земле есть станции слежения: если крупные куски мусора идут на расчётное сближение, то отреагировать на это можно за сутки.

В плоскости орбиты каждый более-менее крупный объект опознан, поэтому нужно его отследить, рассчитать положение и траекторию, и если она проходит в опасной близости от станции, то включить двигатели и подняться выше: песчинка на скорости 10 километров в секунду может оставить трещину на иллюминаторе.

Самый неприятный случай: однажды американская служба слежения слишком поздно передала, что возможно пересечение с отработанным спутником. Перекрёстные скорости составляли 14 километров в секунду.

Молоко по 790 мл? Вот вам пример интереснее. У этого хостера цены те же, только комиссия чуть выросла.

Сейчас идёт серьёзный передел рынка хостингов из-за тенденции ходить в Интернет по паспорту.

Это моё личное мнение, но очень похоже на то, что в следующем году всё станет дороже, и сейчас я расскажу про факторы, которые с очень высокой вероятностью приведут к этому.

Сразу скажу, что в большинстве сценариев конкретно поднимать цен мы не будем, но у нас горизонт планирования — до мартовских выборов, а дальше ситуация может меняться довольно быстро. Мы уже поднимали в прошлом году с пониманием, что случится, и этого пока достаточно.

Итак, первое: теперь всем нужно будет интегрироваться с СОРМ и хранить netflow трафика.

Если что, то это:

• От трёх до пяти миллионов рублей на покупку софта.
• Примерно один-два человекомесяца разработки на интеграцию.
• Железо для хранения трафика. У нас получается примерно от 60 терабайт на каждый 1 Гбит/с у пользователя, и это без DDoS-атак.

Всё это ляжет на пользователей, конечно, потому что больше не на кого. То есть на вас.

Причём это только первый фактор. И это ещё даже не вся его цена, потому что само снятие копии трафика тоже занимает ресурс. Нужно будет либо покупать новые маршрутизаторы, которые делают это в железе, либо работать на уровне сетевого драйвера (минус часть производительности), либо лезть в юзерспейс на уровне ОС и через это замедлять его машину.

А ещё у всех — инфляция, курс доллара, проблемы с железом, лицензиями, платежами, гениальная схема «Яндекса» по повышению ставок и вообще тяжёлый год.

С точки зрения законодателей вам пора бы уже ходить в Интернет по паспорту. И первые шаги для этого сделали.

Из-за этого мы сейчас переживаем крупнейший передел рынка хостинга в России.

С 1 декабря новый федеральный закон запрещает заниматься хостингом тем, кто не в специальном реестре. В специальный реестр можно попасть, грубо говоря, если выполнить требования по хранению трафика клиентов и их авторизации по паспорту, «Госуслугам» или платёжной карте. Там куча нюансов, но примерно так.

Ещё в этом году в ЦОДы начало поступать полностью отечественное железо из отечественной компонентной базы и отечественных плат (на самом деле — нет), отвалилась страховка от киберрисков от AIG (вместе с AIG), и пришлось искать российский аналог. Были скандал и мир с Казахстаном при открытии двух новых площадок, мы взяли премию «Хостер года», запустили собственный бесплатный DNS (аналог Route53), перешли на OpenAPI в хостинге, открыли ещё две площадки: ЦОДы во Владивостоке и в Турции в Измире (это там, где было наводнение), запустили и сломали спутник (дважды), пережили крупную аварию и после неё ввели понятное SLA на доступность с денежной гарантией.

В общем, сложный был год. Налоги, катастрофы, проституция, бандитизм и недобор в армию. С последним мириться было нельзя… Простите, рассказываю по существу.

Итак, есть космический корабль с разгонным блоком «Фрегат», из него пружиной выбрасывается материнская маааленькая такая «орбитальная станция», т.е. по сути — разгонный блок для пико-спутников. Из неё пружинами (точнее, распрямляя нитиноловые антенны) выходит рой пико-спутников. В прошлом посте я подробно описал что такое кубсат, пико-спутник и как под это всё разрабатывается железо и софт и какими компаниями. Напоминаю, у нас, похоже, так и не стартовал борткомпьютер из полезной нагрузки нашего пико-спутника.

Вот рой вышел с орбитальной базы, снято камерой материнской станции

Проблема была в том, что наш запуск изначально был запланирован на осень (после ряда переносов и развала «Орбитального экспресса»), а потом, когда некоторые западные партнёры почему-то решили отменить свои миссии, нам сообщили, что «парни, вы летите через полтора месяца».

За месяц до запуска нужно отдать полностью снаряжённый, заряженный и протестированный спутник с роем пико-спутников внутри.

Разработка в таких условиях шла, скажем так, несколько напряжённо и далеко не по TDD. Из самого важного — у нас были огромные планы на контрольный контур, на возможность удалённой перезаливки прошивки и много чего ещё. Всё это отправилось в бэклог второго запуска. Мы успели только сделать так, что пакеты из блока связи записываются на диск. С ними уже можно что-то делать дальше в режиме админа.

Но зато мы поставили рекорд по срокам подготовки спутника. 8 месяцев с момента начала подготовки до запуска миссии — это рекорд российской космонавтики. Но какой ценой!

Та самая орбитальная станция

Мы запустили собственный спутник. Точнее, в группировке есть ещё один, который выступил резервным, но наш в запуске один. Это 2U-пико-спутник размером с полпачки молока. Чтобы его запустить, надо:

1. Достать или разработать аппаратную платформу. Обычно это корпус, солнечные батареи, аккумуляторы, контроллер питания, двигатели для остановки вращения (у нас магнитные катушки, которые отталкиваются от магнитного поля Земли), базовая система связи.
2. Разработать полезную нагрузку для этой платформы. У нас — камера, веб-сервер и расширенная система связи.
3. Написать софт под эту полезную нагрузку. Особенность в том, что если поставить на спутник Linux и где-то будет конфликт зависимостей, то надо будет доехать и перезагрузить. А это немного проблематично. Пишется два набора софта: чуть ли не конечные автоматы для критических операций и высокоуровневый для полезной нагрузки.
4. Провести испытания на температуру, радиацию, вибрацию, удар, балансировку массы.
5. Установить всё это в спутник, из которого они будут вылетать. В нашем случае это 3U-кубсат, 3-й юнит — ангар наших пико-спутников.
6. Установить космическую станцию (кубсат) в «салазки» в корабле.
7. После выхода на орбиту оттолкнуться пружиной от корабля и вывести кубсат на орбиту. Через полчаса ожить, установить устойчивую связь с кубсатом, провести испытания и зарегистрировать его как спутник.
8. Выпустить рой из «ангара» (третьего юнита) и стать группировкой из 6 отдельных аппаратов. Установить связь, провести испытания, зарегистрироваться как самостоятельные спутники.
9. Подать питание на борткомпьютер полезной нагрузки и начать выполнять миссию.

Стадии 1–8 мы прошли успешно. На стадии 9 случилась авария, и, возможно, борткомпьютер будет висеть в бесконечном цикле пару лет, пока спутник не деградирует по питанию и не перезагрузится.

В общем, давайте разберём всю ситуацию. Пока это первая часть разбора, потому что он довольно сложный.

В комментариях к постам про разбор аварии (тут и тут) было развёрнутое обсуждение про новые технологии в ИБП, которые можно внедрить. Коротко — мы не будем внедрять ничего ультрасверхсовременного. Потому что лучшая версия для знакомства с софтом — это 2.4. В случае MS ещё хорошо, когда за цифрами написано что-то вроде SP2. Потому что если пробовать на себе все новые технологии, то это, конечно, дико интересно и прогрессивно, но мешает бизнесу. У нас дефицит свободного времени и рук. Вот, собственно, несколько прикладных историй, почему мы не торопимся нырять в новые технологии.

Пример с новым железом, на котором может строиться вся инфраструктура, думаю, знаком всем, поэтому начну не с него, а с холивара про IPv6 против IPv4.

Протокол v6 невероятно хорош. Его писали думающие люди, он снимает море проблем интернета, он реально крут. Адреса IPv6 практически бесплатные. Они не кончаются. В свою очередь, IPv4 стоят совершенно неприличных уже денег (это вторая статья в себестоимости виртуальной машины после железа), постоянно дорожают — и, что гораздо хуже, не всегда можно взять в аренду нужное их количество. Бывает, что к нам заезжает крупный клиент, мы хотим арендовать ещё 256 адресов v4 — и блок освобождается не через 15 минут, а через несколько дней. То есть нам надо постоянно ковыряться с тем, чтобы они были.

Но при этом IPv6 ещё хуже с точки зрения реального применения. Вообще, я лично не совсем понимаю, кому сейчас он нужен. Многие наши коллеги, кто пользуется, говорят просто: «В РФ v6 нет и не будет в ближайшее время, наверное». А специалисты по ИБ ещё категоричнее: «Я его просто отрубаю от греха подальше».

Мы шутили про эти телефоны, а они пригодились на прошлых выходных. Точнее, пригодилось резервирование телефонии. Не конкретно эти, но похожие)

Вот тут пост про нашу аварию на прошлых выходных. Там всё было по горячим следам, потом я обещал подробнее ответить на вопросы. Отвечаю. Самое главное, пожалуй, что бы я хотел донести, — в комментариях к первому посту было очень много советов, что можно сделать, чтобы избежать такой же аварии. Но большинство из этого мы делать не будем. Потому что это ошибка выжившего: защищаться надо от вероятных рисков, а не от крайне маловероятных, где совпадает сразу пять факторов. Точнее, можно и от них, но есть критерий экономической обоснованности.

Но давайте обо всём по порядку.

— Сколько клиентов пострадало?

— На три часа и более в одном ЦОДе отключилось 7–10 % из 14 наших, то есть менее 0,5 % от общего числа клиентов хостинга (точнее, хостов). Тем не менее мы очень подробно рассказываем про эту аварию, потому что она вызвала очень много вопросов.

Коротко: 17 июня около часа ночи мы потеряли два ввода питания от города из-за аварии на подстанции, затем — один из дизелей, что вызвало «мигание» питания в подземном дата-центре. Итог инцидента — простой около 12 часов примерно 7–10 % машин одного из 14 наших ЦОДов.

Это просто дикая цепочка событий.

Это патрубок дизеля, перевязанный бинтом из админской аптечки. Сейчас расскажу, какую роль он тут сыграл.

Итак, мы потеряли оба городских ввода — всё как в худших домах Парижа. Как мы уже потом узнаем, вроде бы авария была на трансформаторе 110 кВт: при перераспределении мощностей с первого произошло замыкание второго. За полтора года это уже третий раз, когда пропадают оба луча, и вот тут я рассказывал, как мы почти сутки стояли на дизеле. Для клиентов это прошло незаметно (кроме той стойки, где при мигании света сгорел ИБП: там был простой на перезагрузку).

Штатно сработали ИБП, автоматически завелись дизель-генераторы, ЦОД продолжил работу. У нас общая энергосеть с соседним ЦОДом всё в том же подземном бомбоубежище. Общее потребление — 0,5 МВт, дизелей — на 1,05 МВт.

Через два часа, около 3:30 ночи, лопнул патрубок дизеля 0,5 МВт, отчего он внезапно перестал работать. Админы убежища переключили мощности на дизели 2 х 100 КВт и 2 х 200 КВт. В момент переключения нагрузка снова легла на ИБП, а за два часа они не успели восстановиться, и часть оборудования выключилась.

Это запустило целую цепочку последствий, потому что при этом выключении погорела одна из плат коммутатора, обеспечивавшего доступ в нашу сеть управления ЦОДом, то есть все удалённые доступы.

На площадке остались два админа, которым нужно было включить вручную коммутаторы и стойки, починить дизель и понять, что вообще происходит.

«КамАЗ» остановился, чтобы спасти конкурента

Довольно часто мы сотрудничаем с прямыми конкурентами. Иногда это вызывает вопросы. Например, относительно недавняя ситуация с оплатами с иностранных карт: благодаря своему финансовому прошлому мы одними из первых в РФ нашли практический способ сделать всё в белую без образования зарубежного юрлица и потом поделились им с прямо конкурирующими с нами хостинг-провайдерами.

Казалось бы, зачем? Ведь без карт они потеряют около 15 % оборота, и эти клиенты «размажутся» по рынку, а часть, возможно, перейдёт к нам.

Но нет, это работает не так. В стабильной модели конкуренция должна идти между системами в целом. Кто выстроит более мощный комплекс, который даст клиентам что-то, что будет сложно найти где-то ещё, тот и получит этих клиентов. На других уровнях гораздо выгоднее дружить.

Это довольно очевидно и понятно, но никто так не делает.

Про такое обычно не пишут посты и вообще всеми силами стараются аккуратно спрятать под ковёр. Но вы нас уже раза три спросили, почему мы подняли цены.

Отвечаю: потому что мы очень жадные!

Настолько жадные, что учли инфляцию, колебания курса, повышение стоимости лицензий Microsoft (а мы всё ещё не пиратим), допиздержки на серый импорт железа, повышение цен на IP-адреса и глобальное потепление. Повысили цены и всё равно остались примерно в 2–4 раза дешевле облака одного очень российского поисковика.

В общем, такие времена. Кто-то разливает молоко в пакет по 0,9 литра, а кто-то покупает в VDS-хостинг десктопное железо. Но мы уже выросли достаточно, чтобы понимать, что такое планирование вдолгую, и знаем, что важно нашим клиентам.

А нашим клиентам важно, чтобы всё шло без сюрпризов. Последние три года и так выдались удивительные, и какие-нибудь новости от хостинга — это не то, что они хотели бы.

ЦОД в Астане, где мы встали

В прошлый раз я рассказал про то, как «учёный изнасиловал журналиста». Кратко: мы выпустили релиз, что встаём в ЦОДы «Транстелекома», «Форбс Казахстан» написал, что мы совместно открываем два ЦОДа, дальше наши «новообретённые» партнёры узнали много нового о себе и своих стратегических партнёрствах и очень удивились. Про эти приключения в прошлом посте.

Это не первый опыт наших эпик фейлов в Казахстане.

Оставалось купить железо, настроить оплаты и заехать в ЦОДы.

Естественно, кое-что пошло не так.

В Казахстан мы заходили ровно так же, как привыкли в Европах. Выбрали два ЦОДа по спецификациям из списка доступных дата-центров, нашли партнёра с каналами связи и свободными мощностями в выделенных секциях колокации и договорились, что встаём. Дальше мы выпустили стандартный пресс-релиз про то, что вот русская хостинг-компания открывает на территории Казахстана две площадки.

Дальше началась цепочка смешных и не очень совпадений.

«Коммерсант» и другие издания опубликовали наш релиз. Потому что есть дефицит хороших новостей про российский бизнес.

Из «Коммерсанта» про это узнал «Форбс Казахстан» и перепостил новость. Только вот есть нюанс. В релизе у нас было «на мощностях «Транстелекома» (мы вставали в их ЦОДы), но в бумажную газету почему-то попало в формулировке «совместно». А мы, напомню, вставали через их арендатора, условно, в секцию к магистральному провайдеру, брали несколько стоек для начала.

Кто-то из руководства «Транстелекома» пролистал за утренним чаем «Форбс» и узнал много нового. В частности, о своём стратегическом партнёрстве.

А тут надо сказать, что до этого на рынке случилась очень забавная (или не очень) история с газетной уткой. О ней мы тоже не знали, конечно же.

Последние 5 лет мы первые на Хабре в рейтинге компаний.

Блог на Хабре постепенно привёл к запуску искусственного спутника Земли, интервью с Ромеро, рассказу про психиатрический диагноз и тому, что админ вышел из подвала

Мы торжественно запостили пресс-релиз про старт своего сотрудничества с Хуавей аж 25 марта 2016 года. И начали ждать оваций. Сначала прилетел один оваций на -1, почти сразу подтянулся второй, пост ушёл с главной, и про него все забыли.

В принципе, на этом история с Хабром могла бы и закончиться, но нам надо было рекламировать конференцию по новым компьютерным технологиям и защите компьютерных программ. Поэтому мы запостили второй раз, уже не надеясь на +200. Это был тот никому не нужный пост, который сейчас ушёл бы в раздел «Новости», но мы про такое не догадывались. В итоге блог начал набирать какой-то рейтинг в диапазоне [-2 .. +5].

В этот момент мы начали понемногу понимать, что это не совсем то, что нужно аудитории. Посты не особо читались, рейтинги были низкие. Мы попробовали выложить текстом выступления с конференции. Оказалось, что они тоже не особо востребованы, хоть знания и были техническими.

А дальше внезапно выстрелил пост про то, чем обычный хостинг отличается от VPS. Прямо ликбез-ликбез, но уже +15 и несколько десятков тысяч просмотров (на 2022-й уже 40 тысяч). Рекорд!

В этот момент мы поняли, что писать нужно не про себя, а про интересные темы. Вторым успехом стала тема про Hyper-V против KVM. Так мы стали писать про технологии.

Главный вопрос, конечно, был в том, зачем писать про технологии и не про себя в своём блоге. Даст ли это что-то компании? Тогда мы нашли простое решение: баннер внизу поста. Каждая дочитка давала нам показ баннера ровно на нужную аудиторию.

Ну а дальше мы начали переводить книги, и это стало приносить реальную пользу сообществу — и огромную пользу нам.

Я обещал рассказать, что у нас случилось в ЦОДе и хотел дописать всё это к концу февраля. Дальше стало немного не до того, но всё же, раз обещал, рассказываю. Ха, тогда эти проблемы казались нам невероятно огромными.

Сначала в декабре мы потеряли один луч городского питания на ЦОД, а потом почти сразу — второй. И не только мы, поэтому с дизелями отрабатывали впритык. Потом у банка ККБ отозвали лицензию, из-за чего прилегло примерно 10% российской электронной коммерции, потому что кроме Вебмани он обеспечивал очень крупные платёжные шлюзы. И, наконец, у нас был брутфорс на RDP эпических масштабов.

В промежутке между этими историями я ещё неприятно болел, поэтому не мог рассказать сразу. Теперь немного отдышался и могу обстоятельно рассказать про приключения нашего ИТ-бизнеса в России дальше. Они, скажем так, очень расширили мои представления о рисках бизнеса.

Первая кризисная ситуация началась 18 декабря прошлого года достаточно заурядно: несколько серверов взяли и перезапустились. Когда мы начали разбираться, что же случилось, выяснилось, что сгорел «их» ИБП. Почему сгорел ИБП? Потому что был скачок напряжения на подстанции, подающей городское питание. Дальше у нас вообще пропал этот самый ввод, автоматика отработала штатно и перекинула нас на второй луч. Мы сразу же сделали тестовый пуск дизелей. Всё на первый взгляд выглядело довольно рутинно.

У нас кончилось место на московских площадках, и мы довольно долго выбирали новый ЦОД. Отсмотрели с десяток вариантов и пришли в гости в Останкино. ЦОД, конечно, удивительный.

Во-первых, у него нет и не будет уровня по Uptime Institute, несмотря на то что он фактически соответствует уровню Tier III, потому что это объект Федерального значения России.

Во-вторых, у него нет дизельного питания. Вообще! Есть 4 (четыре, Карл!) независимых ввода питания повышенной надежности. Ну как вы понимаете, поскольку там самое главное телевидение, если бы свет хотя бы моргнул за последние 55 лет, стук «летящих голов» было бы слышно на много сотен километров от Москвы.

В-третьих, охрану осуществляет отдельный батальон Росгвардии. Помните, как в 93-м штурмовали телецентр? Ну так вот, с тех пор там все несколько настороже.

В общем, я просто не могу не рассказать про это место. Но с некоторыми ограничениями, поскольку безопасники не всегда рады публичности некоторых вещей. Фотографии, например, мы делали так: вставали на точку и говорили, что нужно сфотографировать. Дальше приходил их сотрудник и фотографировал. Что-то из архива, чтобы не было видно конкретного оборудования их заказчиков. Где-то вообще нельзя было снимать.

Напомню: когда мы решили ввести тарифы на VDS на машинах с NVMe-дисками, то очень удивились тому, что они несильно лучше SSD. Второй неожиданностью была практическая невозможность собрать из таких дисков рейд-массив, то есть при вылете диска нужно будет не ребилдить массив прозрачно для пользователя, а выкатывать бекап.

Прозвучала мысль, что мы кривые ламеры и не умеем всё правильно готовить. Альтернативой была гипотеза «все врут».

Прошло полгода. Мы научились всё это готовить, но заодно поняли, что гипотеза «все врут» куда более вероятная.


Тут видно, что RAM подключена к CPU1, а NVME-диски — к CPU2. Это будет критически важно дальше по сюжету.

В общем, сейчас расскажу, чего именно нам стоило ввести нормальные NVMe-тарифы и почему при всём этом очень важно разбираться в архитектуре сервера.