Как стать автором
Обновить

7 дней, 15 инженеров и 600 серверов: Яндекс.Деньги переехали в новый дата-центр

Время на прочтение7 мин
Количество просмотров16K
Всего голосов 41: ↑39 и ↓2+37
Комментарии45

Комментарии 45

Маладца! Прям очень быстро справились! Особенно с учетом бракованных кабелей…
НЛО прилетело и опубликовало эту надпись здесь
Вот очень интересно, почему решили сэкономить на кабелях (и это обычные патч-корды...), да еще и не в какой-нибудь институтской общаге, а в ДЦ. Ведь Вы сами написали про ужасный процент брака — значит, это был какой-то подвальный ноунейм от дядюшки Ляо! Почему и кто принял решение так сэкономить ?!
Решающим фактором стал срок изготовления нужного нам количества патч-кордов с длиной 1,5 метра и тремя цветами. Надежный, ранее проверенный производитель озвучил срок более 5 месяцев. Т.к. процесс переезда уже был запущен, мы не могли столько ждать. Пришлось обратиться к другому, известному на рынке производителю (не Китай), который уложился в 2 месяца.
А как вы тогда успели переиграть все за один день?
Мы взяли более длинные патч-корды из старых запасов. Они не так стройно ложатся в стойки, зато работают надёжно.
Почему не взяли рабочие проверенные, вы же их с прошлого места не выбросили?
У старых была не оптимальная длина и расцветка, нужно было сделать красиво. У каждого сервера один управляющий интерфейс, как минимум два Data интерфейса, объединенные в port channel и идущие в разные коммутаторы. Для каждого интерфейса свой цвет кабеля.
а с чем связан выбор именно меди rj45 а не sfp+?
на новогодних праздниках как раз буду заниматься чем-то похожим (собираемся выкинуть все обычные патчи, кроме тех что ведут в ипми/ило и заменить на sfpшки). правда без перемещений между дц, да и серверов раз в 10 поменьше.
У нас был постепенный апгрейд сетевой инфраструктуры с 1G до 10G. Base-t позволял сделать это более плавно и с меньшими финансовыми затратами. Далеко не все серверы мы закупали с 10G портами. И вендорские серверы со встроенными картами Base-t выходили дешевле. Да и сейчас у нас не мало серверов могут иметь на борту карты с 1G интерфейсами. Оборудование Base-t позволяет нам размещать в стойках серверы как 1G так и 10G. Так как мы не строили ДЦ с нуля, то на первом месте было поддержание совместимости с существующем обордованием.
вот это кстати во многих супермикрах вендорах достаточно сильно раздражает — они запихивают в сервера процессоры с сотнями ядер, терабайты оперативки и даже если и делают встроенную 10 то с rj45 разъёмом, с его детскими болячками в виде неплотной фиксации в порте(как раз как в вашем случае при высокой плотности портов)/отламывающимися язычками и прочей болью. ну и сами патчи достаточно толстые, если говорить про полноценные cat6/7
Мне поудобнее будет — из шассика ptm 1g rj45 вытащу, на его место ptm 10g sfp+ вставлю, и сразу же кабельную сборку в него — двумя движениями 16 серверов переедет на 10ку Повторить еще 4 раза. xD
Тот, кто монтажом занимается, сразу вас скажет, что это Greenconnect…
Так вот почему я который день не могу авторизоваться в Yandex.денгах через Opera… (Просто кидает на главную после авторизации. Хотя в других сервисах авторизация работает)
Fox_exe, я только что успешно залогинился в Opera.
Предлагаю потраблшутить, написал вам в личку.
Если в другом браузере получается авторизоваться, то, пожалуйста, попробуйте очистить кэш и включить cookies. Если это не поможет, то понадобится больше подробностей (номер вашего кошелька, скриншоты, дата и время попытки авторизоваться). Наша служба поддержки поможет разобраться, коллеги на связи 24/7.
В том то и непонятки — Другие браузеры пашут. Opera — нивкакую. Чистка всего и вся не помогает. Режим Инкогнито (Который тоже, вроде как, сбрасывает все кеши и куки) тоже не работает.
Отключение плагинов, переустановка — результат прежний.

В консоли отладки — никаких ошибок. Среди ресурсов — тоже ничего с ошибками 500 или 403/404… (Сама страница авторизации кидает 302 и возвращает на предыдущую)

AntonTP уже написал в личку… Может и разберемся, что за аномалия…
Написали вам в личные сообщения, чтобы уточнить детали и помочь найти решение.
Вы выбрали просто-таки замечательное время для переезда. Как раз во время скидок/подарков — на пике активности ваших пользователей.
3 месяца назад ~ сентябрь. Время скидок/подарков в сентябре? По материалам статьи, кстати, я не заметил, чтобы это как-то сказалось на пользователях) Сами пользуемся Я.Кассой и переезда не заметили.
Почему вы не хотите прославить поставщика плохих кабелей, тем более, сэмплы они дали нормальные?
Пока не хотелось бы выносить это в публичное поле.
Вам они кабели заменят, или вернут деньги. А потом продадут брак — нам, маленьким фирмам без юридических отделов и лишней оборотки. Поэтому хотелось бы знать места куда идти не нужно.
Можем поделиться с этим в личке.
НЛО прилетело и опубликовало эту надпись здесь
Это будет очень много ручной работы. И это будет уже не Tier III, это будет самопальщина.
НЛО прилетело и опубликовало эту надпись здесь
Вот как раз «сертифицированное оборудование» здесь играет последнюю роль. Если зачищать не тупым канцелярским ножом и обжимать не плоской отверткой, то результат по качеству от используемого инструмента зависеть не будет.
Но заводские патчи (от нормального производителя) всё равно надежнее. Хотя бы из-за большей степени фиксации кабеля относительно коннектора.
Одно не понятно — зачем было заказывать патчи, если у кучи довольно серьёзных компаний есть разноцветные линейки и длина 1.5 метра — вполне стандарт.
Интересует вопрос — сколько стоит один интернет-канал для ДЦ в месяц и какая у него пропускная способность (скорость)?
У нас несколько таких каналов с разными скоростями. Не могу сказать точную пропускную способность из соображения безопасности. Также не могу поделиться стоимостью — коммерческая тайна.
Там перестают работать «скорость интернета» в том как ее видит конечный пользователь которому провайдер предоставляет какую-то ширину канала.
И на первый план выходит связность AS между собой и какими путями ходит трафик.
Если у меня из дома есть свое прямое стекло до какого-нить крупного IX, то в него можно хоть 100гб/c (а при dwdm еще и побольше) налить по цене владения этим волокном, правда при условии что остальные участники IX готовы (sic!) отдать мне столько трафика.
Собственно первоочередная задача любого цода выйти на как можно большее количество площадок обмена трафиком и дотянуть свои кабеля до контент-генераторов, в результате любая «скорость интернета» становится равной цене кабеля.
Если я интернет провайдер и мои пользователи смотрят видяшки ВК — мне выгодно получить прямой стык с ВК и гонять там трафик нахаляву. другое дело что сам ВК не горит желанием пириться со всякой мелкотой, потому что можно получить кучу головняка потом с кривыми анонсами из пионэрнетов и напрямую пирится только с теми кто забирает у них минимум 5% трафика (вроде раньше так было) — т.е с крупными операторами. Крупный оператор прикручивает потом три хвоста и перепродает это траф операторам помельче, те повторяют операцию и отдают эту скорость уже конечнику по получившейся цене.
Ну, вкратце, сам по себе интернет бесплатен, поскольку он состоит из абсолютно равноправных владельцев AS, но в вакууме AS работать не будет, ей нужна физическая связность по проводам с другими участниками. И чем больше и распределенней у вас своя кабельная сеть — тем дешевле стоит «интернет» правда добавляются накладные расходы на поддержание всего этого кабельного хозяйства. Какому-нить транстелекому передача данных между мск и владиком стоит 0 рублей, правда чинить обрыв трассы где-нить между Читой и Хабаровском придется за свой счет.
Яндекс.Деньги не рассматривали нахваливаемые Яндекс надежные ЦОД Яндекс? В них, например, даже Яндекс.Облако стоит, которое, якобы, внутри потребляют, как dog food.
Да, мы рассматривали варианты размещения в собственных ЦОД Яндекса. У нас относительно немного оборудования, проще эксплуатировать на ограниченной территории. Взвесив много факторов, решили размещать инфраструктуру в Москве.
Яндекс.Деньги не рассматривали нахваливаемые Яндекс надежные ЦОД Яндекс? В них, например, даже Яндекс.Облако стоит, которое, якобы, внутри потребляют, как dog food.


От Яндекса там только 25% и название.
Проект Яндекс.Деньги — принадлежит Сбербанку уже лет 7.
www.vedomosti.ru/business/articles/2012/12/19/sberbank_kupil_servis_yandeksdengi
Большее число компаний не принадлежит Яндекс, это не означает, что Яндекс.Облако обречено на отсутствие клиентов. Яндекс в аплинк взяли, домены используют. Аж 25% владения, могли бы и Яндекс как ЦОД или облако рассмотреть. Или в СберКлауд встать тогда уж. В этом и был вопрос: почему своя инфстраструктура при наличии дружественных облаков и ЦОД у владельцев.
Переехать в Cloud (Сбер или Яндекс) всеми сервисами мы не можем, т.к. имеем требования по PCI-DSS. И нам проще и безопаснее контролировать свой собственный периметр, чем отдавать это в облака, даже материнским компаниям.

А почему не рассматривалось размещение ЦОД в разных регионах, а не в пределах МКАД — оба?

И какие такие это регионы имеют связность с МСК по разным физическим трассам, чтобы её не мог перерубить один сбесившийся бульдозер?
PS. Думается здесь ещё без CAP теоремы не обошлось, финансовая транзакция считается закрытой (commited), когда её подтвердили оба ДЦ. А это значит что roundtrip latency между ДЦ становится бутылочным горлышком.
Здесь несколько факторов. Большинство наших партнеров и множество клиентов находится в московском регионе, размещение рядом даёт минимальные задержки. Второе — мы заинтересованы в минимальных сетевых задержках между нашими ЦОД. Третье, в регионе есть несколько сертифицированных ЦОД уровня Tier III, между которыми можно провести открытый конкурс. Четвёртое, в Москве у нас есть зарезервированный персонал. Пятое, в Москве есть вендорские сервис-центры с хорошим запасом запчастей для серверного оборудования и в случае поломок, мы можем получить замену максимально быстро.
Интересный опыт, спасибо. С проводами, конечно, засада. Ну и интересно тоже, насколько вы сами используете Я.Облако? Почему часть сервисов туда просто не уехала?
На данный момент мы не используем Я.Облако, но рассматриваем такую возможность.

Лучше бы написали статью на каком основании забираете из кошелька не принадлежавшие вам деньги, если ими не пользоваться определенное время.

Все банки взимают с клиентов комиссию за использование счета/карты. В Яндекс.Деньгах использование кошелька бесплатное — плата за обслуживание в размере 270 рублей в месяц взимается исключительно если кошельком два года никак не пользоваться.
Соглашение об использовании кошелька, которое Яндекс.Деньги заключают с пользователем, полностью соответствует требованиям закона. Все соглашения, условия по тарифам и лимитам доступны клиентам до регистрации в сервисе. Как и с любым другим договором, с ними стоит ознакомиться до регистрации. Но в любом случае списания комиссии не являются для пользователя неожиданностью: за месяц до списания мы неоднократно напоминаем о приближении срока и по почте, и в кошельке. Чтобы деньги не списались, достаточно отложить списание, нажав на кнопку из письма, или выполнить любую операцию, например, пополнить баланс своего же сотового.

А вы что, уже банк? Вот так новость. Вот только кошелек у меня появился в самом начале 2000-х, но видимо вы выросли, а вместе с этим и ваши аппетиты. В любом случае и при любой возможности вашим кошельком пользоваться больше не буду.


Ну, хоть за бесплатную почту спасибо.

Антон, а это вы второй ДЦ уже перевезли, или это про первую «пересадку сердца» рассказ?
Про переезд второго дата-центра (в сентябре 2019 года).
Зарегистрируйтесь на Хабре, чтобы оставить комментарий