Комментарии 137
да, вырубилось нежданно, когда общался,
первой реакцией было "опять шуточки РОСКОМНАДЗОРА",
полез смотреть DNS - не отвечало, хотел через VPN, но потом жена прочитала новости что по всему миру
У роскомназдора, конечно, длинные руки, но ненастолько чтобы уронить фейсбук по всему миру.
Длина не важна. Главное - кривизна! Целились в Гугель/Ютуб...
Вроде бы, написали уже, что пропали BGP сессии на автономку ФБ, в которой и НС находятся.
As many of you know, DNS for FB services has been affected and this is likely a symptom of the actual issue, and that's that BGP peering with Facebook peering routers has gone down, very likely due to a configuration change that went into effect shortly before the outages happened (started roughly 1540 UTC).
There are people now trying to gain access to the peering routers to implement fixes, but the people with physical access is separate from the people with knowledge of how to actually authenticate to the systems and people who know what to actually do, so there is now a logistical challenge with getting all that knowledge unified.
Part of this is also due to lower staffing in data centers due to pandemic measures.
No discussion that I'm aware of yet that is considering a threat/attack vector.
I believe the original change was 'automatic' (as in configuration done via a web interface). However, now that connection to the outside world is down, remote access to those tools don't exist anymore, so the emergency procedure is to gain physical access to the peering routers and do all the configuration locally.
Они там для доступа, вручную hosts правят ?
Судя по описанию, залили кривые конфиги и потеряли удаленный доступ. Аутентификация скорее всего по ключам, а ключи есть только у админов, а не у персонала с физическим доступом.
Админская примета: настраивать сеть по сети - к длинной дороге...
Я вам больше скажу такие админы во всех больших корпорациях есть.
Сети настраивать надо, конфигурить, сетевой софт обновлять и даже писать иногда. Кто-то это все должен катать в прод. И это делает обычный человек. Который может ошибиться.
Лучшее что придумали это собрать оки с еще пары тройки человек перед деплоем в прод. Это помогает, но гарантии естесвенно никакой не дает.
Обычная схема выкатки таких штук это один датацентр за раз. Если все плохо то тушим весь датацентр и разбираемся. Пользователи даже ничего не заметят. Окей тайминги ответа возрастут на 20-30%. Нехорошо, но не смертельно.
С BGP не прокатило. BGP вобще опасная штука.
the people with physical access is separate from the people with knowledge of how to actually authenticate to the systems and people who know what to actually do
У FB одна автономка на все системы? Вообще нужны экстраординарные усилия чтобы положить геораспределенную и сильно заразервированную автономку на 6 часов. Или задеплоить что-нить в духе network as a services разом на все бордеры))
РКН, создавая суверенный, запетлили и уложили демократический?
Да это не днс скорее всего.
Днс это всего лишь прокладка между IP и доменным именем. Можно и без днс работать если вы держите в памяти нужные апишники)
В принципе проверить проще простого. Кто помнит фэйсбучные айпишники?
:-)
Вот хотят окоДумовские слухи, что хотят забанить Google-вские DNS-сервера (8.8.8.8 и 8.8.4.4), а так же Cloudflare и еще список из пяти шести фирм. И как тогда решать такие фейкапы...
А я уж думать начал, что Роскомнадзор постарался и заблокировал Facebook. Однако, через VPN тоже не достучаться. Дивный новый мир, в котором вероятность преднамеренной блокировки выше, чем сбой в глобальном сервисе.
Downdetector sreenshot
Судя по downdetector упало всё
Репорты о сбоях провайдеров могли расти потому что увидев недоступность фб/инста/wa люди могли начать репортить о своих провайдерах, в духе "у меня интернет не работает", отсюда рост счетчиков о МТС, РТ и т. п.. Но причём здесь ВК, действительно не ясно :)
Они таки это сделали
Просто сотрудник фб, индус снимал видео-урок на ютуб по bgp
данные 1,5 пользователей сети
Кого, кого располовинили?
Сегодня должно было быть выступление в конгрессе Вашингтона со свидетелем (ранее работающей в мордокниге и скачавшей миллионы документов с доказательствами) и естественно с присутствием самого Цукерберга.
...десятки тысяч страниц внутренних документов компании, в которых были доказательства намеренного стравливания компанией своих пользователей ради извлечения из этого прибыли.
Цукерберг элегантно ушел от слушаний?
:-)
Откуда информация? Есть пруф?
Мне вот совпадение с тем, что выложили документы по оффшорам где фигурируют более 3000 высокопоставленных чиновников из 90 стран, плюс селебрити всякие, очень забавным кажется. Но если ваша версия имеет место быть, то это, пожалуй, более интересное совпадение.
Ну вот например - https://www.cnews.ru/news/top/2021-10-04_nenavist_kak_instrument
Ценой в 6,6 миллиарда состояния и тотальным сливом инфы в дарк
А может это трехбуквенные (NCA, CIA, DIA, etc) вырубили, чтобы не выйти самих на себя ?
Насчёт слива нужно уточнение. Видел в твиттере информацию, что кто-то пытался купить, но его кинули. Как минимум надо изменить формулировку на "предположительно слили", пока не станет ясно.
То есть вы намекаете, что кто-то нашел бекдор и ФБ отключили все, чтобы остановить слив?
Примерно за пять минут до прекращения работы сервисов Facebook пользователи заметили большое количество изменений BGP для ASN Facebook.Переведите кто-нибудь, пожалуйста.
BGP (Border Gateway Protocol) — это основной протокол динамической маршрутизации, который используется в Интернете.
Маршрутизаторы, использующие протокол BGP, обмениваются информацией о доступности сетей. Вместе с информацией о сетях передаются различные атрибуты этих сетей, с помощью которых BGP выбирает лучший маршрут и настраиваются политики маршрутизации.
Один из основных атрибутов, который передается с информацией о маршруте — это список автономных систем, через которые прошла эта информация. Эта информация позволяет BGP определять где находится сеть относительно автономных систем, исключать петли маршрутизации, а также может быть использована при настройке политик.
Что-то типа кто-то через BGP залил "кривые" маршруты
Кто-то менял маршрутизацию сетей Facebook. И видимо настолько удачно менял, что положил всё.
Я уж не помню сколько надо времени чтобы новые маршруты расползлись, вангую к нашему утру поднимут.
У меня проблема с обновлением Linux возникла. Отвалились быстрые зеркала, пришлось список зеркал обновлять.
Правильно ли я понимаю, что BGP - это штука, с помощью которой DNS серверы синкают инфу между собой?
Нет. Не правильно.
BGP это протокол уровнем ниже. Он позволяет маршрутизаторам автоматически настраивать маршруты для IP пакетов. Если в кратко, он позволяет маршрутизаторам понимать в какой провод, какой ip пакет отправить.
Стало понятнее, спасибо. И другим ответившим - тож спс :)
Это смотря как делить. Я исхожу из того, что для работы DNS ip пакеты уже должны "бегать" без проблем, а вот как раз BGP позволяет наладить "бег" ip пакетов без лишних трудозатрат.
BGP это основа интернета, протокол маршрутизации. Работает примерно так:
Вася, где Абрам?
Я не знаю, но вон Мойша знает.
Мойша, где Абрам?
Я не знаю, но вон Циля знает.
Циля, где Абрам?
Так вот же он, за углом стоит.
Не совсем так, BGP это протокол маршрутизации, и в данном случае из-за отсутствия /некорректности маршрута трафик от одного DNS не может дойти до другого DNS.
Нет, к DNS он не имеет отношения, грубо это протокол для маршрутизации трафика между подсетями.
Я далёк от этой темы, но условно, BGP - это штука, с помощью которой большие (масштабов стран/крупных компаний/провайдеров) маршрутизаторы понимают в какую из сетевых дырок им слать пакеты, предназначенные указанной в пакетах подсети. То есть у них не DNS сломался, а вообще взаимодействие сети с внешним миром.
Это протокол динамической маршрутизации между "автономками" (AS). Автономка это грубо диапазон адресов одного провайдера. Внутри автономки провайдер уже сам рулит.
Нью-Йорк Таймс сообщает, что сотрудники Facebook не могут попасть на рабочее место, чтобы устранить проблему. Электронные пропуска не работают.
Ого)
У них и система контроля доступа к инстаграму привязана?!
Авторизация через FB тоже ведь слетела...
Просто трафик СКУД проходит через те же железки, что и весь остальной. Версия с кривыми маршрутами на BGP-рутерах все вероятнее.
Надеюсь, кто это придумал тоже стоит перед зданием и не может войти.
Ничего страшного в этой придумке нет, так как BGP-таблицы меняются относительно редко и такие ошибки скорее исключение, нежели правило. Просто инженеры ФБ забыли одну старую примету - «Удаленное изменение маршрутов роутера и правил фаервола - прямой путь на площадку с этим оборудованием» (за дословность не ручаюсь). Такого рода манипуляции лучше проводить подключившись с консоли и держа наготове крайний бэкап конфига, если вдруг новый накроет все медным тазом.
Да, конечно. Просто, какая-то автономность должна же присутствовать, что если связность сети у них накрывается, то локально основные сервисы должны функционировать . На примере AD, если филиал не доступен из головного офиса, то это не значит, что юзеры не смогут там на свои компы зайти.
Обычно люди знают хотя бы про commit confirmed. Но я подозреваю, что в данном случае мы стали жертвой автоматизации и подхода "если у вас кто-то вручную ходит и конфижит железки, то значит ваша инфраструктура - отстой".
Если изменение одноступенчатое, то дежурный инженер просто передергивает питание циски и она загружает старый рабочий конфиг. Отложенная перезагрузка тоже вариант, но с дежурным инженером не надо ее ждать.
Если все плохо или все сложно - дежурный инженер подтыкает терминалку с симкой в консольный порт.
Там наверняка всё строго и зарегламентаровано так, что IPKVM на симке не воткнешь, но за то сидят теперь кукуют под дверью.
Хуже если BGP маршрутизатор совсем умер, но у фейсбука их должно быть несколько.
Просто трафик СКУД проходит через те же железки, что и весь остальной.
Включать системы безопасности в корпоративные сети (да в любые сети) - плохая идея. Они должны быть полностью автономны.
Почему например системы видеонаблюдения имеют аббревиатуру CCTV?
Потому что Сlosed Circuit Television.
(я пишу зелёненьким)
boards.4chan.org/pol/thread/342074466/mass-internet-outage-imminent вот эта ссылка, но как я и псал в исходном сообщении, я не уверен за ее правдивость. За то время, что прошло с момента публикации выяснилось, что исходный пост был опубликован ± в момент отлючения, что я и писал людям, что мне в личку писали. Я не хотел публиковать эту ссылку, чтобы мне не заминусовали, но меня заминусовали
вот
отчего же и не скинуть. скидывайте :)
Там именно троллинг, скорее всего человек просто заметил изменения в анонсированных Facebook BGP префиксах, и сразу написал тред (т.к. изменения не мгновенно по всей сети проходят).
На самом деле, вероятно, того полуторамиллиардного слива и не было и это просто разводилово. На том же PrivacyAffairs в обновлении к статье сказано, что юзеры, отдавшие свои кровные за эти данные, в итоге не получили ничего.
Update: Some users of the forum claim that they have paid the seller but didn’t receive anything in return. As such this may turn out to be a scam.
Так что еще не понятно ничего по этому поводу, может какой-то чел, воспользовавшись ситуацией, захотел подзаработать, не делая ничего фактически - просто выложив объявление о продаже в даркнет.
P.S. Не заметил аналогичных комментариев тут же, поэтому написал еще один про то же самое.
Для этого коментария я востановил аккаунт который не использовал почти 4 года ! Боюсь за порнохаб и жду что будет дальше =) хоть бы ТикТок и Инстанрам не отремонтировали )
Далёк от темы, но у кто-нибудь может объяснить (предположить). Как могли произойти такие масштабные проблемы с BGP?
IT-директор СберСервиса Сергей Бобров рассказал, что проблемы Facebook могут быть вызваны сбоем в работе крупного провайдера облачных услуг.
ага, и скрытая реклама СберУслуг СберОблака... типа у них никогда ничего подобного не случится. Ага, верим как себе....
Что лучше сбер облако, Яндекс облако, мэйл облако, Мегафон облако или МТС облако ?
Нет, не лучше :)
Из ЭТИХ вариантов (если речь про аналог условного EC2 а не консьюмерской хранилки) — выбор то один.
Только один из этих сервисов хоть какие то технические детали на хабре пишет, их пользователи пишут, и есть публично доступная документация а не "пишите поговорим"
Как говорится, никаких облаков не бывает, есть только твои данные на чужом харде.
Эскобар, лидер группы Бредор уже подробно ответил на этот вопрос
из этих - яндекс
Его слова больше похожи не признание в некомпетентности или что-то в этом роде, а не рекламу
Очень смешно читать его комментарии ) Чувак похоже в масштабах вообще не силён.
Ну или реально думает что весь FB крутится на паре виртуалок в AWS. Тогда да, почему бы не заложить ещё пару инстансов под масштабирование
Новый джун решил поправить баг в маршрутизации?
Это самый крупный слив данных за всю историю компании.
The traders claim to have obtained the data by scraping rather than hacking or compromising individual users’ accounts.
Data contains users’: name, email, phone number, location, gender, and user ID.
"Слив", наверно, предполагает наличие каких-то данных, которые публично не доступны. Ну, кто-то запустил кроулер и терпеливо ждал.
получается, что то самое анонсированное обновление медиаплеера происходило в момент начала аварии
Так это на овей машине dll-ка крякнулась. Видимо, ты сам обновлялся во время сбоя маршрутизации.
И судя по названию, это что-то про видео.
У меня комп был выключен когда началось. А ошибка точь-в-точь как у вас.
Это виндовая либа, а не что-то от самого Вацапа.
Вот тут описаны какие-то бубны по её починке:
https://ddok.ru/kak-ispravit-otsutstvie-fajla-ffmpeg-dll/?amp=1
Эта ошибка появилась ещё в субботу-воскресенье (мне знакомые вчера жаловались, ну и тред на реддите) и к сегодняшней аварии не имеет отношения
Ну, как минимум, домен стал ресолвиться:
$ dig facebook.com
; <<>> DiG 9.16.21 <<>> facebook.com
;; Got answer:
;; ->>HEADER<<- opcode: QUERY, status: NOERROR, id: 21695
;; flags: qr rd ra; QUERY: 1, ANSWER: 1, AUTHORITY: 0, ADDITIONAL: 1
<...>
;; ANSWER SECTION:
facebook.com. 300 IN A 31.13.72.36
Трассировка маршрута к facebook.com [2a03:2880:f113:81:face:b00c:0:25de]
с максимальным числом прыжков 30:
1 <1 мс <1 мс 1 ms SkyNet-Best-ISP-in-StPetersburg-Russia.sknt.ru [2a05:3580:f917:6d00:52ff:20ff:fe30:5131]
2 1 ms 1 ms 1 ms fd00:0:f9:217::1
3 1 ms 1 ms 1 ms SkyNet-Best-ISP-in-StPetersburg-Russia.sknt.ru [2a05:3580:0:eb::34]
4 3 ms 1 ms 1 ms SkyNet-Best-ISP-in-StPetersburg-Russia.sknt.ru [2a05:3580:20::1]
5 15 ms 6 ms 1 ms SkyNet-Best-ISP-in-StPetersburg-Russia.sknt.ru [2a05:3580:23::1]
6 1 ms 1 ms 1 ms 2a00:1c28:2:2158:0:4:8076:0
7 6 ms 6 ms 6 ms 2a00:1c28::141
8 7 ms 7 ms 7 ms ae16.pr02.hel3.tfbnw.net [2620:0:1cff:dead:beee::12bc]
9 6 ms 6 ms 6 ms po102.psw04.hel3.tfbnw.net [2620:0:1cff:dead:bef0::5f9]
10 6 ms 6 ms 6 ms po4.msw1am.01.hel3.tfbnw.net [2a03:2880:f013:ffff::b5]
11 6 ms 6 ms 6 ms edge-star-mini6-shv-01-hel3.facebook.com [2a03:2880:f113:81:face:b00c:0:25de]
It’s not DNS
There is a no way it’s DNS
It was DNS
Все, отпустило.
Здесь есть перевод статьи от Cloudflare с их сторонним взглядом и техническими деталями, что именно произошло.
Что-то не очень починили.. Старые записи очень долго грузятся, а потом показывает июльские посты, а между июлем и сегодня - пустота
сотрудники Facebook не могут попасть в дата-центр для устранения проблемы. Из-за сбоя их бейджи не сработали, чтобы открыть двериИ на фоне этого нас призывают пользоваться «облаками»?..
проблемы Facebook могут быть вызваны сбоем в работе крупного провайдера облачных услуг
Глобальный сбой длился около 6 часов
«Ни-за-что!», как говорил герой Яковлева в известном фильме.
Я уж лучше по-старинке, продолжу максимизировать количество десктопного софта.
Правда, моего UPS на 6 часов автономной работы не хватит…
на фоне неполадок резко упала стоимость акций FacebookВот это правильно. Капиталистов надо наказывать рублем. По-другому они не понимают.
Главное — до конца разобраться в случившемся и обнародовать результаты, чтобы и другие не наступали на те же грабли.
Произошёл глобальный сбой в работе Facebook