Он и убран. Консулы проверяются локально на каждом хосте в отдельности с r/o токеном по известным эндпойнтам. Если хоть один не ответил — срабатывает alert() который вызывает systemctl kill, который уже сам рестартует сервис и всех его дочек, включая befw. Как-то так.
А мастер-токен знаем только мы и никому его не даем.
Сложнее. Потому, что паппет запускается со splay раз в 30 минут, а консул может зависнуть сразу и насовсем. Поэтому у нас в кроне раз в минуту запускается тестер, который умеет находить все консулы, проверять, что они не зависли и убивать их по -9, если да.
Кстати, мы нашли причину умирания консула и почти её победили.
Вся проблема была в wan-запросах про количество нод в других датацентрах ( /catalog/nodes?dc=otherdc ), это приводило к фризу обоих мастеров и принудительной перезагрузке.
Код сбора информации был переделан ( теперь мы забираем эти данные локально с нод ) и проблема зависания консулов стала чуть менее критичной.
Так что, кто будет строить большую федерацию — имейте это ввиду.
Из бОльшей части описанных ситуаций выходил «на руках», летая в туман, ветер, дождь и прочие непогоды в ручном режиме ( правда на фантоме, может мавик так не умеет ).
В любом случае рекомендую какой-нить симулятор и поучиться летать на руках, часто поможет вытащить дрон оттуда, откуда автоматика его не вернет.
Был в ситуации Рика. К счастью, менеджмент быстро вывел меня на удаленку в режим «только обучай и никого не трогай». Иногда подключал к проектам в режиме «спаси мир за 2 дня до дедлайна». Это работало. я получал хорошие деньги и свободный график, а работодатель — высокие компетенции и командную работу, хоть и от разных людей.
А что с либами, на которых построены почти все X11 приложения ( gtk, qt, etc )? Они уже поддерживают Wayland или какие-то переговоры с ними идут? Или все только на уровне эмуляции X11-сервера ( какой оверхэд кстати? )
И что с коммерческими ( Стим & co ) продуктами, тоже через эмуляцию?
Описания не всегда достаточно. Тот-же audit2allow показывает все варианты флагов, которые можно включить.
А sesearch -C позволяет их направить в нужную сторону.
А мастер-токен знаем только мы и никому его не даем.
Вся проблема была в wan-запросах про количество нод в других датацентрах ( /catalog/nodes?dc=otherdc ), это приводило к фризу обоих мастеров и принудительной перезагрузке.
Код сбора информации был переделан ( теперь мы забираем эти данные локально с нод ) и проблема зависания консулов стала чуть менее критичной.
Так что, кто будет строить большую федерацию — имейте это ввиду.
А за такое «продвижение» — заслуженно слитый аккаунт.
В любом случае рекомендую какой-нить симулятор и поучиться летать на руках, часто поможет вытащить дрон оттуда, откуда автоматика его не вернет.
Кирилл, Никита, если вы это читаете — спасибо :)
И что с коммерческими ( Стим & co ) продуктами, тоже через эмуляцию?
А sesearch -C позволяет их направить в нужную сторону.