Знать что такое k8s разработчику конечно нужно, но в общих чертах и понятия в какой среде исполняется его код, но странно задавать такие вопросы разработчику на собеседовании.
Если подразумевается, что в проекте разработчики сами «крутят» кубернетес, то тогда им нужно еще и про helm знать, или про kustomize и пайпланы уметь писать, или girops освоить, а так же уметь мониторинг настроить в k8s, сборку логов, наблюдаемость и тд. и тп. Но тогда им некогда будет код писать.
Судя по описанию вы ищете не человека, который занимается DevOps практиками, а хорошего OPS. Если нужен человек в эксплуатацию, то вполне себе.
Вопросов, касаемо DevOps практик, или вопроса на понимание этих практик я почему то в статье не увидел. Или вы ищиье спецов Junior уровня.?
Те-же вопросы про докер и принцип изоляции контейнеров, зачем они? Скорее всего docker вы используете как CRI и не более, и зачем лезть в дебри мне не очень понятно. Что вам даст ответ про сgroups и namespace?
Я обычно спрашиваю про то, какие человек знает инструменты.Потом привожу какую нибудь гипотетическую задачку, что бы понять как человек будет рассуждать и куда пойдёт в своих мыслях. Я считаю, что если человек мне рассказывает, как он тарбшутил CNI в кубе, то уж точно он знает что такое базовые понятия сети и уж тем более shell. К счастью в нашей команде с выбором мы пока не ошиблись.
Эту проблему можно решить привязкой пода к определенной ноде.
В общем то в случае с localstorage так и происходит через механизм nodeAffinity. Но опять же это дополнительная работа.
Я использую localstorage для своих нужд. Вот несколько причин почему я использую его вместо hostpath
— hostpath тяжело использовать с чартами helm которые требуют указать storageclass
— hostpath не работают с StatefulSets
— cоздание LocalStorage можно хоть как то автоматизировать, например чем то типа такого
— LocalStorage можно использовать в StatefulSet как volumeClaimTemplate
Действительно я забыл указать, что rbd в контексте PVC Kubernetes умеет только ReadWriteOnce.
Про ресайз коллеги подсказывают, что если заменить controller-manager на hyperkube или использовать CSI (container storage interface) то ресайз возможен, НО потребуется рестарт пода.
Я лично не проверял, но как раз на днях хочу проверить на тестовом кластере.
Я не понимаю, что Вы от меня хотите услышать то?
Рид онли для меня это рано тому, что кластер не работает, мне нужно как читать так и писать информацию.
Для обеспечение консистенции не имеет смысла иметь четное количество нод.
Мне кажется и я и другие участники уже все выше написали.
Честно говоря вести дальше обсуждение в тоне крестиков и трусов не вижу смысла.
Спасибо за внимание.
Я считаю, если кластер на прод окружении заблокируется в режиме «только чтение» это равнозначно тому что отказоустойчивости нет. Я думаю мало кого устроит что прод окружение перешло в режим ридонли.
Лично я никогда не нарывался на split-brain (у меня в проде больше мониторов чем 2), но я допускаю что такое может случится, например когда один из мониторов на какое то недолгое время выйдет из строя (по любой причине) а потом поднимется.
Отвечу сначала про дистрибутив, debian выбран потому что в моих проектах вся инфраструктура на debian, то есть Kubernetes, proxmox, ceph+S3, по этому debian, если нравится можно взять любую из списк от этого кроме процесса установки ничего не изменится.
По поводу четности нод. Вы же сами написали что какой в этом смысл? Что бы просто иметь еще один демон монитора? При количестве мониторов равных 2 отказоустойчивости нет плюс ко всему можно нарватся на split-brain. При количестве мониторов 4 имеем отказоустойчивость точно такую же как и при 3-х и тд.
Про rook знаю только в теории и по статьям на хабре. Возможно что для dev стендов можно попробовать и мне кажется, что данное решение не для для prod окружений.
Тестовые виртуалки на proxmox, но это в принципе не имеет никакого значени. Прод кластер ceph у нас работает на 6 железных машинах.
С openshift к сожалению знаком очень посредственно, мне кажется в нем должен быть свой механизм работы с rbd
Есть автоматизация на ansible для личного пользования.
Поддерживать к сожалению нет времени. И наверное нет особого смысла, так как есть много других инструментов для автоматического деплоя.
Это просто релиз kubeadm не поспевает за новинками )) Я экспериментировал с kubeadm 10 версии. В 11 возможно уже поддерживается containerd. Также когда я писал публикацию, в реозиториях дебиана не было crictl, а сейчас есть.
В теории, вроде как ничто не мешает такой схеме. Мы не пробовали.
Сейчас залез в документацию в 11 версии вообще другая схема балансера. С ходу что то не разобрался.
К сожалению пропустил один момент., сейчас дополню
Через VIRTIP ноды Kubernetes. работают с API сервером. Данный адрес указывается в настройках для нод как сервер API.
Всем нодам кластера мы сможем указать только один адрес API сервера. Если вы исключаете из этой схемы keepalived то вы сможете указать либо один из мастеров, либо внешний балансировщик, но тогда о HA можно забыть.
Извиняюсь за неточность
Отрабатываю последние 10 дней в офисе. Потом удаленка DevOps.
Пока не знаю плюсов и минусов. Из плюсов вижу ЗП на 40 % больше, чем сейчас. Живу в 35 км от Санкт-Петербурга в частном доме, для работы есть отдельно стоящее здание, моя мастерская. Места хватает и семья мешать не будет. Сейчас работаю в опенспейсе.
На дорогу не надо тратить время и деньги, так же меньше ТО машины.
Их минусов боюсь 'одичать', не будет хватать коллектива с кем я сейчас работаю, все ребята отличные. Не будет хватать живого общения, как на проф темы так и на житейские.
Но мне проще на новом месте работы если хочешь иногда можно работать в офисе.
Знать что такое k8s разработчику конечно нужно, но в общих чертах и понятия в какой среде исполняется его код, но странно задавать такие вопросы разработчику на собеседовании.
Если подразумевается, что в проекте разработчики сами «крутят» кубернетес, то тогда им нужно еще и про helm знать, или про kustomize и пайпланы уметь писать, или girops освоить, а так же уметь мониторинг настроить в k8s, сборку логов, наблюдаемость и тд. и тп. Но тогда им некогда будет код писать.
Судя по описанию вы ищете не человека, который занимается DevOps практиками, а хорошего OPS. Если нужен человек в эксплуатацию, то вполне себе.
Вопросов, касаемо DevOps практик, или вопроса на понимание этих практик я почему то в статье не увидел. Или вы ищиье спецов Junior уровня.?
Те-же вопросы про докер и принцип изоляции контейнеров, зачем они? Скорее всего docker вы используете как CRI и не более, и зачем лезть в дебри мне не очень понятно. Что вам даст ответ про сgroups и namespace?
Я обычно спрашиваю про то, какие человек знает инструменты.Потом привожу какую нибудь гипотетическую задачку, что бы понять как человек будет рассуждать и куда пойдёт в своих мыслях. Я считаю, что если человек мне рассказывает, как он тарбшутил CNI в кубе, то уж точно он знает что такое базовые понятия сети и уж тем более shell. К счастью в нашей команде с выбором мы пока не ошиблись.
В общем то в случае с localstorage так и происходит через механизм nodeAffinity. Но опять же это дополнительная работа.
— hostpath тяжело использовать с чартами helm которые требуют указать storageclass
— hostpath не работают с StatefulSets
— cоздание LocalStorage можно хоть как то автоматизировать, например чем то типа такого
— LocalStorage можно использовать в StatefulSet как volumeClaimTemplate
Про ресайз коллеги подсказывают, что если заменить controller-manager на hyperkube или использовать CSI (container storage interface) то ресайз возможен, НО потребуется рестарт пода.
Я лично не проверял, но как раз на днях хочу проверить на тестовом кластере.
Рид онли для меня это рано тому, что кластер не работает, мне нужно как читать так и писать информацию.
Для обеспечение консистенции не имеет смысла иметь четное количество нод.
Мне кажется и я и другие участники уже все выше написали.
Честно говоря вести дальше обсуждение в тоне крестиков и трусов не вижу смысла.
Спасибо за внимание.
Большим количеством объектов, от нескольких миллионов?
Я пока что боюсь, причем даже не настолько самого Rook, а того что в случае каких либо проблем траблшутить будет достаточно проблемно.
Лично я никогда не нарывался на split-brain (у меня в проде больше мониторов чем 2), но я допускаю что такое может случится, например когда один из мониторов на какое то недолгое время выйдет из строя (по любой причине) а потом поднимется.
По поводу четности нод. Вы же сами написали что какой в этом смысл? Что бы просто иметь еще один демон монитора? При количестве мониторов равных 2 отказоустойчивости нет плюс ко всему можно нарватся на split-brain. При количестве мониторов 4 имеем отказоустойчивость точно такую же как и при 3-х и тд.
С openshift к сожалению знаком очень посредственно, мне кажется в нем должен быть свой механизм работы с rbd
Поддерживать к сожалению нет времени. И наверное нет особого смысла, так как есть много других инструментов для автоматического деплоя.
Сейчас залез в документацию в 11 версии вообще другая схема балансера. С ходу что то не разобрался.
Через VIRTIP ноды Kubernetes. работают с API сервером. Данный адрес указывается в настройках для нод как сервер API.
Всем нодам кластера мы сможем указать только один адрес API сервера. Если вы исключаете из этой схемы keepalived то вы сможете указать либо один из мастеров, либо внешний балансировщик, но тогда о HA можно забыть.
Извиняюсь за неточность
Отрабатываю последние 10 дней в офисе. Потом удаленка DevOps.
Пока не знаю плюсов и минусов. Из плюсов вижу ЗП на 40 % больше, чем сейчас. Живу в 35 км от Санкт-Петербурга в частном доме, для работы есть отдельно стоящее здание, моя мастерская. Места хватает и семья мешать не будет. Сейчас работаю в опенспейсе.
На дорогу не надо тратить время и деньги, так же меньше ТО машины.
Их минусов боюсь 'одичать', не будет хватать коллектива с кем я сейчас работаю, все ребята отличные. Не будет хватать живого общения, как на проф темы так и на житейские.
Но мне проще на новом месте работы если хочешь иногда можно работать в офисе.