Как устроен Kubernetes as a Service на платформе VK Cloud Solutions

[iwram]

Будет ли возможность кастомизации нод пользователем? Например, хочется поставить свой сборщик логов на уровне systemd, еще какой либо софт для сбора метрик с самой ноды и т.п.

[ndal]

Мы движемся в сторону полностью Managed-решения, а это накладывает определенные ограничения на возможности пользователей в обмен на 100% доступность сервиса. Кастомизация будет за счет механизма сертифицированных аддонов (тех, которые мы тестируем и гарантируем работу). Наиболее типовые кейсы кастомизации (мониторинг, логирование, cert manager) будут запакованы в аддоны.

[vstaf]

Спасибо за статью, Дмитрий!
Большая работа конечно проделана, очень круто) казалось что совсем недавно был Kubernetes Meetup #1, а уже два года прошло)

[kay]

А что используется для деплоя самого Kubernetes кластера?

[ndal]

У нас собственный оркестратор, прототип которого взяли в OpenStack Magnum, но уже полностью переделали. Выбор пал на собственное решение, т.к. нам необходим полный контроль на каждом этапе работы с кластером.

[kay]

Поддерживается Cluster Policy: Local, которая позволяет получать реальные IP пользователей внутри кластеров

как вы это реализовали? upstream CCM для OpenStack поддерживает только Cluster traffic policy: https://github.com/kubernetes/cloud-provider-openstack/issues/763

[ndal]

Нам пришлось патчить kube-proxy для этого. Дополнительно есть вариант использовать балансировщики с поддержкой Proxy Protocol