Comments 10
Спасибо за пост. Допишите пожалуйста краткое описание "sonobuoy conformance"
Утилита диагностики. Кластер можно создать формально работающий, в логах ошибок нет, crashloop нет. Но, например, ingress admission contoller api будет недоступен, попытка создания endpoint хотя-бы вернет ошибку. (Это я сам кластер свой шатал)
В sonobuoy 300+ тестов на мыслимые сценарии работы ресурсов, в том числе на разных рабочих узлах. Только для этого и нужен в тестах второй рабочий
microk8s k0s, kind, k3s и Minikube etc
Вы разбирали другие варианты? почему именно этот выбрали ?
Почему не kubespray?
Мы же самую свежую версию кубера рассматриваем.
Не уверен, что разработчики сценариев быстро все учитывают. Тут еще в ubuntu последнее китайское предупреждение о депрекации apt-key.
Плюс хочется самому контролировать версии всех колесиков внутри.
Свое решение позволяет пилить и ускорять процесс деплоя кластера. Например, два, три ansible хоста, если один действительно на 100 узлов намного медленнее работает. Всегда будет 3 минуты на все. Тут была свежая публикация, как только недавно докер из кластера выкинули, и заодно перешли на версию 1.21 =) legacy оно такое
Потому что суппортать потом кластер созданный при помощи kubespray это БОЛЬ!
Если верно понимаю потребность (как часть CI/CD шустро развертывать свой маленький, но настоящий k8s кластер и прогонять на нем какие-нибудь тесты), то не подходит ли тут идеально k3d от Rancher? Развертывает одной командой k3s кластер заданной конфигурации в докере.
Можно представить, запускаем нагрузочное тестирование с автомасштабированием реплик, и все это держится на докере. Реально под 200 реплик приложения с максимальной нагрузкой запланировал протестировать. Боюсь, докер раньше помереть может
Кажется, я нашел еще нечто неприятное с прошлой версии: безобидный deployment чего-либо ( хоть официальный образ busybox, не важно), примененный даже без админских прав, что именно в yaml не буду раскрывать, короче, мастер узлы в панике стирают все ключи, сертификаты, доступ к api серверу прекращается, core dns тоже прекращает нормально работать. Фишка именно в параметрах деплоймента, которые попадают в api server и scheduler. Возможно, защита от атаки какая-то, я не 100% гуру, а может быть так и надо. Но все равно, кровавый энтерпрайз под ударом.
В k3s нынче какая версия ?
В официальных релизах сейчас 1.26.1 (выпустили 26.01.2023), то есть реально последняя версия ванильного кубера (released: 2023-01-18), т.е. выпустили буквально через неделю.
Хороший вопрос на счет автомасштабирования реплик. Предполагаете, что каждый под внутри k3d кластера будет являться отдельным контейнером (набором контейнеров) на уровне докера? Сейчас k3d не установлен, чтобы проверить, но почти уверен, что нет. Скорее всего все поды виртуальной "ноды" будут запускаться внутри единого docker-контейнера, а если это действительно так, то, получается, помирать докеру не от чего, он не будет видеть разрастания количества подов.
очень помогли, спасибо
Раскатка k8s 1.26 ansible+jenkins