Печальное состояние сисадмина в эпоху контейнеров

>Давайте взглянем на Hadoop. Судя по всему, никто не знает как собирать Hadoop с нуля; это просто огромная куча из зависимостей, необходимых версий и утилит сборки.

Я вас скажу так, его собрать с 0 не знали как и 5 лет назад. Лично мне пришлось перечитать кучу документации и написать скрипты.
Обновлять его, это был еще более крутой квест — особенно в продакшене.

С другой стороны, опытные админы становится все меньше нужны. Всем начинай подавай devops.
Знай и bash и python,go, mysql, mongo,puppet,salt итд итп. В итоге ты знаешь это все, но не глубоко.

Беда эта и у программистов, пока выучишь один фреймворк, появится другой, третий сотня их.

Сейчас я на распутье куда идти дальше работать, админы не нужны, начинать программировать как то не хватает сил.

Ох, как вы (т.е. автор оригинала) правы… Современное IT — это мастодонты. Столько слоев абстракции, что уже давн нет одного человека или хотя бы группы, разбирающейся в них всех. Интересно, что с этим всем произойдет в итоге — ИМХО оно просто не может не обрушиться под своим весом в один прекрасный момент.

Что касаетс docker, контейнеров и безопасности, то, я думаю, ситуация с бинарниками и ненадежным кодом не улучшится. Однако все более будет улучшаться ситуация с «песочницами»: песочница внутри песочницы внутри песочницы и т.д. Т.е. ну и пусть там внутри одной из песочниц что-то происходит небезопасное — оно все равно наружу не вылезет. Возьмем для примера Amazon EC2: они ведь разрешают по определению запускать *любой* код, но это не ставит под угрозу безопасность инфраструктуры Амазона. Это только аналогия, а не прямое сравнение: не надо его на docker-контейнеры распространять. Суть в том, что надежность и безопасность системы все более определяется не надежностью кода, а надежностью различных внешних ограничителей (типа песочниц, но не совсем и не обязательно).

Не докером единым, всякие npm, bundle и иже с ними вместо нормальных системных зависимостей качают черт знает что в папку пользователя и это всё культивируется как мейнстрим.

Когда-нибудь пробовали сделать обновление безопасности для контейнера?

А как вы обновляете бинарные пакеты — скачиваете свежие из apt/yum/wtf. То же и с докером — скачиваете новый образ.
За отутствие цифровой подписи его много и справедливо ругали — но докер привлек много денег и деньги надо отбивать — нету у них времени закрывать баги.
Ответ прост appc и rocket.

С докером же правило простое — качай Dockerfile, собирай у себя и толкай во внутренний registry.

С другой стороны, вся эта контейнеризация наоборот повышает безопасность.
Представьте себе квест с апгрейдом версии ОС на тысячах серверов. Это же нужно руками делать, потому что где-нибудь что-нибудь обязательно отвалится. Гораздо проще налить новую машину с новой версией и накатить рабочий puppet/salt/chef.
Однако, со временем, это начнет обрастать костылями, т.к. какой-либо пакет просто не работает с новой версией. Другой — имеет жесткие зависимости. Третий вообще не пойми что. Использование контейнеров позволяет, во-первых, обновить ВЕСЬ кластер простым рестартом контейнера(он скачет новый базовый образ), во-вторых, не беспокоиться о зависимости(стоят только нужные для запуска именно этого приложения либы), в-третьих, дают изоляцию, в-четвертых, дают единую точку для управления конфигурацией приложения(докер файл/рокет манифест/другое), в-пятых, единство окружения(зайти в контейнер и вручную что-то поправить гораздо сложнее, чем на привычный сервер).
По-настоящему, проблема не в технологиях — они лишь инструмент, а в людях. Это как обвинять Эйнштейна, что он убил жителей Нагасаки.
Но я понимаю, о чем вы говорите и согласен, что проблема есть — зачем нанимать дорогого сисадмина, когда я сам могу скачать бинарник из интернета. Зачем делать правильно, когда и так всё работает.

Думаю, что такая проблема появилась во всех сферах жизни. Чтобы сделать сайт не нужно нанимать программиста полгода, ведь есть WordPress. Безопасность? Авось пронесет, да и когда это будет, а бизнес требует сайт уже сейчас.

Резюмируя, скажу, что люди сами себе злобные буратино.

P.S. Большого бума не будет — просто произойдет деградация отрасли. И это уже происходит. Например, с появлением в сфере ИТ «эффективных менеджеров», которые ну ничего не понимают, т.к. только закончили ВУЗ, изменился поход к написанию ПО — вместо качественного продукта нужно выпустить продукт быстро и с множеством фич.

С другой стороны, вся эта контейнеризация наоборот повышает безопасность.
Представьте себе квест с апгрейдом версии ОС на тысячах серверов. Это же нужно руками делать, потому что где-нибудь что-нибудь обязательно отвалится. Гораздо проще налить новую машину с новой версией и накатить рабочий puppet/salt/chef.
Однако, со временем, это начнет обрастать костылями, т.к. какой-либо пакет просто не работает с новой версией. Другой — имеет жесткие зависимости. Третий вообще не пойми что. Использование контейнеров позволяет, во-первых, обновить ВЕСЬ кластер простым рестартом контейнера(он скачет новый базовый образ), во-вторых, не беспокоиться о зависимости(стоят только нужные для запуска именно этого приложения либы), в-третьих, дают изоляцию, в-четвертых, дают единую точку для управления конфигурацией приложения(докер файл/рокет манифест/другое), в-пятых, единство окружения(зайти в контейнер и вручную что-то поправить гораздо сложнее, чем на привычный сервер).
По-настоящему, проблема не в технологиях — они лишь инструмент, а в людях. Это как обвинять Эйнштейна, что он убил жителей Нагасаки.
Но я понимаю, о чем вы говорите и согласен, что проблема есть — зачем нанимать дорогого сисадмина, когда я сам могу скачать бинарник из интернета. Зачем делать правильно, когда и так всё работает.

Думаю, что такая проблема появилась во всех сферах жизни. Чтобы сделать сайт не нужно нанимать программиста полгода, ведь есть WordPress. Безопасность? Авось пронесет, да и когда это будет, а бизнес требует сайт уже сейчас.

Резюмируя, скажу, что люди сами себе злобные буратино.

P.S. Большого бума не будет — просто произойдет деградация отрасли. И это уже происходит. Например, с появлением в сфере ИТ «эффективных менеджеров», которые ну ничего не понимают, т.к. только закончили ВУЗ, изменился поход к написанию ПО — вместо качественного продукта нужно выпустить продукт быстро и с множеством фич, т.к. для менеджера «горят сроки» или «у конкурента есть фича» более понятные фразы, чем «нужно всё переписать, потому что тут возможен race condition».

А в чём проблема сборки хадупа? mvn + cmake (для native extensions). У мавена довольно серьезная проблема с тем, что часть репозиториев отвечает по http и jar'ники не подписаны. Хотя тот же central стал в новых версиях мавена работать по https судя по логам.

В целом я согласен, но сборка из исходников тоже не дает 100% эффекта без аудита всех этих исходников (а это нетривиальная задача при таком количестве зависимостей)… Комьюнити, ревьюеры — через них конечно многое не протащишь (в плане АНБ и тп), но все равно это не является невозможным.

Зато протащить свой код в официальные репозитории Debian/Ubuntu — это тот ещё геморрой. У меня знакомый почти год добивался, чтобы его библиотека туда попала. Далеко не все могут проявить недюжинное упорство, а наработки нужны здесь и сейчас. Чтобы опубликовать новую библиотеку в Maven Central человеку, который никогда этого не делал, достаточно одного вечера, и после этого весь мир может его использовать. Чтобы обновить — достаточно десяти минут. Конечно, никакого серьёзного ревью нету, всё по большому счёту на взаимном доверии. Но работает же. По-моему, прогресс важнее повальной паранойи, что вас взломают.

>> Maven, ivy и sbt — это утилиты для скачивания неподписанного кода и запуска его на вашем компьютере.

Не совсем так. Это утилиты для сборки java/scala… и вообще по-моему уже любого кода.
В случае maven можно сделать спокойно review repositories и убрать все опасные из pom файла. Кстати код в central maven подписывается.

Для сборки hadoop насколько мне известно достаточно сделать git pull и запустить mvn clean install. И установить получившийся бинарник.

У автора очень странное впечатление о докере. Такое ощущение, что он считает, что живые люди только и делают что берут образы докер контейнеров из разных мест и лихо запускают это в своем пордакшене. Во первых, этих «разных мест» в общем то и нет. Есть registry hub из которого конечно можно скачать этот самый образ, но можно и посмотреть, что он там собирает или, что совсем несложно, собрать его у себя.

Лично я смотрю на hub как на место где подсмотреть как построить контейнер для той или иной нетривиальной системы и использовать это знание для построения своих собственных, деплоющих образы в свой собственный registry.

Что касается обновлений — я совсем не понимаю о чем он говорит. Во первых, все нормальный контейнеры disposable, и получить новый, со всеми фиксами — это либо docker build либо docker pull. Ну а если вдруг очень хочется/надо обновить нечто по старинке, то «docker exec apt…» никто не помешает сделать.

Прочитал пост, комментарии и заплакал. Тут всё, о чем я думал и переживал на счет упомянутых продуктов.
Обнимемся!

Непонятно чем именно контейнеры виноваты. Никто не мешает собрать контейнер самому, используя только доверенный код и\или подписанные бинарники. Да, контейнеры легче деплоить и поэтому все их и используют, но что вы предлагаете в качестве альтернативы — по 1000 раз повторять одни и те же шаги по сборке стандартных вещей, тратя время попусту и ошибаясь на ровном месте?

Вопросы, поднятые в топике, на мой взгляд, резонны. Единственное, что проблема не только и не столько в докере, сколько это вообще вопрос доверия в интернете. Мы устанавливаем пакеты из бинарных дистрибутивов, устанавливаем ОС, загружаясь с образа, скачанного из интернета, устанавливаем всякие плагины (Flash, например), взятые из интернета, бинарные драйверы видеокарт, скачанные с сайтов производителей. Даже если всё это подписано какими-то подписями, знаем ли мы этих людей, доверяем ли мы им? Даже собирая Linux from scratch, мы используем бинарник компилятора, загруженное ядро операционки. Есть ли гарантия, что они не встроят в компилируемый код бэкдор? Здравствуй, паранойя.

Если честно, я не знаю, как вести себя в условиях недоверенной среды. Не доверять всем — слишком дорого. Я могу написать свой компилятор C, провести аудит всего кода, который используется в продакшне, но это настолько огромная задача, что не хватит жизни. Для себя я использую такую формулу: если уж использовать чужие решения, то только те, которыми пользуется максимально большое число людей (популярные дистрибутивы, популярные пакеты, в докерхабе — только базовые контейнеры от самого докерхаба), чтобы минимизировать риски. А всё остальное писать самому.

По существу, подход Docker'а состоит в скачивании неподписанных бинарников, запуске их, и надежды, что они не содержат бакдоров для сети вашей компании.

Что мешает брать образ контейнера с автоматической сборкой из общественно доступного репозитория, где Dockerfile имеет только apt-get install и cp/mv/cat/sed команды? Docker не проблема, проблема в тех, кто его неправильно использует. К тому же, там появилась проверка цифровых подписей, хоть и в тестовом виде.

Я все как-то был больше юзером, чем админом. А недавно решил развернуть новый open source от Onlyoffice. Сперва героически попробовал всё это с гитхаба собрать, понял, что не хватает скиллов. И тут мне помог именно Docker — взял отсюда и спокойно развернул, теперь вовсю тестирую, что такого нового они понасовали. Есть вариант проще, но это, конечно, не олдскул и, возможно, не совсем безопасно, но меня как простого пользователя устраивает. Так что контейнерам пока не отказать и этот пример это доказывает…

Философское: невозможно создать дыру в пустоте, невозможно допустить security-ошибку в телнете без авторизации. Поскольку мы не умеем бороться с security-проблемами, то мы просто изменяем среду исполнения так, чтобы проблема более не выделялась на фоне, то есть отсутствовала.

Очевидно, что при таком деплое примерно 50% ошибок в безопасности в софте оказываются неактуальными — их эксплуатация для взломщика будет более тяжёлой и затратной, чем более простые методы проникновения. Таким образом достигается святой грааль безопасности: хакеру выгоднее НЕ использовать уязвимость, чем использовать.

Спасибо за статью! Думаю вы выразили мнение очень многих!

А теперь шах и мат www.opennet.ru/opennews/art.shtml?num=42322
Первоисточник www.banyanops.com/blog/analyzing-docker-hub

Я думаю, дело в том, что большинство людей исползующих этот стэк (ну да stack) технологий, не заботит уязвимость, т.к. крутится это всё в виртуальной сети, поднимается на один раз и не на долго.

Атакующий может урвать кусок плохоструктурированной информации, в лучшем случае.

Если же безопасность таки критична — всегда можно собрать свой репозиторий. Вопрос в цене. Для большинства случаев достаточно поделия из фекалий и сучьев.

чтобы включить бакдоры от АНБ

Паранойя — страшное дело… Включайте свои мозги и поменьше поддавайтесь на пропаганду, иначе можно дойти до жизни в подземном бункере с алюминиевой шапочкой на голове, чтобы уж наверняка никто вас не подслушал/не увидел/не обнаружил.

Если же говорить по теме, то да — контейнеры «расслабляют» и нужно понимать, где можно использовать распространяемые в интернете контейнеры, а где нельзя.