Всем привет! В этой статье мы пошагово покроем тестами REST API на Python. Данная статья будет крайне полезна как начинающим, так и действующим тестировщикам и автоматизаторам, а также специалистам из смежных направлений.
старший QA инженер
Сборник советов, как упростить работу с YAML-файлами
YAML (.yml) — популярный язык для конфигурационных файлов, широко используемый DevOps в подходе «Инфраструктура как Код» (IaC). Несмотря на то, что работать с ним бывает проще, чем с тем же JSON (особенно в контексте взаимодействия с большими объемами данных), иногда использовать его бывает трудно. В этой статье мы рассмотрим несколько советов, которые помогут упростить процесс создания и редактирования yml-файлов.
YAML из Ада
Формат данных YAML чрезвычайно усложнён. Он задумывался как удобный для человека, но в стремлении к этой цели сложность настолько увеличилась, что, по моему мнению, его разработчики достигли противоположного результата. В YAML есть куча возможностей выстрелить себе в ногу, а его дружелюбие обманчиво. В этом посте я хочу продемонстрировать это на примере.
Данный пост является нытьём и он более субъективен, чем мои обычные статьи.
Как вообще этот ваш CI CD настроить
Привет, Хабр!
Хочется рассказать о нашем опыте внедрения CI/CD в компанию. О том, как в целом работать с ним и как это работает у нас.
Статья нацелена на новичков конкретно в этой сфере и хотят чуть детальнее стандартной документации настроить деплой, может внедрить у себя, чуть адаптировать. Примеры достаточно гибкие и подходят для большинства задач в начинающих IT компаниях
Приятного прочтения, всем peace!
DevOps на сервисах Amazon AWS
Эта статья первая, обзорная.
Цель данной статьи есть не ликбез по DevOps и не банальное дублирование и так имеющихся у первоисточника материалов. Целью есть представление реализации DevOps на сервисах Amazon AWS в её общем виде, из которой каждый волен выбрать нужный вариант. Целевыми читателями являются знакомые как минимум о существовании Amazon AWS, планирующие задействовать его возможности в своей работе, перенести туда свои процессы частично или полностью. Предоставляемые сервисы Amazon AWS плодятся с большой скоростью, их число уже превысило круглую отметку в 100 штук, потому даже имеющим хороший опыт с AWS может быть полезным узнать — что же появилось нового, такого, которое, может быть, они просто пропустили, а это можно успешно задействовать в их работе.
Облачное хранилище: нужна 100% совместимость с Amazon S3 API
Всем привет! Сегодня решили поднять тему уже полностью вошедших в нашу жизнь облаков, а в частности – облачного хранилища именно в бизнесе. Тема не нова, но мы решили поговорить об этом, поскольку сами не далее как в прошлом году выпустили собственную облачную платформу, а пару дней назад начали официально предоставлять на ней услугу хранилища. Почему мы решили запустить именно эту услугу, что она несет для клиента, на что ориентировались при ее создании, на кого из конкурентов ровнялись и, что за хранилище в итоге у нас получилось? Welcome ниже.
Запись WebRTC видеопотока с веб-камеры браузера с буксировкой на Amazon S3
Amazon S3 — это файловое облачное хранилище, которое используют такие известные сервисы как Dropbox, Trello и миллионы других проектов. Несмотря на сбой 28 февраля 2017 года, в результате которого кое-где перестали работать даже холодильники, S3 остается, пожалуй, самым популярным распределенным хранилищем, в котором пользователи и бизнес хранят фотки, видео, бэкапы и другой полезный контент.
Web Call Server — это медиасервер с поддержкой технологии WebRTC и записи видеопотоков из браузеров и мобильных устройств. HTML страница в браузере или мобильное приложение может захватить видеопоток с веб-камеры и отправить на сервер для дальнейшей ретрансляции и записи.
В этой статье мы расскажем как записать видеопоток со страницы браузера Google Chrome с последующей отправкой mp4-файла в хранилище Amazon S3.
Версионирование объектов в S3
Сегодня я хочу поделиться результатами своего исследования в области версионирования объектов в S3. Я про эту фичу слышал давно, но особо много не знал. Да и сейчас не особо много знаю — расскажу, как включить версионирование в бакете и получение объектов разных версий.
Моё исследование показало, что эта функция не особо востребована, а готовых бесплатных утилит для версионирования вообще не существует. Зато есть библиотеки, в которых есть этот функционал. Нужно — разрабатывайте, мол.
Итак, для версионирования, в бакете нам прежде всего нужно его включить. Есть 2 доступных способа это сделать, и оба они завязаны на API.
- Чистый REST/SOAP запрос
- Через библиотеку
Я воспользуюсь Ruby библиотекой aws-sdk, которую и установим:
$ gem install aws-sdk
Быстрая реализация инкрементального бэкапа на Amazon S3
Высокодоступный FTP-сервер с хранением данных в AWS S3
Снова хочу поделиться с вами приобретенным опытом.На одном из проектов была поставлена цель организовать FTP-сервер повышенной надёжности. Под повышенной надёжностью подразумевалось следующее:
- Данные хранятся в AWS S3
- Сам FTP-сервер (выбран был Pure-ftpd) должен быть максимально возможно доступен
- Организовать балансировку нагрузки (опционально)
Amazon не хочет вступать в альянс хостеров — и получает сверхприбыли от AWS
В культовой песне Eagles «Отель Калифорния» (1976) есть такие слова:
We are programmed to receiveСитуация с Amazon — наглядный пример, как работает эффект отеля «Калифорния». Бизнес приходит на AWS, потом теоретически может уйти в любое время, но в реальности никогда не уходит!
You can check out any time you like
But you can never leave!
Бизнес AWS похож на монополию, когда один игрок злоупотребляет доминирующим положением на рынке. Но здесь нет явного нарушения антимонопольного законодательства. Просто на инфраструктуру AWS завязан не только отдельный клиент, но и смежные бизнесы, все работают на общей платформе. Если вы хотите наладить техническое взаимодействие с компанией, которая хостится на AWS, то вам удобнее тоже стать клиентом AWS.
Я сделал свой PyPI-репозитарий с авторизацией и S3. На Nginx
В данной статье хочу поделится опытом работы с NJS, интерпретатора JavaScript для Nginx разрабатываемого в компании Nginx inc, описав на реальном примере его основные возможности. NJS это подмножество ЯП JavaScript, которое позволяет расширить функциональность Nginx.
Что нового у AWS: DATA API, Kinesis Data Analytics, S3 Path
DATA API для Amazon Aurora Serverless
Как работает подключение к традиционной базе данных? Вы открываете соединение, используете его для обработки одного или нескольких запросов SQL или других операторов, а затем закрываете соединение. Вы, вероятно, использовали клиентскую библиотеку, специфичную для вашей операционной системы, языка программирования и базы данных. В какой-то момент вы поняли, что создание соединений занимало много времени и занимало память на ядре базы данных.
Проксируем файлы из AWS S3 средствами nginx
Зачем это вообще может понадобиться?
- Контроль доступа к файлам средствами nginx — актуально для концепции IaC (инфраструктура как код). Все изменения, связанные с доступом, будут вноситься только в конфигах, которые лежат в проекте.
- Если отдавать файлы через свой nginx, появляется возможность их кэшировать и сэкономить тем самым на запросах к S3.
- Подобный прокси поможет абстрагироваться от типа хранилища файлов для разных инсталляций приложения (ведь помимо S3 существуют и другие решения).
Создайте свой сервер AWS S3 с открытым кодом
Amazon S3 (Simple Storage Service, сервис простого хранилища) — очень мощный онлайн сервис файлового хранилища, предоставляемого Amazon Web Services. Думайте о нем, как об удаленном диске, на котором вы можете хранить файлы в директориях, получать и удалять их. Компании, такие как DropBox, Netflix, Pinterest, Slideshare, Tumblr и многие другие, полагаются на него.
Хоть сервис и отличный, его код не открыт, поэтому вы должны доверять Amazon свои данные, и хоть они предоставляют доступ к бесплатному инстансу на год, вы все равно должны ввести информацию о кредитной карте для создания аккаунта. Т.к. S3 должен знать каждый инженер-программист, я хочу, чтобы мои студенты приобрели опыт работы с ним и использовали его в своих веб-приложениях, и еще я не хочу, чтобы они за это платили. Некоторые студенты также работают во время поездок, что означает медленное Интернет-соединение и дорогой трафик, либо вообще полное отсутствие Интернета.
Настройка CI/CD с AWS и Github Actions
Статья про разработку пайплайнов на Github Actions для Flask приложения в AWS инфраструктуре, а также про использование CloudFormation.
Как развернуть React приложение с помощью AWS S3 и CloudFront
Создадим приложение с использованием фреймворка Next.js, настроим облачные сервисы Amazon S3, Amazon CloudFront, AWS Lambda@Edge, развернем приложение и настроим маршрутизацию доменного имени.
Хранение и управление доступом на данные в хранилище S3
Привет! Сегодня хотим рассказать о, как использовать бакеты, хранить данные, настраивать политики и управлять доступом на данные при работе c объектным хранилищем S3.
Использование AWS Lambda для создания архива определённых файлов с AWS S3
AWS Lambda — это сервис вычислений, запускающий ваш код при определенных событиях и автоматически управляющий вашими вычислительными ресурсами. Обзор концепции, принципов работы, цен и тому подобного уже есть на хабре ( habrahabr.ru/company/epam_systems/blog/245949 ), я же попробую показать практический пример использования этого сервиса.
Итак, как следует из названия поста, мы будем использовать AWS Lambda для создания архива указанных нами файлов, хранящихся на AWS S3. Поехали!