Как стать автором
Обновить
11
0
Евгений Карандасов @dgon_kondrasov

старший QA инженер

Отправить сообщение

Пишем АПИ автотесты на Python по шагам

Уровень сложности Средний
Время на прочтение 27 мин
Количество просмотров 19K

Всем привет! В этой статье мы пошагово покроем тестами REST API на Python. Данная статья будет крайне полезна как начинающим, так и действующим тестировщикам и автоматизаторам, а также специалистам из смежных направлений.

Читать далее
Всего голосов 4: ↑4 и ↓0 +4
Комментарии 8

Сборник советов, как упростить работу с YAML-файлами

Уровень сложности Простой
Время на прочтение 5 мин
Количество просмотров 9.7K

YAML (.yml) — популярный язык для конфигурационных файлов, широко используемый DevOps в подходе «Инфраструктура как Код» (IaC). Несмотря на то, что работать с ним бывает проще, чем с тем же JSON (особенно в контексте взаимодействия с большими объемами данных), иногда использовать его бывает трудно. В этой статье мы рассмотрим несколько советов, которые помогут упростить процесс создания и редактирования yml-файлов.

Читать далее
Всего голосов 26: ↑25 и ↓1 +24
Комментарии 27

YAML из Ада

Время на прочтение 9 мин
Количество просмотров 59K

Формат данных YAML чрезвычайно усложнён. Он задумывался как удобный для человека, но в стремлении к этой цели сложность настолько увеличилась, что, по моему мнению, его разработчики достигли противоположного результата. В YAML есть куча возможностей выстрелить себе в ногу, а его дружелюбие обманчиво. В этом посте я хочу продемонстрировать это на примере.

Данный пост является нытьём и он более субъективен, чем мои обычные статьи.
Читать дальше →
Всего голосов 221: ↑218 и ↓3 +215
Комментарии 186

Как вообще этот ваш CI CD настроить

Уровень сложности Средний
Время на прочтение 11 мин
Количество просмотров 23K

Привет, Хабр!

Хочется рассказать о нашем опыте внедрения CI/CD в компанию. О том, как в целом работать с ним и как это работает у нас.

Статья нацелена на новичков конкретно в этой сфере и хотят чуть детальнее стандартной документации настроить деплой, может внедрить у себя, чуть адаптировать. Примеры достаточно гибкие и подходят для большинства задач в начинающих IT компаниях

Приятного прочтения, всем peace!

Читать и так далее
Всего голосов 23: ↑17 и ↓6 +11
Комментарии 13

DevOps на сервисах Amazon AWS

Время на прочтение 6 мин
Количество просмотров 22K
Эффективность, которую даёт использование облачных сервисов — один из главных трендов для преобразования многих IT-компаний на сегодняшний день. Автоматизация всех процессов по пути от кода на GIT до развёртывания на Development и/или Production, а также последующий мониторинг, реакция на инциденты и т.д. (что также может и должно быть автоматизировано) — всё это, если не отменяет, то существенно меняет многие общепризнанные ITIL-практики. Взгляд на DevOps-процессы с точки зрения Amazon AWS: как они могут быть реализованы на его сервисах в рамках концепции IaaC (Infrastructure as a Code) — всё это будут даны далее в цикле статей, посвящённых Code-сервисам Amazon AWS: CodeCommit, CodeBuild, CodeDeploy, CodePipeline, CodeStar.

Эта статья первая, обзорная.

Цель данной статьи есть не ликбез по DevOps и не банальное дублирование и так имеющихся у первоисточника материалов. Целью есть представление реализации DevOps на сервисах Amazon AWS в её общем виде, из которой каждый волен выбрать нужный вариант. Целевыми читателями являются знакомые как минимум о существовании Amazon AWS, планирующие задействовать его возможности в своей работе, перенести туда свои процессы частично или полностью. Предоставляемые сервисы Amazon AWS плодятся с большой скоростью, их число уже превысило круглую отметку в 100 штук, потому даже имеющим хороший опыт с AWS может быть полезным узнать — что же появилось нового, такого, которое, может быть, они просто пропустили, а это можно успешно задействовать в их работе.
Читать дальше →
Всего голосов 15: ↑14 и ↓1 +13
Комментарии 12

Облачное хранилище: нужна 100% совместимость с Amazon S3 API

Время на прочтение 11 мин
Количество просмотров 25K


Всем привет! Сегодня решили поднять тему уже полностью вошедших в нашу жизнь облаков, а в частности – облачного хранилища именно в бизнесе. Тема не нова, но мы решили поговорить об этом, поскольку сами не далее как в прошлом году выпустили собственную облачную платформу, а пару дней назад начали официально предоставлять на ней услугу хранилища. Почему мы решили запустить именно эту услугу, что она несет для клиента, на что ориентировались при ее создании, на кого из конкурентов ровнялись и, что за хранилище в итоге у нас получилось? Welcome ниже.

Читать дальше →
Всего голосов 18: ↑13 и ↓5 +8
Комментарии 25

Запись WebRTC видеопотока с веб-камеры браузера с буксировкой на Amazon S3

Время на прочтение 6 мин
Количество просмотров 7.8K

Amazon S3 — это файловое облачное хранилище, которое используют такие известные сервисы как Dropbox, Trello и миллионы других проектов. Несмотря на сбой 28 февраля 2017 года, в результате которого кое-где перестали работать даже холодильники, S3 остается, пожалуй, самым популярным распределенным хранилищем, в котором пользователи и бизнес хранят фотки, видео, бэкапы и другой полезный контент.

Web Call Server — это медиасервер с поддержкой технологии WebRTC и записи видеопотоков из браузеров и мобильных устройств. HTML страница в браузере или мобильное приложение может захватить видеопоток с веб-камеры и отправить на сервер для дальнейшей ретрансляции и записи.

В этой статье мы расскажем как записать видеопоток со страницы браузера Google Chrome с последующей отправкой mp4-файла в хранилище Amazon S3.
Читать дальше →
Всего голосов 6: ↑6 и ↓0 +6
Комментарии 0

Версионирование объектов в S3

Время на прочтение 2 мин
Количество просмотров 5.6K
Привет! image

Сегодня я хочу поделиться результатами своего исследования в области версионирования объектов в S3. Я про эту фичу слышал давно, но особо много не знал. Да и сейчас не особо много знаю — расскажу, как включить версионирование в бакете и получение объектов разных версий.

Моё исследование показало, что эта функция не особо востребована, а готовых бесплатных утилит для версионирования вообще не существует. Зато есть библиотеки, в которых есть этот функционал. Нужно — разрабатывайте, мол.

Итак, для версионирования, в бакете нам прежде всего нужно его включить. Есть 2 доступных способа это сделать, и оба они завязаны на API.
  • Чистый REST/SOAP запрос
  • Через библиотеку

Я воспользуюсь Ruby библиотекой aws-sdk, которую и установим:
$ gem install aws-sdk
Читать дальше →
Всего голосов 18: ↑15 и ↓3 +12
Комментарии 21

Быстрая реализация инкрементального бэкапа на Amazon S3

Время на прочтение 6 мин
Количество просмотров 23K
После переезда моего сайта с shared-хостинга на виртуальный сервер в облаке вплотную встал вопрос об архивации данных: если раньше о ежедневном бэкапе беспокоился хостер, то теперь эти заботы целиком легли на плечи администратора. Так как хранить большие архивы на своем сервере не только небезопасно, но и (иногда) накладно, было решено копировать основную массу файлов на сервис S3 от Amazon. Под катом описывается мой способ реализации инкрементального бэкапа. Способ достаточно нубовский, но желающие повторить его без труда найдут пути тонкой настройки под свои нужды.
Читать дальше →
Всего голосов 41: ↑39 и ↓2 +37
Комментарии 23

Высокодоступный FTP-сервер с хранением данных в AWS S3

Время на прочтение 5 мин
Количество просмотров 18K
Добрый день, уважаемые читатели.
Снова хочу поделиться с вами приобретенным опытом.На одном из проектов была поставлена цель организовать FTP-сервер повышенной надёжности. Под повышенной надёжностью подразумевалось следующее:
  • Данные хранятся в AWS S3
  • Сам FTP-сервер (выбран был Pure-ftpd) должен быть максимально возможно доступен
  • Организовать балансировку нагрузки (опционально)
Читать дальше →
Всего голосов 34: ↑29 и ↓5 +24
Комментарии 21

Многопоточная закачка файла в S3

Время на прочтение 5 мин
Количество просмотров 6.6K
Эта статья иллюстрирует реальное применение и получение выигрыша в производительности на примере закачки файлов в хранилище Amazon S3 с использованием многопоточности на языке Ruby с использованием gem aws-sdk.
Читать дальше →
Всего голосов 14: ↑14 и ↓0 +14
Комментарии 1

Amazon не хочет вступать в альянс хостеров — и получает сверхприбыли от AWS

Время на прочтение 6 мин
Количество просмотров 5.9K

В культовой песне Eagles «Отель Калифорния» (1976) есть такие слова:
We are programmed to receive
You can check out any time you like
But you can never leave!
Ситуация с Amazon — наглядный пример, как работает эффект отеля «Калифорния». Бизнес приходит на AWS, потом теоретически может уйти в любое время, но в реальности никогда не уходит!

Бизнес AWS похож на монополию, когда один игрок злоупотребляет доминирующим положением на рынке. Но здесь нет явного нарушения антимонопольного законодательства. Просто на инфраструктуру AWS завязан не только отдельный клиент, но и смежные бизнесы, все работают на общей платформе. Если вы хотите наладить техническое взаимодействие с компанией, которая хостится на AWS, то вам удобнее тоже стать клиентом AWS.
Читать дальше →
Всего голосов 24: ↑23 и ↓1 +22
Комментарии 29

Я сделал свой PyPI-репозитарий с авторизацией и S3. На Nginx

Время на прочтение 11 мин
Количество просмотров 2.4K

В данной статье хочу поделится опытом работы с NJS, интерпретатора JavaScript для Nginx разрабатываемого в компании Nginx inc, описав на реальном примере его основные возможности. NJS это подмножество ЯП JavaScript, которое позволяет расширить функциональность Nginx.

Читать далее
Всего голосов 7: ↑5 и ↓2 +3
Комментарии 8

Что нового у AWS: DATA API, Kinesis Data Analytics, S3 Path

Время на прочтение 4 мин
Количество просмотров 2.3K

DATA API для Amazon Aurora Serverless


Как работает подключение к традиционной базе данных? Вы открываете соединение, используете его для обработки одного или нескольких запросов SQL или других операторов, а затем закрываете соединение. Вы, вероятно, использовали клиентскую библиотеку, специфичную для вашей операционной системы, языка программирования и базы данных. В какой-то момент вы поняли, что создание соединений занимало много времени и занимало память на ядре базы данных.
Читать дальше →
Всего голосов 4: ↑4 и ↓0 +4
Комментарии 1

Проксируем файлы из AWS S3 средствами nginx

Время на прочтение 4 мин
Количество просмотров 30K
Казалось бы, задача реализации фронтенда для AWS на nginx звучит как типовой кейс для StackOverflow — ведь проблем с проксированием файлов из S3 быть не может? На деле выяснилось, что готовое решение не так-то просто найти, и данная статья должна исправить эту ситуацию.



Зачем это вообще может понадобиться?


  1. Контроль доступа к файлам средствами nginx — актуально для концепции IaC (инфраструктура как код). Все изменения, связанные с доступом, будут вноситься только в конфигах, которые лежат в проекте.
  2. Если отдавать файлы через свой nginx, появляется возможность их кэшировать и сэкономить тем самым на запросах к S3.
  3. Подобный прокси поможет абстрагироваться от типа хранилища файлов для разных инсталляций приложения (ведь помимо S3 существуют и другие решения).
Читать дальше →
Всего голосов 28: ↑26 и ↓2 +24
Комментарии 15

Создайте свой сервер AWS S3 с открытым кодом

Время на прочтение 4 мин
Количество просмотров 59K


Amazon S3 (Simple Storage Service, сервис простого хранилища) — очень мощный онлайн сервис файлового хранилища, предоставляемого Amazon Web Services. Думайте о нем, как об удаленном диске, на котором вы можете хранить файлы в директориях, получать и удалять их. Компании, такие как DropBox, Netflix, Pinterest, Slideshare, Tumblr и многие другие, полагаются на него.

Хоть сервис и отличный, его код не открыт, поэтому вы должны доверять Amazon свои данные, и хоть они предоставляют доступ к бесплатному инстансу на год, вы все равно должны ввести информацию о кредитной карте для создания аккаунта. Т.к. S3 должен знать каждый инженер-программист, я хочу, чтобы мои студенты приобрели опыт работы с ним и использовали его в своих веб-приложениях, и еще я не хочу, чтобы они за это платили. Некоторые студенты также работают во время поездок, что означает медленное Интернет-соединение и дорогой трафик, либо вообще полное отсутствие Интернета.
Читать дальше →
Всего голосов 13: ↑10 и ↓3 +7
Комментарии 12

Настройка CI/CD с AWS и Github Actions

Время на прочтение 10 мин
Количество просмотров 8.3K

Статья про разработку пайплайнов на Github Actions для Flask приложения в AWS инфраструктуре, а также про использование CloudFormation.

Читать далее
Всего голосов 3: ↑2 и ↓1 +1
Комментарии 7

Как развернуть React приложение с помощью AWS S3 и CloudFront

Время на прочтение 13 мин
Количество просмотров 6.1K

Создадим приложение с использованием фреймворка Next.js, настроим облачные сервисы Amazon S3, Amazon CloudFront, AWS Lambda@Edge, развернем приложение и настроим маршрутизацию доменного имени.

Читать далее
Всего голосов 10: ↑10 и ↓0 +10
Комментарии 2

Хранение и управление доступом на данные в хранилище S3

Время на прочтение 13 мин
Количество просмотров 30K

Привет! Сегодня хотим рассказать о, как использовать бакеты, хранить данные, настраивать политики и управлять доступом на данные при работе c объектным хранилищем S3.

Читать далее
Всего голосов 12: ↑12 и ↓0 +12
Комментарии 2

Использование AWS Lambda для создания архива определённых файлов с AWS S3

Время на прочтение 5 мин
Количество просмотров 11K
image

AWS Lambda — это сервис вычислений, запускающий ваш код при определенных событиях и автоматически управляющий вашими вычислительными ресурсами. Обзор концепции, принципов работы, цен и тому подобного уже есть на хабре ( habrahabr.ru/company/epam_systems/blog/245949 ), я же попробую показать практический пример использования этого сервиса.

Итак, как следует из названия поста, мы будем использовать AWS Lambda для создания архива указанных нами файлов, хранящихся на AWS S3. Поехали!

Читать дальше →
Всего голосов 13: ↑12 и ↓1 +11
Комментарии 5

Информация

В рейтинге
Не участвует
Откуда
Россия
Работает в
Зарегистрирован
Активность