Как стать автором
Обновить
3.01

Amazon Web Services *

Инфраструктура платформ облачных веб-сервисов

Сначала показывать
Порог рейтинга
Уровень сложности

Создаём DolbyDigital Surround аудио-плеер

Уровень сложности Средний
Время на прочтение 5 мин
Количество просмотров 656

Статья для .NET разработчиков о том как привязать сторонний стриминговый сервис к своему приложению и запустить прослушивание музыки и подкастов в формате DolbyDigital Surround 5,1.

Читать далее
Всего голосов 6: ↑4 и ↓2 +2
Комментарии 1

Новости

Иммутабельность в механизме Durable Execution: проблемы и решение

Уровень сложности Средний
Время на прочтение 7 мин
Количество просмотров 1.9K

За последние годы мы наблюдаем всплеск разработки инструментов и платформ, обеспечивающих Durable Execution (устойчивое выполнение). Немного поясню его принцип.

Компьютеры на сегодня достигли таких скоростей, что могут записывать результат каждой нетривиальной задачи в постоянное хранилище. Это, в свою очередь, позволяет им прекрасно восстанавливаться после временного сбоя путём повторного выполнения по журналу всех завершённых задач до момента этого сбоя. Выполнив эти задачи, система спокойно продолжает работу с точки, где она была прервана. При достаточном внимании и осторожности такой механизм можно реализовать с минимальным влиянием на модель программирования или производительность, что, безусловно, очень ценно. Не так ли?
Читать дальше →
Всего голосов 39: ↑38 и ↓1 +37
Комментарии 0

Плюсы и минусы каждого инфраструктурного решения за четыре года работы в стартапе

Уровень сложности Средний
Время на прочтение 15 мин
Количество просмотров 10K

Последние четыре года я занимался в стартапе руководством инфраструктурой, которая должна была быстро масштабироваться. С самого начала я принял фундаментальные решения, которых компании нужно было придерживаться несмотря ни на что все эти четыре года. В посте я перечислю некоторые из важных решений, принятых мной, расскажу, сожалею ли я о них, или одобряю.
Читать дальше →
Всего голосов 45: ↑42 и ↓3 +39
Комментарии 6

Настройка Elastic Beanstalk для повышения отказоустойчивости и автоматического масштабирования

Уровень сложности Средний
Время на прочтение 6 мин
Количество просмотров 652

Всем привет! Сегодняшняя статья, как вы увидели в заголовке, посвящена настройке Elastic Beanstalk, а конкретно - балансировщика AWS и количества инстансов TagretGroup в зависимости от нужных нам условий.

Читать далее
Всего голосов 2: ↑2 и ↓0 +2
Комментарии 0

Истории

AWS или Yandex Cloud? Выбираю облачный сервер для своего Pet-проекта

Уровень сложности Простой
Время на прочтение 3 мин
Количество просмотров 4K

Привет! Меня зовут Влад, и я software инженер. Сегодня я расскажу вам о своем опыте использования Yandex Cloud в качестве облачного сервера и о том, что из этого вышло. Вот, как всё началось:

Конец декабря, в воздухе витает аромат мандаринов и Нового Года. В предвкушении интересной поездки я открываю приложение РЖД, чтобы купить билет на поезд, и с ужасом обнаруживаю, что все билеты распроданы.

Читать далее
Всего голосов 14: ↑3 и ↓11 -8
Комментарии 15

Решение Амазон капчи Waf Captcha на полном автомате, имея за плечами практически нулевой опыт в разработке

Уровень сложности Простой
Время на прочтение 7 мин
Количество просмотров 1.5K

Небольшой эпиграф - если вы делаете инструкцию, так делайте ее до конца, а то в инструкции как решить Амазон капчу - джун ногу сломит.

Собственно к чему все это? Да к тому, что когда мне потребовалось решить капчу от Амазон, пресловутую Waf Captcha я пошел копать на сервис, которым постоянно пользуюсь при работе с Кей Коллектором, и некоторыми другими сервисами (2капча - жаль Хабр банит статьи за реферальные ссылки).

Ну и нашел там инструкцию, ссылку на которую собственно и привел выше. Как вам вероятно стало понятно из эпиграфа - я ни черта не понял, вернее я понял, что надо использовать АПИ, но на этом все...

С Селениумом было реально проще.

Главная проблема - малый таймаут, который выделяется на решение со стороны Амазона. Время на решение капчи ограничено и если ответа нет, то капча обновляется (у нее обновляются 2 параметра - iv и context).
Получается, что таймаут свежести капчи около 30 секунд, а за это время необходимо найти на странице параметры, скопировать их, вставить в код скрипта и запустить его, после этого 2капча должна ее решить и вернуть правильный ответ. Я пробовал это сделать пару безуспешных часа, вырабатывал автоматизм действий, но увы, на поиск и замену изменяемых параметров уходит не менее 12-15 секунд, и остается от 15 до 18 секунд мы решение капчи сервисом, что в нынешних реалиях звучит достаточно фантастически.

Тут нужен другой подход, искать и подставлять параметры должен скрипт, но как его написать человеку, который в своей жизни ничего сложнее Ahrefs не видел?

Читать далее
Всего голосов 2: ↑2 и ↓0 +2
Комментарии 2

Bitwarden в действии: Автоматизация смены ключей и паролей для AWS

Уровень сложности Простой
Время на прочтение 10 мин
Количество просмотров 4.5K

В мире, где каждая учетная запись требует от нас еще одного пароля, и каждый облачный сервис, такой как AWS, зависит от надежности этих ключей, менеджеры паролей вроде Bitwarden выступают как спасители. Они не просто хранят наши ключи и пароли, но и делают их управление значительно удобнее. Однако, даже с таким мощным инструментом, как Bitwarden, мы сталкиваемся с ограничением: он не способен автоматически обновлять и менять используемые в облачных сервисах ключи и пароли. Итак, что делать, когда ручное обновление ключей и паролей становится скучной и малоэффективной задачей? В этой статье мы исследуем, как можно объединить удобство использования Bitwarden с эффективными методами автоматизации для управления учетными данными AWS. Представьте себе – больше нет монотонного ввода паролей и обновлений ключей вручную. Но для этого придется немного постараться.

Что ж, начнем...
Всего голосов 7: ↑7 и ↓0 +7
Комментарии 30

Статический сайт на AWS с редиректом http→https, www.site→site

Уровень сложности Средний
Время на прочтение 4 мин
Количество просмотров 2.7K

Задача

Есть AWS аккаунт, на котором требуется поднять статический сайт (html, js, css, png, jpg) на своём домене example.com.

Ссылки: http://example.com, http://www.example.com, https://www.example.com должны перенаправлять на основной сайт https://example.com.

План действий

Покупка домена.
Выпуск SSL сертификата.
Заливка файлов html, js, css в S3.
Создание двух CloudFront distributions (основного и для редиректа с www).
Привязка CloudFront функции редиректа к CloudFront distribution.
Создание A-записей в DNS.

Подробнее
Всего голосов 6: ↑6 и ↓0 +6
Комментарии 20

Как мы переезжали с PostgreSQL на Data Lake в AWS и какие грабли собрали по пути

Уровень сложности Средний
Время на прочтение 14 мин
Количество просмотров 6.2K

За несколько лет Whoosh в несколько раз вырос по числу самокатов, пользователей и локаций, а данных по ним накопилось на 30 терабайт. Прежней архитектуры уже не хватало для работы. К тому же платить за I/O (input/output)-операции на Aurora (PostgreSQL) выходило дорого (тогда еще не было I/O‑optimized версии, однако с ее появлением, актуальность не исчезла). Другое дело — Redshift: расходы постоянны (n$/час), а работает он быстрее, благодаря колоночному формату хранения данных. В этом году мы переехали с одного хранилища на базе PostgreSQL — того, где вся отчётность для бизнеса и модели dbt — на рельсы Data Lake в AWS.

Меня зовут Никита Зеленский, я главный по данным в Whoosh. Эту статью я написал вместе с другими участниками переезда — Пашей Сивохиным, ГИС-аналитиком, и Костей Малыхиным, руководителем группы анализа данных. Надеюсь, наш опыт будет полезен всем, кому предстоит миграция данных, особенно если вы работаете с геоаналитикой.

whoooooosh
Всего голосов 18: ↑18 и ↓0 +18
Комментарии 8

Виртуальная камера для WebRTC

Время на прочтение 5 мин
Количество просмотров 4.4K

Технология работы персонифицированной виртуальной вебкамеры для WebRTC: анимирование 3D модели пользователя в браузере для создания видеотрека, заменяющего камеру пользователя и синхронного с аудио от микрофона.

Читать далее
Всего голосов 18: ↑17 и ↓1 +16
Комментарии 15

Kubernetes на AWS: пошаговое руководство

Время на прочтение 7 мин
Количество просмотров 3.9K

В этой статье мы рассмотрим несколько распространенных способов создания кластера Kubernetes на AWS:

Создание кластера с помощью kops: kops — это инструмент, предназначенный для промышленной эксплуатации, используемый для установки, обновления и управления Kubernetes на AWS.

Создание кластера с помощью Amazon Elastic Kubernetes Service (EKS): EKS — это управляемый сервис Kubernetes, предоставляемый компанией Amazon. Кластер Kubernetes с EKS можно создать с помощью AWS Management Console.

Создание кластера с помощью Rancher: Rancher — это платформа управления Kubernetes, которая упрощает развертывание Kubernetes и контейнеров.

Читать далее
Всего голосов 11: ↑8 и ↓3 +5
Комментарии 5

Освоение AWS CDK: настройка пользовательского домена для вашего HTTP-шлюза

Уровень сложности Простой
Время на прочтение 7 мин
Количество просмотров 1.8K

В этой статье будет дана пошаговая инструкция настройки доменного имени для вашего HTTP Gateway с использованием AWS CDK. Независимо от того, являетесь ли вы опытным пользователем AWS или новичком, это руководство обещает предоставить ценную информацию и практические шаги для улучшения ваших навыков в области облачных сервисов.

Читать далее
Всего голосов 5: ↑4 и ↓1 +3
Комментарии 4

Интеграция Axum с S3-хранилищем

Уровень сложности Средний
Время на прочтение 7 мин
Количество просмотров 1K

Недавно столкнулся с проблемой подружить веб-фреймворк Axum и библиотеку rust-s3. Собственно, задача сделать 2 эндпойнта:

Загрузка файла в хранилище и получение ссылки

Скачка файла из хранилища по ссылке

Разумеется, без временных файлов и без удержания целиком всех данных файла в памяти. В этой статье будет полный код необходимый для реализации этого функционала с небольшими пояснениями.

Читать далее
Всего голосов 4: ↑2 и ↓2 0
Комментарии 8

Ближайшие события

Московский туристический хакатон
Дата 23 марта – 7 апреля
Место
Москва Онлайн

AWS: Gateway Load Balancer — что это и для чего?

Уровень сложности Простой
Время на прочтение 3 мин
Количество просмотров 1.9K

Балансировщик нагрузки (Elastic Load Balancer, далее ELB) – часто используемый элемент при проектировании архитектуры в AWS. Цель – эффективное распределение запросов между имеющимися инстансами, а так создание/удаление новых в рамках Auto Scaling group.

В этой статье я бы хотел рассмотреть самый новый вид балансировщика из представленных в AWS – Gateway Load Balancer (далее GWLB).

Читать далее
Всего голосов 1: ↑1 и ↓0 +1
Комментарии 3

Управляем обновлением AWS Autoscaling Group: гармония Terraform и Ansible

Уровень сложности Средний
Время на прочтение 7 мин
Количество просмотров 2.4K

В мире DevOps, где автоматизация играет ключевую роль, управление ресурсами и процессами обновления инфраструктуры в облаке является критически важной задачей. Во многих современных проектах, особенно тех, что развертываются в облачной среде AWS, используется механизм Auto Scaling Groups (ASG) с целью достижения трех основных задач: балансировки нагрузки, повышения надежности сервиса и оптимизации стоимости эксплуатации.

Представьте себе: вы работаете в компании, развертывающей свои приложения на ресурсах Amazon. Ваши приложения важны, поскольку они обслуживают тысячи пользователей ежедневно. Для этого часто используется механизм Auto Scaling Groups (ASG) с целью достижения трех основных задач: балансировки нагрузки, повышения надежности сервиса и оптимизации стоимости эксплуатации.

И чтобы ускорить процесс развертывания и упростить управление конфигурацией, вы используете предварительно подготовленные AMI образы. Эти образы создаются с помощью инструментов типа HashiCorp Packer (или других аналогичных) и содержат все необходимое для того, чтобы ваше приложение стартовало быстро и без сбоев. Для разворачивания самой инфраструктуры вы используете Terraform, который стал стандартом de facto во многих крупных компаниях, управляющих облачными ресурсами и использующими подход IaC (Infrastructure as Code).

К сожалению, ресурсы Terraform (например тот же aws_autoscaling_group) не позволяют отслеживать прогресс и успешность выполнения операции обновления ASG в рамках instance refresh, а могут лишь запустить его. Если какие-то другие части инфраструктуры (например, обновления сертификатов или dns-записей) каким-то образом зависят от состояния и версии запущенных инстансов, то желательно проконтролировать завершение процесса обновления для получения корректного состояния инфраструктуры после завершения работы terraform.

Чтобы решить данную проблему, вводим в игру Ansible...

Ansible...
Всего голосов 1: ↑1 и ↓0 +1
Комментарии 0

Добавление отзывов с фотографиями в S3 с помощью AWS SDK Java

Время на прочтение 9 мин
Количество просмотров 2.2K

В этой статье рассмотрим реализацию функционала добавления отзывов пользователями с возможностью прикрепить к ним фотографии.

Воспользуемся S3-хранилищем Yandex Object Storage для сохранения фотографий и получения ссылок на них с использованием AWS SDK Java. А еще с помощью Java Concurrency увеличим производительность в 5 раз.

Читать далее
Всего голосов 3: ↑2 и ↓1 +1
Комментарии 4

Настройка бэкапов Mssql с резервированием на s3 (Selectel)

Уровень сложности Простой
Время на прочтение 6 мин
Количество просмотров 3.1K

Настройка резервного копирования с помощью плана обслуживания с загрузкой бэкапов на s3 ресурс selectel.

Тык
Всего голосов 10: ↑10 и ↓0 +10
Комментарии 4

Как задеплоить монолитный pet проект на Java с 0 и не сойти с ума… Часть 2

Уровень сложности Средний
Время на прочтение 4 мин
Количество просмотров 2.3K

Это 2-ая часть статьи "Как задеплоить монолитный pet проект на Java с 0 и не сойти с ума". Первую часть вы можете найти по ссылке.

В первой части мы успешно добавили свои наработки в репозиторий GitHub, в этой части мы рассмотрим что такое GitHub Actions и как с помощью них добавить свой образ docker контейнера с приложением в хранилище DockerHub.

Читать далее
Всего голосов 4: ↑4 и ↓0 +4
Комментарии 2

Как задеплоить монолитный pet проект на Java с 0 и не сойти с ума… Часть 1

Уровень сложности Средний
Время на прочтение 3 мин
Количество просмотров 6.1K

Перерыв в работе заставил меня задуматься над смыслом выражения "Сапожник без сапог". Будучи Java Backend Developer с 3-ех летним стажем я не имею на руках ни одного pet проекта. Конечно, на GitHub у меня есть какие-то мелкие проектики, но они не доведены до конца и кроме того как просто висеть на доске "почета" они больше ничего и не могут. С этой мыслёй я пошел в интернет гуглить "как мне задеплоить свое приложение?".

Скажу сразу, это статья содержит шаги по развертыванию Java приложения с помощью GitHub Actions на серверах AWS EC2 и это моя интрерпретация тех инструкций, которые я находил в интернете. Собственно это статья содержит для новичков, кто просто не делал никогда деплой своего приложения, но очень хочет в сжатые сроки похвастаться своим результатом.

Читать далее
Всего голосов 12: ↑6 и ↓6 0
Комментарии 1

Генеративный ИИ — Будущее или просто Хайп?

Уровень сложности Простой
Время на прочтение 10 мин
Количество просмотров 4.4K


Привет, Хабр!

В последние время интерес к генеративному ИИ и технологиям, лежащим в его основе, быстро растет. Его активно используют потребители, а компании пытаются понять, как задействовать весь его потенциал. Сегодня мы подготовили перевод дискуссии ведущих сотрудников AWS, Доктора Вернера Фогельса и Свами Сивасубраманиана, о Генеративном ИИ. Они обсуждают его возможности, почему это не хайп и как AWS демократизирует доступ к большим языковым и базовым моделям.

Читать дальше →
Всего голосов 9: ↑8 и ↓1 +7
Комментарии 0

Вклад авторов