Привет!

Многие сталкивались с тем, что ресурсы системы простаивают. Обычная практика борьбы с простоем — удаление из системы этих ресурсов. С практической точки зрения на AWS, мы уже давно имеем инструменты терминировать простаивающие EC2 инстансы. Но это иногда не практично.

Возьмём ситуацию, когда при каждом старте нового инстанса при автоскейлинге, он каждый раз конфигурируется и обновляет софт. Т.е. это занимает определённое время и требует определённых взаимодействий. И вот каждый раз при скейлдауне эти инстансы выключаются и удаляются, а при скейлауте — поднимаются и снова конфигурируются. Как бы было хорошо, если бы инстансы просто выключались, а не удалялись!

Привет!

Мои поздравления пользователям Android! С сегодняшнего дня доступно официальное приложение для управления облаком Amazon Web Services с вашего девайса со следующим функционалом:

• Просматривать детали серверов EC2 и метрик CloudWatch
• Фильтровать и сортировать серверы EC2 и метрики CloudWatch
• Останавливать и перегружать серверы EC2
• Просматирвать тревоги из CloudWatch
• Просматривать графики из CloudWatch
• Просматривать автоматические действия для CloudWatch
• Переходить из тревог CloudWatch на EC2 серверы, которые пострадали
• Работать во всех регионах
• Переключаться между разными пользователями

Привет!

Пару месяцев назад я писал AWS Global Start-Up Challenge. Это мероприятие набрало обороты и собрало заявки представителей из 84 стран мира со всех обжитых континентов нашей планеты.

Итак были выбраны полуфиналисты в 4 номинациях по темам:

• Big Data & High Performance Computing
• Business Applications
• Consumer Applications
• Gaming

Привет!

Продолжая тему об экономии денег в облаках, сегодня я расскажу о Spot Instances. Напомню, что в AWS есть как минимум 3 основных вида оптимизации расходов:

• автомасштабирование
• резервирование
• использование спот инстансов

Что такое Spot инстанс?

Это обычный EC2 или VPC инстанс, но есть некоторые нюансы работы:

1. Как было сказано ранее, это обычный инстанс. Вычислительные и сетевые ресурсы, дисковые скорости и всё остальное у машин такое же, как и обычных EC2 инстансов.
2. Вы сами устанавливаете цену, которую будете платить за час использования инстанса. Больше вы платить не будете.
3. Инстанс может быть выключен в любое время, если, например, кто-то предложил цену больше за слот, который вы занимаете, а других нет.
4. Оплата производится за полный час работы инстанса. Часть часа отбрасывается в пользу клиента — в меньшую сторону до полного часа.

Привет!

Специально для тех, кто хостит свои статические странички на S3 появилась замечательная новость! Теперь можно использовать имя сайта и направлять его на бакет. Раньше мне приходилось редиректить мой домен kozhokaru.com на открытый адрес бакета, теперь же можно без лишних телодвижений отдавать красивое имя сайта.

Здесь, в awe.sm, мы с самого начала использовали Amazon AWS для хостинга. За последние три года мы изучили, что хорошо, а что не очень и сформулировали для себя свой собственный набор правил для запуска высоко доступной, высоко производительной системы, которые в некоторых случаях отличаются от того, что советует Amazon.

Мы собираемся поговорить о следующих родственных понятиях:

1. Для людей, которые слышали об Amazon, но еще не имели возможности его использовать, мы покажем все преимущества и недостатки этого сервиса, с которыми мы столкнулись в своей работе.
2. Для тех, кто уже использует AWS, мы проясним некоторые детали и расскажем о лучшей практике использования Amazon для таких высокопроизводительных сервисов, как наш, где непрерывная работа системы является самым высоким критерием.

Недавно имел удовольствие участвовать в хакатоне, который среди сотрудников своих украинских офисов проводила компания EPAM Systems. О некоторых наблюдениях и размышлениях, навеянных этим событием, а также о том, что получилось сделать у нашей команды, и повествует мой рассказ.

Классическая модель Хостинга vs Windows Azure

На хабре я недавно, но уже успел заметить много интересного материала и статей. В том числе от Андрея Кожокару korjik. Андрей много раз выкладывал информацию по подсчету стоимости хостинга, проводил на эту тему исследования для AWS и сравнивал его с другими решениями. Мне стало интересно, что же получится, если смотреть не только на AWS, но например, и на Windows Azure. Я провел небольшое исследование, сделал кое-какие выводы и буду рад обсудить их в комментариях. А вывод прост: цены приблизительно одинаковы для всех. Выбор сводится в основном к предпочтениям конкретного заказчика, а также к удобству использования того или иного решения для определенного технологического стека.
Ну, начнем.

Цель исследования

Статья сравнивает классическую модель хостинга приложений с хостингом в Windows Azure. Раскрываются преимущества и недостатки каждого решения и выбранных платформ, в соответствии с функциональными и не функциональными требованиями. Сравнивается максимальное количество опций, предоставляемых обоими провайдерами, которые подходят под предполагаемую архитектуру.

Доброго времени суток!

Вряд ли сейчас можно найти IT-ишника, который не слышал о системе управления версиями Git и популярном хостинге GitHub. Многие активно её используют как в продакшене, так и для хранения личных наработок и велосипедов. Совсем недавно в их блоге была опубликована статистика за 2012 год.

Привет!

Вчера я написал статью о производительности EBS. Оказалось, что наиболее производительным будет RAID 10 из EBSoв. Помимо того, что RAID быстрее, это ещё и экономически более выгодно. Минимальная стоимость в месяц EBS диска с 2000 IOPS (минимальный размер 200 GB)

200 * $0.125 + 2000 * $0.10 = $225

Тот же объём информации в 200 GB в RAID10, состоящий из 8 стандартных EBS по 50 GB:

8 * (50 * $0.10) = $40

Исходя из расчётов, RAID дешевле более чем в пять с половиной раз.

Привет!

Очень много в интернете позитива/негатива об EBS. Так же не мало тестов на их производительность. Я решил сам провести несколько тестов и сделать небольшое исследование по этому поводу.

Итак, в тесте участвовала машинка m1.large к которой были примаунчены диски:

• EBS Standard, 100 GB
• EBS IO-1 500 IOPS, 100 GB
• EBS IO-1 1000 IOPS, 100 GB
• EBS IO-1 2000 IOPS, 200 GB
• 8xEBS Standard, 30 GB, RAID 10
• Ephemeral, 450 GB

Были проведены несколько тестов:

# hdparm -tT /dev/xcdX

# dd if=/dev/zero of=tempfile bs=5M count=1024 conv=fdatasync,notrunc
# echo 3 > /proc/sys/vm/drop_caches
# dd if=tempfile of=/dev/null bs=5M count=1024

# sysbench --num-threads=16 --test=fileio --file-total-size=5G --file-test-mode=rndrw prepare
# sysbench --num-threads=16 --test=fileio --file-total-size=5G --file-test-mode=rndrw run

Привет!

Вы используете утилиты командной строки для управления серверами и сервисами AWS? Как же надоело обновлять и качать их из разных мест. Да и неоднородность команд тоже не радует…

AWS официально выпустили консолидированный CLI, который в последствии будет включать в себя все доступные сервисы. А сейчас можно управлять

• Amazon Elastic Compute Cloud (Amazon EC2)
• Elastic Load Balancing
• Auto Scaling
• AWS CloudFormation
• AWS Elastic Beanstalk
• Amazon Simple Notification Service (Amazon SNS)
• Amazon Simple Queue Service (Amazon SQS)
• Amazon Relational Database Service (Amazon RDS)
• AWS Identity and Access Management (IAM)
• AWS Security Token Service (STS)
• Amazon CloudWatch
• Amazon Simple Email Service (Amazon SES)

Привет!

Новая радость для тех, кому важен размер. Amazon Web Services анонсировали монструозный сервер со следующими параметрами:

• 117 GiB of memory
• 35 EC2 Compute Units (16 virtual cores)
• 24 hard disk drives each with 2 TB of instance storage
• 64-bit platform
• I/O Performance: Very High (10 Gigabit Ethernet)
• Storage I/O Performance: Very High
• EBS-Optimized Available: No
• API name: hs1.8xlarge

Привет!

Сегодня Amazon Web Services выпустили новый сервис, который работает с другими сервисами, а именно может помочь в переносе данных между:

• S3
• MySQL RDS/Внешние MySQL серверы
• DynamoDB

AWS Data Pipeline позволяет копировать, переносить данные из таблиц SQL и DynamoDB в S3 и наоборот.

Привет!

Сегодня я расскажу как легко создавать приложения в Elastic Beanstalk и публиковать их прямо из Git!

Для начала предлагаю установить утилиты командной строки для EB. Можно скачать отсюда, либо же воспользоваться моим скриптом для установки и обновления основных утилит по этой статье.

Установили. В консоли у нас появится команда eb, с которой мы и начнём.

1. Создание приложения

Для начала создадим папку приложения и инициализируем Git репозиторий. Например:

$ mkdir ~/Work/testapp/ && cd ~/Work/testapp/
$ git init

Создадим приложение Elastic Beanstalk

$ eb init

Привет!

Сегодня я хочу поделиться результатами своего исследования в области версионирования объектов в S3. Я про эту фичу слышал давно, но особо много не знал. Да и сейчас не особо много знаю — расскажу, как включить версионирование в бакете и получение объектов разных версий.

Моё исследование показало, что эта функция не особо востребована, а готовых бесплатных утилит для версионирования вообще не существует. Зато есть библиотеки, в которых есть этот функционал. Нужно — разрабатывайте, мол.

Итак, для версионирования, в бакете нам прежде всего нужно его включить. Есть 2 доступных способа это сделать, и оба они завязаны на API.

• Чистый REST/SOAP запрос
• Через библиотеку

Я воспользуюсь Ruby библиотекой aws-sdk, которую и установим:

$ gem install aws-sdk

Привет!

С сегодняшнего дня можно копировать EBS Snapshot'ы в другие регионы. Это отличная и удобная функция, которая позволяет клонировать ваши сервисы и данные в разные регионы родными способами!

В меню снапшотов появилась опция Copy Snapshot:

Привет!

В ноябре в Лас-Вегасе прошла крупнейшая конференция "AWS re:Invent". Она была посвящена облачным технологиям и Amazon Web Services в частности. Рассказывалось о развитии и эволюции AWS.

Были поведаны интересные цифры, например, в 2007 году они выкатили всего 9 релизов. В 2011 это число достигло 82. А в 2012 было целых 150 релизов! Вот с какими темпами развивается AWS. Так же на конференции было рассказано много 'best practicies', историй от экспертов.

Привет!

Status Check

Многие замечали в консоли EC2 в таблице инстансов столбец Status Check. Он обычно зелёного цвета — OK. Не раз я видел, что статус чек фейлится. Что же такое статус чек, какие параметры он отслеживает?

Status Check — это несколько автотестов, которые проходит инстанс и нода-носитель, на которой этот инстанс бежит. На данный момент есть 2 статус чека:

1. System Status Check — проверка состояния параметров, которые зависят от AWS. Эти проблемы легко решаются рестартом или стоп-стартом инстнса, он переедет на другой носитель. В целом проблемы могут быть:

• недостаток сетевых ресурсов
• недостаток питания
• проблемы с ПО носителя
• проблемы с аппаратным обеспечением носителя

Привет!

Как известно, одним из основных правил использования облачных сервисов является оптимизация всего, а особенно финансовой стороны вопроса. В Amazon Web Services есть 3 основных метода оптимизации стоимости сервиса:

• автомасштабирование
• резервирование
• использование спот инстансов

Сегодня я расскажу о резервировании в EC2, как, что и зачем это нужно обязательно делать.

Reservation — это предварительная оплата серверных мощностей, позволяющая значительно уменьшить расходы на эти же самые мощности. Существует 3 вида резервации:

• Облегчённого использования — Light Utilization
• Среднего использования — Medium Utilization
• Усиленного использования — Hard Utilization