Открыть список
Как стать автором
Обновить
  • по релевантности
  • по времени
  • по рейтингу

Архитектура Pinterest – 18 миллионов посетителей, 10-кратный прирост, 12 сотрудников, 410 ТБ данных

Высокая производительность
Перевод
История Pinterest очень похожа на Instagram. Феноменальный рост, огромное количество пользователей и хранимых данных, при этом поразительно мало сотрудников. А еще все в облаке.

Действительно, ни Pinterest ни Instagram не сделали больших научных или технологических открытий, но это скорее является следствием простоты использования облачных технологий, нежели признаком заката эры инноваций в Кремниевой Долине (Золотой век Кремниевой долины окончен, и мы танцуем на её могиле – прим. переводчика). Цифры в заголовке и оценки стоимости этих компании настолько велики, что нам кажется, будто бы за ними стоит некий вид технологической революции, обеспечивающей их бурный рост. Однако, эта революция гораздо более искусна – она показывает, насколько легко добиться столь быстрого роста, если вы способны реализовать хорошую идею. Привыкайте. Теперь это норма.
Вот что сегодня представляет собой Pinterest...
Всего голосов 62: ↑58 и ↓4 +54
Просмотры4.9K
Комментарии 113

Амазон добавил поддержку ssd хранилищ к топовому инстансу hi1.4xlarge

Amazon Web Services
Это то чего не хватало давно с хардварной точки зрения. Я думаю можно ожидать, что новые ebs будут доступны позже для всех типов инстансов. Неплохо ещё иметь возможность иметь больше памяти и проца на инстанс, что бы думаю будет сделано амазоном после апгрейда серверов облака.
Всего голосов 9: ↑5 и ↓4 +1
Просмотры464
Комментарии 0

Тест скорости сети Amazon EC2

Блог компании EPAMAmazon Web Services
При работе с Amazon многое остается за кадром. Для обычного пользователя это даже хорошо, ему нужен работающий сервис и не имеет значение, как этот сервис реализован. Но для тех, кто проектирует системы для Amazon или других облачных провайдеров это может быть проблемой. Некоторые внутренние аспекты работы выясняются при общении с тех. поддержкой, но в большинстве случаев для лучшего понимания приходится проводить различные тесты и эксперименты.
Возьмем, к примеру, производительность сети. Гарантирует ли Amazon определенную пропускную способность сети для любой машины или нет, как зависит скорость сети от ресурсов сервера, от региона или времени суток. Скажу сразу, что поддержка Amazon настоятельно рекомендует использовать машины больших размеров, если скорость сети является важным критерием и то, что максимально скорость 1G/s. Но всё всегда лучше проверить на практике.
Читать дальше →
Всего голосов 23: ↑20 и ↓3 +17
Просмотры10.2K
Комментарии 5

AWS: Windows Server 2012 уже доступен пользователям

Блог компании EPAMAmazon Web Services
Привет! image

С сегодняшнего дня в AWS стал доступен Windows Server 2012. Хотя эта серверная ось уже давно вышла, AWS проделали довольно серьёзную работу, чтоб интегрировать новый сервер с EC2, VPC и ElasticBeantalk.

Следующие предустановленные образы (AMI) Windows Server 2012 доступны для старта:
  • Microsoft Windows Server 2012 Base
  • Microsoft Windows Server 2012 with SQL Server Express
  • Microsoft Windows Server 2012 with SQL Server Web
  • Microsoft Windows Server 2012 with SQL Server Standard

Читать дальше →
Всего голосов 5: ↑4 и ↓1 +3
Просмотры3.9K
Комментарии 3

AWS: IAM роли для серверов

Блог компании EPAMAmazon Web Services
Tutorial
Привет! image

Я хочу рассказать о фиче IAM ролей для серверов в AWS. Роль — это совокупность прав доступа, которые можно применить к серверу. Можем рассмотреть на определённом примере — дать доступ серверу к S3, не забивая никаких ключей вручную.

Приступим к примеру.

1. Создадим роль с нужными правами


Идём в консоль IAM и там создаём роль S3.

Читать дальше →
Всего голосов 18: ↑15 и ↓3 +12
Просмотры4.5K
Комментарии 1

Новый тип EC2 инстанса — High-Storage Eight Extra Large

Блог компании EPAMAmazon Web Services
Привет! image

Новая радость для тех, кому важен размер. Amazon Web Services анонсировали монструозный сервер со следующими параметрами:
  • 117 GiB of memory
  • 35 EC2 Compute Units (16 virtual cores)
  • 24 hard disk drives each with 2 TB of instance storage
  • 64-bit platform
  • I/O Performance: Very High (10 Gigabit Ethernet)
  • Storage I/O Performance: Very High
  • EBS-Optimized Available: No
  • API name: hs1.8xlarge
Читать дальше →
Всего голосов 20: ↑16 и ↓4 +12
Просмотры5.3K
Комментарии 19

Снижаем затраты на использование AWS EC2

Amazon Web Services
На странице стоимости компонентов EC2 на Амазоне есть одна строчка, на которую сначала можно не сильно обратить внимание, но которая может привести к серьезным финансовым затратам — Data Transfer, трафик. Если аренду инстансов и EBS-томов можно запланировать и контролировать, то трафик предсказать довольно сложно, а игнорировать его не даст ежемесячный счет)

Для примера: средний новостной сайт, 30 тысяч посещений в сутки, его вполне потянет небольшой small или даже micro instance. Возьмем полный размер страницы 2 мегабайта, месячный трафик тогда будет (без учета закэшированного контента) — 30000 * 0.002 * 30 = 1800 GB или $216. Получается стоимость Data Transfer даже больше аренды самого инстанса! На S3 ситуация с ценами на трафик точно такая же.

Что же делать!?
Всего голосов 30: ↑23 и ↓7 +16
Просмотры12K
Комментарии 18

EC2 — анализ цен для стартапа

Amazon Web Services
Из песочницы
В данный момент я занимаюсь поиском подходящих серверов для инфрастуктуры моего проекта. Я остановился на EC2 и решил проанализировать, какое решение будет наиболее экономически выгодным для меня. Эта статья по сути является продолжением AWS Insight: Резервации в EC2 — как это работает, но приводит анализ для молодого веб-стартапа (24x7).

Проблема


Сервер должен работать 24 часа в сутки напротяжении X месяцев (количество не определено). Какой вариант (On Demand / Light Utilization Reserved / Medium Utilization Reserved / Heavy Utilization Reserved) выбрать для Micro/Small/Medium/Large серверов?

Читать дальше →
Всего голосов 30: ↑27 и ↓3 +24
Просмотры6K
Комментарии 27

Восстановление доступа к Amazon EC2 instance при потере pem-файла

Amazon Web Services
Из песочницы
Однажды Ubuntu на ноутбуке перестала запускаться, ругаясь на поврежденную xfs на диске. Мало того, на нем хранился проект, над которым я работаю. Был, правда, git-репозиторий на EC2 машине, однако pem-файл лежал на этом же диске.
Упомяну так же, что не ставил на сервер FTP, доступ по SFTP нельзя было бы получить без ключа.
Конечно можно долго говорить о прелестях резервного копирования, однако пришлось искать способ как восстановить доступ к облачной машине, чтобы не потерять уже сделанную работу.
Читать дальше →
Всего голосов 22: ↑19 и ↓3 +16
Просмотры13.5K
Комментарии 24

Амазон снижает цену на Windows сервера EC2

Amazon Web Services
Амазон не изменяет своей традиции регулярно снижать цены на сервисы входящие в AWS. В этот раз снижению подверглась цена на виртуальные машины на основе ОС Windows. Снижение на некоторые позиции достигает 26 процентов.

Изменение цены коснулось следующих типов серверов: Standard (m1), Second-Generation Standard (m3), High-Memory (m2), and High-CPU (c1) instance families. Цены автоматически вступили в силу с 1 Апреля.

Для примера, теперь обычный m1 Large (2 ядра, 7.5Gb памяти) сервер в зоне US East будет стоить 0,364 доллара в час вместо 46 центов в час ранее. В данном случае 20% позволит сэкономить почти $145 в месяц.

Немногим ранее, несколько дней назад, было анонсированно 50-60% cнижение цены на запросы к файловому хранилищу S3.
Всего голосов 11: ↑8 и ↓3 +5
Просмотры6.2K
Комментарии 0

Chef за 21 день. Часть третья. Chef и AWS

Блог компании EPAMAmazon Web Services
Tutorial
Здравствуй, хабраюзер. Вот и подоспела третья часть моей статьи, которая подытожит цикл (часть 1 и часть 2) статей для начинающих. Эта часть будет посвящена конкретному примеру применения Chef в облаке Amazon. Как я уже упоминал – это достаточно популярный сценарий. Для простоты понимания, будет рассмотрен случай с двумя ec2-instance (виртуальные сервера Amazon), один из которых будет выполнять роль Chef-сервера, а второй – узла.

AWS и Chef


Сразу же уточню, что запускать instance мы будем используя AWS CloudFormation. Можно было бы, конечно, запустить и управлять ними вручную, но какой смысл в такой автоматизации?
Читать дальше →
Всего голосов 18: ↑17 и ↓1 +16
Просмотры15.7K
Комментарии 13

Настройка pgpool-II + PostgreSQL + Streaming replication + Hot standby в среде AWS

PostgreSQLAmazon Web Services
Из песочницы
Всем привет!
Решил описать основные моменты настройки отказоустойчивого (HA) кластера БД PostgreSQL в IaaS среде от Amazon — AWS.

Про настройку указанной связки с момента появления в свет 9й версии с нативной репликацией уже написано достаточно много статей, поэтому подробно останавливаться на настройке самого PostgreSQL и pgpool не буду, тут все относительно стандартно. Приводимые куски конфигов непригодны к бездумному копипасту, в любом случае придётся открывать свои конфиги и править необходимые параметры. Не хочу поощрять процесс конфигурации по методу копипаста.
Читать дальше →
Всего голосов 13: ↑13 и ↓0 +13
Просмотры34.9K
Комментарии 4

Восстановление данных в MySQL из снимка EBS

Amazon Web Services
Tutorial
Это короткое руководство, возможно, поможет кому-то, кто использует AWS (и, в частности, MySQL на инстансе EC2), восстановить данные в MySQL из снимка EBS (регулярное создание которых любой предусмотрительный системный администратор, конечно же, настраивает заблаговременно — с помощью ec2‑consistent‑snapshot, например)

Прежде всего нужно открыть EC2 Management Console, и в разделе ELASTIC BLOCK STORE → Snapshots найти подходящий снимок (обычно это последний снимок раздела).

Далее нужно щёлкнуть на снимке правой кнопкой мышки и выбрать «Create Volume». В Availability Zone при этом нужно выбрать тот же регион, в котором находится инстанс EC2.

После этого нужно перейти в раздел ELASTIC BLOCK STORE → Volumes и, опять же, щёлкнуть правой кнопкой мышки на появившийся раздел. В меню нужно выбрать пункт «Attach Volume», после чего в появившемся модальном окне выбрать инстанс EC2 и нажать «Yes, Attach».

Всё — на сервере должно появиться новое блочное устройство. Теперь можно запустить dmesg | tail и посмотреть, какой идентификатор был присвоен для подключённого блочного устройства. Допустим, это xvdg. Тогда ФС может располагаться, например, на /dev/xvdg1 (зависит от предпочтений того, кто создавал таблицу разделов).
Непосредственно восстановление
Всего голосов 16: ↑15 и ↓1 +14
Просмотры3.8K
Комментарии 3

Amazon добавили новые типы инстансов — t2.micro, t2.small, t2.medium

Amazon Web Services
Новые инстансы дешевле старых и вводят понятие CPU Credit-ов.

CPU Credit — это внутренняя накапливающаяся монета, которая равна 1 минуте при 100% нагрузке.
Кредит накапливается со скоростью зависимой от типа сервера. Так же, от типа сервера зависит до куда просядет его максимальная CPU нагрузка при отсутствии кредитов — baseline. Минимальный максимум. Минимальный, так как при отсутствии кредитов максимальная нагрузка проседает не мгновенно, а постепенно в течении 15 минут, чтобы была возможность компенсировать нехватку ресурсов в случае необходимости.
Хранится кредит до 24 часов.

Тип инстанса Кредитов в час Baseline Цена за час Цена за месяц
t2.micro 6 10% $0.013 $9.50
t2.small 12 20% $0.026 $19
t2.medium 24 40% $0.052 $38


Читать дальше →
Всего голосов 26: ↑26 и ↓0 +26
Просмотры17.1K
Комментарии 19

Как настроить автоматическое создание резервных копий диска

Amazon Web Services
При пользовании AWS EC2, я обнаружил, что там нет готового интерфейса, для создания резервных копий диска, которые в AWS называются Snapshot.

Я начал свое исследование, как настроить автоматическое обновление. Перечитал много материала, и пришел к выводу, что простого решения нет. Нужно много прочитать документации что бы все настроить. Я понимаю что без этого ни куда. Чтение доков, это большая часть жизни как разработчика так и администратора. Но иногда, все может быть гораздо проще, и не нужно тратить много времени на то, что можно сделать всего за несколько минут.

Предлагаю свой вариант настроки в 10 шагов, без установки и настроки AWS Command Line Tools.

Предполагается что команды git и wget доступны.
Читать дальше →
Всего голосов 10: ↑4 и ↓6 -2
Просмотры3.9K
Комментарии 4

Instagram «спускается с облаков» Amazon в дата-центры Facebook

Блог компании ua-hosting.companyIT-инфраструктураСоциальные сети и сообществаIT-компании
Какое бы множество причин ни существовало, чтобы переместить приложения из обычных ЦОД в облачные, существует не меньше причин осуществить обратные действия. Показательным примером такого переноса стало недавнее перемещение серверов Instagram из общественного облачного сервиса Amazon в дата-центры Facebook.

Читать дальше →
Всего голосов 23: ↑19 и ↓4 +15
Просмотры11.3K
Комментарии 6

У Amazon Web Services теперь есть вторая локация в Европе — во Франкфурте

Amazon Web Services
Только что пришёл мейл от Амазона со следующим содержанием:

aws.amazon.com/blogs/aws/aws-region-germany

It is time to expand the AWS footprint once again, this time with a new Region in Frankfurt, Germany. AWS customers in Europe can now use the new EU (Frankfurt) Region along with the existing EU (Ireland) Region for fast, low-latency access to the suite of AWS infrastructure services. You can now build multi-Region applications with the assurance that your content will stay within the EU.

New Region

The new Frankfurt Region supports Amazon Elastic Compute Cloud (EC2) and related services including Amazon Elastic Block Store (EBS), Amazon Virtual Private Cloud, Auto Scaling, and Elastic Load Balancing.

<...>

This is our eleventh Region. As usual, you can see the full list in the Region menu of the AWS Management Console:.

image



Читать дальше →
Всего голосов 21: ↑18 и ↓3 +15
Просмотры8.5K
Комментарии 7

Настраиваем Amazon Elastic Load Balancing: с email forwarding-ом и редиректами

Amazon Web Services
Tutorial
image

Время релиза моего проекта выходного дня приближалось. Мобильные приложения были загружены в магазины приложений и мы ждали ответа от Apple, поскольку проверка в Google Play проходит довольно быстро и безболезненно. Весь код серверного приложения был уже написан, делать было нечего, а свободного времени было около недели. Я подумал, что неплохо было бы заранее обзавестись load balancer-ом, чтобы в будущем не тратить много времени на его настройку, да и к тому же настройка после релиза наверняка привела бы к тому, что сервер какое-то время перестал бы обслуживать пользователей. Для хостинга серверов мы использовали Amazon EC2, поэтому и load balancer выбрали амазоновский — Amazon Elastic Load Balancer (ELB).
Читать дальше →
Всего голосов 5: ↑5 и ↓0 +5
Просмотры8K
Комментарии 4

Наш опыт использования AWS на этапе запуска

Блог компании StaplyРазработка веб-сайтовRuby on RailsAmazon Web Services
Перед нами стояла задача, обеспечить бесперебойную работу Staply, минимизировав затраты, сохраняя гибкость и простоту архитектуры.
В этой статье мы расскажем какую серверную конфигурацию используем в период перехода из закрытой беты в открытое использование. Период, когда вопрос стоимости стоит наиболее остро, так как есть нагрузка, но еще нет прибыли.



Читать дальше →
Всего голосов 5: ↑4 и ↓1 +3
Просмотры8.8K
Комментарии 6

Запуск WebRTC медиасервера в облаке Amazon EC2 для Live видеотрансляций из браузеров и мобильных приложений

Разработка веб-сайтовJavaScriptПрограммированиеРазработка мобильных приложенийРазработка систем связи

AWS Marketplace


Прежде всего хотелось бы сказать несколько слов о маркете Amazon AWS Marketplace. В отличии от Google Play и App Store, где выкладываются мобильные приложения, на AWS разработчики выкладывают серверные приложения. Здесь можно найти много интересного, начиная от бесплатного стека LAMP и заканчивая серверными Enterprise-решениями вроде SAP.

Прелесть работы с маркетом кроется в быстроте и удобстве развертывания. Требуемый сервер приложений, как правило, уже настроен, оптимально сконфигурирован и будет запущен во время запуска самого EC2 инстанса (виртуального сервера Amazon EC2). Запуск инстанса происходит из веб-интерфейса и не требует каких-то дополнительных админских знаний и умений.
Читать дальше →
Всего голосов 13: ↑13 и ↓0 +13
Просмотры9.8K
Комментарии 7