Как стать автором
Обновить
  • по релевантности
  • по времени
  • по рейтингу

Хостинг S3 вырос до 5 млрд файлов

Я пиарюсь
Впервые за всё время существования Amazon Web Services (AWS) появились хоть какие-то цифры, отражающие развитие этого инновационного проекта. Джефф Безос отчитался о развитии хостинга S3, который вместе с «вычислительным облаком» EC2 по праву считается идеальной платформой для стратапов. На конференции Web 2.0 основатель империи Amazon.com сказал, что объём хостинга вырос до пяти миллиардов файлов, тогда как в июле прошлого года на хостинге хранилось всего 800 тыс. файлов. В пиковые дни, сказал Безос, серверы обрабатывают до 920 млн запросов на запись/чтение. Рекорд — 16607 запросов в секунду.


Читать дальше →
Всего голосов 19: ↑18 и ↓1 +17
Просмотры660
Комментарии 19

Amazon S3 отключился на два часа и заплатит за это

Хостинг
«Самый надёжный в мире хостинг» Amazon S3, а заодно и родственная служба Amazon EC2 в пятницу утром ушли в даун. Вместе с ними отключились сотни сайтов и веб-сервисов, в основном стартапов Веб 2.0, которые пользуются услугами хостинга S3. Среди прочих, например, это Twitter и блогохостинг WordPress. В частности, «твиттер» хранит на S3 статические файлы юзеров, так что во время аварии микроблоги имели такой потешный вид.

Отключение S3 произошло в пятницу утром, примерно в 4 часа 30 минут по тихоокеанскому времени (15.30 по Москве). Последствия аварии почти полностью устранили уже к 7:00, то есть через два с половиной часа, но этого вполне достаточно, чтобы поставить под сомнение надёжность «инфраструктуры для веб-стартапов», которую пытается построить компания Amazon. Такого рода сервисы должны иметь аптайм 99,999%.
Читать дальше →
Всего голосов 59: ↑51 и ↓8 +43
Просмотры2.3K
Комментарии 69

Практический JS: балансировка на стороне клиента

Клиентская оптимизация
Перевод
Примечание: ниже находится перевод статьи «Client Side Load Balancing for Web 2.0 Applications», в которой затрагиваются вопросы балансировки нагрузки между несколькими серверами и рассматривается решение, обеспечивающее балансировку такой нагрузки прямо на компьютере клиента.

Сервер обрабатывает HTTP (HyperText Transfer Protocol) запросы со стороны браузеров. Если вы введете в адресной строке URL, например, www.digital-web.com, то ваш компьютер отправит поисковый запрос для определения, какие именно сервера будут обрабатывать ваш запрос и пересылать данные. Техника обработки таких запросов для кластера веб-серверов называется балансировкой нагрузки.

Балансировка нагрузки для веб-приложений



Балансировка нагрузки повышает надежность веб-сайта путем распределения запросов между несколькими (кластером) серверами, если один из них перегружен или отказал. Существует много методов по обеспечению такого поведения, но все они должны удовлетворять следующим требованиям:

  • Распределять нагрузку внутри кластера рабочих серверов.
  • Корректно обрабатывать отказ одного из рабочих серверов.
  • Весь кластер должен существовать для конечного пользователя как одна-единственная машина.


читать дальше на webo.in →
Всего голосов 25: ↑20 и ↓5 +15
Просмотры1.1K
Комментарии 12

Обзор технологии Amazon Elastic Compute Cloud (Beta)

Чулан

Немного теории.


Amazon представил новый сервис который в данный момент находится в стадии тестирования.
Это ни что иное как своего рода хостинг 2.0.
Читать дальше →
Всего голосов 12: ↑8 и ↓4 +4
Просмотры852
Комментарии 9

«Убийца хостингов» Amazon EC2 пришёл в Европу

Хостинг
Виртуальный хостинг Amazon EC2 (Amazon Elastic Compute Cloud) раньше не был официально доступен на европейских дата-центрах, в отличие от S3. Сейчас сервис Amazon Web Services официально объявил о «переходе EC2 через Атлантику».

Amazon EC2 — очень удобный сервис для хостинга проектов Веб 2.0, вместе со своим «братом» Amazon S3, который занимается хранением файлов. Уникальной особенностью хостинга является то, что можно в любой момент добавлять или удалять ресурсы, которые выделяются на хостинг вашего проекта, чтобы динамически подстраиваться под нагрузку. Например, ночью назначать слабую нагрузку, а днём — выше. За счёт этого достигается большая экономия по сравнению с обычными хостинг-провайдерами: см. калькулятор.

Amazon ежесекундно мониторит нагрузку и представил удобный интерфейс управления, состоящий из четырёх блоков: консоль управления; балансировка нагрузки; автоматическое масштабирование; облачный мониторинг.

Уже установлены расценки на работу европейских дата-центров (они чуть выше, чем в США). По функционалу сервисы в Европе и США не отличаются. Скоро в Европе добавят виртуальный хостинг не только под Linux, но также под Microsoft Windows Server и Microsoft SQL Server.
Всего голосов 39: ↑38 и ↓1 +37
Просмотры17K
Комментарии 74

FathomDB — новый стартап от Y Combinator.

Чулан
Сегодня стартовал закрытый бета-тест. В данный момент известно достаточно мало подробностей о данном стартапе (например, неизвестно кто за ним стоит), но задумка смотрится весьма интересно. FathomDB предлагает нам «реляционные БД как сервис».
Если по сути, то в данный момент это MySQL на EC2 с различными «плюшками». Следовательно, можно без особых проблем начать использование данного сервиса, или наоборот — прекратить.

Из «плюшек» нам предлагают автоматические бэкапы и мониторинг, а также всякие полезности для анализа производительности (в данный момент, судя по всему, не сильно продвинутые — круговые диаграммы и просмотр самых медленных запросов). На их сайте доступен скринкаст, а также предложение оставить е-мэйл (после чего вам пообещают написать, когда создадут ваш аккаунт).
В дальнейшем, по заявлению разработчиков, планируется поддержка других БД и хостингов.

Что интересно — WebMynd, тоже YC-стартап (очередное гетто? ;), начали использовать FathomDB ещё в прошлом году и неплохо его пиарят :)

В принципе — отличная идея с движением в правильном направлении (хотя это, естественно, не мэйнстримовый продукт).
И, если не ошибаюсь, отказоустойчивые БД на EC2 предлагает как минимум ещё один, более крупный игрок — RightScale.
Всего голосов 9: ↑7 и ↓2 +5
Просмотры203
Комментарии 9

Рисоваська, часть 3: Амазоновские веб-сервисы в действии

Хостинг
В данной статье я расскажу, что же такое Amazon Web Services или сокращенно AWS, для чего это можно использовать, и приведу пошаговую инструкцию, как настроить их у себя с самого начала. В статье основной упор будет сделан на Amazon Elastic Compute Cloud или EC2 и Amazon Simple Storage Service или S3. Amazon CloudFront, являющийся логическим продолжением S3, хорошо рассмотрен в статье mish: Настраиваем CloudFront для работы с S3. С остальными амазоновскими сервисами вы можете познакомиться самостоятельно: Amazon SimpleDB, Amazon Simple Queue Service или SQS, а также другими сервисами Амазона. Данная статья является продолжением первой и второй статей. Итак:

Что такое Amazon Web Services


Это набор удобных сервисов, которые можно использовать как по отдельности, так и вместе. В первую очередь это «облачные вычисления» (анг. Elastic Compute Cloud). Что это значит? Это значит, что вы можете запустить в «облаке» любое кол-во компьютеров нужной вам конфигурации c нужной вам операционной системой всего за пару минут. Это действительно так. Время запуска одного инстанса (instance называется один виртуальный сервер в амазоне) обычно не превышает двух минут. Сразу после запуска инстанс начинает работать, к нему есть root-доступ по SSH или Remote Desktop, если там установлен Windows. Не правда ли, здорово! С момента запуска оплата за инстанс идет по часам. В любой момент вы можете остановить инстанс и деньги за его использование перестанут сниматься. Помимо времени работы инстанса, так же отдельно оплачивается входящий и исходящий трафик.
Читать дальше →
Всего голосов 101: ↑98 и ↓3 +95
Просмотры33.9K
Комментарии 51

Хостинг на AWS (EC2, EBS, S3) для чайников

Хостинг
На хабре уже проскакивали периодически заметки посвященные AWS (Amazon Web-Services) — так что тема не новая. Однако, если для меня лично (да и для многих моих знакомых как выяснилось) — этот термин был знаком — однако каких-либо деталей я не знал. Попробую на основании только-что полученного опыта рассказать немного подробней, а так же изложить основные шаги по организации хостинга сервера на AWS и его преимущества. Как и несколько ссылок, которые могут оказаться полезными.
image
Читать дальше →
Всего голосов 101: ↑98 и ↓3 +95
Просмотры130.5K
Комментарии 62

Кирилл Шейнкман отправит американцев на облако

Я пиарюсь
Облачная вычисления — одна из самых модных технологий в наши дни. Платформы Microsoft Azure и Amazon EC2 способствуют появлению целой прослойки смежных бизнесов. Один из примеров — американский стартап Elastra, основанный два года назад Кириллом Шейнкманом. Родившийся в Ленинграде, Кирилл эмигрировал в США в конце 80-х и получил там серьёзное техническое и бизнес-образование. После четырёх лет работы консультантом по продажам в Oracle он ушёл на ниву создания стартапов. Elastra — уже третий его проект и, похоже, самый перспективный. К тому же, это ещё один из ряда технологических стартапов, созданный выходцами из России.

На фото — Кирилл Шейнкман (профили на flickr, facebook, linkedin).

Только что компания выпустила вторую версию сервера Elastra Cloud Server, с помощью которого можно быстро сконфигурировать и подготовить для облака любое приложение. После обработки в Elastra Cloud Server можно или отдать приложение на Azure или EC2, или развернуть его на своём собственном, корпоративном облаке.
Читать дальше →
Всего голосов 11: ↑5 и ↓6 -1
Просмотры654
Комментарии 0

Новые возможности от Amazon для EC2 сервиса

Хостинг
Сегодня Amazon анонсировала 2 новые возможности для своего сервиса EC2, а именно:

— Новый регион в штатах: US-West-1. Сервера в калифорнии. Цены такие же как и для EU региона.

— Возможность указать EBS для рутового раздела. На этой фиче хотелось бы остановиться подробней.
Читать дальше →
Всего голосов 22: ↑20 и ↓2 +18
Просмотры1.5K
Комментарии 48

Установка ec2-api-tools & s3cmd by Amazon

Чулан
При старте линуксового инстанса на Amazon cloud в базе отсутствует такая важная утилита как ec2-api-tools, включающая в себя большую часть API команд для работы с амазоном и его сервисами, и s3cmd — средства работы с S3.
Читать дальше →
Всего голосов 3: ↑2 и ↓1 +1
Просмотры698
Комментарии 5

Облака становятся более доступными

Хостинг
Радостная новость пришла к нам из-за океана.
Amazon AWS EC2 сервис добавил поддержку микро-конфигураций до 613Mb.

image

Цена на Linux конфигурации стартует от $0.02 в час. Что при постоянном использовании обойдется $15 в месяц, а это существенно ниже, чем у Small instance — $0.085 в час.
Я сам уже около года пробую разные операционки и настройки, но пока нет необходимости постоянно держать и оплачивать свой сервер. А при таком раскладе и в моем случае появляется смысл запустить и поддерживать нормальный выделенный сервер. Доступны как 32, так и 64-битные архитектуры. Лично меня у Амазона привлекает гибкость настроек, расширяемость и, конечно, поддержка от одной из самых уважаемых контор.

Подробнее можно прочитать в документации на Амазоне.
Для тех, кто еще не пробовал — хорошее введение доступно в соответствующем хабратопике.

Расклад по Micro Instance:

613 MB memory
Up to 2 EC2 Compute Units (for short periodic bursts)
EBS storage only
32-bit or 64-bit platform
I/O Performance: Low
API name: t1.micro

остальные конфигурации
Всего голосов 51: ↑43 и ↓8 +35
Просмотры1.1K
Комментарии 35

Бесплатный VPN от Amazon

Информационная безопасность
Под хабракатом я расскажу вам, как при помощи нескольких простых действий получить себе практически бесплатный VPN в штатах:
Читать дальше →
Всего голосов 248: ↑239 и ↓9 +230
Просмотры119.5K
Комментарии 317

Cкоростная синхронизация миллиарда файлов

Серверное администрирование
Из песочницы
Есть несколько идентичных серверов (4 ноды) на Amazon EC2 с Ubuntu. Каждый генерирует и хранит у себя на диске кэш, который хотелось бы синхронизировать. Но простой rsync тут не подойдет — файлов несколько миллиардов, nfs — слишком медлителен, и т. д. Полный список рассмотренных вариантов с пояснениями ниже.

К тому же, время от времени нужно удалять устаревшие файлы сразу на всех серверах, что пока делается вручную и занимает несколько суток. Вопрос наиболее быстрой для такого Use Case файловой системы планирую описать позже. Оговорюсь только, что по нескольким причинам была выбрана XFS.

После теста нескольких кластерных технологий и файловых систем, по совету старшего товарища, решили использовать тот же rsync, но в связке с inotify. Немного поискав в интернете готовое такое решение, дабы не изобретать велосипед, наткнулся на csyncd, inosync и lsyncd. На хабре уже была статья о csyncd, но он тут не подходит, т.к. хранит список файлов в базе SQLite, которая вряд-ли сможет сносно работать даже с миллионом записей. Да и лишнее звено при таких объемах ни к чему. А вот lsyncd оказался именно тем, что нам и было нужно.

UPD: Как показала практика, необходимо ощутимое измение и дополние в тексте. Я решил внести лишь незначительные правки в основную часть, а новыми выводами поделиться в конце статьи.
Читать дальше →
Всего голосов 55: ↑55 и ↓0 +55
Просмотры84.7K
Комментарии 29

Устанавливаем asterisk 1.6 с freepbx на centos 5.7 в amazon ec2

Open source


Для начала в amazon EC2 создадим Instance с типом t1.micro и ami-9f4f81f6, это ami с минимальным centos 5.7 x64 и хранением диска на EBS размером 6 гигабайт, при создании через вебинтерфейс вам предложат создать Security Groups(фаервол) с одним правилом пропускать на сервер 22 порт для ssh(можно добавить и другие правила), также вам предложат создать Key Pairs(пары ключей для авторизации по ssh), создаем их и сохраняем себе файл *.pem. Далее создаем Elastic IP(Allocate New Adress) и привяжем(Associate Address) его к нашему Instance. Также отвечу что данный Instance влезает в рамки бесплатного использования в первый год работы с amazon.
Читать дальше →
Всего голосов 10: ↑5 и ↓5 0
Просмотры6K
Комментарии 4

Популярно об Amazon Web Services

Amazon Web Services
Из песочницы

Вступление


В этом докладе будут рассмотрены сервисы AWS, которые использует наша платформа и с которыми я знаком не по наслышке. Я работаю над проектом, который использует почти все возможные сервисы, а так же мы нацелены в ближайшем будущем охватить ещё больше возможностей, которые предоставляет нам Amazon.

Управление AWS осуществляется как с помощью веб интерфейса (AWS console), так и с помощью Command Line Tools. В консоли собраны все сервисы AWS, но функциональность настройки несколько обрезана. В командной строке же можно более гибко настроить тот или иной сервис, так же доступны закрытые в консоли функции.

Amazon Elastic Compute Cloud (EC2)


Описание

EC2 — это облачный сервис, предоставляющий виртуальные сервера (Amazon EC2 Instance), 2 вида хранилищ данных, а так же балансировщик нагрузки (Load Balancer).
Читать дальше →
Всего голосов 71: ↑66 и ↓5 +61
Просмотры152.1K
Комментарии 69

Автомасштабирование в Amazon Web Services: EC2 + CloudWatch

EPAMAmazon Web Services
Добрый день!

Настройка автомасштабирования на основе Amazon EC2 это очень интересная задача, которую я когда-то решил и теперь применяю на практике. Существует много возможных вариантов, но я рассмотрю самый простой из них: горизонтальное масштабирование одного сервера под одним балансировщиком.

В качестве инициатора маштабирования будет выступать Cloud Watch. Метрикой будет наша кастомная метрика Load Average.

Итак, начнём-с. Первое, как тру линуксоид, я советую и рекомендую использовать в настройке автоскейлинга утилиты командной строки (Command Line Tools — CLT) по следующим причинам:
  • из CLT можно сделать всё;
  • удобнее копипастить в консоль, чем кликать мышкой.

Читать дальше →
Всего голосов 21: ↑20 и ↓1 +19
Просмотры13.8K
Комментарии 17

AWS в Северной Вирджинии: сетевые проблемы

EPAMAmazon Web Services
Добрый день!image

Сегодня с 9:22 до 9:43 GMT были недоступны серверы Amazon EC2 в дефолтном регионе US-EAST-1 (он выставлен при заказе серверов по умолчанию, поэтому предполагаю, там больше всего серверов) были проблемы с коннектом.

Мой Нагиос просто свихнулся. Пингдом — заспамил СМСками. Я как раз был в оффлайне и мог только догадываться об этом неминуемом конце света.
Читать дальше →
Всего голосов 14: ↑10 и ↓4 +6
Просмотры717
Комментарии 14

10 миллионов хитов в день с WordPress на сервере за $15

Высокая производительностьWordPressAmazon Web Services
Английский разработчик Эван Лейт (Ewan Leith) опубликовал пошаговую инструкцию, как поднять виртуальный микросервер на Amazon, Linode или другом облачном хостинге, который сможет крутить блог WordPress и выдерживать 10 миллионов хитов в сутки (отчёт составлен с помощью Blitz.io), при этом будет стоить всего пятнадцать долларов в месяц.

Инструкция описывает, как последовательно установить Ubuntu 11.10 (Oneiric), MySQL, PHP с PHP FPM, APC и модулем MySQL, Nginx с конфигурацией для WordPress, ну и сам WordPress. После этого сервер работает ещё довольно медленно, но всё меняет установка W3 Total Cache и Varnish, которые вместе с Nginx способны сотворить настоящее чудо.

Выполнить действия из инструкции способен даже человек, не являющийся техническим специалистом.
Читать дальше →
Всего голосов 85: ↑74 и ↓11 +63
Просмотры16.5K
Комментарии 81

Amazon запускает billing alerts — предупреждения об оплате

Разработка веб-сайтовAmazon Web Services
Помните историю о том, как небольшой сайт в облаке от Amazon получил за месяц счёт на $1170? В комментариях многие спрашивали — почему нельзя сделать так, чтобы при достижении некоего установленного лимита (положим, $50), инстанс просто выключался. Меня тоже волновал этот вопрос, но никакого действенного способа защититься от влетающего в копеечку DDoS или, скажем, хабраэффекта, я не нашёл.

Вебмастера, возрадуемся! Сегодня Amazon прислал письмо, в котором пишет следующее:
Читать дальше →
Всего голосов 16: ↑16 и ↓0 +16
Просмотры1.8K
Комментарии 5