Открыть список
Как стать автором
Обновить
  • по релевантности
  • по времени
  • по рейтингу

Amazon S3 скрестили с BitTorrent

Облачные сервисы
Компания Amazon разрешает скачивать файлы с хостинга S3 по протоколу BitTorrent. Через торренты можно распространять любые общедоступные файлы Amazon S3 размером не более 5 ГБ (возможно, в будущем это ограничение снимут). Для этого следует установить клиентское программное обеспечение (рекомендуется Amazon S3BitTorrent).

Чтобы скачать торрент для любого объекта, достаточно к концу URL добавить ?torrent.

Пример запроса
GET /quotes/Nelson?torrent HTTP/1.0
Date: Wed, 25 Nov 2009 12:00:00 GMT

Ответ
HTTP/1.1 200 OK
x-amz-request-id: 7CD745EBB7AB5ED9
Date: Wed, 25 Nov 2009 12:00:00 GMT
Content-Disposition: attachment; filename=Nelson.torrent;
Content-Type: application/x-bittorrent
Content-Length: 537
Server: AmazonS3
<body: a Bencoded dictionary as defined by the BitTorrent specification>

Благодаря торрентам владельцы сайтов могут существенно сэкономить на трафике, ведь S3 берёт оплату за количество переданной информации. Если же выкладывать торренты, то раздача файла осуществляется через пиринговую сеть от одних пользователей к другим. К тому же, это снимает ограничение на общую пропускную способность, когда много пользователей одновременно хотят скачать один и тот же файл.

В некоторых случаях использование торрентов предпочтительнее, чем стандартная передача типа сервер/клиент, особенно на популярных файлах.

За использование торрентов Amazon не взимает какой-либо дополнительной платы.
Всего голосов 21: ↑17 и ↓4 +13
Просмотры4.7K
Комментарии 5

G.ho.st: сетевая ОС эмулирует Windows

Я пиарюсь
Полку ВебОС прибыло. Очередной представитель, который появился на этой неделе —Глобальная хостинговая операционная система (Global Hosted Operating SysTem) или сокращённо G.ho.st (призрак), созданная палестино-израильской командой программистов. Выглядит как настоящий рабочий стол на ПК: такие же окна, меню, иконки, запуск программ. Разработчики постарались сделать настоящую копию Windows.

Сетевая ОС сочетает в себе привычный интерфейс Windows, с одной стороны, и поддержку сетевых виджетов, с другой стороны. Не нужно ни вручную апгрейдить программы, ни сохранять документы, ни делать резервные копии — сетевая ОС избавляет от целой кучи проблем.


Читать дальше →
Всего голосов 24: ↑20 и ↓4 +16
Просмотры742
Комментарии 36

S3 снижает цены

Хостинг
Хостинговый сервис нового поколения Amazon S3 объявил о снижении цен на передачу данных с 1 июня 2007 года. Создатели сервиса говорят, что постарались учесть пожелания пользователей и исправить очевидные недостатки тарифной сетки. Правда, не обошлось без ложки дёгтя: в связи с введением тарифов на запросы некоторая часть клиентов S3 всё-таки начнут платить больше, чем раньше.

Старая цена
$0,20 за гигабайт

Новая цена
$0,10 за гигабайт входящего трафика

$0,18 за гигабайт исходящего трафика — первые 10 ТБ в месяц
$0,16 за гигабайт исходящего трафика — следующие 40 ТБ в месяц
$0,13 за гигабайт исходящего трафика — всё, что превышает 50 ТБ

Запросы
$0,01 за тысячу запросов PUT и LIST
$0,01 за 10 000 запросов GET и других
Всего голосов 12: ↑8 и ↓4 +4
Просмотры672
Комментарии 14

Amazon.com построила хостинг-центр в Европе

Хостинг
Компания Amazon объявила об открытии европейского подразделения хостинг-службы Amazon Simple Storage Service (S3) — в своём роде уникального сервиса, который специализируется на обслуживании веб-стартапов нового поколения. Его отличительной особенностью является возможность незаметно интегрировать трафик с Amazon S3 в общий поток трафика из основного хостинг-центра, так что сайт способен выдержать почти любые нагрузки, где бы он ни размещался.

Операции в файловой системе Amazon S3 осуществляются на уровне «объектов», которые могут быть размером от 1 байта до 5 ГБ и обладают уникальными идентификаторами. В данный момент на хостинге хранится более 10 млрд объектов, а на услуги специализированных веб-сервисов Amazon, среди которых хостинг является основным, уже подписались около 290 тыс. разработчиков.
Читать дальше →
Всего голосов 13: ↑13 и ↓0 +13
Просмотры787
Комментарии 18

Amazon S3: рекордная нагрузка

Высокая производительность
Популярность распределённого хостинга Amazon S3 выросла до рекордного уровня и продолжает увеличиваться очень быстрыми темпами. По последней статистике, на серверах S3 размещается уже 29 млрд объектов, хотя три месяца назад было всего 22 млрд. Как образно сравнил один из программистов Amazon S3, на каждого жителя Земли у них приходится по четыре объекта.

Текущая нагрузка на серверы тоже превышает все пределы. Так, пиковая нагрузка была зарегистрирована 1 октября, когда количество запросов на запись, считывание или удаление объектов превысило 70 000 в секунду.

В связи с увеличением масштабов хранилища компания Amazon приняла решение ещё больше снизить тарифы на хостинг. С 1 ноября 2008 года хранение данных будет стоить от 12 центов за гигабайт в месяц, в зависимости от общего объёма и месторасположения заказчика (для американцев чуть дешевле).
Всего голосов 29: ↑27 и ↓2 +25
Просмотры1K
Комментарии 29

Amazon S3

Чулан
Повествование будет идти от человека который не работал с API Amazon S3, а от сотрудника компании в которой данная технология используется более 1 года.

Начну с того, что расскажу о проекте в котором используется данная технология, дабы читатели могли в живую увидеть как и зачем мы используем Amazon S3. Пиарить проект у меня даже мысли небыло по причине того, что на хабре если и есть ЦА проекта то она ничтожно мала, проект ориентирован на жителей города Алматы( по крайней мере на данный момент).

Zigzag Photo — Казахстанский интернет проект, основные цели которого хранить фотографии пользователей и при желании печатать их. Несложно догадаться, что мощности Amazon S3 используется для хранения фотографий. Кроме хранения мы насколько я знаю пользуемься еще сервисом которые организует Очередь ( Amazon Simple Queue Service ) и базу данных SDB ( Simple DataBase ).
Читать дальше →
Всего голосов 8: ↑4 и ↓4 0
Просмотры1.1K
Комментарии 9

Amazon открывает новый сервис в облаках «Elastic MapReduce»

ХостингHadoop
В дополнение к сервисам Amazon Elastic Compute Cloud (EC2) и Amazon Simple Storage Service (Amazon S3) компания Amazon сообщила об открытии нового сервиса Amazon Elastic MapReduce, который на данный момент пребывает в статусе беты.

Elastic MapReduce — вебсервис, который позволят с легкостью обрабатывать огромные количества разнообразных данных. Сервис основан на совместном использовании EC2 и S3, а также фреймворка Hadoop.

Подробности под катом
Всего голосов 27: ↑27 и ↓0 +27
Просмотры4K
Комментарии 13

Резервное копирование на Аmazon S3 для начинающих

Настройка Linux
Давно хотел организовать дублирование на S3 ключевых личных файлов, и вот наконец собрался. Готового решения с толковой статьей на русском языке навскидку найти не удалось, так что пришлось вспоминать английский, благо — все оказалось не просто, а очень просто.

Этот короткий материал ориентирован на «самых-самых маленьких» пользователей Linux и служит целью показать, насколько легко и просто организовать резервное копирование на сервера Amazon S3.

Читать дальше →
Всего голосов 61: ↑52 и ↓9 +43
Просмотры3K
Комментарии 28

Amazon S3 реализовал хранение версий объектов

Разработка веб-сайтов
Некоторое время назад я подсел на хранение бэкапов в облаке Amazon S3. Очень нравятся цены, степень надежности и простота программного взаимодействия с сервисом. Сегодня получил очередное письмо из рассылки Amazon S3, которое рассказывает о том, что сервис теперь умеет хранить версии объектов. Правда, проект пока еще в стадии beta… но попробовать, имхо, стоит.

Cсылка на официальную версию новости (English).

Лично для себя я в новом функционале вижу практически неограниченный оперативный простор для хранения инкрементальных бэкапов. Но, уверен, кто-то найдет другое применение этому крайне полезному решению.
Всего голосов 8: ↑7 и ↓1 +6
Просмотры1K
Комментарии 4

Настройка резервного копирования Linux-сервера за 5 минут

Настройка Linux
Передо мной возникла необходимость настроить резервное копирование на новом Linux-сервере, задачка эта оочень важная, но уж больно скучная: нужно написать и отладить скрипты, которые будут архивировать нужные папки (причем желательно делать инкрементальные архивы), базы данных, хранилища subversion, а затем переносить эти архивы на удаленный сервер. По этому я попробовал нагуглить готовое решение для этой задачки и в результате наткнулся на backup-manager — замечательный опенсорсный набор bash-скриптов, позволяющих:
  • архивировать любые папки, в том числе и создавать инкрементальные архивы. В конфиге просто указывается список директорий, которые должны быть скопированы, а также «черный список» файлов, которые копироваться не будут.
  • делать резервное копирование баз данных MySQL. В конфиге указываются логин и пароль mysql-юзера, имеющего доступ к базам, а всю остальную работу backup-manager делает сам.
  • делать резервное копирование svn-репозиториев, причем бэкап делается не копированием папки с хранилищем, а с помощью команды svnadmin dump.
  • шифровать архивы.
  • копировать созданные архивы на удаленные сервера по FTP, SSH или (это самая важная для меня фича) в хранилище Amazon S3, а также записывать их на DVD.

Таким образом, один этот этот набор скриптов решил абсолютно все мои задачи, связанные с резервным копированием. Настраивается все это хозяйство не более чем за пять минут, так как в конфигурационном файле каждый параметр имеет подробные комментарии, так что проблем с настройкой возникнуть ни у кого не должно.
Читать дальше →
Всего голосов 85: ↑74 и ↓11 +63
Просмотры63.8K
Комментарии 45

Быстрая реализация резервного копирования в Amazon S3

Системное администрирование
Я устал испытывать определённые опасения за сохранность данных на выделенном сервере, наблюдая за происходящим у хостеров последнее время… 3FN, Agava, Hosting.UA, МакХост — тенденция получается очень нехорошая.

В итоге, МакХост стал последней каплей, и, чтобы не оказаться в числе тех, кто «уже делает бекапы», я перевёл систему бекапов своего сервера на Amazon S3. Получилось вполне себе быстро и прозрачно.

Хочу поделиться с общественностью простейшей реализацией.
Читать дальше →
Всего голосов 170: ↑167 и ↓3 +164
Просмотры21.9K
Комментарии 62

Google будет конкурировать с Amazon S3

IT-компании
Как сообщает TechCrunch, Google собирается представить новый сервис облачного хранения данных, который будет прямым конкурентом Amazon S3. Называться он будет «Google Storage for Developers», или «GS».

Среди возможностей: REST API, возможность использовать аккаунты Google для ограничения доступа к файлам. Управление данными, будет доступно разработчикам, через веб-интерфейс и утилиту командной строки.

Логично предположить что у GS так же будет интеграция с CDN, по аналогии с амазоновским CloudFront.
Всего голосов 48: ↑45 и ↓3 +42
Просмотры1.3K
Комментарии 31

Бэкапы через bacula на Amazon S3

Системное администрирование
Как известно, все люди делятся на два вида: те, кто ещё не делает бэкапы, и те, кто их уже делает. У тех, кто только начинает делать бэкапы, первым обычно встаёт вопрос о том, каким способом архивировать данные. Простые варианты (вручную нарезать болванки, целиком архивировать каталоги на другие серверы) рассматривать не будем — у них весьма скромные возможности по индексированию и поиску архивных файлов. Вместо этого обратимся к автоматическим системам бэкапов, в частности bacula. Данная статья не рассматривает вопрос, почему bacula. Главные причины — она распространяется под свободной лицензией, доступна для кучи платформ и обладает огромной гибкостью.

Второй вопрос после выбора системы архивации — выбор места, где хранить бэкапы. Bacula позволяет использовать стриммеры, компакт-диски, писать архивы в FIFO-устройства и в обычные файлы. Стриммер удобен на корпоративных серверах, где есть постоянный физический к железу. Хранение архивов в файлах подойдёт, когда объём архивов не превышает объёма жёстких дисков, плюс для надёжности хранения желательно делать RAID-массив с избыточностью, а то и несколько физических серверов для бэкапов, желательно в разных помещениях. Иначе всё это до первого пожара. Нарезать на болванки — это домашний вариант, главный недостаток которого — необходимость регулярного втыкания свежих дисков. Мы же настроили bacula для архивации данных на Amazon S3.
Читать дальше →
Всего голосов 23: ↑21 и ↓2 +19
Просмотры10.7K
Комментарии 21

Когда Amazon S3 вырастет до триллиона объектов?

Хостинг
Amazon опубликовал новую статистику по распределённому хостингу Amazon S3.

Вот статистика за каждый год (по состоянию на конец IV кв.)
  • 2006 — 2,9 млрд объектов
  • 2007 — 14 млрд объектов
  • 2008 — 40 млрд объектов
  • 2009 — 102 млрд объектов
  • 2010 — 262 млрд объектов
За последние три года прирост составляет 155-185% со среднегодовым показателем 165,86%.
Читать дальше →
Всего голосов 11: ↑4 и ↓7 -3
Просмотры322
Комментарии 2

Быстрая реализация инкрементального бэкапа на Amazon S3

*nix
Из песочницы
После переезда моего сайта с shared-хостинга на виртуальный сервер в облаке вплотную встал вопрос об архивации данных: если раньше о ежедневном бэкапе беспокоился хостер, то теперь эти заботы целиком легли на плечи администратора. Так как хранить большие архивы на своем сервере не только небезопасно, но и (иногда) накладно, было решено копировать основную массу файлов на сервис S3 от Amazon. Под катом описывается мой способ реализации инкрементального бэкапа. Способ достаточно нубовский, но желающие повторить его без труда найдут пути тонкой настройки под свои нужды.
Читать дальше →
Всего голосов 41: ↑39 и ↓2 +37
Просмотры21.5K
Комментарии 23

Поддержка облачных файловых хранилищ в «1С-Битрикс: Управление сайтом» 11

Блог компании 1С-Битрикс
Этой статьей мы открываем целый цикл постов, посвященный новинкам, реализованным в новой, 11-ой версии «1С-Битрикс: Управление сайтом».

Одна из самых интересных возможностей, появившаяся в новом релизе, — поддержка облачных хранилищ.



В этом посте мы расскажем, что же это такое, какие бывают хранилища, как они работают, и как их можно с большой пользой применять на своем сайте.

Читать дальше →
Всего голосов 74: ↑60 и ↓14 +46
Просмотры19.7K
Комментарии 30

Дешёвый облачный хостинг на открытом ПО

Хостинг


Новый онлайн-хостинг Nimbus.IO от компании SpiderOak вдвое дешевле Amazon S3 и основан на открытом ПО: серверная и клиентская части бесплатны и будут распространяться по модели open-source (сервер AGPL, клиент LGPL). Правда, Nimbus.IO пока в закрытой бете и исходники не доступны всем подряд, но разработчики обещают скоро выложить коды на github.

Про REST API пока ничего не говорят, только то, что они «похожи на S3 и Rackspace, то есть используется формат JSON вместо XML».
Читать дальше →
Всего голосов 36: ↑28 и ↓8 +20
Просмотры3.3K
Комментарии 8

Zendframework + ffmpeg + gearman + amazon = Видео encoder сервис

Я пиарюсь
Хочу поделиться с хабрасообществом опытом создания веб сервиса для конвертирования видео и сохранения в облачном хранилище. Сразу оговорюсь, сервис написан для внутреннего пользования одной европейской компании, и уже работает более 6 месяцев. Одним из направлений компании является продукт WebTv. Было очень проблематично на каждом новом сайте разворачивать структуру для конвертирования видео, и зачастую эти процессы очень тормозят работу сервера.
Было решено создать сервис, который бы удовлетворял следующим требованиям:
  • Легкая интеграция с любым сайтом.
  • Реализовать процесс конвертации более одного видео файла в одно и то же время.
  • Реализовать процесс сбора видео с ftp, IMAP и просто напрямую получать видео файл через HTTP POST.
  • Опционально при помощи дополнительных параметров, уметь вращать видео, вещать водные знаки и т.д.
  • Реализовать безопасную систему авторизации во фронте, где юзеры могут видеть, какие данные уходят на видео сервис помимо видео файла.
  • Отправлять готовые результаты на Amazon S3.
  • Хорошенько обрабатывать ошибки, и оповещать об этом клиентский сервис.

под катом взгляд изнутри в деталях
Всего голосов 29: ↑27 и ↓2 +25
Просмотры1.9K
Комментарии 27

Переносим Redmine c VPS на Heroku или как получить бесплатный project-management tool

Чулан
Из песочницы
Эта статья дает пошаговую инструкцию как опубликовать Redmine приложение на веб хостинге Heroku.



Сперва давайте определимся почему и зачем нам/вам это нужно. Кто еще не знает что такое Redmine то это веб-приложение для управления проектами и отслеживания ошибок (баг трекер). Это довольно популярное приложение с открытым кодом и множеством плагинов.

Heroku это платформа для хостинга веб приложений. Отличительными чертами которой являются простота использования, минимальная конфигурация и возможность быстро менять требуемые ресурсы сервера (например если ожидается хабраэффект можно быстро увеличить требуемые мощности). То что нас интересует для этой статьи это возможность хостить приложение бесплатно.

Зачем нужна эта статья? Heroku платформа хоть и предоставляет ряд преимуществ перед VPS хостингом, у нее так же в добавок есть ограничения. Эта статья раскрывает сложности при установки и рассчитана на среднего-опытного пользователя.

Читать дальше →
Всего голосов 6: ↑5 и ↓1 +4
Просмотры2.5K
Комментарии 8

Многопоточная закачка файла в S3

Ruby
Эта статья иллюстрирует реальное применение и получение выигрыша в производительности на примере закачки файлов в хранилище Amazon S3 с использованием многопоточности на языке Ruby с использованием gem aws-sdk.
Читать дальше →
Всего голосов 14: ↑14 и ↓0 +14
Просмотры3.9K
Комментарии 1