Selectel Storage — облачное хранилище

[damad]

А кэширование горячего контента сделали или файла идет с диска?

[damad]

*или скачивание файла идет с диска

[Enchant]

Да, кэширование на ssd'шках, по мере роста нагрузки будет подбираться эффективные параметры работы кэш-серверов.

[damad]

Сейчас потестим :)

[akme]

Обязательно потом расскажите о результатах =)

[damad]

Протестировал через сервис tools.pingdom.com/fpt/

Storage от Selectel



Storage от clodo.ru



У вас сколько уровней кэширования?

[damad]

Хм. Только щас заметил — разные объемы прокачки. Щас перепроверю что залил в селектел.

[damad]

Забавно. Идентичный набор файлов а сервис видит разный объем файлов.

[akme]

Не идентичный, на наших серверах не хватает пары иконок.

[damad]

Первых двух? У нас их тоже нет.

[BarsMonster]

Нууу, рубль за Гиг трафа это еще не предел мечтаний…
Нагруженный проект я бы не стал на таких условиях размещать.

[yevgeny]

Если кому не хватит перечисленных промо-кодов, отдаю свой: Z2AYPAO2AL.

[akme]

толсто)

[Aminuofu]

В сравнении, на мой взгляд, не хватает Google Cloud Storage (бывший Google Storage for Developers).

[akme]

Их проблематично добавить в эту табличку, т.к. у них используется иная система биллинга (дополнительно оплачиваются все запросы)

[Istergul]

Расскажите лучше как именно всё у вас работает. Используете весь комплекс Open-Stack или только Swift? Форкали ли его под свои задачи?

[Enchant]

Зачем весь стек OpenStack? Только swift. Модифицировать оригинальный код не пришлось (пока :-)), а о деталях устройства будет рассказано отдельно.

[Istergul]

Ну например nova для динамического управления виртуальными машинами в облаке :)
Просто знакомые ребята из компании N используют swift в своём облачном хранилище и упираются во многие недоработки, в результате сейчас пилят свой форк.

[Enchant]

Лично я не очень в восторге от кода swift и периодически хотелось (и приходилось) его пилить, но в результате наше решение обходится без модификаций их кода. Причем заложена возможность поменять бекэнд хранилища (swift) на что-то другое если очень уж захочется :-)

А облачные ВМ у нас построены не на OpenStack.

[SilenceAndy]

Максимальный размер файла в S3 — 5 гигабайт при использовании одной команды PUT или же 5 терабайт при добавлении с использованием multipart uploading.

[Enchant]

Swift и соответственно наше хранилище тоже поддерживанию загрузку файлов больше 5Гб через специальное API — docs.openstack.org/api/openstack-object-storage/1.0/content/large-object-creation.html

[SilenceAndy]

А при чем тут это? В статье написано «Максимальный размер файла 3Гб». Нигде с таким ограничением при работе с S3 я не сталкивался.

[akme]

Да, ошибочка, single у них тоже 5Гб

[SilenceAndy]

Вы бы еще поправили цены, так как у S3 есть Reduced Redundancy Storage который по цене получается 2.8 руб за 1 гигабайт.

[dom1n1k]

Очень интересно.
Не понял только, что дает промо-код :)

[smok]

10 рублей.

[bezumkin]

А почему я тыкаю в «Хранилище» и попадаю в «Данные плательщика»?

Что нужно для заказа услуги?

[DarkTwin]

Такаю на «Потребление» или «Баланс» и перекидывает в «Данные плательщика».
Остальные пункты работают.

[dom1n1k]

О, после создания хранилища у меня тоже перекидывает.
А до создания все работало нормально — я тыкал.

[yuhenobi]

Исправили

[Neuronix]

Селектел нашел наконец админа-копирайтера?)

[yuhenobi]

Еще ищем

[savant]

А аналог Amazon simpledb не планируете?

[dovecot]

Радует возможность доступа по FTP. Такое хранилище хорошо подходит для хранения бекапов сайтов/БД/почты и т.д…

[SabMakc]

На сколько понимаю, трафик между облаком и хранилищем учитывается как исходящий в облаке?

[Enchant]

Сейчас да, идея не учитывать этот трафик была, но пока технически так не сделать.

[ProstoDesign]

А если файл-архив с резервной копией весит больше 5Гб?

[Enchant]

См. коммент habrahabr.ru/company/selectel/blog/143796/#comment_4828813

[ProstoDesign]

Задам вопрос по-другому. У меня у вас облачный аккаунт, крупный. Некоторые архивы больше 5Гб. На нем стоит ISPmanager. Как это все подружить с вашим Storage? Без бубна и такой-то матери?

[Enchant]

К сожалению известные мне простые консольные утилиты не позволяют этого сделать. Но можно использовать родную swift'овскую утилиту swift написанную на python, только для автоматизации всё равно придется написать свой скрипт бекапа.

[fortyseven]

При создании архива делите его на тома меньшего размера, очевидно же =)

[Lisio]

Баланс у вас пополнить нелья, paysecure.ru/ лежит.

[bezumkin]

Хм, а теперь меньше 100 рублей через Qiwi уже нельзя зачислить?

Или для всех методов оплаты это не деньги, теперь?

[bezumkin]

Впрочем, не важно. Ознакомлюсь завтра.

[Sannis]

Люто бешено плюсую. Надеюсь при минимальной цене качество не пострадает! :)

[remal]

Какова задержка между хранилищем и облаком?

Возможно ли создать несколько контейнеров? Если да, то каково максимальное их кол-во?

[Enchant]

Между облаком и хранилищем пинг минимальный, а скорость максимальная, т.к. оборудование размещается в пределах одного ДЦ.

Количество контейнеров не лимитируется, создавайте сколько нужно.

[fortyseven]

Задержка (ping) <1ms. Да, можно создавать несколько контейнеров, а вам сколько надо? =)

[SilenceAndy]

А где можно посмотреть на SLA для данной услуги?

[fortyseven]

SLA пока нет, есть стандартный договор selectel.ru/about/documents/

[SilenceAndy]

Эм… И как мне по стандартному договору узнать гарантированную надежность и работоспособность вашего сервиса? У Amazon я её точно знаю — 99,99% для RRS и 99.999999999% для обычного стораджа.

[fortyseven]

Вы же понимаете, что эти цифры не имеют физической силы и даже у Amazon'а может все рухнуть на день-два, чтобы они там не писали у себя в SLA. В SLA более важны пункты о размере компенсаций/неустойки, в этом плане мы всегда идем на встречу клиентам, и в случае неполадок с нашей стороны, обязательно выплачиваем компенсации клиентам.

[SilenceAndy]

Вы не правы. Я говорю как активный потребитель услуг S3. Мы храним на S3 несколько десятков терабайт данных клиентов (мы работаем в b2b сегменте), при этом для нас важно насколько эти данные в сохранности — Amazon в данном случае сохранность и доступность гарантирует. Ни о каких компенсациях в случае потерь (про недоступность мы не говорим) говорить не имеет смысла, так как финансовые потери, что понесем мы и наши клиенты, а так же репутационные потери вы при всем желании не сможете компенсировать. Идти и предлагать руководству переход с S3 на Selectel со словами «Они обещают если, что, всё компенсировать» как вы понимаете не серьезно.

[CLaiN]

а в чем гарантии амазона-то? в кусочке текста на сайте где написано что они не упадут? а что Вы будете делать когда упадут?

[seventh]

Тут штука не в гарантиях, а в аргументах для начальства)

[alan008]

У Амазона есть определенная репутация, которой он рискует в случае нарушения заявленных в SLA гарантий. Это очень серьезный риск.
Кстати любимый всеми DropBox хранит все данные как раз на серверах Амазона. Для вас это что-нибудь значит? ;)

[CLaiN]

Меня мало волнует репутация амазона, я никому не доверяю, и делаю бэкапы даже сверх-надежных вещей, которые «в принципе не могут упасть», как например облако селектела со злополучным багом в линуксе, или факап гугла с потерей данных пользователей почты.

Однако когда оно упадет, мне будет намного удобнее стрясти компенсацию с селектела, например (не дай бог конечно), чем сидеть, держась за голову, и говорить «ну зато у них репутация пострадала».

[fortyseven]

Мне больше нечего вам сказать, суть моего комментария вы не уловили.

[fortyseven]

Ну в карму то зачем, не конструктивно же.

[psman]

Сравнение тарифов не полное, но не буду рекламировать себя и конкурентов.
Есть цены более вкусные.

[Enchant]

А вам известны компании которые предоставляют услуги облачного хранения на базе elliptics? Сам проект то интересен, но у swift уже много коммерческих пользователей и стабильное api которое много кто поддерживает, например битрикс :-))

[amarao]

Я возвращаюсь с cloudconf'а — де-факто swift можно считать установившимся стандартом. Он всех устраивает по функционалу и причин «почему не он» (именно в рамках object storage) никто привести не может.

То есть к реализации претензии могут быть — а к модели работы и API?

[dmOx]

Я может что то делаю не так, но у меня через curlftpfs если копировать папку с облака на первый проход пишет не возможно создать файл, а сам создает папки и файлы по 0б, а на второй пишет IO ошибка и файл заливает и всё ок.

cp -v -R {source} {dest}

[dmOx]

ООК. строчка с википедии от curlftpfs не юзабельна, там зачемто utf-8

[dimonRUS66]

Тоже столкнулся с первой проблемой. У меня уже 6 часов прошло, панель все еще не дает привязать домен к контейнеру. В итоге файлы с облака недоступны пользователям сайта.

[damad]

А зачем вы даете пользователям ссылки на файлы которые еще не доступны?

[dimonRUS66]

файлы лежали в хранилище Clodo, решил перенести в Selectel

[Enchant]

Обновление ДНС действительно может занимать много времени (особенно если вы меняете запись, а не задаете новую), но на это, как вы понимаете, мы никак не можем повлиять — так уж ДНС устроен.

Сама проверка на соответствие ДНС записи необходима как защита от «угона» чужих доменов. Поэтому пока запись не добавите и тайаут кэша ДНС не пройдет привязка домена не будет выполнена.

Если вы переносите свои данные к нам, то было бы логично сначала потестить на новом домене (тогда и проблем с кэшированием ДНС не будет), а потом перевести на основной. Учитывая что мы позволяем привязывать несколько доменов к одному контейнеру такой сценарий не создаст проблем для пользователей вашего сайта.

[damad]

Эмигрант :)

[seventh]

А как часто обновляется табличка «Потребление»?

[fortyseven]

Обновление данных (в том числе всех параметров внутри веб-панели) может происходить с задержкой до 5-10 минут.

[dom1n1k]

Счетчики скачиваний да, запаздывают на какие-то секунды, максимум минуты.
А вот на вкладке «Потребление» все по нулям спустя почти сутки.
Тестовые объемы скачиваний были небольшие — но на пару копеек там вроде как должно было набежать.

[Enchant]

В биллинге есть порог списание средств, если действительно потребление было маленьким списание могло не произойти. Но если вам кажется что поведение системы не правильно обратитесь в тех.поддержку.

[Serzhenko]

Огромное количество опечаток в доке по API — куда направить перечень?

[akme]

можно личным сообщением мне

[Serzhenko]

Хорошо. Завтра утром ждите сообщение. :-)

[budulay]

В Opera 11.64 через веб-интерфейс выбираю «Создать каталог», но высвечивает: «Ошибка передачи файла в хранилище» и создается файл с тем именем которое вводилось для папки.

[fortyseven]

К сожалению, в опере так и не заработало создание папок и файлов (перемещение, копирование и удаление работают). Постараемся пофиксить, пока попробуйте любой другой браузер или фтп клиент.

[qrasik]

Кхм…
Насчет нецелевого использования облака оно может и верно, но по цене облако чуток но дешевле получается: 0.64-0.74 против 0.8.
Опять таки это сужает область применения хранилища. Довод про 3-х кратное резервирование конечно хорош, но после неприятной истории с Amazon панацеей я это не считаю, да и насколько помню, облаку тоже гарантировали что-то подобное.

[Enchant]

Тариф на хранение данных такой же как и в облаке на дисках, а трафик в два раза дешевле. Откуда вы взяли числа 0.64-0.74?

[qrasik]

Облако:
Сеть: отправлено (исходящий трафик): 64 копейки за гигабайт
Диск: прочитанный/записанный объем: 10 копеек за гигабайт

Хранилище
Сеть (исходящий трафик): 0.8 руб. за Гб

Внимание вопрос, с чего вы взяли, что трафик в 2 раза дешевле? Написано же 0.8.

[akme]

А почему вы сравниватие стоимость хранения в сторадже и стоимость прочитаного/записанного объема данных системой в облаке?
Стоимость хранения на сторадже и хранение данных на виртуальной машине в облаке равны.
Исходящий трафик чуть дороже, но вы совершенно ничего не платите за входящий…

[qrasik]

Я не сравниваю стоимость хранения. Стоимость хранения, на текущий момент, одинаковая.

Почему не учитываю входящий трафик? Я за него и так не плачу. Точнее, объем GET запросов даже меньше, чем объем «мусора» идущего со стороны интернета.

То есть в сумме, хранилище получается хоть немного но дороже. А где выгода? Надо же и стоимость миграции учитывать тоже…
Признаюсь, мне хранилище импонирует, но при его использовании я потеряю от 12 до 37%. И меня это печалит.

[akme]

Удивляюсь я с ваших расчетов, но больше всего мне интересна причина, по которой вы не учитываете стоимость таких ресурсов как оперативная память, процессорное время и стоимость всех операций ввода/вывода.

Есть 5Гб контента, надо раздать 1Тб.

Хранилище за месяц:
Закачать 5Гб — бесплатно
Раздать 1Тб — 800 рублей
Хранение — 16.20 рублей
Итого: 816.20 рублей

Берем виртуалку со средним количеством оперативной памяти равной 256Мб(достаточно для раздачи статики):
Расчет за месяц:
Оперативная память — 105рублей
Закачать 5Гб контента — 1.30 рублей
Раздать 1Тб контента — 740 рублей
Хранение — 16.20 рублей
Получается примерно 862.5 и это еще без учета стоимости всех операций ввода вывода…

[qrasik]

Все зависит от методики подсчета. Если хранить и отдавать допустим ISO и отдавать чем-нибудь «толстым» апачем, допустим, то да, ваши расчеты имеют право быть.

Насчет 256Мб для статики вы усложняете. Достаточно 64 и будет работать, но у вас 128 это минимум. Плюсуем сюда еще такую штуку как архивы. Информация хранится в архивах, отдается распакованной. Плюс забор файлов не рандомный, то есть 128Мб еще и на небольшой кеш хватает.

Так проценты и накапливаются.

[akme]

Не могли бы вы привести свою методику подсчета?

[qrasik]

Зачем?
Нет, если вам интересно, то 12-37% это при решении задачи через API и ухищрения.

При решении «в лоб» все гораздо скучнее получается. Как я говорил, в моем случае информация в виде архивов хранится, поэтому хранимый объем был бы разный для облака и для хранилища и разница достигала бы 3-4 раза минимум
А тут вы сами понимаете, хранилище для моей задачи совсем невыгодным становится.

С учетом же ухищрений (не учитывая стоимость миграции) исходящий трафик становится величиной значимой. И разница в 5-15копеек за месяц превращается уже в приличную сумму.

[dom1n1k]

Если я правильно понял, вы храните данные в сжатом виде, как-то очень быстро и экономно распаковываете их налету и за счет этого облачный сервер получается дешевле?
Ну так ради бога, используйте облако, в чем проблема?
Ваш случай видимо какой-то очень специфический, в целом соотношение тарифов выглядит более чем разумным.

[qrasik]

Вы поняли правильно но только последние два сообщение из этой ветки.

Я всего лишь указал на факт, что облако, при прямых руках, хоть на 5-15к но дешевле. А для случаев с возможностью хранения сжатого контента так и еще больше. После чего озвучил мысль, что с текущими тарифами, хранилище, продукт сугубо специфичный и переместив статику на него сильно не сэкономишь.

[qrasik]

P.S. Надо бы запретить сотрудникам фирмы выставлять оценки в блоге этой же фирмы. А то прям не хабр а рекламная площадка получается. :-)

[fortyseven]

А как вы думаете для чего компании заводят корпоративные блоги?

[qrasik]

В данном случае для хаброэффекта и создания положительного впечатления. Но хабр это не личный сайт, а так сказать общественный и заниматься на нем откровенным кликерством некрасиво.

[silvergh0st]

Странно, но по ощущениям CDN отдает дольше картинки, чем сам облачный сервер:
Сервер — static.solnyshko.dn.ua/image/cache/data/2012-04-19/6914-500x500.jpg
CDN — st.solnyshko.dn.ua/image/cache/data/2012-04-19/6914-500x500.jpg

[amarao]

Как-то вы странно смотрели скорость (в обоих тестах dns-кеш прогрет)

time wget static.solnyshko.dn.ua/image/cache/data/2012-04-19/6914-500x500.jpg -O /dev/null -o /dev/null

real 0m0.066s
user 0m0.000s
sys 0m0.004s

time wget st.solnyshko.dn.ua/image/cache/data/2012-04-19/6914-500x500.jpg -O /dev/null -o /dev/null

real 0m0.089s
user 0m0.004s
sys 0m0.004s

[qrasik]

У меня
0.98 — для сервера
1.50 — для CDN

Уважаемый amarao, судя по сообщению silverqh0st, static — это сервер, так что ваши результаты подтверждают, а не опровергают сообщение.

[silvergh0st]

Да, вы правы.
Какой-то несколько странный CDN, если он медленнее обычного nginx'a.

[DarkTwin]

Попробуйте повторить операцию 10 раз.
У меня с пятого раза вот такие данные.
для st

real    0m 0.02s
user    0m 0.00s
sys     0m 0.02s

для static

real    0m 0.02s
user    0m 0.00s
sys     0m 0.01s

[silvergh0st]

Минимальный результат из 10-ка:

$ time wget st.solnyshko.dn.ua/image/cache/data/2012-04-19/6914-500x500.jpg -O /dev/null -o /dev/null

real 0m0.485s
user 0m0.000s
sys 0m0.004s

в тоже время обычный nginx:

$ time wget static.solnyshko.dn.ua/image/cache/data/2012-04-19/6914-500x500.jpg -O /dev/null -o /dev/null

real 0m0.342s
user 0m0.000s
sys 0m0.004s

[DarkTwin]

Пардон.
Не те данные вставил.
st
real 0m 0.21s
user 0m 0.01s
sys 0m 0.07s

static

real 0m 0.23s
user 0m 0.01s
sys 0m 0.06s

[silvergh0st]

смотрите ответ выше…

[silvergh0st]

Тест главной страницы с использование CDN:

Url теста: tools.pingdom.com/fpt/#!/hED0GHvG1/solnyshko.dn.ua

И с использованием nginx:

Url теста: tools.pingdom.com/fpt/#!/iRsSl92yr/solnyshko.dn.ua

Наглядное сравнение и, на мой взгляд, достаточно показательное.

[DarkTwin]

Тесты из разных точек.

[silvergh0st]

CDN:

tools.pingdom.com/fpt/#!/ywID5vwyr/solnyshko.dn.ua

Nginx:

tools.pingdom.com/fpt/#!/fQdP9MeFV/solnyshko.dn.ua

Так достаточно чистый эксперимент?

[Enchant]

Знаете, раздачу с nginx можно считать как эталон, т.к. он тупо отдаёт локальный файл не выполняя вообще никаких дополнительных действий. А хранилище устроено значительно сложнее и для отдачи файла требуется выполнить ряд промежуточных действий на каждый запрос, поэтому в любом случае оно будет несколько медленнее, вопрос лишь в том на сколько (решение этого вопроса как раз уже наша работа).

Упреждая вопрос «за зачем тогда хранилище если оно чуток да медленней локального nginx?»: дело в размере и цене :-) Вероятно вы получите выигрыш в стоимости при хранении и раздачи большого объема данных для вашего сайта, чем если бы вы хранили и раздавали тот же контент с вашего хостинга. Плюс не надо задумываться о том сколько хостер предоставляет вам дискового пространства и бэкапить эти данные тоже не нужно.

[silvergh0st]

Фейсбуковый CDN по скорости сравним с nginx:
$ time wget fbcdn-sphotos-a.akamaihd.net/hphotos-ak-ash4/427996_281378548597041_259422847459278_666223_1237247689_n.jpg -O /dev/null -o /dev/null

real 0m0.513s
user 0m0.008s
sys 0m0.000s

$ time wget solnyshko.dn.ua/image/test.jpg -O /dev/null -o /dev/null

real 0m0.531s
user 0m0.004s
sys 0m0.004s

Иногда, как тут, даже быстрее!

[amarao]

При пинге в 500мс сеть влияет на результат куда больше, чем работа отдающей системы. У меня с FB отдаётся за 500мс, с solnyshko.dn.ua около 100мс.

[CLaiN]

наконец-то!

[dobriykot]

В табличке указана стоимость хранения 3 р. за 1 Гб в месяц.
На сайте написано: 4.5 р. за 1 Тб в час.
Считаем: (4.5 / 1024) * 24 * 30 = 3.1640625 р. за 1 Гб в месяц.
Или я не так посчитал?

[ihazz]

Цены конечно приятные и за размещение, и за трафик, но есть ли какие нибудь гарантии, что через какое то время вы не поднимите их резко вверх до уровня своих конкурентов?

При текущих ценах это все очень интересно и перспективно.

[fortyseven]

Цены взяты не с потолка и уже отработаны на облачных серверах.

[gnusy]

что-то не могу примонтировать с помощью CloudFuse.

> Unable to authenticate.

что надо писать в качестве username и api_key?

[gnusy]

имя и пароль на вкладке «Техническая информация» не подходят сюда.

[fortyseven]

Напишите тикет, постараемся помочь.

[ihazz]

Еще вопрос, кол-во файлов в одной папке ограничено?
Например не более 65 тыс файлов на одну папку.

[Sannis]

Имхо, вы сильно раньше начнёте ощущать тормоза, так зачем экспериментировать? :)

[ihazz]

Если пользователям выдавать прямые ссылки на файлы, кол-во файлов рядом не должно сказываться на скорость отдачи, разве не так?

[fortyseven]

Не ограничено, по сути хранилище объектное, папки там это просто виртуальные объекты. Если я не прав, пусть меня поправят коллеги.

[Enchant]

Все верно.

[ihazz]

У вас есть ограничение в 5 доменов, это 5 доменов на контейнер или на все доступные контейнеры?

[akme]

На контейнер.

[ihazz]

отлично, спасибо!

[ineedmoney]

А какой уровень избыточности?

[ineedmoney]

Ага, нашёл. Три копии файла.

[billionaire]

Планируется ли снять ограничение 5 ГБ на один файл при загрузке через FTP? Сразу можно было под бекапы использовать.