Облачное хранилище: обновление API

[angapov]

Просто из интереса — а Цеф не пробовали? Там и индекс шардинг есть и совместимость со Swift API.

[sams-gleb]

Я пробовал запускать ceph в тестовом окружении. Но, сейчас переходить на него не вижу смысла, т.к. разницы в производительности не будет (на скорость получения объектов, в основном, влияет наличие кэша на фронтэнд-серверах). К тому же, даже в том случае, если у нас возникнет непреодолимое желание запустить ceph в production'е, нужно будет разрабатывать новый прокси: radosgw не подойдет — там нет многих функций, реализуемых нашими middleware + модель авторизации не совместима с той, что мы используем сейчас. И я не знаю, как сейчас дела с librados, но когда я его тестировал с gevent, были заметные проблемы с производительностью и подвисаниями запросов при большом количестве параллельных соединений. В общем, т.к. у нас уже был кластер со swift'ом — более простым путем оказалась модернизация наличной инфраструктуры/софта, ну и я плохо представляю себе процесс безболезненной миграции миллиардов объектов…

[sams-gleb]

По умолчанию у ts-файлов reclaim_age равен неделе (этот параметр можно настраивать в object-server.conf), т.е. файлы старше недели репликатор удаляет (но, тут нужно учитывать, что еще какое-то время потребуется репликатору для того, чтобы дойти до этого файла)

[sams-gleb]

Мы используем 4Тб диски, если такой диск занят почти полностью используется, как правило, 20-30 млн инод, так что проблем не было. Ну и при создании xfs можно увеличивать кол-во инодов

[iglov]

Шикарная статья!
P.S. Глебас, ты обещал писАть, но забыл о нас :(

[gluck59]

Добрый день
А позволяет ли новый API получать ссылку в зоне .com на файлы из хранилища? Или по-прежнему парсинг-поиск-замена на клиенте?

[sams-gleb]

Апи — это же просто эндпоиты для реализации функций, посредством коих можно, например, получать листинги файлов, загружать новые объекты или что-то настраивать. Не могли бы вы подробнее описать, как вы получаете ссылки и что требуется парсить/заменять?

[gluck59]

$selectelStorage->url.$containerList['0']

Собственно, я спросил у техподдержки, как тащить файлы с моего хранилища через CDN:
«HEAD запрос на адрес X-Storage-Url возвращает .ru — как заставить его возвращать .com?»

На что поддержка посоветовала изменить домен на .com потому что "… Средствами нашего облачного хранилища изменить формирование ссылки нет возможности."

Таким образом либо я что-то недопонимаю, либо мне придется отлавливать ссылки на файлы и делать им поиск-замену дедовским способом.

[sams-gleb]

При аутентификации в хедере X-Storage-Url мы выдаем адрес из зоны ru — это адрес, с которым происходит вся дальнейшая работа с хранилищем. С .com нельзя полноценно работать, например, вы не сможете отправлять PUT/POST/DELETE запросы на .com, т.к. акамаи таковые запросы блокирует