Comments 21
Высокодоступный тогда уж.
0
правильно ли я понимаю, что s3fs заливает файлы на s3 асинхронно, в фоне, грубо говоря?
выходит, что вполне вероятен кейс, в котором файл (бакап, например), был залит через ftp на ФС сервера, и pureftp отчитался, что все окай, а в это время происходит отправка этого самого файла с сервера в s3, которая не контролируется, не мониторится и в случае ошибки не создаются инциденты и не отправляется нотификация.
получается не очень-то и «высокодоступно»…
выходит, что вполне вероятен кейс, в котором файл (бакап, например), был залит через ftp на ФС сервера, и pureftp отчитался, что все окай, а в это время происходит отправка этого самого файла с сервера в s3, которая не контролируется, не мониторится и в случае ошибки не создаются инциденты и не отправляется нотификация.
получается не очень-то и «высокодоступно»…
+1
нет, асинхронной заливки нет, файлы заливаются прямо на S3 и pure-ftpd отчитается что всё ок, только когда файл уже на полностью загрузится на S3.
+2
в таком случае, все еще возможен вариант с потерей соединения с s3.
по идее, также возможен и вариант с ошибками во время put'a на s3, которые пока не проверяются code.google.com/p/s3fs/issues/detail?id=37
по идее, также возможен и вариант с ошибками во время put'a на s3, которые пока не проверяются code.google.com/p/s3fs/issues/detail?id=37
+1
UFO just landed and posted this here
Интересно сделано.
Каждый раз, глядя на фтп с ужасом вспоминаю сколько гемора доставляет этот архаичный протокол сейчас. Не поделитесь, что за задача заставила изобретать такие хитровыверты?
Каждый раз, глядя на фтп с ужасом вспоминаю сколько гемора доставляет этот архаичный протокол сейчас. Не поделитесь, что за задача заставила изобретать такие хитровыверты?
+1
Как насчет скорости получилось? Помню s3fs весьма неспешно работает, особенно если много мелких файлов закачивать.
0
Привет!
Являюсь разработчиком Open Source проекта RioFS: https://github.com/skoobe/riofs. Проект предоставляет доступ к S3 через локаольную файловую систему. В нашей компании мы использовали примерно такую же схему, как и автор поста: высоконагруженный proftpd + s3fs, но при использовании возникло огромное количество проблем и исправить их, не меная саму архитектуру проекта, не предоставлялось возможным.
Наш проект — прямой аналог s3fs, но мы учли многие недочеты и ошибки в архитектуре s3fs. Наша главная цель: стабильности и скорость. В настоящий момент наш проект находиться в ранней бете, но уже какое-то время работает в режиме «только чтение» на одном из наших высокозагружженых серверов. Результатами мы довольны.
Мы планируем активно развивать проект. Хотел бы, как разработчик проекта, попрасить Вас попробовать установить RioFS и потестировать его в действии. Если возникнуть проблемы или же Вы желаете чтобы была реализована какая-либо дополнительная функция: пожалуйста не поленитесь и составьте «bug report» или отошлите мне тут сообщение.
Спасибо!
Являюсь разработчиком Open Source проекта RioFS: https://github.com/skoobe/riofs. Проект предоставляет доступ к S3 через локаольную файловую систему. В нашей компании мы использовали примерно такую же схему, как и автор поста: высоконагруженный proftpd + s3fs, но при использовании возникло огромное количество проблем и исправить их, не меная саму архитектуру проекта, не предоставлялось возможным.
Наш проект — прямой аналог s3fs, но мы учли многие недочеты и ошибки в архитектуре s3fs. Наша главная цель: стабильности и скорость. В настоящий момент наш проект находиться в ранней бете, но уже какое-то время работает в режиме «только чтение» на одном из наших высокозагружженых серверов. Результатами мы довольны.
Мы планируем активно развивать проект. Хотел бы, как разработчик проекта, попрасить Вас попробовать установить RioFS и потестировать его в действии. Если возникнуть проблемы или же Вы желаете чтобы была реализована какая-либо дополнительная функция: пожалуйста не поленитесь и составьте «bug report» или отошлите мне тут сообщение.
Спасибо!
+6
С удовольствием протестирую вашу разработку.
+4
UFO just landed and posted this here
UFO just landed and posted this here
Разработка RioFS заброшена?
0
Sign up to leave a comment.
Высокодоступный FTP-сервер с хранением данных в AWS S3