Pull to refresh

Comments 82

Если данные могут пропасть — они пропадут. Полагаться можно только на себя.
Либо заливать в два облака, надеясь на то, что хоть в одном облаке данные останутся, и бояться, что твой пароль украдут и удалят/испортят данные.
Либо пользоваться облаками, держать свой бэкап-сервер(чтобы данные можно было только добавлять, без возможности изменения или удаления), и регулярно пополнять оффлайн-архив
Да, бекап-сервер + облако, так и делаю.
Амазон удивил не пропажей данных даже (пропажа данных в облаке???), а ну… Что там делать месяц?
По опыту работы с большими компаниями, полагаю, что на самом деле физически данные есть, а просто где-то баг, который никто не делает, потому что "положить на юзеров, своих дел дофига".
Тоже перелез на Amazon CloudDrive с CrashPlan, т.к. у него организация как мне была нужна — бэкапить отдельные файлы в отдельные моменты с разных машин. Ну и скорость загрузки — 2 мегабита против 100 на Amazon. Проблем пока не наблюдал, возможно потому что пользуюсь только официальным клиентом.
По статье: не хватает подробностей, параметры архива, какова рода там информация, запаролен ли, чем заливали, логи заливки, чем качать пытались (в официальном клиенте наконец добавили возможность скачивать конкретные папки, а не всё). Возможно поможет не наступить на те же грабли. Я, например заметил, что если начать загружать туда файл, и выйти из клиента, до окончания загрузки, то файл в интерфейсе появится. Ещё наблюдались проблемы с архивами больше чем 20Gb, хотя при загрузке из клиента таких ограничений не обозначено.
Возможно эти файлы просто не догрузились туда.

в официальном клиенте наконец добавили возможность скачивать конкретные папки, а не всё
О, спасибо за прекрасную новость, а то я уже было хотел от них отказаться и даже удалил клиент со своего ноутбука. Теперь, пожалуй, подумаю о новой установке.
Из своего опыта (6 месяцев на тарифе «все типы файлов» на Amazon) могу добавить, что замечал проблемы в целостности файлов только когда при загрузке на их сервер официальным клиентом я отправлял ноутбук в перезагрузку или отключал его. Поэтому с тех пор старался загружать файлы в том количестве, в котором мне хватало времени загрузить их на сервер за один раз. При загрузке таким образом проблем не возникало.
Файлы упаковываю в архивы RAR5 c 5% информации для восстановления + шифрую BoxCryptor.
Да, полностью согласен насчёт 5% recovery, сам недавно поднял до на 10%.
Это вне зависимости от системы бекапа, разумеется. Шифрую тем же раром.
А еще сразу разбиваю большие архивы на блоки по 2гб (это вообще опцией по умолчанию в WinRAR стоит). Это на случай, если вдруг не получится скачать клиентом, а только через веб-интерфейс, чтобы можно было в несколько потоков скачивать (одновременно несколько 2-гб блоков). Еще параллельно с Amazon храню зеркало в OneDrive (подписка Office семейный).
Хм, я тоже бью по 2Gb. Нам не один и тот же админ Amazon посоветовал? Впрочем, я не храню в OneDrive.
А я по 5Gb, бью. Хотя в качестве эксперимента залил файлв 300Gb, браузером выкачал и контрольную сумму проверил — всё было норм.
Можете попробовать OneDrive. Раньше было 10 тб на аккаунт, сейчас по 1 тб, но в семейном тарифном плане вам дают 5 учеток по 1 тб. Скорость загрузки на(с) сервер(а) хорошие, файлы целые. Но есть тоже нюансы: например, загрузка через встроенный в Windows 8/10 клиент осуществляется на очень медленной скорости! А если загружать через браузер и выбирать для загрузки не отдельные файлы, а какую-нибудь папку с подкаталогами, то есть риск того, что по какой-то неведомой причине часть файлов не будет загружена. Поэтому после загрузки я всегда сверяю приблизительный размер загружаемой папки на сервере OneDrive и на своей машине. Кстати, выбрать для загрузки папку можно в Crome, а в Firefox не получится — только отдельными файлами (в других не тестил).
Кхм. А вы, получается, бэкапы "руками" загружаете?
Да, "руками". Мне так показалось надежнее или привычнее, даже не знаю что более верно. Но по факту — готовлю архивы (установки "по умолчанию" нужные уже подогнаны), затем шифрую (тоже пара кликов), затем выбираю в официальном клиенте Amazon + в браузере в веб-интерфейсе OneDrive папку с зашифрованными архивами и оставляю на загрузку. Но я так делаю с мелкими файлами или с тем контентом, что нужен именно для архива (некой коллекции, которая используется весьма редко). Если же речь о каких-то фото, что использую часто или видео — то тогда просто BoxCryptor и сразу в облако. В таком случае можно потом с помощью мобильного приложения BoxCryptor открыть эти файлы на телефоне/планшете.
вот из-за этих нюансов и невозможно его использовать, даже с бизнес-версией клиента из офиса 365
так и не смог клиенту настроить синхронизацию рабочих пользовательских папок — пара десятков гигов/несколько десятков тысяч файлов — кряхтит-кряхтит, процессор жрёт, очередь харда забивает, на выходе хрен вместо синхронизации, поддержка как обычно
owncloud прекрасно справляется
несколько десятков тысяч файлов

А у них же там вроде ограничение на 20К файлов было?
В англ. версии пишут так:
Entire folders can be downloaded as a single ZIP file with OneDrive. For a single download, there is a limit of 4 GB or 65,000 files (whichever comes first).[clarification needed][citation needed]

Но я где-то с полгода назад натыкался на ихнем форуме поддержки на сообщение, что при попытке загрузки большого количества файлов, будет загружаться только 20К и потом клиент втихую ничего не делает, типа техническое ограничение.
ага, возможно, мы в это и упёрлись, но, во-первых, это тупо, во-вторых, нам саппорт ничего такого не ответил, просто предложил переустановить клиент-офис-винду, а потом развёл руками, а поднять owncloud гораздо быстрее, чем дожидаться эскалации саппорта
Не пользовался RAR с 90-х годов — вспомнил, что там было что-то на тему Recovery. А это уникальная фишка RAR?
Нет, есть опенсорцные альтернативы типа par2.
Архивы по 2GB многотомные rar зашифрованный.
Заливал acd_cli, качал и им же и через офиц. клиент последней версии (да-да, папку всю выкачал, там 2 архива network error).
Затронута интересная тема контроля целостности облачных бекапов. Один немаловажных из факторов выбора сервиса для бекапов. Основных варианта я вижу два, либо клиент проверяет контрольные суммы файлов время от времени, либо провайдер услуги.
На 5+Тб, даже проверка раз в месяц — это больше терабайта в неделю на скачивание, что для многих не вариант. И совсем не вариант, если скачивание файлов ограничено/платное.
Гуглом по запросу "имя_сервиса_бекапов integrity" нашел пока для Backblaze — "Every few weeks ALL of the files in the datacenter are passed over and re-read and the checksums are recalculated" и crashplan — "A regularly scheduled task that checks a backup archive for any corrupted files and self-heals those files". Crashplan не уточняет периодичность проверки на битые файлы. Т.е., как минимум, эти два сервиса проверки делают, но узнать, что что-то пошло не так, можно и через месяц после того как файл потерялся.
С таким же успехом может сломаться механизм проверки целостности, как и механизм хранения. Вообще я думал, что все файлы там бэкапятся на два сервера, хотябы… Но даже при этом в одном экземпляре (второй имею локально) я туда заливаю только то, что не очень жалко.
Бесплатная идея: заливать, тогда туда каждый файл в n экземплярах, что увеличит шансы скачать файл в n раз, если чисто по случайности эти файлы не скачиваются, план там всё равно безлимитный.
К сожалению, крайне вероятно, что n копий файлов дедуплицируются и умрут все вместе.
Каждую из n копий можно шифрануть своим паролем, если речь идет об архиве, то включение шифрования — это небольшая часть вычислений, по сравнению с созданием самого архива.
Хороший вариант, если целью стоит "забекапить в ненадежном облаке любой ценой", плюс кучу паролей надо как-то хранить. Бэкапы все же должны быть в разных местах — тем больше мест, чем важнее данные.
Но данные так или иначе будут в одном дата-центре / зоне доступности и всегда будет вероятность их уничтожения. К тому же у низкой цены и "безлимитного" тарифного плана для частников есть свои подводные камни — за мелкий прайс никто не будет гарантировать ни сколь-либо высокой SLA, ни возможности восстановить данные после сбоя, так как подразумевается, что в таком сервисе хранят личные данные обычных люди, да и "мужик всё стерпит".
Допустим, случится какой-то фатальный сбой дисковой подсистемы СХД в котором хранились данные с вашего аккаунта. Восстановят данные Н-дневной давности (если восстановят) и скажут что сделали что могли (и это будет правдой). Лучше хранить данные на двух ДЦ сразу, чем несколько копий в одном.
Да, имхо еще стоит все же иметь и локальную копию на всякий случай, а облако использовать как вариант "на крайний случай", если уж совсем все плохо с локальным хранилищем. NAS можно самому вполне себе нормальный и не очень дорогой собрать. Один раз вложиться и потом радоваться и полному контролю над данными и высокой скорости работы с ними.
Все swift'ы проверяют чексуммы во время background scrubbing.
>Так как я программист, то: Mac, Linux
Вы сейчас задели за больное. Чувствую себя не-до-программистом… Тема холиварная, да. Не будем.

По факту — действительно подробностей не хватает — что за архив, какой его размер итд. Возможно архив весит все 50 гбайт, тогда стоило поэкспериментировать, какие архивы удается скачать, скажем:
20гб — ок
25гб — ок
30гб — через раз
35гб+ — ошибка

Тогда и проблема станет яснее. В целом если у вас огромный фото-архив, то из миллионов фотографий — 2 фотки не загрузились — это я считаю «ничего страшного». Подробности в студию!
Собственно, не хватает перечня уже совершенных действий. Можно попробовать внутри облака, переместить, произвести архивацию, переброс на другой аккаунт.
Только эти действия могут усугубить ситуацию, например бэкап, если он есть того файла затрётся этой копией, и т.д. Но перечня не хватает, согласен.
Штука то в том, что официальный клиент Амазона не умеет синхронизировать. Поэтому есть сторонняя программа goodsync — она умеет и amazon, и google drive (то есть не надо ставить официальных клиентов на каждое облака — я бекаплю в 2 облака для надежности). Попробуйте — может оно сумеет скачать :)
Тоже люблю облака — на одном 10 гб, на другом 70 гб, но последнее сворачивается в мае окончательно.
Пока не подводили, но сейчас ищу что то до 100 гигов на замену. После таких ситуаций все больше убеждаюсь, что надежней (имхо) держать свой NAS, хотя и затратней при покупке конечно…
Счастливый человек Вы. У меня там 8Tb архивов, бэкапов, фото, и прочего — так просто не переехать)
Да, мои запросы намного скромней, не спорю) Ваши 8 Тб собирались долго и тщательно
Просто подумайте, что лучше уж вкладываться в свое «облако», чем платить дяде из амазона, а потом еще и просить месяцами отдать свои же файлы…
Диск на 8 Тб сейчас по цене 280$, это чуть больше 4-х лет амазоновской облака
Да и когда файлы на лично — паранойик внутри нас спит спокойней :)
Да, но он может поломаться — надо уже два + ещё один в географически отдалённом месте. А амазон я в основном так и использую, как отдалённое место, локально файлы тоже лежат)
Да, дублировать конечно желательно, но обязательно ли — каждый решает для себя сам) Я не спорю что накладно, просто рассуждаю об альтернативе.
Простите, предыдущий коммент ответил не туда)
Ну вы же сейчас где-то эти файлы храните. Тогда если вам дубликат не нужен, то зачем тут разговоры про _один_домашний_NAS?
Сейчас они в облаке, которое через месяц закрывается. Сверху все описывал
Да, дублировать конечно желательно, но обязательно ли — каждый решает для себя сам)
На ваши слова я бы сказал, что тогда все делятся на тех, кто ещё не решил для себя, и кто уже решил… :)
До не давнего времени держал все в OneDrive с подпиской (т.е. было 10 ТБ). Скорости, если честно не замерял, но 10 Мб/с точно отдает при синхронизации офф клиентом. Из минусов — нельзя дать ссылку на конкретный файл, только на страницу, где его можно скачать. Потери файлов никогда не наблюдалось, архив (около 4 Тб) частично синхронизируется на разные машины.
Но, лавочку прикрыли и через год оставят 1 Тб, вместо 10. Ищу альтернативу и тоже рассматриваю Амазон. Удивляет, что нигде нет клиента, аналогичного клиенту OneDrive из восьмерки, такого, который поддерживает жесткие ссылки в веб и позволяет не выкачивать все файлы, но иметь возможность в любой момент открыть из проводника.
«Так как я программист, то у меня и требования соответствующие...»
Не вижу связи. Я вот тоже программист, но у меня требования

Windows
Полный и монопольный доступ к моим данным (в том числе и физический).

Поэтому я предпочитаю свой NAS.
Это я к тому, что связь между «я программист, поэтому..» и вашими личными предпочтениями отсутствует.
Простите, не хотел никого задеть, я знаю что программисты бывают без Mac/Linux. Внёс исправления.
Полгода назад считал по стоимости, сколько стоит хранить 3 ТБ в облаке. В результате получилось, что дешевле взять распродажный выделенный сервер у Hetzner'а. В результате получаем два диска по 3 ТБ, которые необязательно цеплять в рейд, если данные не сильно важны, но даже с учётом 3 ТБ, этот сервер стоит меньше 30 евро в месяц. И получаем за эти 30 евро полноценный Линукс на довольно мощном железе. Про ограничения по трафику не помню, но вроде они практически безлимитными получались для сервера с бэкапами.
Реально облако чуть более идеально, чем свой серв такого рода. То, что нужно — не больше не меньше.
А, кстати, у hetzner свой сервис недавно появился для хранения как раз.
Да, согласен, что удобно и ничего лишнего, но вот так вот вызволять свои файлы… А если бы это была последняя копия восстановление которой вот прям сейчас крайне важно?...
этот сервер стоит меньше 30 евро в месяц.
Амазоновское неограниченное по объёму облако стоит меньше 60 евро в год.
На сколько помню, у Амазона надо платить за трафик. И с моими объёмами получалось как-то не очень дёшево.
За трафик платить — это другие сервисы у них.
Тариф Unlimited Everything без оплаты за трафик.
Но это только для частных лиц в США — они там сами пишут, что за пределами США ничего не обещают, и могут отключить в любой момент, но люди пользуются по всему миру, никому пока не отключали, вроде бы.
Хм… Надо будет посмотреть подробнее. Спасибо за инфу.
Чем дальше, тем больше утверждаясь в мысли, что лучшее «облачное решение» — это сервер в подвале. Можно даже свое «облако» развернуть, поставив второй сервер, например, на работе и завязав через тот же proxmox.
Да, у меня так и есть примерно. И этот сервер бекапит на облако.
тут должна быть картинка
Нет, мне кажется, что тут должен быть скриншот ошибки, текст писем и ответы саппорта. «Пруфы», так сказать.
Да, я думал об этом, но поленился. Ну а что отписки саппортов читать.
Вот только сегодня скриншот о том, как они усердно (уже около месяца) работают над этим: http://jmp.sh/DZ2QzSE.
Ну хоть работают. Если вопрос разрешится — ждем комментарий с новыми подробностями.
Вы знаете, это ужас. Я же правильно понимаю, что вы платный клиент?
По своему опыту могу посоветовать написать в стиле "все пропало, мой бизнес простаивает, я теряю деньги из за вас!" и пинать их каждый день.
Да, но у них в условиях написано, что только для частного использования. И вообще сервис гарантирован только на территории США (как то так), и если клиент не выходит за рамки среднестатистического использования сервиса, а что подразумевается по среднестатистическим — они решают сами, ну и т.д.
Держать важные данные в одном месте — то же самое, что и не делать бакапы. Я фотки храню в облачных сервисах. В Двух. Так спится спокойнее.
А как обновляете? Тоже каждую новую фотку бережно кладете в оба облака? Не запаривает так делать?
Это как хранить свой домашний фотоальбом в банковской ячейке — безопасно, но смысл теряется, если ты не можешь нормально пользоваться…
У меня iPhone. Соответственно, медиатека iCloud + приложение Google Photos. Это самое идеальное решение, которое я нашел. И то и другое без проблем в фоне автоматически заливают новые фото в облака. В одном хранятся оригиналы, в другом — просто фотографии очень хорошего качества.
Использую облака, т.к. к ним уже есть написанное приложение, которое автоматически грузит фотки. По этой причине все домашние NAS и синхронизаторки вида ownCloud проходят мимо.
owncloud прекрасно автоматом льет фото и видео с телефона. Только на яблоках эта функция отсутствует из-за ограниченности доступа к файлам в iOS.
В яблофонах функцию автозагрузки нельзя реализовать как мы все привыкли (приложение в фоне) не из-за "ограниченности доступа к файлам в iOS", а из-за особенности жизненного цикла iOS приложения.
Однако за данные про функционирующее приложение на android — спасибо.
а что там не так с жизненным циклом?
Нет возможности запустить приложение в фоне на постоянной основе. Система может запустить приложение только в строго ограниченных случаях, которые оговорены в документации. И подписаться на изменение фотобиблиотеки таким образом, чтобы система загружала приложение при изменении в фотобиблиотеке нельзя. Подробнее здесь https://developer.apple.com/library/ios/documentation/iPhone/Conceptual/iPhoneOSProgrammingGuide/BackgroundExecution/BackgroundExecution.html
синхронизаторки вида ownCloud проходят мимо
Google Photos и ownCloud на айфоне работают одинаково: запустил приложение — оно отправляет фотки к себе на сервер, свернул приложение — оно поработает минут пять в фоне и отвалится. Поэтому я и отказался от аналогичной функции Dropbox — оно никак не могло выкачать к себе все фотографии, а постоянно активировать его мне лень.

Технически можно это ограничение несложно обойти — к примеру, скайп и навигаторы могут работать в фоне, но вряд ли Эпл пропустит такое в аппстор, так как это будет использованием не по назначению.
Первоначальный объем данных можно закачать ночью — держать телефон включенным. Позже, при повседневной работе, при условии отсутствия ограничений (Обновление контента), Google Photos отлично загружает фотографии в фоне.
Спасибо, не знал.
Видимо, сервер регулярно будит приложение пушами.
Отдаёте данные на хранение чужому дяде будьте готовы что они их потеряют/изменят/продадут. Почему то современные люди забывают эту простую прописную истину. Это называется: риски. Будь то хостинг сайта/почты/любого сервиса, виртуальный сервер или выделенный, облако и все что угодно, что не хранится на своём физическом носителе = всё это подвержено в той или иной мере подобным рискам. А что хранится на своих носителях подвержено другим подобным рискам кражи/изменения/потери информации.
ACD напоминает китайскую флешку, данные заливать заливаются, а сможешь ли скачать обратно?!
UFO just landed and posted this here
UFO just landed and posted this here
Поддержку автора. Сам пользуюсь Glacierом и пока очень доволен. Данные заливаются с домашнего NASа автоматически по cron`у (полные и инкрементальные бекапы, причём как на свой сервер, так и в облако) в зашифрованном виде и с избыточностью (для восстановления архива при повреждении). Особо важные данные храню сразу и в EC и в США. Также периодически делают бекап на съемные носители (но т.к. это делается в ручную — периодичность хромает).
Yandex Disk — 200 рублей в месяц за терабайт с постоянным доступом и отличной скоростью
UFO just landed and posted this here
Кстати, насчёт CrashPlan — саппорт произвёл на меня хорошее впечатление. Хотя бы видно, что кто-то там технический сидел и что-то в этом понимал. Но я им звонил по телефону.
UFO just landed and posted this here
UFO just landed and posted this here
Да, там вроде Linux не поддерживается, а у меня как раз домашний сервер на нём, поэтому из рассмотрения выпал.
У меня был Crash Plan, и вот он мне пригодился, т.к. диск слетел.
Неделю я качал с него, скачал только 15%. Качалось со скоростью 30-50 килобит/сек.
Потом восстановил диск и подписку на CrashPlan отменил.
Sign up to leave a comment.

Articles