Как стать автором
Обновить

Комментарии 138

глиняные таблички
Есть предположение, что сейчас начнут предлагать RAID'ы всякие)
Обычный бытовой потребитель хочет просто: 1.Приобрести 2.Записать 3.Открыть через много лет и не разочароваться.

Так не бывает. Но не переводятся на Руси в интернете охотники на единорога самый лучший и надёжный накопитель на который можно записать всю свою самую важную информацию в одном экземпляре и ничего не бояться.
Кто что может посоветовать?

Все велосипеды уже давно изобрели: две (или более, в зависимости от степени вашего желания не потерять данные) копии на географически удалённых носителях, CRC, регулярная проверка, замена сбойного носителя сразу по выявлении.
Тип накопителя по вкусу. IMHO, внешний HDD на 2.5 дюйма в настоящий момент удобнее всего для «бытового потребителя».
Это понятно. Но он тоже не вечен. Даже при максимально правильном хранении в сухом, теплом и без солнечном месте приведет к необратимым последствиям и я не уверен, что он не размагнитится за длительный срок хранения. Неужели, лучший выход, регулярная ревизия и обновление носителей?
Верно, регулярная проверка с заменой неисправных носителей.
Неужели, лучший выход, регулярная ревизия и обновление носителей?

Можете отлить в граните. Нет, ничего особо долговечного для записи больших объемов информации не существует. Ваш реальный выбор — между LTO и обычными хардами (эргономически удобнее на 2.5'', как правильно заметили). В первом случае ревизию можно проводить пореже (зависит от количества копий, разумеется), но вам нужно будет оборудования для чтения/записи. Во втором — ревизию проводить почаще, но считать/записать проблем не будет. Если у вас две копии, то я бы сказал, что для LTO будет разумным ревизия раз в 5 лет, для хардов — раз в год. Если больше — можно и побольше перерывы.

LTO кассеты должны сохранять данные практически без ошибок в течение 30 лет. Потом перезаписать надо будет на что-то более современное. Привод только сохраните и то, к чему его подключать.

Я бы сказал что несколько приводов… Как минимум 2-3… И как минимум один из них в состоянии хорошей консервации…
А то может произойти ситуация, что к моменту востребованности в пределах доступа не окажется работоспособного необходимого оборудования…
Поэтому я и агитирую использовать SATA винчестеры — сейчас это наиболее массовый интерфейс, и даже спустя долгие годы вероятнее всего сможете найти гика, у которого на чердаке лежит пара компьютеров или переходников на него…
Вопрос сохранится ли сам винчестер и данные на нём — очень сложный.
Плотность записи на сегодня слишком высокая, механизмы уже давно очень точные и боятся буквально всего…
Во всяком случае стоит избегать дисков чрезмерной плотности записи и содержащих какие-либо газы вместо воздуха в «банке» накопителя — вероятнее всего тот же гелий через несколько лет покинет место хранения и считать данные станет почти невозможно без специального оборудования, даже если поверхность к тому времени еще не размагнитится…

А дальше еще очень интересный вопрос.
Количество информации и бюджет, который можете себе позволить для её сохранения.

Если это небольшой текст — так может просто распечатать одну из копий? (не забывая что тонер может со временем претерпеть физико-химические изменения, некоторые чернила в принтерах боятся воды и/или солнечного света и тп)
Недавно с удивлением увидел в одном из дешёвых офисно-домашних принтеров HP 10 летней давности опцию «архивная распечатка» — режим при распечатки оптимизируется для долгого хранения документов. Не написано в чём существенная разница, но подозреваю что там будет как минимум выше температура запекания тонера на бумаге…

А так все грамотные комментарии сводятся к одному — делать много копий, делать их часто, проверять работоспособность, хранить в правильных условиях для носителя, хранить физически удалённые копии...., Хранить на актуальных носителях… Выбирать достаточно популярные интерфейсы и варианты оборудования…

В общем ни просто хранение, ни актуализация, ни сами носители суммарно дешёвыми не получатся…
лента. LTO, уровень — по бюджету. раз в 10 лет — переходить на уровень доступный по бюджету в это время.
но один носитель никогда не будет надёжным. так-что:
плюс — облако или два. обновлять часто.
плюс жесткий диск в сейфе. обновлять пару раз в год.

в общем — дешево и без усилий — не получится.
Раз в несколько лет переписывать все архивы на современные к текущему моменту носители. Все держать как минимум в трех экземплярах. SSD теряют информацию, если долго отключены от питания.
Облака — дело хорошее, но они могут быть лишь одним из дополнительных мест хранения.
Особо ценную информацию лучше хранить не только в нескольких экземплярах, но и на носителях разных типов.

Старые HDD (с воздухом). Никаких RAID и прочего, но при записи на диск архивировать с записью информации для восстановления в количестве 5-10% на архив. Но все равно раз лет в пять придется перезаписывать данные, ибо FAT/NTFS имеют не настолько защищенные элементы на том же диске.

Как вариант, на HDD создавать два раздела с дублированием информации. Они физически в разных местах диска будут расположены.

Угу. С SSD такое не прокатит, а с хардами ещё может.

Кстати как отличить диск с воздухом от диска с гелием?
по отсутствию «Do not cover this breath hole» надписи :-)
на самом деле — по спекам, внешнему виду корпуса…
Вооот!
А я думал там есть хотя бы какая-то метка или прямо написано типы Air или Helium

На гелиевых, кстати, пишут (не везде). Так что отличить можно. В крайнем случае есть загугли по модели.

Храню важные данные:
* 2 копии на разных HDD в одном компе (права доступа к архивам на всякий случай жёстко ограничены) +
* Одна копия на внешнем HDD +
* Одно копия в облаке, зашифрована.

Недавно спасал так фотографии трехлетней давности, что побились по неизвестной причине…

Но сейчас задумываюсь чтобы перекодировать фото/видео во что-то с меньшим размером, пусть и с потерей качества, а то уже почти терабайт в основном видео и оно растёт…

Другой вопрос если со мной что-то случится (заболею и т.п.). Никто не может этим воспользоваться и если фотографии можно какие-то напечатать, то что делать с видео, не представляю. Как детям передать их детские фото-видео чтобы они могли лет через 20 их посмотреть?
Однажды я захотел посмотреть свое детское видео на кассете VHS. А она размагнитилась. Вместо видео шумы. Значит, передавать нужно не только носители, но и всю «инфраструктуру» и «регламенты» по их ведению. Иными словами, в быту информацию надежно сохранить невозможно. При локальных катаклизмах или при смерти ответсвенного лица она, скорее всего, будет утрачена в значительном объеме (а то и целиком).

Как детям передать их детские фото-видео чтобы они могли лет через 20 их посмотреть?

Распихать везде где можно. По друзьям-знакомым, в интернете в открытом доступе. С потерей приватности, конечно. На практике наиболее живуча та информация, которая находится в свободном обращении и постоянно реплицируется.
Хотя, в принципе, если хотите именно картинки и именно для детей, то 20 лет выдержат хорошие DVD, продублированные на 2-3 копии. Но можно не найти дисковода. Придется законсервировать парочку приводов и оставить инструкции по их подключению и спецификациям компьютера, который детям предстоит найти на блошиных рынках
ЗЫ: а потом выяснится, что детям созерцать себя в в прошлом не так уж и интересно, и все это хозяйство будет выброшено, потому что фотографии вы делали для себя.
Вас послушать, так самый хороший способ передать детям и правнукам свои фото и видео — это стать нестандартной и колоритной порно-вездой. Выпилить такие видосы из интернета уже будет практически невозможно. Всегда найдутся упоротые и очень аккуратные ценители, которые бережно сохранят и передадут потомкам свою коллекцию.
CD и DVD диски не лучший способ хранения. Записывал и CD и DVD диски, проверял правильность записи, диски лежали в коробочках, при комнатной температуре, никто их даже не доставал из коробок. Через несколько лет — ошибки чтения.
Пока для себя выбрал вариант записи на HDD с резервным копированием. HDD лежат «в столе» — подключаются только иногда. Регулярно диски меняю — старые продаю, а вместо них покупаю новые, большего объёма.
А CD и DVD диски перезаписываемые или с однократной записью? У меня 20-летние CD с однократной записью вполне читаются.
Однократные. Производства TDK и Verbatim.
НЛО прилетело и опубликовало эту надпись здесь
У меня dvd(?)rw через 10+ лет прочитались без проблем. Обычные, покупал упаковку 50 штук.
НЛО прилетело и опубликовало эту надпись здесь
Посмотрел стоимость LTO на рынке… Немного в шоке. Не из дешевых удовольствие…
а вы на топовые поколения не смотрите. скромнее надо быть. LTO-5 вот выше написали — вполне приемлимая цена…
А подскажите, где можно ознакомиться с характеристиками\ценами? На порталах больших электронных магазинов информации ноль, только цена… Тут не гонка за современностью, а именно за сохранностью. Объем, установлю, условно 500 Гб… Возможно, смо временем людям потребуется 1Тб для ключевых данных. Более — это ни к чему
НЛО прилетело и опубликовало эту надпись здесь
Цены — на avito. Я, когда собрался продавать несколько лет назад выведенную из эксплуатации LTO-5 библиотеку от HP, был неприятно удивлён тем, что она стоит максимум 200 евро. Будьте готовы в SCSI-интерфейсу, если библиотека/стример старые. Характеристики накопителей есть даже в Википедии.
livsius правильно ответил что просто на Wikipedia все данные имеются. Добавлю, что скорость записи на LTO4/5 около 120-140 MiB/sec, а на более поздних поколениях и того выше — поэтому ещё нужно не забывать про то, что на стример с этой скоростью вы должны отдавать данные без передышки, иначе он будет останавливаться, отматывать ленту назад, дальше продолжать писать. Это существенно замедляет процесс записи и изнашивает ленту. Если 140 MiB современный жёсткий диск и может отдавать, то больше уже не каждый осилит. SSD легко обеспечит скорость, но не часто они бывают объёмом в несколько терабайт чтобы за раз записать одну ленту. Плюс не забывать что наверняка интерфейс подключения будет SAS и возможно понадобится контроллер докупать для этого.
НЛО прилетело и опубликовало эту надпись здесь
У меня HP Ultrium LTO5 привод внешний. Не видел ни разу чтобы замедлялся. Останавливается и перематывает назад. Ну, наверное зависит от модели или ещё чего.
НЛО прилетело и опубликовало эту надпись здесь
Подскажите модельку, если не затруднит?
НЛО прилетело и опубликовало эту надпись здесь
НЛО прилетело и опубликовало эту надпись здесь
Не бывает универсальных во всех смыслах носителей. Здесь как обычно работает «выберите 2 из 3х», стоимость, долговечность, объём. Если рассуждать из соображений экономии денег, то наилучший вариант следующий:
Нет необходимости в одном универсальном, великом и могучем носителе. Просто нужно делать больше копий. И чаще. Не на 1 диск с проверкой раз в 15 лет, а каждый квартал/год (сколько там гарантированная надёжность у выбранного в каждом случае носителя). Будет у вас через 15 лет 15-115 носителей разного возраста, хранившихся в разных местах и разных условиях. Ну какой-то прочитается. А когда ценность записанной информации для вас, потомков или окружающих упадёт ниже, чем стоимость копирования — вот тогда информация и будет рисковать исчезнуть совсем. Но учитывая количество созданных за это время копий — вы можете рассчитывать на шанс сохранения информации хоть на каком-то историческом промежутке.
Если у вас носитель с надёжностью 99%, то самый простой способ повысить надёжность — записать на 2-3 носителя и хранить их в разных местах. Главное учитывать сроки эксплуатации и своевременно делать дополнительные копии. Если вам или ответственным лицам лениво и дорого делать копии — значит эту информацию вовсе не следует хранить.
НЛО прилетело и опубликовало эту надпись здесь
Обычный бытовой потребитель хочет просто: 1.Приобрести 2.Записать 3.Открыть через много лет и не разочароваться.

Маловероятно. Даже если носитель это доживет, не факт что доживёт устройство чтения носителей. Так что просто положить и достать через сто лет скорее всего не выйдет, так как сложно будет найти привод, либо подключить его, так как интерфейсы поменялись. Как показала история, при соблюдении условий хранения неплохо держатся кинопленки. Из цифровых носителей можете посмотреть в сторону m-disc. Ну и ещё можно раскидать все по нескольких облачным сервиса и своевременно заменять сдохшие.


P.S. Те кто посоветовал SSD с внешним питанием вообще странные люди. Тогда уж лучше воздушные HDD.

НЛО прилетело и опубликовало эту надпись здесь
Выключенный HDD уязвим для внешних воздействий всего лишь чуть большую малость, чем SSD. Если бить молотком, то HDD придёт в негодность немного раньше. Но немного.
НЛО прилетело и опубликовало эту надпись здесь
А болванки M-disc вообще в РФ продаются?
Чуть было не купил пишущий их привод, но попробовал поискать болванки — а их нет. Ближе всего с amazon/ebay заказывать.
На Украине продают, хоть и не очень массово и только BD-R фирмы Verbatim. Диски ёмкостью 25 ГБ примерно по 300 рублей, диски 100 ГБ примерно по 1000 рублей.
Я правильно понимаю, что для записи Mdisk используется обычный BlueRay привод?
Как я понял, немного по-гуглив, нужен тот который умеет M-Disc писать.
В Wikipedia написано, что писать нужно на приводах совместимых с технологией M-DISK. А читать на любом приводе понимающем формат BD-R.
Тогда получается что отличие M-Disk, то есть их эта мега-прочность и вместимость в 100 гб, заключается только в специальном материале?
НЛО прилетело и опубликовало эту надпись здесь
Обычные Bluray не умеют писать M-диски точно. Там другие материалы и требуется заметно бОльшая мощность лазера во время записи.
НЛО прилетело и опубликовало эту надпись здесь
На сайте Verbatim есть описание, что это за зверь.
У меня несколько жестких дисков в машине, самый свежий — архивный, второй и последующие — рабочие, последний — файлопомойка. Когда файлопомойка дохнет — покупаю новый и переливаю на него архив, остальные по цепочке. Плюс к этому облако.
НЛО прилетело и опубликовало эту надпись здесь
Маловероятно, в моём режиме архивный диск обновляется где-то раз в 2 года. Есть конечно шанс что он навернётся раньше времени, но таки скорее всего не мгновенно, а мониторинг смарта у меня стоит. Скажем так, мой вариант не самый надёжный из существующих, но самый надёжный из бесплатных :) Просто я один раз озаботился переназначением дисков (физических) согласно их реальному состоянию и дальше поддерживаю эту систему.
Мне по наследству достались фотографии моих родителей, смотреть их как-то уж ностальгически больно, выкинуть не могу из-за чувства уважения.
Вопрос зачем наследников обременять своей памятью? Ведь на всё мозгу нужно примерно 20 дней и 3 года.
Ну не скажите! Нашей семьёй были утеряны фотографии деда, многие фотографии прадедов и прапрадедов долго искались и восстанавливались моими бабушками и дедушками! Так что, как наследник, внук, правнук, скажу, что для многих это актуально и целесообразно! Куда интереснее читать свою историю, а не написанную кем-то
Здесь есть разница.
Вам было интересно раздобыть НЕСКОЛЬКО фотографий деда.
А вашим внукам — зачем сотни часов видео и сотня тысяч фотографий из вашей жизни?

Мы для себя как-то определились, и ежегодно на новый год делаем подарки родителям — альбом (бумажный) с совместными фотографиями.

Во-первых, оно всегда доступно, лежит на полке.
А во-вторых, выбирая для этого альбома 40 снимков из того, что наснималось за год, ты очень сильно задумываешься над каждым и оцениваешь его ценность.
В процессе у меня даже было желание некоторые цифровые альбомы удалить полностью за исключением той пары снимков, которые попали в такой итоговый годовой альбом.
А вашим внукам — зачем сотни часов видео и сотня тысяч фотографий из вашей жизни?
Ценность — субъективна. Что будет полезно и интересно внукам и далее знать нам не дано, но детям нужно уж точно многое (сужу по своим наследникам, моими детскими фотографиями они интересовались очень активно, и «почему у тебя так мало!?» звучало не раз).
Я бы и сам с удовольствием посмотрел фото и видеоархив деда, и даже прадеда, если он был, конечно.
Мне интересно! Вам — нет? Причём мне хотелось бы увидеть именно максимум возможного, а уж что меня заинтересует, а что я отложу — решать лучше мне, а не деду, который может и хочет оставить себя только «в парадном виде, при сабле и медалях» — но как раз это спустя годы и становится скучным, а вот бытовые вроде бы материалы — так играют!
Так что пусть потомки сами решают, что хранить, а что отложить-удалить.
Моё дело — дать им в будущем возможность выбора.
Бумажные копии хотя и «классический вариант», но крайне грустное качество, зависимость от формата, да и время, увы, издевается над ними безжалостно.
Хороший структурированный по датам и тегам цифровой архив оставить после себя не будет лишним. Он много места в будущем вряд ли займёт, наши терабайты они наверняка уместят на кончике иглы. Главное, чтобы наши архивы смогли прочитать и восстановить.
ИМХО надо рассматривать вариант с удалённым хранением данных. Тут вариант или облако, или какой-нибудь НАС у родителей/друзей/бабушки.
Диски, ссд и прочее это хорошо, если у вас дома есть сейф, который спасёт их, например, в случае пожара, потопа, etc.
Но главное — любой бекап всегда нужно проверять на работоспособность!
мои мысли но они не дешевые:
1. Копий должно быть несколько в разных местах.
2. Копии должны быть на разных носителях HDD/SDcard/BD/Облако.
3. Время от времени нужно мониторить состояние носителей и обновлять.
4. Менять носители на актуальные, например сейчас глядя на «разнообразие» и «доступность» оптических приводов можно сказать что свои они отжили.
PS. В общем ситуация как обычно в IT индустрии чтобы оставаться на месте надо бежать.
Мне кажется, что Amazon Glacier и NAS является самым оптимальным по соотношению цена\объем\затраты. Надо только разделять архивирование и резервирование информации. Т.е. на NAS складывается информация которую жалко потерять (но ничего страшного в целом не произойдет) + критичная (за восстановление которой вы готовы заплатить любые деньги — фото, видео). В облако уходит только критичная. В идеале, должна быть настроена односторонняя синхронизация — NAS мог писать данные в облако, но не мог изменять\удалять данные. А то коллеги столкнулись лет 7 назад, когда шифровальщик прошелся по данным и они отреплецировались на бэкап-сервер.
Идеальный вариант (с точки зрения именно долговечности) — запись в микросхемы PROM.
Это однократно записываемое ПЗУ. То есть совсем-совсем однократно.
И никогда ничем не стираемое (кроме как молотком).
Будет как вылито в граните (tm).
Но за цену вопроса даже не спрашивайте (кстати интересно узнать какова она на сегодня).

Неа… иногда пережженные перемычки востанавливаются.

Пруфы.
Этого не может быть, потому что не может быть никогда.
Разве что недоспали транзистор (там не перемычки, а транзисторы, насколько я помню)

Сам лично сталкивался. В одной из схем Спектрума использовалась однократно "прожигаемая" ПЛМ. Через год взяла и перестала работать. Анализ показал (благо на панельке стояла), что одна перемычка востановилась. Как выяснилось, к таким же эфектам склонны и просто PROM (технология та же в принципе).


А так с ходу… wiki/PROM
Программирование заключается в пропускании через соответствующую перемычку тока, который её расплавляет или испаряет. Восстановление расплавленных перемычек невозможно.

Несмотря на кажущуюся надежность такого решения, эта технология оказалась весьма капризной. Металлические перемычки при программировании образовывали капли и пары металла, которые оседали обратно на кристалл в самых неожиданных местах с соответствующими неприятными последствиями. Поликремниевые перемычки имеют способность к самовосстановлению за счет миграции атомов.

Ааа…
Ну тогда осталась только перфолента.
Или перфокарты из титаниума :-)

Золотая пластинка «Вояджера»

Золото более инертно, но и более пластично.
Но если надо сохранить своё селфи для далеких потомков — то да, на золотых перфокартах. И в хранилище ядерных отходов.
С архивами/бэкапами есть золотые правила:
0. Делать бэкап (архив)
1. Иметь несколько копий, минимум — три
2 Иметь инструменты проверки целостности (минимум — хэши) и восстановления
3 Регулярно проверять копии (как просто целостность архива, так и возможность восстановиться из него)
4. Хранить копии в разных местах
5. Шифровать копии для защиты от несанкционированного доступа, ключи — бэкапить усиленно
6. Выбирать надёжные носители
7. Помнить, что RAID — не есть создание нескольких копий
8. Стоимость создания и хранения архивов не должна превышать стоимости хранимых данных

Самое главное — ранжировать данные по важности и актуальности, отсюда автоматически получаем:
— сколько копий необходимо
— требуемый объём
— срок хранения
— необходимость шифрования или иной защиты
— регулярность проверки
— нужно ли географически разносить копии
— стоимость самих данных

На мой взгляд, ленты стоит использовать при суммарных объёмах архивов от нескольких десятков терабайт, при меньших объёмах обычные HDD выходят проще, дешевле, удобнее и компактнее.
Если решено использовать ленточные носители, то очень рекомендую иметь два привода (!), ибо может так оказаться, что записанное на одном ничто другое не прочитает…
Если решено использовать HDD или SSD, то лучше не использовать только одну модель и тем более из одной партии. Иные носители — скорее опасная экзотика))
Несколько копий, хранящихся на одной машине лучше считать одной копией, даже если они на разных носителях. Аналогично — ленты в одной библиотеке, ибо они все могут быть повреждены самой библиотекой или неисправным приводом.
Облако не является каким-либо особо надёжным долговременным хранилищем, к сожалению. Были прецеденты, когда провайдеры услуг ставили клиентов перед свершившимся печальным фактом. Тем не менее, пренебрегать облаком тоже не стоит, если это экономически выгодно.
Наконец, нужно помнить, что три копии — это самый минимум, а без контроля целостности сложно оценивать состояние архива, используйте хеши файлов как минимум, а лучше — полноценные системы.
Про SSD валялся на полке OCZ Vertex не включавшийся с 12 года, год назад включил, нужен был диск для компа, а он живее всех живых, 8 лет без питания и все данные целы.
Я понимаю, что это скорее исключение, но все равно был приятно удивлен.
У вас там SLC или MLC, где на одну ячейку 1 или 2 бита. Соответственно утекание заряда там менее критично, а вот с QLC и прочими всё хуже.
Если знание английского позволяет, есть /r/DataHoarder, где встречаются подобные обсуждения.
Вы ещё QR коды посоветуйте))
Отличный вариант! А дальше хоть на бумаге печатай, хоть гравировка на металле или стекле. А можно с помощью 3D принтера сделать пластиковую копию.
Пожалуйста. Но тут плотность записи сильно меньше чем в paperbak.
Разные типы носителей(флешка, SSD, HDD, DVD,CD) каждого типа по нескольку штук от разных производителей. И если не надо хранить террабайты архивов, то выйдет относительно не дорого
Есть ещё возможность распечатать на бумаге в машиночитаемом формате и использовать все существующие методы сохранения бумажных носителей.
Самым перспективным из недоступных простым смертным сейчас выглядит лазерная гравировка в толще кристалла.
Похоже что пока человечество ничего лучше бумаги (и ответвлений типа «пластиковые / деревянные / металлические книги) в плане хранения информации не придумало.
А потом окажется, что бумагу пожрал хомяк, чернила окислились и испарились, из-за повышенной влажности листы слиплись, пластик разложился от ультрафиолета, дерево пожрали жучки, а металл заржавел. А ещё бумага иногда горит.
С бумагой множество проблем на самом деле, поэтому создают специальные архивы. И если прикинуть, сколько на всё это тратится, то окажется, что долговечность гораздо проще соблюдать реплицированием.
Хомяк может пожрать и магнитные ленты, окислиться они тоже могут, ну и сгореть может всё тем более.
То есть, скажем так, все негативные эффекты времени сказываются на других носителях ЕЩЁ сильнее, чем на бумаге.
Но насчёт реплицирования вы совершенно правы, средневековые монахи веками занимались именно этим — переписывали с древних книг в новые, так и сохранили большинство древних текстов.
Ответ один: самые ценные фотографии — распечатать на качественном бумажном носителе, положить в упаковку, которая за 100+ лет не устроит какой-либо химической реакции (бумажный конверт например), и убрать туда, где нет прямого солнечного света и влажность не стремится приблизиться к тропическому лесу. Сохранность будет исчисляться веками, доказано рукописями и прочими бумажными аналоговыми носителями и фотографиями девятнадцатого века.
У меня следующие выводы по жизни с хранением данных вышли:

* компакт-диски отпадают — самый ненадёжный вариант. В лабораторных условиях или с хорошо сделанными дисками возможно проблем и не так много, но на практике все они паршивейшего качества
* SSD/флешки не вариант — заряд утекает по определению: нужно постоянно перезаписывать данные, регенерировать заряд. Дорого
* HDD один из лучших вариантов, но тоже надо перезаписывать данные время от времени (например просто dd-ой с одного диска на другой переливать). Массив мне кажется излишен — проще просто по две копии (хоть dd-ой) делать, ведь всё-равно они не в подключённом виде лежат
* Для себя для долговременного хранения использую LTO (4/5) ленты. По две географически разделённые копии. Плюс особо важные данные и на HDD внешних

А также не забывать хранить рядом checksum-ы (или дампы ZFS, где checksum-ы встроены), иметь по две копии всегда.
А также не забывать хранить рядом checksum-ы (или дампы ZFS, где checksum-ы встроены)
Архивация (возможно, и без сжатия) с определённым процентом избыточности не лучше, чем checksum-ы?
Во-первых, на накопителях типа HDD и лент и так заложено немало избыточности. Добавление избыточности каким-нибудь par2 не будет ощутимым изменением. Если накопитель уж начнёт сыпаться (ошибки будут доходить до уровня ОС), то (на моей практике), несколько процентов par2 избыточности редко помогут.

Во-вторых, если накопитель уже начинает сыпаться, то нужно задумываться о смене носителя, записью на новый. Избыточность уровня par2 всё-равно не отменяет надобность наличия второй резервной копии. Checksum-а хороша тем, что просто отвечает на вопрос всё ли хорошо. Если нет, то в любом случае идём за второй резервной копией и делаем новую, так как первая уже сыпется (или диск размагничивается от и требует перезаписи). В случае с par2 мы может и прочитаем все данные без помех, но всё-равно получим сигнал о том, что всё-равно надо менять/перезаписывать сыпящийся накопитель.

Хуже от избыточности не будет, если она подразумевает сильную проверку целостности (криптографический хэш например), но по моему это сильныхй overhead для HDD и лент. Безусловно подразумевается наличие ещё одной резервной копии (второй ленты/HDD/whatever). А если второй копии нет, то её надо сделать, а не надеяться на избыточность уровня par2.
НЛО прилетело и опубликовало эту надпись здесь
Вторая копия это +100% к избыточности. Если её не хватило, то значит иметь ещё копию дополнительно. par2-like избыточность это всего-лишь доли (как правило), а тут сразу 100/200 процентов.

То самое правило 3-2-1 (три копии, два носителя, одна за пределами) как-раз тут хорошо применимо. Вероятность что два разных носителя (особенно разного типа), да ещё и все копии «полетят» крайне низка. Если пожар всё уничтожает, то хотя бы за пределами копия должна выжить.
НЛО прилетело и опубликовало эту надпись здесь
Ну так конечно следить и обслуживать надо. Если без этого, то это на авось, как повезёт. Или на ленты надеяться, что они действительно столько времени могут пролежать и ничего не будет, или просто на удачу.
НЛО прилетело и опубликовало эту надпись здесь
Да, смысл есть, спасибо.
Откопал CD диск 20летней давности. И он офигенски работает. Так что, диск это мой выбор. CD надежнее (легче востановить), dvd больше инфы.
Думается, что это ошибка выжившего.
Имею примеры нечитаемости дисков SONY и TDK записанных 10 лет назад и хранящихся в шкафу в закрытой корообке.
Аналогичная ситуация. Читая этот пост решил проверить свои диски записанные, посмотреть что сдохло и пора на свалку.
Замечательная статья-вопрос!
Тоже об этом думаю. С обывательско-прикладной стороны — как сохранить архивы, фотки, и т.д.

А еще и другие мысли приходят. Наша цивилизация достигла немалых высот, в значительной мере благодаря накопленным знаниям. Научные исследования, технологии, произведения исскуства, наконец. Но… сейчас почти все это хранится на магнитиках, которые и в микроскоп не разглядишь. А в последнее время так вообще, на заряженных статикой пылинках. Как все это хрупко… Прилетит большой метеорит, обесточатся дата-центры лет на пять. Заряженные пылинки разрядятся, и вуаля, нет всего этого нашего наследия, привет средние века…
НЛО прилетело и опубликовало эту надпись здесь

На мой взгляд вообще вряд ли стоит ставить задачу по выбору наилучшего носителя на длительный срок.
Перфоркарты вот наверно неплохо сохраняются, только вот что с ними делать сейчас, если вдруг надо будет сегодня прочитать какой-нибудь архив на перфокартах? :) А случаи такие бывают, как рассказывают…
Я бы подходил к задаче архивирования на длительный срок в первую очередь как к периодическому процессу, который включал бы в себя регулярный анализ сохранности данных, повторный выбор технологии хранения и перезаписывание всей информации.
Ну и все остальные соображения про избыточность, независимое хранение различных экземпляров и т.п. тоже, конечно, играют...

Считыватель перфокарт можно соорудить на коленке за пару часов.

:) Перфокарты были только для примера. Да и с ними не всё так просто. Ну, допустим, прочитали мы поток байтов с перфокарт. А дальше что? Там ведь когда-то раньше для этого наверняка какой-то софт был предназначен, со своей трудоёмкостью создания...


Ну а если что-то более технологичное себе представить? Ну, любой носитель для ленточного накопителя лет через 30… Устройств для чтения нет, элементная база для них — только в музеях, и спецификацию на формат данных тоже надо искать где-то, а потом ещё и реализовывать...

Ну так и далее через 50 лет может быть возможно будет намного проще считать магнитное, как и сейчас соорудить считыватель перфокарт?

Представьте: «берем универсальный магнитный считыватель и контролируемый двигатель для перемотки, запускаем прогу считывания разнообразных данных с автоматическим преобразованием в нужные форматы и через часик кассета считана».

Вот например, раньше для сканирования листа А4 нужно было покупать сканер, а сейчас фотку с телефона сделал в специальной проге и готово.

Ну, через 50 лет многое по-другому может уже оказаться, и вполне может быть, что и все архивы ведутся в облаках с унифицированным интерфейсом к ним на естественном языке… или через прямое подключение к мозгу… :) И что все необходимые антикварные спецификации форматов тоже где-то сохранены и систематизированы на случай, если вдруг понадобятся...


Только вот вопрос: как обеспечить сохранность информации на первые 10-20 лет из этих 50? :)

Как насчет децентрализованного облака вроде siacoin?
Боги сделали проще:
— создали ДНК;
— запихнули в самовосстанавливающийся носитель;
— дали ему пинка и сказали: «Плодись и размножайся» (самобэкап)!
… ходят клоны ДНК и думают: «На чём бы ещё сохраниться? Керамика, золото, бумага...»
Кристаллы!!! Будущая форма для длительного хранения… Или… (продолжение во второй части этой статьи)
Самое надежно, емкое и проверенное временем — грампластинки :-) Правда не очень понимаю как их писать…
Насчёт ёмкого стоит поспорить. Сколько там выйдет, килобайт 400 на сторону?
Кассета для ZX-Spectrum имела примерно такие показатели на 1 сторону (45 минут).
Похоже, что (факультативно: ламинированная) бумага с напечатанной на ней информацией может дать существенную фору всем остальным. Понятно, что бумага должна быть качественная, которая лет через десять не обратится в труху. Плюс должна быть защита от сырости и нагрева.

См. программу PaperBack. Подана как шутка, но вполне себе решение для такого случая.

У Hi-Tech носителей (диски, включая флэшки, в т.ч. оптические и пр.) есть один ма-а-аленький недостаток: пройдёт относительно немного времени, и считать данные будет попросту нечем. Вот и придётся постоянно переносить с носителя на носитель.
Что если я скажу вам, что очень многие древние «знания», дошедшие до наших дней, это результат многократного копирования, перезаписи не только с одного носителя (типа носителя) на другой, но даже с одной кодировки (языка) на другую. А иногда даже просто множественные следы (цитаты у других авторов), по которым специалисты восстанавливают исходное произведение.
Почему вам (я сейчас не про вас лично, а про тех, кто разделяет вашу точку зрения) так не хочется признать, что банальная практика перезаписи на носители с низкой абсолютной надёжностью и низкой ценой может быть проще и эффективнее, чем попытка найти универсальный и великолепный во всех отношениях носитель?

Перезапись хороша, если будет кому этим заниматься. А этим будет кому заниматься, если речь о данных, имеющих долгосрочную ценность для неограниченного круга лиц (например, порно-фильмы).
А вот если речь о семейном фото-архиве, то можно, конечно, воспитывать детей и внуков в собственной семейной коммуне так, чтобы хранение и перезапись семейного архива стали своего рода культом, но… хм...


Я бы сконцентрировался на разработке дешевого метода производства мелких стеклянных шариков с записью в них инфы лазером формируя пузырьки. Схема такая:
Берём песочек и делаем полностью автоматический завод по производству из него стеклянных бусин с данными внутри, закодированными положением пузырей от лазера внутри.
В каждую такую гранулу поместится немного данных, но мы же делаем действительно "холодное" хранилище и вопрос лишь в аккуратной индексации.
Размер и инертность гранул позволит им быть механически и химически устойчивыми к повреждениям. Слой стекла на поверхности позволит им пережить полировку. Запись осуществляется лазерами, а фокусировать их человечество умеет неплохо. Чтение можно делать многоракурсной фотосъёмкой через микроскоп. Можно добиться огромной избыточности. Легко делать конвейерные линии для автоматической обработки таких гранул. Легко параллелить любые процессы с ними.


Можно даже делать автоматические репликаторы таких данных, которые на входе принимают песочек (или стеклотару) и солнышко (всего этого полно на пляжах или в пустыне), а на выходе несметное число гранул с данными, которые даже экологию не портят.

А почему шариков, а не параллелепипедов? Мне кажется, их позиционировать проще: например, всегда ставить на широкую грань, минимальной гранью сверху. Конечно, уголки могут отколоться со временем, но если задать определённую глубину записи пузырьков, то это не очень страшно.

Капельки легче делать, они прочнее, позиционировать слишком точно не нужно, нужно просто снимать с кучи ракурсов и все делать программно

Стеклянные шарики отпадают. С ними тоже засада — они текут. Оконное стекло за сотню лет весьма сильно стекает вниз.

Это миф. Никто никуда не стекает за сотню лет.
Про стекла в домах — да, миф. Но стекло всё-таки аморфное тело и всё-таки течет. Впрочем, весьма медленно. Если не греть.

Значит надо делать робота репликатора, который будет кроме этих капелек еще и самого себя реплицировать=)

Этого стекания хватит на пару тысяч лет, если не царапать поверхность.
В ситуации с капельками, сколько нужно капелек для записи терабайта? Если по мегабайту на каждую, то миллион капелек. Тут информация больше будет храниться не в сколько в самих капельках, сколько в порядке их считывания. И вот эту информацию легко потерять, как и отдельные капельки из миллионов.

Решается нумерацией капелек и бешеной избыточностью. Ну и сами данные лучше не сжимать и не шифровать.

Нумерацией не особо решается, т.к. те же номера могут пересекаться для разных архивов или у разных людей.

Нет, это простая и тысячу раз решенная задача. В торрентах, например. Начиная с некоторого количества бит даже случайная генерация ключа становится уже достаточно надёжной в плане коллизий, а если использовать uuid с учетом времени и мак-адреса, то и вовсе вероятность коллизии сводится практически к нулю.

Ещё можно расположение и размер капелек соотнести с понятием CRC и контролировать нерушимость этой самой информации. Всё равно мы приходим к одному и тому же)
Оптимальный вариант — прибегать ко множественным носителям (той же бумаге). Я лично храню свои репозитории в виде множества зеркал, плюс переписываю на флэш-карты, плюс самое важное периодически на ту же бумагу.

Как-то так. По мне, оптимальный подход — чтобы при самом неблагоприятном развитии сохранилось хоть что-нибудь.

Действительно, избыточность и регулярное восстановление утерянного — это очевидный подход.
Однако многие забывают (хотя, пардон, вот Vaitek упомянул), что резервировать нужно и самого себя, в чьей голове хранится информация о том, что где лежит и как это обслуживать.


Это я к тому, что в первую очередь нужно разрабатывать стандарты хранения и регулярного восстановления и данных. Стандарты и алгоритмы следует публиковать в научных журналах и патентовать под открытой лицензией.


Лично я вижу пути решения вопроса долгосрочного хранения данных в первую очередь в программной плоскости. Аппаратные носители постоянно совершенствуются (иногда не в сторону увеличения надежности) и теряют обратную совместимость, но концепции потока цифровых данных, файловой системы, инкрементального хранения изменений, мне кажется, переживут нашу цивилизацию.


Нужно формировать стандарты хранения метаданных, стандарты версионирования, стандарты документирования и самодокументирования форматов, стандарты репрезентации данных (это когда мы формируем новую структуру хранения и представления данных, но при этом сохраняем старую и описываем в метаданных все связи и методы преобразования старой структуры в новую).


Придётся, блин, писать-таки на эту тему статью. Эх. Давно в загашниках тема статьи о вариантах реализации правильного Датахранилища Судного Дня.

Посмотрите эти варианты:
1) par2, par3 кодировщики или приложение multipar. Добавляет избыточность данных по типу Рида-Соломона. Можно выбрать процент. Сами данные никак не пакуются в этом случае в сравнении с тем же Winrar.


Затем данные и суммы можно в случайном порядке располагать на разные носители повышая вероятность выживания.
2) Как выше указывали: M-Disc обещают большую долговечность.
3) Как выше указывали: Amazon Glacier. Все дёшево, кроме вытягивания данных. Тут будет занимать или много времени или денег.


Но как писали комментаторы выше, тут ещё важна регулярность, если следовать пункту 1 и время от времени перепроверять архив и заменять сбойные носители, то риск выживания больше.

Есть мнение, что лучше всё-таки сжимать каким-нибудь простым алгоритмом, а потом добавлять избыточность. Причём сжимать не на верхнем уровне, а только сами файлы, причем не все. Тексты, к примеру, сжимать довольно бессмысленно. Их не так много. Уже сжатую графику во всякие jpeg и png, видео, пожатое кодеками сжимать не надо. А вот всякие другие разреженные форматы сжимать вполне можно каким-нибудь lzw мелкими блоками. Это может принести больше равномерности в избыточность.
тут однозначного ответа нет, у меня до сих пор HDD 12 летней давности работает без проблем, и DVD архивы лет уже 10 хранятся, тут вопрос как люди эксплуатируют носитель. А самым надежным, долговечным, компактным считается хранение в ДНК, но на сегодня это технология доступна только в лабораториях и дорогая.
Ну, с информацией-то все давно ясно, как сохранить. Вы лучше изучите, как на долгосрок сохранить деньги — так, чтобы они не истлели, не обесценились, их не украли и т.п.: ) Я даже не ставлю задачу прирастить.
ЗЫ: кто не в курсе — никак. На долгосрок нельзя сохранить, если не воспроизводить.
ЗЗЫ: кто не понял намек, поясняю: с информацией точно такая же ситуация (только перезаписывать).
Странный у вас пример) Если взять за эквивалент денег, скажем, старый редкий автомобиль, то со временем, при условии его бережного хранения он станет дороже. В плане информации, тут уже сложилась цепочка, люди повторяют друг за другом, всё предельно ясно. Как доберутся мои руки, перечитаю ещё раз все материалы, подниму информацию из сети и книг и попробую продуктивно и лаконично всё написать, если получится, для рядового обывателя. Я такую задачу ставил
Затраты на хранение и обслуживание могут перекрыть всю возможную выгоду. Плюс есть риск утраты/хищения. Не забудьте это учесть в своем описании.
НЛО прилетело и опубликовало эту надпись здесь
И правильно сделал. Коньяк не вино, со временем лучше не становится, так смысл ждать?: )
Новая идея. Выжигать лазером 3d-матрицы с данными внутри стеклянных капелек, капельки замешивать в бетонные кирпичи и блоки. Из блоков складывать шедевры архитектуры, желательно на Луне где-нибудь.
В процессе чтения информации постройка уничтожается?
Да, но это же холодное хранилище. Его не принято часто читать. К тому же по мере чтения можно и восстанавливать архитектурные формы.
Восстанавливать не подходит по условиям задачи. Нужно уметь читать, даже если технологии записи не актуальны или утеряны.
Зарегистрируйтесь на Хабре , чтобы оставить комментарий

Публикации

Истории