Комментарии 138
Обычный бытовой потребитель хочет просто: 1.Приобрести 2.Записать 3.Открыть через много лет и не разочароваться.
Так не бывает. Но не переводятся
Кто что может посоветовать?
Все велосипеды уже давно изобрели: две (или более, в зависимости от степени вашего желания не потерять данные) копии на географически удалённых носителях, CRC, регулярная проверка, замена сбойного носителя сразу по выявлении.
Тип накопителя по вкусу. IMHO, внешний HDD на 2.5 дюйма в настоящий момент удобнее всего для «бытового потребителя».
Неужели, лучший выход, регулярная ревизия и обновление носителей?
Можете отлить в граните. Нет, ничего особо долговечного для записи больших объемов информации не существует. Ваш реальный выбор — между LTO и обычными хардами (эргономически удобнее на 2.5'', как правильно заметили). В первом случае ревизию можно проводить пореже (зависит от количества копий, разумеется), но вам нужно будет оборудования для чтения/записи. Во втором — ревизию проводить почаще, но считать/записать проблем не будет. Если у вас две копии, то я бы сказал, что для LTO будет разумным ревизия раз в 5 лет, для хардов — раз в год. Если больше — можно и побольше перерывы.
LTO кассеты должны сохранять данные практически без ошибок в течение 30 лет. Потом перезаписать надо будет на что-то более современное. Привод только сохраните и то, к чему его подключать.
А то может произойти ситуация, что к моменту востребованности в пределах доступа не окажется работоспособного необходимого оборудования…
Поэтому я и агитирую использовать SATA винчестеры — сейчас это наиболее массовый интерфейс, и даже спустя долгие годы вероятнее всего сможете найти гика, у которого на чердаке лежит пара компьютеров или переходников на него…
Вопрос сохранится ли сам винчестер и данные на нём — очень сложный.
Плотность записи на сегодня слишком высокая, механизмы уже давно очень точные и боятся буквально всего…
Во всяком случае стоит избегать дисков чрезмерной плотности записи и содержащих какие-либо газы вместо воздуха в «банке» накопителя — вероятнее всего тот же гелий через несколько лет покинет место хранения и считать данные станет почти невозможно без специального оборудования, даже если поверхность к тому времени еще не размагнитится…
А дальше еще очень интересный вопрос.
Количество информации и бюджет, который можете себе позволить для её сохранения.
Если это небольшой текст — так может просто распечатать одну из копий? (не забывая что тонер может со временем претерпеть физико-химические изменения, некоторые чернила в принтерах боятся воды и/или солнечного света и тп)
Недавно с удивлением увидел в одном из дешёвых офисно-домашних принтеров HP 10 летней давности опцию «архивная распечатка» — режим при распечатки оптимизируется для долгого хранения документов. Не написано в чём существенная разница, но подозреваю что там будет как минимум выше температура запекания тонера на бумаге…
А так все грамотные комментарии сводятся к одному — делать много копий, делать их часто, проверять работоспособность, хранить в правильных условиях для носителя, хранить физически удалённые копии...., Хранить на актуальных носителях… Выбирать достаточно популярные интерфейсы и варианты оборудования…
В общем ни просто хранение, ни актуализация, ни сами носители суммарно дешёвыми не получатся…
но один носитель никогда не будет надёжным. так-что:
плюс — облако или два. обновлять часто.
плюс жесткий диск в сейфе. обновлять пару раз в год.
в общем — дешево и без усилий — не получится.
Облака — дело хорошее, но они могут быть лишь одним из дополнительных мест хранения.
Особо ценную информацию лучше хранить не только в нескольких экземплярах, но и на носителях разных типов.
Старые HDD (с воздухом). Никаких RAID и прочего, но при записи на диск архивировать с записью информации для восстановления в количестве 5-10% на архив. Но все равно раз лет в пять придется перезаписывать данные, ибо FAT/NTFS имеют не настолько защищенные элементы на том же диске.
на самом деле — по спекам, внешнему виду корпуса…
* 2 копии на разных HDD в одном компе (права доступа к архивам на всякий случай жёстко ограничены) +
* Одна копия на внешнем HDD +
* Одно копия в облаке, зашифрована.
Недавно спасал так фотографии трехлетней давности, что побились по неизвестной причине…
Но сейчас задумываюсь чтобы перекодировать фото/видео во что-то с меньшим размером, пусть и с потерей качества, а то уже почти терабайт в основном видео и оно растёт…
Другой вопрос если со мной что-то случится (заболею и т.п.). Никто не может этим воспользоваться и если фотографии можно какие-то напечатать, то что делать с видео, не представляю. Как детям передать их детские фото-видео чтобы они могли лет через 20 их посмотреть?
Как детям передать их детские фото-видео чтобы они могли лет через 20 их посмотреть?
Распихать везде где можно. По друзьям-знакомым, в интернете в открытом доступе. С потерей приватности, конечно. На практике наиболее живуча та информация, которая находится в свободном обращении и постоянно реплицируется.
Хотя, в принципе, если хотите именно картинки и именно для детей, то 20 лет выдержат хорошие DVD, продублированные на 2-3 копии. Но можно не найти дисковода. Придется законсервировать парочку приводов и оставить инструкции по их подключению и спецификациям компьютера, который детям предстоит найти на блошиных рынках
ЗЫ: а потом выяснится, что детям созерцать себя в в прошлом не так уж и интересно, и все это хозяйство будет выброшено, потому что фотографии вы делали для себя.
Пока для себя выбрал вариант записи на HDD с резервным копированием. HDD лежат «в столе» — подключаются только иногда. Регулярно диски меняю — старые продаю, а вместо них покупаю новые, большего объёма.
Нет необходимости в одном универсальном, великом и могучем носителе. Просто нужно делать больше копий. И чаще. Не на 1 диск с проверкой раз в 15 лет, а каждый квартал/год (сколько там гарантированная надёжность у выбранного в каждом случае носителя). Будет у вас через 15 лет 15-115 носителей разного возраста, хранившихся в разных местах и разных условиях. Ну какой-то прочитается. А когда ценность записанной информации для вас, потомков или окружающих упадёт ниже, чем стоимость копирования — вот тогда информация и будет рисковать исчезнуть совсем. Но учитывая количество созданных за это время копий — вы можете рассчитывать на шанс сохранения информации хоть на каком-то историческом промежутке.
Если у вас носитель с надёжностью 99%, то самый простой способ повысить надёжность — записать на 2-3 носителя и хранить их в разных местах. Главное учитывать сроки эксплуатации и своевременно делать дополнительные копии. Если вам или ответственным лицам лениво и дорого делать копии — значит эту информацию вовсе не следует хранить.
Обычный бытовой потребитель хочет просто: 1.Приобрести 2.Записать 3.Открыть через много лет и не разочароваться.
Маловероятно. Даже если носитель это доживет, не факт что доживёт устройство чтения носителей. Так что просто положить и достать через сто лет скорее всего не выйдет, так как сложно будет найти привод, либо подключить его, так как интерфейсы поменялись. Как показала история, при соблюдении условий хранения неплохо держатся кинопленки. Из цифровых носителей можете посмотреть в сторону m-disc. Ну и ещё можно раскидать все по нескольких облачным сервиса и своевременно заменять сдохшие.
P.S. Те кто посоветовал SSD с внешним питанием вообще странные люди. Тогда уж лучше воздушные HDD.
Чуть было не купил пишущий их привод, но попробовал поискать болванки — а их нет. Ближе всего с amazon/ebay заказывать.
Вопрос зачем наследников обременять своей памятью? Ведь на всё мозгу нужно примерно 20 дней и 3 года.
Вам было интересно раздобыть НЕСКОЛЬКО фотографий деда.
А вашим внукам — зачем сотни часов видео и сотня тысяч фотографий из вашей жизни?
Мы для себя как-то определились, и ежегодно на новый год делаем подарки родителям — альбом (бумажный) с совместными фотографиями.
Во-первых, оно всегда доступно, лежит на полке.
А во-вторых, выбирая для этого альбома 40 снимков из того, что наснималось за год, ты очень сильно задумываешься над каждым и оцениваешь его ценность.
В процессе у меня даже было желание некоторые цифровые альбомы удалить полностью за исключением той пары снимков, которые попали в такой итоговый годовой альбом.
А вашим внукам — зачем сотни часов видео и сотня тысяч фотографий из вашей жизни?Ценность — субъективна. Что будет полезно и интересно внукам и далее знать нам не дано, но детям нужно уж точно многое (сужу по своим наследникам, моими детскими фотографиями они интересовались очень активно, и «почему у тебя так мало!?» звучало не раз).
Я бы и сам с удовольствием посмотрел фото и видеоархив деда, и даже прадеда, если он был, конечно.
Мне интересно! Вам — нет? Причём мне хотелось бы увидеть именно максимум возможного, а уж что меня заинтересует, а что я отложу — решать лучше мне, а не деду, который может и хочет оставить себя только «в парадном виде, при сабле и медалях» — но как раз это спустя годы и становится скучным, а вот бытовые вроде бы материалы — так играют!
Так что пусть потомки сами решают, что хранить, а что отложить-удалить.
Моё дело — дать им в будущем возможность выбора.
Бумажные копии хотя и «классический вариант», но крайне грустное качество, зависимость от формата, да и время, увы, издевается над ними безжалостно.
Хороший структурированный по датам и тегам цифровой архив оставить после себя не будет лишним. Он много места в будущем вряд ли займёт, наши терабайты они наверняка уместят на кончике иглы. Главное, чтобы наши архивы смогли прочитать и восстановить.
Диски, ссд и прочее это хорошо, если у вас дома есть сейф, который спасёт их, например, в случае пожара, потопа, etc.
Но главное — любой бекап всегда нужно проверять на работоспособность!
1. Копий должно быть несколько в разных местах.
2. Копии должны быть на разных носителях HDD/SDcard/BD/Облако.
3. Время от времени нужно мониторить состояние носителей и обновлять.
4. Менять носители на актуальные, например сейчас глядя на «разнообразие» и «доступность» оптических приводов можно сказать что свои они отжили.
PS. В общем ситуация как обычно в IT индустрии чтобы оставаться на месте надо бежать.
Это однократно записываемое ПЗУ. То есть совсем-совсем однократно.
И никогда ничем не стираемое (кроме как молотком).
Будет как вылито в граните (tm).
Но за цену вопроса даже не спрашивайте (кстати интересно узнать какова она на сегодня).
Неа… иногда пережженные перемычки востанавливаются.
Этого не может быть, потому что не может быть никогда.
Разве что недоспали транзистор (там не перемычки, а транзисторы, насколько я помню)
Сам лично сталкивался. В одной из схем Спектрума использовалась однократно "прожигаемая" ПЛМ. Через год взяла и перестала работать. Анализ показал (благо на панельке стояла), что одна перемычка востановилась. Как выяснилось, к таким же эфектам склонны и просто PROM (технология та же в принципе).
А так с ходу… wiki/PROM
Программирование заключается в пропускании через соответствующую перемычку тока, который её расплавляет или испаряет. Восстановление расплавленных перемычек невозможно.
Несмотря на кажущуюся надежность такого решения, эта технология оказалась весьма капризной. Металлические перемычки при программировании образовывали капли и пары металла, которые оседали обратно на кристалл в самых неожиданных местах с соответствующими неприятными последствиями. Поликремниевые перемычки имеют способность к самовосстановлению за счет миграции атомов.
0. Делать бэкап (архив)
1. Иметь несколько копий, минимум — три
2 Иметь инструменты проверки целостности (минимум — хэши) и восстановления
3 Регулярно проверять копии (как просто целостность архива, так и возможность восстановиться из него)
4. Хранить копии в разных местах
5. Шифровать копии для защиты от несанкционированного доступа, ключи — бэкапить усиленно
6. Выбирать надёжные носители
7. Помнить, что RAID — не есть создание нескольких копий
8. Стоимость создания и хранения архивов не должна превышать стоимости хранимых данных
Самое главное — ранжировать данные по важности и актуальности, отсюда автоматически получаем:
— сколько копий необходимо
— требуемый объём
— срок хранения
— необходимость шифрования или иной защиты
— регулярность проверки
— нужно ли географически разносить копии
— стоимость самих данных
На мой взгляд, ленты стоит использовать при суммарных объёмах архивов от нескольких десятков терабайт, при меньших объёмах обычные HDD выходят проще, дешевле, удобнее и компактнее.
Если решено использовать ленточные носители, то очень рекомендую иметь два привода (!), ибо может так оказаться, что записанное на одном ничто другое не прочитает…
Если решено использовать HDD или SSD, то лучше не использовать только одну модель и тем более из одной партии. Иные носители — скорее опасная экзотика))
Несколько копий, хранящихся на одной машине лучше считать одной копией, даже если они на разных носителях. Аналогично — ленты в одной библиотеке, ибо они все могут быть повреждены самой библиотекой или неисправным приводом.
Облако не является каким-либо особо надёжным долговременным хранилищем, к сожалению. Были прецеденты, когда провайдеры услуг ставили клиентов перед свершившимся печальным фактом. Тем не менее, пренебрегать облаком тоже не стоит, если это экономически выгодно.
Наконец, нужно помнить, что три копии — это самый минимум, а без контроля целостности сложно оценивать состояние архива, используйте хеши файлов как минимум, а лучше — полноценные системы.
Я понимаю, что это скорее исключение, но все равно был приятно удивлен.
Самым перспективным из недоступных простым смертным сейчас выглядит лазерная гравировка в толще кристалла.
С бумагой множество проблем на самом деле, поэтому создают специальные архивы. И если прикинуть, сколько на всё это тратится, то окажется, что долговечность гораздо проще соблюдать реплицированием.
То есть, скажем так, все негативные эффекты времени сказываются на других носителях ЕЩЁ сильнее, чем на бумаге.
Но насчёт реплицирования вы совершенно правы, средневековые монахи веками занимались именно этим — переписывали с древних книг в новые, так и сохранили большинство древних текстов.
* компакт-диски отпадают — самый ненадёжный вариант. В лабораторных условиях или с хорошо сделанными дисками возможно проблем и не так много, но на практике все они паршивейшего качества
* SSD/флешки не вариант — заряд утекает по определению: нужно постоянно перезаписывать данные, регенерировать заряд. Дорого
* HDD один из лучших вариантов, но тоже надо перезаписывать данные время от времени (например просто dd-ой с одного диска на другой переливать). Массив мне кажется излишен — проще просто по две копии (хоть dd-ой) делать, ведь всё-равно они не в подключённом виде лежат
* Для себя для долговременного хранения использую LTO (4/5) ленты. По две географически разделённые копии. Плюс особо важные данные и на HDD внешних
А также не забывать хранить рядом checksum-ы (или дампы ZFS, где checksum-ы встроены), иметь по две копии всегда.
А также не забывать хранить рядом checksum-ы (или дампы ZFS, где checksum-ы встроены)Архивация (возможно, и без сжатия) с определённым процентом избыточности не лучше, чем checksum-ы?
Во-вторых, если накопитель уже начинает сыпаться, то нужно задумываться о смене носителя, записью на новый. Избыточность уровня par2 всё-равно не отменяет надобность наличия второй резервной копии. Checksum-а хороша тем, что просто отвечает на вопрос всё ли хорошо. Если нет, то в любом случае идём за второй резервной копией и делаем новую, так как первая уже сыпется (или диск размагничивается от и требует перезаписи). В случае с par2 мы может и прочитаем все данные без помех, но всё-равно получим сигнал о том, что всё-равно надо менять/перезаписывать сыпящийся накопитель.
Хуже от избыточности не будет, если она подразумевает сильную проверку целостности (криптографический хэш например), но по моему это сильныхй overhead для HDD и лент. Безусловно подразумевается наличие ещё одной резервной копии (второй ленты/HDD/whatever). А если второй копии нет, то её надо сделать, а не надеяться на избыточность уровня par2.
То самое правило 3-2-1 (три копии, два носителя, одна за пределами) как-раз тут хорошо применимо. Вероятность что два разных носителя (особенно разного типа), да ещё и все копии «полетят» крайне низка. Если пожар всё уничтожает, то хотя бы за пределами копия должна выжить.
Тоже об этом думаю. С обывательско-прикладной стороны — как сохранить архивы, фотки, и т.д.
А еще и другие мысли приходят. Наша цивилизация достигла немалых высот, в значительной мере благодаря накопленным знаниям. Научные исследования, технологии, произведения исскуства, наконец. Но… сейчас почти все это хранится на магнитиках, которые и в микроскоп не разглядишь. А в последнее время так вообще, на заряженных статикой пылинках. Как все это хрупко… Прилетит большой метеорит, обесточатся дата-центры лет на пять. Заряженные пылинки разрядятся, и вуаля, нет всего этого нашего наследия, привет средние века…
На мой взгляд вообще вряд ли стоит ставить задачу по выбору наилучшего носителя на длительный срок.
Перфоркарты вот наверно неплохо сохраняются, только вот что с ними делать сейчас, если вдруг надо будет сегодня прочитать какой-нибудь архив на перфокартах? :) А случаи такие бывают, как рассказывают…
Я бы подходил к задаче архивирования на длительный срок в первую очередь как к периодическому процессу, который включал бы в себя регулярный анализ сохранности данных, повторный выбор технологии хранения и перезаписывание всей информации.
Ну и все остальные соображения про избыточность, независимое хранение различных экземпляров и т.п. тоже, конечно, играют...
:) Перфокарты были только для примера. Да и с ними не всё так просто. Ну, допустим, прочитали мы поток байтов с перфокарт. А дальше что? Там ведь когда-то раньше для этого наверняка какой-то софт был предназначен, со своей трудоёмкостью создания...
Ну а если что-то более технологичное себе представить? Ну, любой носитель для ленточного накопителя лет через 30… Устройств для чтения нет, элементная база для них — только в музеях, и спецификацию на формат данных тоже надо искать где-то, а потом ещё и реализовывать...
Представьте: «берем универсальный магнитный считыватель и контролируемый двигатель для перемотки, запускаем прогу считывания разнообразных данных с автоматическим преобразованием в нужные форматы и через часик кассета считана».
Вот например, раньше для сканирования листа А4 нужно было покупать сканер, а сейчас фотку с телефона сделал в специальной проге и готово.
Ну, через 50 лет многое по-другому может уже оказаться, и вполне может быть, что и все архивы ведутся в облаках с унифицированным интерфейсом к ним на естественном языке… или через прямое подключение к мозгу… :) И что все необходимые антикварные спецификации форматов тоже где-то сохранены и систематизированы на случай, если вдруг понадобятся...
Только вот вопрос: как обеспечить сохранность информации на первые 10-20 лет из этих 50? :)
— создали ДНК;
— запихнули в самовосстанавливающийся носитель;
— дали ему пинка и сказали: «Плодись и размножайся» (самобэкап)!
… ходят клоны ДНК и думают: «На чём бы ещё сохраниться? Керамика, золото, бумага...»
Кристаллы!!! Будущая форма для длительного хранения… Или… (продолжение во второй части этой статьи)
См. программу PaperBack. Подана как шутка, но вполне себе решение для такого случая.
У Hi-Tech носителей (диски, включая флэшки, в т.ч. оптические и пр.) есть один ма-а-аленький недостаток: пройдёт относительно немного времени, и считать данные будет попросту нечем. Вот и придётся постоянно переносить с носителя на носитель.
Почему вам (я сейчас не про вас лично, а про тех, кто разделяет вашу точку зрения) так не хочется признать, что банальная практика перезаписи на носители с низкой абсолютной надёжностью и низкой ценой может быть проще и эффективнее, чем попытка найти универсальный и великолепный во всех отношениях носитель?
Перезапись хороша, если будет кому этим заниматься. А этим будет кому заниматься, если речь о данных, имеющих долгосрочную ценность для неограниченного круга лиц (например, порно-фильмы).
А вот если речь о семейном фото-архиве, то можно, конечно, воспитывать детей и внуков в собственной семейной коммуне так, чтобы хранение и перезапись семейного архива стали своего рода культом, но… хм...
Я бы сконцентрировался на разработке дешевого метода производства мелких стеклянных шариков с записью в них инфы лазером формируя пузырьки. Схема такая:
Берём песочек и делаем полностью автоматический завод по производству из него стеклянных бусин с данными внутри, закодированными положением пузырей от лазера внутри.
В каждую такую гранулу поместится немного данных, но мы же делаем действительно "холодное" хранилище и вопрос лишь в аккуратной индексации.
Размер и инертность гранул позволит им быть механически и химически устойчивыми к повреждениям. Слой стекла на поверхности позволит им пережить полировку. Запись осуществляется лазерами, а фокусировать их человечество умеет неплохо. Чтение можно делать многоракурсной фотосъёмкой через микроскоп. Можно добиться огромной избыточности. Легко делать конвейерные линии для автоматической обработки таких гранул. Легко параллелить любые процессы с ними.
Можно даже делать автоматические репликаторы таких данных, которые на входе принимают песочек (или стеклотару) и солнышко (всего этого полно на пляжах или в пустыне), а на выходе несметное число гранул с данными, которые даже экологию не портят.
Стеклянные шарики отпадают. С ними тоже засада — они текут. Оконное стекло за сотню лет весьма сильно стекает вниз.
Решается нумерацией капелек и бешеной избыточностью. Ну и сами данные лучше не сжимать и не шифровать.
Нет, это простая и тысячу раз решенная задача. В торрентах, например. Начиная с некоторого количества бит даже случайная генерация ключа становится уже достаточно надёжной в плане коллизий, а если использовать uuid с учетом времени и мак-адреса, то и вовсе вероятность коллизии сводится практически к нулю.
Как-то так. По мне, оптимальный подход — чтобы при самом неблагоприятном развитии сохранилось хоть что-нибудь.
Действительно, избыточность и регулярное восстановление утерянного — это очевидный подход.
Однако многие забывают (хотя, пардон, вот Vaitek упомянул), что резервировать нужно и самого себя, в чьей голове хранится информация о том, что где лежит и как это обслуживать.
Это я к тому, что в первую очередь нужно разрабатывать стандарты хранения и регулярного восстановления и данных. Стандарты и алгоритмы следует публиковать в научных журналах и патентовать под открытой лицензией.
Лично я вижу пути решения вопроса долгосрочного хранения данных в первую очередь в программной плоскости. Аппаратные носители постоянно совершенствуются (иногда не в сторону увеличения надежности) и теряют обратную совместимость, но концепции потока цифровых данных, файловой системы, инкрементального хранения изменений, мне кажется, переживут нашу цивилизацию.
Нужно формировать стандарты хранения метаданных, стандарты версионирования, стандарты документирования и самодокументирования форматов, стандарты репрезентации данных (это когда мы формируем новую структуру хранения и представления данных, но при этом сохраняем старую и описываем в метаданных все связи и методы преобразования старой структуры в новую).
Придётся, блин, писать-таки на эту тему статью. Эх. Давно в загашниках тема статьи о вариантах реализации правильного Датахранилища Судного Дня.
Посмотрите эти варианты:
1) par2, par3 кодировщики или приложение multipar. Добавляет избыточность данных по типу Рида-Соломона. Можно выбрать процент. Сами данные никак не пакуются в этом случае в сравнении с тем же Winrar.
Затем данные и суммы можно в случайном порядке располагать на разные носители повышая вероятность выживания.
2) Как выше указывали: M-Disc обещают большую долговечность.
3) Как выше указывали: Amazon Glacier. Все дёшево, кроме вытягивания данных. Тут будет занимать или много времени или денег.
Но как писали комментаторы выше, тут ещё важна регулярность, если следовать пункту 1 и время от времени перепроверять архив и заменять сбойные носители, то риск выживания больше.
ЗЫ: кто не в курсе — никак. На долгосрок нельзя сохранить, если не воспроизводить.
ЗЗЫ: кто не понял намек, поясняю: с информацией точно такая же ситуация (только перезаписывать).
Долговечное хранение данных. (Статья — обсуждение)