Comments 50
Подскажите, если я возьму новый HDD, запишу на него данные и положу на полку — сколько лет данные будут читаемые? Такие тесты производитель делает?
Вот он на полке и будет лежать. Что еще с ним сделаешь? Такие вопросы задавались насчет записываемых CD, DVD, насчет дискет, кассет для дорогущих стриммеров, и т.д. Теоретически оценить, вероятно, можно. Но это вообще, в принципе. А у Вас в руках конкретный экземпляр устройства конкретного производителя. Например, «нормально» хранимые дискеты BASF нормально читаются спустя 30 лет после записи. И что тут можно сказать? CD/DVD Verbatim и не только — 20 лет как новенькие. А про некоторых производителей ну никогда бы не подумал. Боюсь, технология носителей меняется быстрее, чем деградирует запись. Если HDD лежит в хорошем сейфе и повезло с экземпляром (кто знает?), думаю, лет на 30-40 можете рассчитывать, имхо. Если найдете интерфейс через такое время.
Такие тесты никто не делает, ввиду невозможности их выполнения, отсутствия методик и сложности влияния параметров друг на друга:
-При какой температуре хранить диск?
-Подключенным или отключенным?
-ТО механики делать или нет?
-Критерий читаемости — должны читаться все биты (1 в 1) на диске? Или достаточно возможности считать записанную информацию?
По этому, все ограничиваются расчетными значениями MTTF\MTBF. Т.е. берем вероятность отказа каждого компонента суммируем и получаем некоторую условную циферку для конечного изделия. У того же WD Gold MTBF = 2,000,000 — 2,500,000 часов, т.е. порядка 200+ лет. Цифры впечатляющие, но надо понимать, что основаны они на вероятности. Может произойдет, а может нет. Плюс WD пишут именно MTBF — средняя работа между поломками, а не MTTF — время до первой поломки.
Если вернуться к задаче длительного (10+ лет) хранения данных то на текущий момент:
-Не придумали ничего лучше старых добрых ленточных накопителей (см. LTO). Но это дорого. Очень. Входить туда имеет смысл с бюджетом от 300-500 т.р. (стриммер, кассеты, отдельное помещение с заданными условиями хранения и пр.)
-Жесткие диски с системой мониторинга и периодической заменой по времени (а не по отказу). Дешевле, но не бюджетно. Два серверных диска + контроллер обойдутся тыщ. в 30-50. Схемы может быть две, или горячего хранения (постоянно подключены), или холодного, но с периодическими (раз в месяц) тестами.
-Облака. Есть всякие Amazon Glacier, которые за $ предлагают хранение информации на лентах. Цена хранения низкая (мне около ~100 Гб обходятся в ~0.5$), НО доступность никакая (несколько дней). Плюс отдельных (немалых)денег стоит траффик по скачиванию\выкачиванию. В общем, сервис ориентирован на долгосрочное хранение архивов.
-Прочие CD\DVD\BR, в серьезных решениях не встречал (но не означает что их нет), больше для энтузиастов.
-При какой температуре хранить диск?
-Подключенным или отключенным?
-ТО механики делать или нет?
-Критерий читаемости — должны читаться все биты (1 в 1) на диске? Или достаточно возможности считать записанную информацию?
По этому, все ограничиваются расчетными значениями MTTF\MTBF. Т.е. берем вероятность отказа каждого компонента суммируем и получаем некоторую условную циферку для конечного изделия. У того же WD Gold MTBF = 2,000,000 — 2,500,000 часов, т.е. порядка 200+ лет. Цифры впечатляющие, но надо понимать, что основаны они на вероятности. Может произойдет, а может нет. Плюс WD пишут именно MTBF — средняя работа между поломками, а не MTTF — время до первой поломки.
Если вернуться к задаче длительного (10+ лет) хранения данных то на текущий момент:
-Не придумали ничего лучше старых добрых ленточных накопителей (см. LTO). Но это дорого. Очень. Входить туда имеет смысл с бюджетом от 300-500 т.р. (стриммер, кассеты, отдельное помещение с заданными условиями хранения и пр.)
-Жесткие диски с системой мониторинга и периодической заменой по времени (а не по отказу). Дешевле, но не бюджетно. Два серверных диска + контроллер обойдутся тыщ. в 30-50. Схемы может быть две, или горячего хранения (постоянно подключены), или холодного, но с периодическими (раз в месяц) тестами.
-Облака. Есть всякие Amazon Glacier, которые за $ предлагают хранение информации на лентах. Цена хранения низкая (мне около ~100 Гб обходятся в ~0.5$), НО доступность никакая (несколько дней). Плюс отдельных (немалых)денег стоит траффик по скачиванию\выкачиванию. В общем, сервис ориентирован на долгосрочное хранение архивов.
-Прочие CD\DVD\BR, в серьезных решениях не встречал (но не означает что их нет), больше для энтузиастов.
Не придумали ничего лучше старых добрых ленточных накопителей (см. LTO). Но это дорого. Очень.
На самом деле, если посчитать, ленты все еще самое дешевое долговременное хранение больших обьемов данных. Дорого первоначальное вложение в ленточную библиотеку (если вам требуются серьезные обьемы, если нет — можете обойтись отдельным приводом).
HDD — 6TB — 15000рублей + электричество если вы их не вынимаете + опять же место в стойке занимают.
LTO-7 — 6TB — 7000рублей
Но при больших обьемах вам все равно придется покупать корзинку для HDD + контроллер, так что тут еще под вопросом что будет дороже на первоначальных вложениях.
Мы себе брали в итоге ленты на 2ПБ. И ПО к нему соответственно.
Мне могут конечно возразить — на HDD же можно сделать дедупликацию и место будет заниматься меньше и потребуется меньший объём — но по факту — если у вас будет сбойный блок без возможности восстановления или внезапно зальет стойку(был такой случай) или сервер глюканет, что диски повылетают — весь ваш бэкап превратится в тыкву. Данные на HDD я я бы назвал оперативным бэкапом на небольшой срок (например месяц).
У меня 6.5 лет лет на полке из 5 у меня умерло 2. Подробности 2gusia.livejournal.com/591490.html
В свете недавней статьи Кингстон «заряжаете ли вы свои ЮСБ флэшки» вопрос звучит актуально :)
Нужно искать новые подходы.
С одной стороны, тема HDD всегда интересная.
С другой, сколько их уже было – обзоров истории дисков и всей этой черепичной петрушки.
HDD становится уже довольно нишевой вещью. В основном для хранения холодных данных (бэкапы и т.п.) Разница в цене за гигабайт с ssd составляет всего 2 раза. И при этом флеш память все дешевеет (и при этом ssd уже дешевле 15к rpm дисков). В общем будут это теперь игрушки для цодов с сервисами бэкапа.
Не соглашусь, раза в 4, если не сравнивать совсем уж с одноразовыми китайцами.
Тут скорее речь про себестоимость. Какую цену предлагают рынку — это уже отдельный разговор. Если вы захотите партию SSD дисков очень крупным оптом (десятками тысяч штук) — вам сделают очень хорошую скидку и упадут до разницы в 2 раза. С HDD же сложнее — их меньше покупают крупные оптовики и в рознице — они снижают цену почти до себестоимости, чтобы рынок покупал хоть что-то.
В текущей компании еще 3 года назад изначально стали делать хранилище на SSD. Как показала практика — не прогадали, развитие компании заставило еще наращивать обьемы. При этом не уперлись в производительность (на HDD бы просели очень сильно, особенно на текущих с SMR, а 15к диски покупать уже нету смысла), дедупликация частично отбила разницу в ценах по сравнению с HDD (по чистому обьему). У всех пользователей выкинули обычные диски из компов и ноутбуков и поставили SSD — убрали проблему апгрейда компов, они перестали тормозить — сэкономили на апгрейде.
В текущей компании еще 3 года назад изначально стали делать хранилище на SSD. Как показала практика — не прогадали, развитие компании заставило еще наращивать обьемы. При этом не уперлись в производительность (на HDD бы просели очень сильно, особенно на текущих с SMR, а 15к диски покупать уже нету смысла), дедупликация частично отбила разницу в ценах по сравнению с HDD (по чистому обьему). У всех пользователей выкинули обычные диски из компов и ноутбуков и поставили SSD — убрали проблему апгрейда компов, они перестали тормозить — сэкономили на апгрейде.
покупали накопители на 16 ТБ за ~30 тысяч. даже чтобы купить SSD на 4 ТБ, придётся заплатить больше.
UFO just landed and posted this here
Для меня объёмы HDD закончились на 10Тб и то, моделью без SMR и гелия.
Что не так с гелием? Они тише и холоднее воздушных, а к моменту вытекания газа диски морально устареют.
На тишину и нагревучесть мне, как человеку, использовавшему в домашнем компьютере IBM DDYS (шумит — адски; греется, ну… 55*С это нормальная температура, 65*С тоже ещё терпимо) — наплевать. А вот к тому, что с этим хардом будет через десять лет — нет. Плюс у меня ещё прекрасно используются харды Samsung F1, а этой модели уже более 10 лет. И не следует забывать о случае «ой, а бэкапов нету...», когда приходится лезть в гермозону харда — в случае гелия это кхм… более проблематично.
А вот к тому, что с этим хардом будет через десять лет — нет
скорее всего, выйдет из строя
И не следует забывать о случае «ой, а бэкапов нету...», когда приходится лезть в гермозону харда — в случае гелия это кхм… более проблематично.
а есть опыт с современными винтами? слышал, что «в домашних условиях» оно сильно проблематично.
Что значит "морально устареют"? Вот у меня сейчас стоит 256 + 512 ГБ. SSD правда, а не HDD, но терабайтные жёсткие диски были вполне доступны 10 лет назад. За сколько забъётся 8-10-12-14 ТБ диск при использовании для домашних бэкапов и скидывания фоточек сделанных телефоном?
Их перестаёт хватать и/или вырабатывают ресурс.
У меня лежит пачка дисков на 500-2000 ГБ после апгрейдов, которые некуда ставить и стрёмно использовать без резервирования из-за возраста (а это ещё х2 к месту и портам).
У меня лежит пачка дисков на 500-2000 ГБ после апгрейдов, которые некуда ставить и стрёмно использовать без резервирования из-за возраста (а это ещё х2 к месту и портам).
Их перестаёт хватать и/или вырабатывают ресурс.Это уже физическое устаревание. Старые диски можно поставить в зеркальный RAID в каком-нибудь NAS. Ну и если диск стоит в NAS, используется редко(по сравнению с датацентром который работает 24/7) для бэкапов и глушиться в моменты простоя — то работать он будет очень долго. И наличие гелия который ограничивает срок службы 5 годами(например, я не знаю точно, информации не нашёл) вне зависимости от того, работает ли диск или лежит на полочке, не очень хорошо для сценария редких домашних бэкапов…
Я в итоге заменил все старые диски на зеркало из пары 12 ТБ дисков.
Постоянные включения/выключения разве не сокращают срок службы любых устройств?
Не уверен на 100%, но не запомнилось про гарантированную работу в течении 10 лет для первых моделей от HGST. И возможность читать данные при вскрытой банке.
для бэкапов и глушиться в моменты простоя — то работать он будет очень долго.
Постоянные включения/выключения разве не сокращают срок службы любых устройств?
И наличие гелия который ограничивает срок службы 5 годами(например, я не знаю точно, информации не нашёл) вне зависимости от того, работает ли диск или лежит на полочке, не очень хорошо для сценария редких домашних бэкапов…
Не уверен на 100%, но не запомнилось про гарантированную работу в течении 10 лет для первых моделей от HGST. И возможность читать данные при вскрытой банке.
Постоянные включения/выключения разве не сокращают срок службы любых устройств?На лампочки накаливания точно влияет(у холодной лампочки сопротивление мало — в момент включения происходит скачок тока). Жёсткий диск который запарковал головки и остановил блины не совсем выключен(или совсем не выключен). Раскрутка шпинделя происходит плавно как раз для снижения влияния переходных процессов.
Да, почему-то забыли рассказать как радуются таким дискам RAID контроллеры. И сколько времени может занимать восстановление массива на таких дисках (спойлер: бесконечно долго).
КРУТО! Я честно давно хотел почитать в чём физ. процесс. Автор, я залип. Спасибо.
В силу недавнего скандала с SMR, не могу отделаться от мысли, что вся статья написана для его "легализации" в умах читающих, вполне в стиле Овертона. Даже если это не так, то мысль очевидна и паранойя неизбежна.
По этому случаю скажу, что SMR — стратегическая ошибка, а при состоявшейся подаче ещё и тактическая.
У производителей выбора нету. Фактически уперлись в текущий лимит механических частей. Я с трудом представляю как они позиционируют головки с такой точностью. В этом плане производство производство и эксплуатация электроники проще. И сильно проще наращивать емкость в конкретном форм-факторе.
Хотя может в HDD случится какая-нибудь революция, но слухов о кардинальной смене технологии пока нету.
Хотя может в HDD случится какая-нибудь революция, но слухов о кардинальной смене технологии пока нету.
Выбор "давайте увеличим номинальную емкость на 20%, но чтобы это все не вытормаживалось дичайше пусть пользователь оставляет 30% свободного месте и ждет до посинения" тоже как-то не ок.
MAMR должна стать следующей ступенькой наверх.
MAMR должна стать следующей ступенькой навер
20ТБ от WD/HGST уже MAMR, только производитель стесняется признаться :)
Следующая ступенька это HAMR, на MAMR так плотность не поднять, как на HAMR.
Но выше 100-150 iops диск все равно не прыгнет к сожалению. Flashcache конечно как-то спасает ситуацию, но сильно зависит от профиля нагрузки.
С SSD-ями тоже не все хорошо стало, дешевые SSD они стремятся к QLC, а там вот так вот (чуть быстрее HDD)
Не знаю что здесь вкладывается в HDD Config, но это явно не HDD. Скорее какие-то настройки тестирования.
HDD выдает 150 iops, 15k rpm выдает 300 iops
SSD выдает 10.000+
HDD выдает 150 iops, 15k rpm выдает 300 iops
SSD выдает 10.000+
полная статья — blog.dataonstorage.com/2020/04/06/testing-qlc-nvme-ssd-storage-with-microsoft-azure-stack-hci
QLC SSD Config – 4x Intel D5-P4326 NVMe 15TB QLC SSDs (storage) with 2x Intel P4610 NVMe 1.6TB SSDs (cache) per node
MLC SSD Config – 4x Intel P4510 NVMe 4TB MLC SSDs (storage) per node (no cache)
HDD Config – 4x 14TB HDDs (storage) with 2x Intel P4610 NVMe 1.6TB SSDs (cache) per node
QLC SSD Config – 4x Intel D5-P4326 NVMe 15TB QLC SSDs (storage) with 2x Intel P4610 NVMe 1.6TB SSDs (cache) per node
MLC SSD Config – 4x Intel P4510 NVMe 4TB MLC SSDs (storage) per node (no cache)
HDD Config – 4x 14TB HDDs (storage) with 2x Intel P4610 NVMe 1.6TB SSDs (cache) per node
Статья на самом деле «прекрасна». Не указана методика тестирования, не указаны обьемы данных, не указана файловая система, не указана разбивка разделов. По факту если прогреть NVME кэш на чтение (а он судя по всему прогрет) — диски вобще использоваться не будут. Далее по поводу записи — такой обьем ssd кэша на запись естественно не забьется за те 10 минут теста и что там под этим ssd уже практически не важно. В общем статья очень маркетинговая (что прямо написано в статье — реклама 2-х новой хранилки «two-node Azure Stack HCI solution consisting of DataON S2D-5224 nodes» — а в них совсем по другому запись реализована — тут вобще в память пишется сначала и коммит идет как только записалось в память 2-х нод).
В 2011 перешли от 512 к 4к блокам.
Никто не думал выпустить диски специально для бэкапов с 16к или даже 64к?
Насколько я помню за счет уменьшения служебных данных там можно и больше 20% места выиграть.
Никто не думал выпустить диски специально для бэкапов с 16к или даже 64к?
Насколько я помню за счет уменьшения служебных данных там можно и больше 20% места выиграть.
хотите сказать, что служебных данных почти килобайт на сектор?
в 512 блочных накопителях, логические служебные данные занимали 65 байт (50 байт ECC и 15 байт расстояние между блоками для синхронизации), то есть более 10%, при переходе на 4к они уменьшились до 15+100 байт на 4к блок.
То есть использование физических возможностей накопителя улучшилось с 88.7 до 97.3
То есть почти 10% буквально вообще без всяких физических улучшений, чисто программный код.
Понятно что производительность для рандомной записи/чтения упадет, но вот для линейного разницы быть не должно. Может быть даже увеличится.
Также понятно, что это довольно нишевые диски, хотя… для файлопомойки почему бы и нет.
Просто любопытно задумывался ли кто из производителей о таком, и если да, почему не выпустили для пробы?
То есть использование физических возможностей накопителя улучшилось с 88.7 до 97.3
То есть почти 10% буквально вообще без всяких физических улучшений, чисто программный код.
Понятно что производительность для рандомной записи/чтения упадет, но вот для линейного разницы быть не должно. Может быть даже увеличится.
Также понятно, что это довольно нишевые диски, хотя… для файлопомойки почему бы и нет.
Просто любопытно задумывался ли кто из производителей о таком, и если да, почему не выпустили для пробы?
На самом деле самый большая ошибка производителей — попытка впарить этот SMR по тихому. Написали бы об этом явно, как это было с Advanced Format (4K секторами), проблем было бы меньше.
Напомните, пожалуйста, WD стала честно и открыто указывать наличие/отсутствие SMR у каждой модели, или это по-прежнему может быть сюрпризом для покупателя?
Тип используемой технологии записи указан в технических спецификациях накопителей, с которыми вы можете ознакомиться на официальном сайте Western Digital.
А в магазине, взяв с полки этот самый HDD, я на нём смогу найти эти три заветные буквы?
Пока что не везде
www.westerndigital.com/products/internal-drives/wd-purple-hdd
www.westerndigital.com/products/internal-drives/wd-purple-hdd
Хм, черепичная запись дает 10% прироста емкости? И ради этого придумали «Host Managed SMR (SMR, управляемая хостом)»? Стоит ли овчинка выделки? По мне так это лишние проблемы ради каких то жалких 10%.
Интересно, а почему заведомо лживая статья, вводящая в заблуждение читателей имеет положительный рейтинг на Хабре? Вот это утверждение
настолько лживое, что как я помню стало предметом судебного рассмотрения в США. Не поделитесь — договорились уже до чего-то?
Тем более, что в коментах выше восторга, мягко говоря, нет?
У меня вот на столе лежит DM-SMR диск, который мне пришлось заменить на нормальный, так как надоело выпадание из массива в малом NAS. Куда б такое убожество приспособить, не подскажете? Мой диск чисто случайно оказался от Сигейта — но лгали потребителям обе фирмы в унисон.
DMSMR-накопители WD Red, оптимизированные для использования в составе малых NAS на 8 отсеков, станут отличным выбором для системы архивирования или резервного копирования, предполагающей долговременное хранение бэкапов.
настолько лживое, что как я помню стало предметом судебного рассмотрения в США. Не поделитесь — договорились уже до чего-то?
Тем более, что в коментах выше восторга, мягко говоря, нет?
У меня вот на столе лежит DM-SMR диск, который мне пришлось заменить на нормальный, так как надоело выпадание из массива в малом NAS. Куда б такое убожество приспособить, не подскажете? Мой диск чисто случайно оказался от Сигейта — но лгали потребителям обе фирмы в унисон.
SMR хлам пригоден для сбора мусорной машинки формата «В интернетике посидеть, музычку послушать», хотя куда оной девать терабайты я не знаю. Для серверного и около-серверного применения (особенно с аппаратным рейдом) — непригоден совершенно, если он только не в режиме «только чтение» используется.
При замене одного из накопителей в raid на вот такой вот диск, его весь потребуется перезаписать одномоментно, чего сделать не получится из-за диких задержек при записи. Массив просто не дожидается ответа от диска и маркирует его как сбойный. Поэтому, даже в режиме "только чтение" использовать его не особенно то и получится. Разве что диск будет стоять в массиве прямо при его создании.
А вот в уже работающий массив его не установить никак.
Sign up to leave a comment.
Технологии магнитной записи HDD: просто о сложном