Comments 58
Алексей, спасибо за рассказ. Хотелось бы узнать ваше мнение о надежности современных носителей а лучше рейтинг флешек HDD SSD дисков :)
Холиварная тема, да и без меня сравнительных тестов в сети много, но они больше про скорость, чем про надёжность.
Мне приносят ссдшки и флешки всех брендов, то есть всё ломается, и скоррелеровать какой-то индекс от количества принесённых ко мне трупов, относительно проданных устройств… будет величина в попугаях.
Моё личное мнение, если по простому, то Intel и Samsung, но это про микросхемы памяти, а контроллеры производители накопителей используют совсем разные и алгоритмы равномерного износа соответственно разные. По контроллерам мне можно высказаться только с точки зрения с каких проще делать восстановление данных. Так что мне лучше воздержаться от развешивания ярлыков «хороший» — «плохой».
Мне приносят ссдшки и флешки всех брендов, то есть всё ломается, и скоррелеровать какой-то индекс от количества принесённых ко мне трупов, относительно проданных устройств… будет величина в попугаях.
Моё личное мнение, если по простому, то Intel и Samsung, но это про микросхемы памяти, а контроллеры производители накопителей используют совсем разные и алгоритмы равномерного износа соответственно разные. По контроллерам мне можно высказаться только с точки зрения с каких проще делать восстановление данных. Так что мне лучше воздержаться от развешивания ярлыков «хороший» — «плохой».
> Моё личное мнение, если по простому, то Intel и Samsung,
немного не понятно, Intel и Samsung приносят на восстановление больше или более надежные?
немного не понятно, Intel и Samsung приносят на восстановление больше или более надежные?
Простите за двусмысленность. Эти бренды памяти, я бы отнёс к надёжным.
Что можете сказать про флешки Corsair?
Смотреть обзоры с фотками в разобранном виде. Обычно они ставят хорошую память
А SanDisk?
Были две SANDISK Ultra на 64Гб и на 128. Первая спустя некоторое время начала переподключаться во время копирования файлов. в USB3 порту, и чем дальше тем чаще, хотя в общем и целом работала. Вторая из коробки работала на скорости 100Кб\c в USB2 порту и аж до мегабайта в USB3 порту, что ни как не соответствует заявлениям, что она работает в 10 раз быстрее обычных флэшек. Из всего множества флэшек, которые у меня побывали — глючили только SanDisk-и, причем в 100% случаев.
Личная статистика, может не соответствовать реальному положению вещей)
Личная статистика, может не соответствовать реальному положению вещей)
У «большой тройки» производителей флешек Transcend, SanDisk, Kingston как сейчас с надежностью? И кого бы порекомендовали?
Трансценд и Кингстон я всегда советую клиентам за хорошее соотношение цена-качество. А вот Сандиск не советую, хоть и хорошие, но дороже и самое главное капризные при восстановлении
SanDisk, это вообще, песня. При покупке электронной книги, в комплекте, как подарок, шла карта SanDisk microSDHC 16 GB. Отформатировал я её в exFAT и решил с неё раздавать торренты на отдельном компе. Так вот, она начала сыпаться программно. Поставил вместо неё в тот же картридер такую же Transcend и проблема ушла. При этом, SanDisk нормально работала на FAT32. Вот такие чудеса.
Где можно почитать про «алгоритмы равномерного износа», используемые в реальных флешках?
Цель: хранить/писать в своих проектах информацию так, чтобы минимизировать выход флешек из строя. Сейчас, например, в одном проекте использую один большой файл, записи фиксированной длины, несколько тысяч/десятков тысяч записей по 256 байт в сутки — вроде бы весьма щадящие условия, но флешки выходят из строя часто.
Чтобы было понятно: одновременно под такой/примерно такой нагрузкой у нас работает сотня-другая флешек USB/MicroSD, всё это много лет как.
Самые частые симптомы:
1. запись вроде как происходит нормально, но на самом деле ничего не пишется (обнаруживается обычно когда после перезагрузки изменения оказываются потерянными);
2. чтение некоторых областей даёт нестабильный результат (два раза подряд запущенный md5sum даёт разные результаты);
3. флешка просто перестаёт определяться как блочное устройство.
Статистику не собирал, но субъективно usb и microsd ведут себя одинаково.
P.S. а вообще есть у меня большие сомнения, что (во всяком случае у меня) дело только в износе NAND. BTW, давным давно покупали партию SLC флешек — они ломались так же.
Да и читал опыт коллег, которые используют read-only флешки (с raspberry pi, например) — частота выхода флешек из строя снижается, но остаётся совсем ненулевой.
P.P.S. выработал такую методику проверки:
1. заполняем флешку данными с известной контрольной суммой, в linux
dd if=/dev/urandom bs=1M count=РАЗМЕР iflag=fullblock | tee /dev/sdf | md5sum
2. вынимаем флешку и вставляем обратно
3. сверяем контрольную сумму с контрольной
md5sum /dev/sdf
4. заполняем нулями (надеясь, что контроллер флешки обработает это TRIM)
dd if=/dev/zero of=/dev/sdf bs=4k
5. для очистки совести проверяю, что с флешки читают нули
hd /dev/sdf
(если предыдущая проверка прошла успешно, то на мой памяти и тут сбоев не было)
Так вот, не так уж редко новая флешка из магазина не проходит подобный тест.
На самом деле, однократное прохождение теста ещё ничего не гарантирует, несколько раз встречал ситуацию, когда новая флешка ломается на втором или третьем повторе шагов 1-3.
Цель: хранить/писать в своих проектах информацию так, чтобы минимизировать выход флешек из строя. Сейчас, например, в одном проекте использую один большой файл, записи фиксированной длины, несколько тысяч/десятков тысяч записей по 256 байт в сутки — вроде бы весьма щадящие условия, но флешки выходят из строя часто.
Чтобы было понятно: одновременно под такой/примерно такой нагрузкой у нас работает сотня-другая флешек USB/MicroSD, всё это много лет как.
Самые частые симптомы:
1. запись вроде как происходит нормально, но на самом деле ничего не пишется (обнаруживается обычно когда после перезагрузки изменения оказываются потерянными);
2. чтение некоторых областей даёт нестабильный результат (два раза подряд запущенный md5sum даёт разные результаты);
3. флешка просто перестаёт определяться как блочное устройство.
Статистику не собирал, но субъективно usb и microsd ведут себя одинаково.
P.S. а вообще есть у меня большие сомнения, что (во всяком случае у меня) дело только в износе NAND. BTW, давным давно покупали партию SLC флешек — они ломались так же.
Да и читал опыт коллег, которые используют read-only флешки (с raspberry pi, например) — частота выхода флешек из строя снижается, но остаётся совсем ненулевой.
P.P.S. выработал такую методику проверки:
1. заполняем флешку данными с известной контрольной суммой, в linux
dd if=/dev/urandom bs=1M count=РАЗМЕР iflag=fullblock | tee /dev/sdf | md5sum
2. вынимаем флешку и вставляем обратно
3. сверяем контрольную сумму с контрольной
md5sum /dev/sdf
4. заполняем нулями (надеясь, что контроллер флешки обработает это TRIM)
dd if=/dev/zero of=/dev/sdf bs=4k
5. для очистки совести проверяю, что с флешки читают нули
hd /dev/sdf
(если предыдущая проверка прошла успешно, то на мой памяти и тут сбоев не было)
Так вот, не так уж редко новая флешка из магазина не проходит подобный тест.
На самом деле, однократное прохождение теста ещё ничего не гарантирует, несколько раз встречал ситуацию, когда новая флешка ломается на втором или третьем повторе шагов 1-3.
Износом занимается контроллер сам, как говорится аппаратно. Как бы вы не писали код, данные контроллер будет писать так как его прошли. Может в сети и есть инфа об этих алгоритма, вы всё равно ничего не сможете изменить. Только если будете сами писать напрямую в нанд. А это опять железо, новый велосипед.
Прошу прощения за ошибки, пишу с мобилки в метро…
Это понятно. Но хоть косвенно на ситуацию можно поменять, не просто так же Samsung сделал F2FS.
Что же до прямого доступа к памяти — да, пришли к этому, только у NAND слишком много ног, тут оказалось достаточно восьминогих NOR на несколько мегабайт.
По ним пока статистики нет, но вот буквально в конце прошлого года пришлось поменять такую микросхему в домашнем компютере, так что и они умеют ломаться, увы.
Что же до прямого доступа к памяти — да, пришли к этому, только у NAND слишком много ног, тут оказалось достаточно восьминогих NOR на несколько мегабайт.
По ним пока статистики нет, но вот буквально в конце прошлого года пришлось поменять такую микросхему в домашнем компютере, так что и они умеют ломаться, увы.
Думаю, с учётом ненадёжности флешек можно было бы сделать такой девайс: USB-картридер на 2 одинаковые MicroSD или SD карты (и опционально неактивным слотом-заглушкой для хранения третьей запасной карты), со встроенным RAID-контроллером с зеркалированием, а также постоянным мониторингом состояния карт, и человеческой интуитивной индикацией. Например, на этом девайсе около каждого слота под карту должен быть красный светодиод и маленькая пищалка, если светодиод заморгал и пищалка запищала — с картой непорядок, требуется заменить и дождаться, пока RAID восстановится.
А при подключении к компу этот девайс определялся бы как 2 диска: первый — это наш RAID-массив из двух карточек, а второй — это маленький служебный диск с лежащей на нём portable утилитой для управления RAID'ом, инструкцией, а также ярлыком-ссылкой на сайт производителя с подробной инструкцией и прочей инфой.
А при подключении к компу этот девайс определялся бы как 2 диска: первый — это наш RAID-массив из двух карточек, а второй — это маленький служебный диск с лежащей на нём portable утилитой для управления RAID'ом, инструкцией, а также ярлыком-ссылкой на сайт производителя с подробной инструкцией и прочей инфой.
Абсолютно непонятна ЦА такого костыля.
Кому нужна надёжность — просто купят industrial usb drive и получат гораздо большую надёжность, чем у рэйда из дешманских карточек.
А кому не нужна, те и не будут покупать такую штуку.
Кому нужна надёжность — просто купят industrial usb drive и получат гораздо большую надёжность, чем у рэйда из дешманских карточек.
А кому не нужна, те и не будут покупать такую штуку.
Ну, я не раз видел заплаканных студенток, у которых пропала курсовая/дипломная работа из-за умершей флешки. Или коллег, у которых пропала важная информация.
Осветить эту ситуацию в рекламе — и девайсы будут брать.
Осветить эту ситуацию в рекламе — и девайсы будут брать.
Мне кажется, лучшее решение проблемы надежности USB-флешек (или иных портативных носителей) — это не хранить важные данные на флешке, не использовать флешку в качестве постоянного хранилища. Чтобы не быть "заплаканной студенткой, у которой пропала курсовая" — хранить на жестком диске, с бэкапами и облаком. Я отношусь к флешкам как к расходному материалу, правда больше потому что рассеянный и теряю.
Я отношусь к флешкам как к расходному материалу
Блин, вот я совсем не рассеянный, (за время учебы у меня была одна единственная флешка на 4 Гб, которую я не потерял и не сломал), но вот ни разу в голову не приходило что-то хранить на ней важное в единственном экземпляре. Да будь эта флешка с рейдом и с защитой от восстановления, ну и что, я МОГУ ее потерять, я МОГУ ее сломать, её МОГУТ украсть (у одногруппников флешки пропадали оставленные на парте в аудиотории во время перерыва).
Общее правило не то что не хранить важные данные на флешке, а не хранить «в одной корзине», что вы собственно и упомянули про бекапы и облако.
Это слишком оптимистичная оценка… в моей практике народ и статикой (видать шелковое белье) народ ключики клиент-банков на флешке грохал таская заодно там и музычку с компьютера на компьютер)))
Я не доверяю зеркалам. Если умрут, то как правило оба девайса. И программная беда если произойдёт, то отзеркалируется на оба. Банальное копирование на два разных устройства, вот лучшая резервка.
Значит, заточить RAID принципиально под разные карточки (разного производителя, с разной скоростью). Тогда вероятность одновременной смерти обеих будет очень мала. А если она не мала, значит, что-то не то с RAIDом и его сделали криво.
Всё равно это одно устройство, у которого может отказать контроллер или механически деградировать USB-разъём. Гораздо надёжнее использовать две флешки (благо, на запись их не обязательно вставлять поочерёдно — обычно есть 2 свободных USB, а на чтение сценарий использования никак не усложняется).
Если студент осознаёт проблемы надёжности, чтобы задуматься о покупке такого устройства, 2 обычных копеечных флешки ему не сложно будет использовать.
Если студент осознаёт проблемы надёжности, чтобы задуматься о покупке такого устройства, 2 обычных копеечных флешки ему не сложно будет использовать.
Можно сделать два USB разьема в разные стороны, со своим контроллером в каждом. Т.е. по сути — две флешки, только с дополнительным общим контроллером, который во время простоя синхронизирует данные между ними. Можно даже сделать разборную конструкцию чтобы каждую флешку можно было открепить, что-то на нее скинуть, потом прицепить обратно и оно продублировалось…
Не говорю, что это разумно или конкурентоспособно. Просто можно сделать и так :)
Я бы купил (по цене ~2,5 флешек).
Не говорю, что это разумно или конкурентоспособно. Просто можно сделать и так :)
Я бы купил (по цене ~2,5 флешек).
Это надо хорошо продумать синхронизатор, чтобы, если его заглючит (например, будет постоянно занимать шину на обоих устройствах), отдельные хранилища как-то это поняли и расцепились.
Ну и с синхронизацией интересно. В фоне-то синхронизирует, а если устройство вытащили из порта, сразу после записи, и синхронизироваться не успело? Батарейку добавить на этот случай?
Ну и с синхронизацией интересно. В фоне-то синхронизирует, а если устройство вытащили из порта, сразу после записи, и синхронизироваться не успело? Батарейку добавить на этот случай?
Dell ставит такие штуки в сервера, правда насколько оно действительно нужно — большой вопрос.
Странно, что с увеличением размера не растет надежность. Контроллер должен бы выравнивать износ, записывая во все ячейки равномерно. Подскажите, так и происходит?
В данной статье понятно, что флешка была забита под 0. А если бы утилизировалось из 32 только 20, прослужила бы она дольше?
В данной статье понятно, что флешка была забита под 0. А если бы утилизировалось из 32 только 20, прослужила бы она дольше?
Странно, что с увеличением размера не растет надежностьРастёт плотность записи. Первые flash-ячейки (SLC) хранили 1 бит, далее появились MLC, TLC, и вот уже QLC на подходе. Всё-таки, одно дело — есть заряд или нет, другое дело — точно дозировать заряд, чтобы безошибочно различать любой из 16 уровней.
Другая проблема — миниатюризация. Чем меньше ячейка, тем меньше в ней может храниться заряд при том же напряжении. Меньше заряд — сложнее защитить от утечек.
Качество современных чипов памяти весьма печальное, и несмотря на громогласные заявления производителей о том, что вот мы сделали огромное количество циклов записи… статистика показывает обратное. Износ происходит очень быстро, по сравнению с флешками которые измерялись мегабайтами.
Флешка — это ещё не так страшно, гораздо хуже — это отказ SSD!
флешка умирала и «сигнализировала» об этом косвенным путёмА я думал что это из за вынимания флешки на горячую, без отключения.
Одна флешка постоянно просит сделать проверку, вероятно пора её заменить…
С USB-флешками можно отпаять чип и пошаманить, а есть ли шансы на восстановление SD/microSD-карточек с аналогичными симптомами отдачи одних нулей?
Да конечно шансы есть. Просто доступ к микросхем памяти сложней. Посмотрите как мы восстанавливаем данные с монолитов https://habr.com/company/datalabs/blog/220667/
У вас запятые в случайных местах.
А имеет смысл на современных (относительно новых) SSD покупать с запасом по объёму и оставить часть не размеченную под систему?
То есть вроде того, что увеличить объём заложенного производителем резервного пространства.
То есть вроде того, что увеличить объём заложенного производителем резервного пространства.
Здравая мысль, но упрямство: "Не хочу делать резервные копии" умиляет
Скорее «некуда», вдобавок «некогда». Облачные хранилища не предлагать, для таких объёмов разориться проще.
Про резервные копии ничего не имел в виду. Делаю в обязательном порядке, а для особо критичных данных и 3-4 копии на разных носителях.
Вопрос о том, чтобы минимизировать вероятность и максимально отсрочить необходимости внезапно заниматься переустановкой и восстановлением с бэкапа.
Вопрос о том, чтобы минимизировать вероятность и максимально отсрочить необходимости внезапно заниматься переустановкой и восстановлением с бэкапа.
Если на SSD штатно заканчивается ресурс перезаписи, он переходит в read-only, и данные доступны. То есть, теоретически должно быть безразлично по надёжности, ресурс всё равно меряется количеством host writes.
Резервом неиспользуемой области можно улучшить производительность записи и уменьшение износа при записи. Это обязательно сработает, если ОС не умеет использовать TRIM (т.к. в этом случае независимо от того, сколько свободно места на FS, контроллер считает весь диск занятым).
А если ОС современная и использует TRIM, то без разницы — свободные сектора на неразмеченном разделе, или на рабочем, помеченные как свободные. Просто во втором случае при необходимости можно занять место, пожертвовав гипотетической скоростью записи и ресурсом (а потом освободить), а в первом случае резерв уже железный, невозможно его случайно скушать.
Резервом неиспользуемой области можно улучшить производительность записи и уменьшение износа при записи. Это обязательно сработает, если ОС не умеет использовать TRIM (т.к. в этом случае независимо от того, сколько свободно места на FS, контроллер считает весь диск занятым).
А если ОС современная и использует TRIM, то без разницы — свободные сектора на неразмеченном разделе, или на рабочем, помеченные как свободные. Просто во втором случае при необходимости можно занять место, пожертвовав гипотетической скоростью записи и ресурсом (а потом освободить), а в первом случае резерв уже железный, невозможно его случайно скушать.
а чем host-writes отличается от NAND-writes? (в Crystal Disk Info второе значение меньше)
Host writes — логические записи, сколько команд на запись сектора получено.
На моих SSD самая разная статистика Host/Nand Writes (TB):
10/17, 3/38 и 73/60
Я думаю, Host<Nand — фоновое выравнивание износа, Host>Nand — несколько команд подряд на запись в один сектор, которые оптимизировались в одну физическую запись.
p.s. видимо, вы обратили внимание на неточность
На моих SSD самая разная статистика Host/Nand Writes (TB):
10/17, 3/38 и 73/60
Я думаю, Host<Nand — фоновое выравнивание износа, Host>Nand — несколько команд подряд на запись в один сектор, которые оптимизировались в одну физическую запись.
p.s. видимо, вы обратили внимание на неточность
ресурс всё равно меряется количеством host writesКонечно, тут должно быть nand writes
А о чем вообще думаю производители таких флешек? Что в голове у инженера, который запроектировал «при проблемах отдавать нули» вместо «при проблемах переходить в read-only»?
А о чём думают производители спорт-каров? Хочешь давить на гашетку, дави…
Нам же пришлось вычитывать битые сектора, многократным чтением, какие-то из них удалось прочитать или восстановить из ECC.
Судя по вот этому, с read-only там было не всё так просто.
Недавно одна флешка, которой пользовался много лет, стала read-only. На первый взгляд вроде читалась,
но в части файлов был мусор. Ещё и операционная система на чтении такого добра любит подвисать.
Так что не стал бы делать однозначные выводы.
Реклама она такая реклама…
А на «стол» pc3000 для монолитов смотрю денег не хватило? Проводочки…
А на «стол» pc3000 для монолитов смотрю денег не хватило? Проводочки…
Когда мы начали заниматься восстановлением данных с монолитов, тогда никаких столиков не существовало, даже самого комплекса от ростова ещё не было. У нас есть, но я лично предпочитаю проводочки, потому что электроника наука о контактах и у меня больше доверия пайке…
Прежде чем считать наши деньги, удосужились бы посмотреть что статья про монолиты от апреля 2014 года, а столик для монолитов начал продаваться в марте 2017 года!!!
Прежде чем считать наши деньги, удосужились бы посмотреть что статья про монолиты от апреля 2014 года, а столик для монолитов начал продаваться в марте 2017 года!!!
datalabs
6 января 2019 в 09:37
Посмотрел заголовок. Наверное стар стал 2014 от 2019 ну ни как отличить не могу…
6 января 2019 в 09:37
Посмотрел заголовок. Наверное стар стал 2014 от 2019 ну ни как отличить не могу…
Я не считал Ваши деньги. А вот ваша реакция как раз и показывает цель Вашего поста. У меня достаточно много знакомых в том числе и тех, кто уже не с нами, кто занимался и занимается восстановлением данных (в том числе с физически повреждённых носителей (обгорелых, сломанных и т.п.). И что и почему я пишу я отлично осознаю… Постарайтесь поумерить свою рекламную гордыню.
За минус спасибо. Это так же показывает что я на 100% точно оценил Вас.
За минус спасибо. Это так же показывает что я на 100% точно оценил Вас.
кстати, лежит точно такая же флешка, тоже сдохла… давным давно…
еще телефон разбит и разломан, лежат потроха его в пакете, думаю как бы данные из памяти достать)
на счет «спаяем микросхему» — хочется больше подробностей.
еще телефон разбит и разломан, лежат потроха его в пакете, думаю как бы данные из памяти достать)
на счет «спаяем микросхему» — хочется больше подробностей.
Считать данные с USB флешки можно через с любой программатор поддерживающий NAND микросхемы. Но данные так не лежат в явном виде, и потребуется софт для восстановления данных с флеш. На данный момент в продаже три комплекса для восстановления: PC3000Flash, FlashExtractor, RuSolut. Но наличие инструмента не гарантирует получение данных, ведь им нужно уметь пользоваться, там нет кнопки «восстановить всё», надо разбираться в алгоритмах записи в память, контроллеров и алгоритмов великое множество, по этому проще обратиться к тем, кто это делает каждый день и имеет эти комплексы.
А с телефонами проще, там стоит микросхема, к которой можно припаяться как к SD карте, и считать образ, дальше развернуть под линухами или любым софтом под Windows, который умеет работать с ext файловыми структурами (если аппарат android, если яблоко, то в топку, там шифрование)
А с телефонами проще, там стоит микросхема, к которой можно припаяться как к SD карте, и считать образ, дальше развернуть под линухами или любым софтом под Windows, который умеет работать с ext файловыми структурами (если аппарат android, если яблоко, то в топку, там шифрование)
Sign up to leave a comment.
Восстановление данных из пустого места