Pull to refresh

Comments 175

Hp prodesk 400 G4 pentium G4560 + 8Gb + 256 Ssd + pcie x4 6 sata card = $150


При желании можно и дешевле собрать все.

UFO just landed and posted this here
UFO just landed and posted this here
Как идин из вариантов: отключите IPv6.

Бывает, что если IPv6 есть, но сервисы слушают только на IPv4,
То клиенты подключаются сначала по IPv6 и ждут. И только когда отваливаются по timeout — то уже пробуют по IPv4.
UFO just landed and posted this here
Можно было купить что-то от Synology и потратить сэкономленное время на действительно прикольные вещи.
Да можно поставить тот же OpenMediaVault и там все будет из коробки и не столь сурьезно как в FreeNAS.
Поддержу. Просто быстро. А что не понятно есть канал на ютубе. Там дядька всё рассказывает хорошо
UFO just landed and posted this here
UFO just landed and posted this here

Кэшировать для домашнего использования довольно бесполезно, а вот, раз ZoL в деле, нужно special device использовать, гораздно больший даст прирост, но тогда нужно и ссд с избыточностью основного пула ставить, хотя бы зеркало.

И к тому же он забыл посчитать SSD в итоговых суммах.
Стоит ли говорить, что несмотря на возраст в несколько лет, спецификация этого сервера по-прежнему превосходит большинство вариантов систем NAS, предлагаемых на рынке, особенно по оперативной памяти.

Простите, это статья какого года? Базовые процессоры в том, что продаётся последние года четыре уже быстрее этого антиквариата. Равно как и памяти можно поставить больше.
добавлено
Угу, оригинал из 2017. Какой смысл сейчас переводить и выкладывать такую статью на хабр?

Если виртуалки не использовать, то процессор ещё адекватен, а вот ЕСС память в готовых НАСах нужно поискать. А статья, да, не слишком актуальна, за последний год ZoL по фичам работы с ссд хорошо обогнал фряшную ветку, здесь не отражено.

UFO just landed and posted this here

А можно полюбопытствовать по каким фичам ZoL обогнал фряшную ветку? Учитывая что ветки теперь одни.

Полгода назад ещё в фряшной не было трима и спешиал девайсов, с тех пор новостей не видел, если объединились — это здорово, давно ждал, чтобы свой нас на сигме проапдейтить. Но со стабильной системой за новостями не особо и следишь, раз настроил и всё работает, иногда и пароль от админки вспомнить сложно.
Для меня всегда было удивительно, откуда пошло это поверье что у фри не было Trim, он там был уже 8 лет назад. Вот цитата с оф.доки «ZFS TRIM support was added to FreeBSD 10-CURRENT with revision r240868. ZFS TRIM support was added to all FreeBSD-STABLE branches in r252162 and r251419, respectively.» Выходит про «полгода назад» это очередное заблуждение. Что касается ZIL и L2ARC так они на одном SSD вообще чуть ли не с первых релизов работали. Сейчас вот iXSystems пытается мигрировать TrueNAS на линукс, будем наблюдать за успехами.

Если виртуалки не использовать то зачем он вообще нужен? Сериалы на нем хранить?

Вообще-то да. Нахрена там вообще виртуалки гонять? Основная задача NAS ясна из своего названия — хранение данных.

а образы виртуалок — это не данные? )

Образы виртуалок — конечно, данные. Но я бы не стал запускать виртуалку с сетевого диска.

А реальные компы загружать по iSCSI?

Заподозрил неладное, когда предложили установить Netatalk для TimeMachine. Уже довольно давно (я проверял с 10.13) TimeMachine можно поднять на обычной Samba.
глупо включать сжатие ZFS для хранения сжатого видео

нет. сжатие по умолчанию (lz4) практически ничего не стоит, но зато позволяет блокам быть меньше recordsize.

с точностью до наоборот — при сжатии сжатого размер увеличивается

речь про особенности zfs.


zfs использует неполные блоки только при включенном сжатии. сами блоки при этом могут быть не сжаты, это не важно (более того, если блок сжимается менее, чем на не-помню-сколько-там-процентов, то он сохраняется на диск несжатым).
всё это особенно актуально при использовании больших recordsize, например, 1 МБ. несжимаемый файл размером 200 байт займет на диске 1 МБ при выключенном сжатии и 1 сектор при включенном (обычно 512 байт или 4 КБ).

и много ты видел видеофайлов размером менее 1 МБ? ;)

ну я подозреваю, что там хранятся не только видеофайлы.
если исключительно видеофайлы — то да, выигрыша от включения сжатия не будет. как и особых недостатков, вся цена включенного lz4 на несжимаемых файлах — бо́льшая загрузка процессора, что на выделенном nas особой роли не играет.


P. S. у меня на рабочем nas включено сжатие zstd, тут уже требования к процессору куда серьёзнее, но свой гигабайт в секунду на запись он выдаёт

UFO just landed and posted this here

включается-выключается на уровне файловой системы.


да, в zfs на пуле может быть множество файловых систем, я бы даже сказал, что zfs прямо подталкивает создавать отдельные файловые системы на каждый чих

Жаль, снепшотить сразу все поддерево позволяет, а клонировать — нет. Так было бы вообще идеально.

не понял чем zfs clone не устраивает

zfs clone
usage:
    clone [-p] [-o property=value] ... <snapshot> <filesystem|volume>

-r бы )

имеете в виду клонирование всех вложенных fs?

Ну да. Все поддерево, для которого существует указанный снепшот.
Было бы удобно для клона системы перед обновлением как минимум.

с первого взгляда кажется, что написать скрипт — дел на полчаса с отладкой

До написания и отладки еще дожить надо… пока этот ковыряется с хуками apt и update-initramfs.
Ну и код-то уже написан и используется. Просто не в случае с клонированием.

UFO just landed and posted this here

Только файловая система в zfs по сложности операций с ней мало чем отличается от каталога в ntfs. ;)
А сжатие, один фиг, проще применить сразу к папке, а то и корню — несжимаемые данные все равно лежат в отдельном хоронилище, зато так наследование атрибутов автоматом включает сжатие в новых файлах.


Так что фича применения сжатия в каждому файлу идеологически крута, но в реале используется примерно никогда.

UFO just landed and posted this here

Ну да. Наследование атрибутов же, в ntfs сжатие задается как атрибут файла/папки.
Этот о том, что само по себе установка атрибута сжатия для единичного файла не имеет практического смысла. Особенно для виндовой ntfs, где программы не перезаписывают текущий файл а удаляют и создают новый с тем же именем — отчего теряются дополнительные потоки, расширенные и файловые атрибуты.


И, следовательно, преимуществом или показателем продвинутости эта возможность не является.

UFO just landed and posted this here

Это не так принципиально. Возьмите сохранение файла под новым именем — эффект будет тот же.
В любом случае, при установке атрибута только на файлы создание нового файла приводит к потере атрибута <ins=который так же потеряется /> при любых действиях, отличных от дозаписи/усечения, и файлу надо будет снова вручную установить атрибут.


Точно так же, как с новыми бесполезными форматами сжатия в 10 — бесполезными по сходной причине.


Итого, в сухом остатке имеет смысл только установка атрибута на папку или корень. Что возвращает нас к тому факту, что в zfs — dataset ("файловая система") гораздо ближе к папке, чем к реальной ФС.
Отчего ваше оригинальное утверждение теряет смысл.

UFO just landed and posted this here
Интересно, драйвер XP на десятке работать будет? ))

Отвалится как неподписаный, в первую очередь. Хуки ядра тоже наверняка поменялись.


У себя я например жму субтитры, но не жму фильмы, ибо это не имеет смысла.

Кстати, и ntfs и zfs сохраняют блок неизменным, если он не сжался хотя бы на один кластер (ntfs) или 25% (zfs). И, так как сам фильм перезаписывается еще реже, чем субтитры, этот жмет тупо все.
Заодно получалось на некоторых avi и mpeg получить внезапный выигрыш — софтина писала файлы с возможностью продолжить рендер фильма в случае его прерывания, и, видимо, оставляла кучу хорошо сжимаемой информации в контейнере.


А эти датасеты я могу создать правым кликом мыши в любом месте местного проводника?

Вот это точно нет: mount доступен только руту.
Впрочем, если переиспользовать механизм, через который монтируются флешки под юзером, можно будет и добавить. Но пока zfs 2.0 еще не зарелизилась — вряд ли кто-то станет интегрировать ее в десктопы.

UFO just landed and posted this here

Нужен будет — завезут. Сейчас только-только root-on-zfs подвезли в мейнстримную убунту, не торопите коней.


Аналог, но не точная копия Ж)

У себя я например жму субтитры, но не жму фильмы, ибо это не имеет смысла. И переписывать субтитры я не собираюсь. Так что установка на файл вполне себе полезная вещь.

Я уже писал в соседней ветке, что если сжатие lz4, то отключение его никакого практического смысла не имеет, оно очень быстрое, разницы в скорости записи несжимаемых данных обнаружить не получилось (в скорости чтения разницы не будет по определению — они будут записаны несжатыми)

Начал читать не посмотрев на автора.
Сборка недорогой NAS системы == покупка б/у сервера.
Сжатие на ФС, почти не нагружающеет процессор при записи видео видео.
Очережной мусор ради рекламного баннера.

А зачем тут сжатие вообще, оно разве дает какую-то ощутимую экономию на мультимедиа контенте?

Несколько удивился такому конкретному подходу для хранения дома фоток… Мне кажется вот эти перезакладывания по «прочности» и кеширование — лишний гимор и проблемы. Может для баз данных или для чего то публичного да, но дома вполне можно собрать за ноль рублей. На чем у меня только не было серверов за 20лет. Обычно это вышедшие из использования игровые компы. ИБП и ECC вполне нивелируется переключением кеширования в режим «только чтение» и никаких проблем после этого не бывает. У ИБП аккумулятор садится через год (самое противное, что вы об этом узнаете когда выключат ток, а аккумулятор будет уже мертв, а система показывает что он еще бодрячком, и всё это просто внезапно выключится, спрашивается ради чего потуги...), а ECC в игровых не используется, и вообще, вышедшая память скорее всего сразу приведет к БСОДу. Так вот на обычных компах по тестам скорость конечно не та, но, обычно больше для дома и не требуется. Линукс пробовал, профита не понял, кроме лишней возни с консолью — с этой стороны прОвода ничего для меня не изменилось. Семерка рулит.
Один раз упал диск в Raid5, но он начал щелкать за пол года до, и это было сложно проигнорировать. Переключил сеть на 100мегабит и на пониженной скорости, чтоб не убить оставшиеся диски, перелил всё на новые. Да долго, а что делать…
Бекап есть, он не может не есть… ))
Ну х.з. — у меня APCшный смарт-юпиэç не раз сервак спасал от глюков питания. б\у шный, кстати.

На тему 7-ки, ну для СХД это несерьезно. Слишком много глюков, плюс потенциальный головняк с полухардовым реидом на обычной материнке — 10-и метровой паллкой его бы трогать не стал. Если он рухнет, особенно, если мамка с контроллером умрёт, восстанавливать его будет, скорее всего, проблемно. Поэтому либо профи-решение за конские деньги (для дома оно оверкил, однозначно), либо чисто софтовый.

Сам сервачок собирал на NAS4FREE (фряха с вебмордой, весь нужный функционал из коробки есть) Один раз настроил, и она реально работает без всякого вмешательства годы!
Из преимуществ — поддержка ZFS файловой системы со всеми плюшками (это прям реально мощная штука, главный профит от никсов помимо надежности), встроенный торрент, самба, плекс для мультимедиа и т.д. и т.п. Можно и виртуалки поднимать при необходимости и файрвол настроить и много чего ещё.

В плане железа. КОгда первый сервак собирал, на пробу, просто по дому всякого старого хлама пособирал, типа на core2duo. Норм работало полгода. Потом заапгрейдил — купил супермикровскую мамку с ecc памятью, под core i3, контроллер под 8 дисков, блок питания и корпус приличные прикупил. На круг баксов в 250-300 встало. (у сонолоджи подобный конфиг раз в 5 минимум дороже, к слову). Вот уже года три пашет

За подробностями домашнего насостроения гуглить 2gusia nas — в ЖЖ у чувака расписано про насы вдоль и поперёк. Просто блеск.
У меня были разные UPS и APC смарт через COM и USB — оно всё инфу про аккумулятор показывает от лукавого. По началу то да, выдержит минуту выключения, да что говорить и 5 мин, а вот через год… Ну просто аккумуляторов дохлых штук 10 накопилось и я забил на эту тему.
По поводу падения мамки я экспериментировал с рейд5 — ICH9,ICH10 и выше все понимают сразу если переткнуть, по крайней мере у меня так. Мало того, нормально распознаются рейд1 от FastTrack 2300 и материнки SB710 (785GTM). и ICH их как ни странно понимают. Но у меня дублируются мамки и контроллеры на этот случай. Это же дешевый сегмент… А по поводу зеркального рейда вообще можно не париться — он отдельно работает как две копии.
По поводу скоростей оно и так работает на максимум винтов (естественно с ограничением кеширования скорость ниже, но оно все равно не на винт сразу пишет, что не сказывается на первом гигабайте записи). Если через SAS шпиндели крутить синхронно, то и Raid5 бы летал, а тут мертвому припарки.
По поводу открывания сервера с личными фотками в сторону интернета — ну это конечно дело личное, но я бы не стал. У меня отдельная сеть. Если надо чем то шариться- есть просто облако. Не знаю, для меня сервер с важными вещами это штука которая не должна быть загружена всем подряд «для галочки» типа «смотрите как я умею»…
Торрент это тоже тема, туда поставить, да еще на раздачу, и при этом еще и говорить про надежность — противоположные вещи, согласитесь. Торрент в наше время можно качнуть и просто на комп, 500мегабит у многих, я уж не помню когда на сотне сидел так, чтоб часами ждать закачку… Недавно конечно ждал 3 закачки 300гиг, но это было скорее исключение и я их стер сразу, да я бы столько даже не решился на сервер кидать.
Крч есть необходимый мне функционал и я его обеспечиваю минимальными затратами, раз уж речь зашла про «недорогой домашний» я и описал самый недорогой домашний.

З.Ы. если кто сталкивался с Raid1E расскажите пожалуйста про подводные камни — очень интересный тип рейда.
У меня были разные UPS и APC смарт через COM и USB — оно всё инфу про аккумулятор показывает от лукавого.

Это да, есть такая проблема.


По началу то да, выдержит минуту выключения, да что говорить и 5 мин, а вот через год… Ну просто аккумуляторов дохлых штук 10 накопилось и я забил на эту тему.

По моему опыту срок жизни аккумулятора сильно зависит от условий эксплуатации.
Во-первых, ИБП должен быть способен штатно отдавать максимальную возможную нагрузку, работая на аккумуляторах, причем с хорошим запасом по допустимой нагрузке.
Во-вторых, аккумуляторы должны быть по емкости быть не больше тех, что положено штатно в ИБП.
В-третьих, паршивое качество входного электропитания (плавающая частота, прыгающее напряжение, частые отключения) тоже сокращает время их жизни.
Ну и, понятное дело, ИБП и аккумуляторы должны быть качественными (с этим как раз сложно, ибо практически лотерея, особенно последнее время, когда и серьезные фирмы часто лажают).
И при всем этом аккумулятор на критичных системах однозначно под замену через два года вне зависимости от того, что показывают сам ИБП и реальная проверка выключением питания на входе ИБП.
А так у меня на стареньком ИБП от APC аккумулятор прожил благополучно больше пяти лет и ушел под замену только потому, что стал ощутимо греться при заряде (да еще вздулся немного). Новому уже больше четырех лет, полет нормальный, заметной на глаз потери емкости не наблюдается.

перечисленное фигня по сравнению с рабочей температурой аккума, если его подогревает схема, то хана
Ну и, понятное дело, ИБП и аккумуляторы должны быть качественными

Что среди прочего вроде как должно подразумевать нормальную конструкцию, где схема не поджаривает аккумулятор.


NBAH79
но питает аккум ИБП уже после фильтра, так я понимаю.

Когда бесперебойник постоянно переключается с питания от розетки на питание от аккумулятора и обратно, аккумулятору лучше не становится. Да и самому ИБП оно не на пользу.

Если там мощ >30%, а это обычно так, то да — сдохнет быстро. С запасом на коротких выключениях не очень страшно, хотя ресурс не бесконечен. И зависит от конструкции конечно.
так а как с этим бороться?
у нас тут Москва — может быть конечно плохое электричество, но питает аккум ИБП уже после фильтра, так я понимаю. А кроме того, если у меня сервер — старый игровой комп с условной видяшкой, на 2 ядерке 65 ватт, а ИБП 650ВА, то это по любому в сумме больше чем вдвое. Так что тут в чем то другом дело, может просто повезло. Фильтры вообще есть разных видов, с разным качеством и ценой, разным видом «волны», причем у дешевых эти ступеньки даже волной не назвать. Я самые дешевые не брал, а на дорогие за 30000 жаба душила.

Смотря как аккумуляторы меняли, та же APC рассчитывает время работы аккумулятора от его "возраста" и текущего потребления. Например показывает, что аккум продержится 1 минуту при потере внешнего питания, меняешь физически аккум на новый в UPS. Проверяешь, а ничего не изменилось. Будет показывать, что новый продержится тоже всего минуту. Надо заходить через родной PowerShut и в интерфейсе говорить UPS, что ему поставили новую батарею (что собственно мало кто делает). И о чудо, после этого UPS показывает, что батарея будет держать полчаса. Причем реальное состояние аккума UPS не видит, как я понимаю. Ему главное, что бы аккум еженедельный self-test проходил за определенное по дефолту время. В тесте идет частичный разряд батареи и после замеряется время до полного заряда. При этом расчетное время работы от батареи, которым оперирует UPS, напрямую будет влиять на то, как быстро UPS даст команду серверу выключится, если внешнее питание так и не вернулось.
По крайней мере на Backup-UPS CS это именно так.

У ИБП аккумулятор садится через год (самое противное, что вы об этом узнаете когда выключат ток, а аккумулятор будет уже мертв,

Кстати, тоже заметил, что классические бюджетные ИБПшники издеваются над батареями достаточно жестко, любят на батареи зачем-то подавать 15.5-15.6 вольт (что жестковато даже для кальциевых) — видимо, у них задача быстро зарядить пустую батарею для оперативной готовности к новым подвигам важнее здоровья самой батареи. В итоге год-полтора даже практически без аварийных переключений, и батарея становится раздутым трупом.
Для простых задач на простых матерях типа Mini ITX с камнями до 10 ватт, кои начиная с Bay Trail являются вполне себе производительными для таких задач, вопрос питания решается достаточно просто: вместо стандартных ПКшных блоков питания можно использовать переходники с 12 вольт на ATX 24pin, у которых есть все необходимое для линий 3.3 и 5 вольт, и 12-вольтовые БИРП (часто называются еще БРП или РИП) для систем безопасности, хотя некоторым моделям потребуется подключение дополнительного DC-DC стабилизатора на 12 вольт, ибо рабочее напряжение у них, как правило, 13.5 вольт, хотя есть и экземпляры с рабочим напряжением 12 вольт, а для зарядки батареи у них отдельная схема. К примеру, БИРП 12\4 для всяких пожарных и охранных систем типа БОЛИДа, которые выдают до 4.5А и сделаны под 2 батареи, напруга 12 вольт, пульсации обещают всего лишь до 20 мВ. Эти блоки относятся к батареям гораааздо бережливее, и для питания системы не происходит бесполезного преобразования в 220, а потом обратно. Жесткие диски же можно подключать через отдельный подобный БИРП (если блоки попроще, до 2 ампер), что увеличит общее время работы системы. Стандартная 7 Ач батарея при потреблении порядка 1А будет работать не менее 3-4 часов, что тоже есть гуд. Плюс по этой же линии питания можно запитать, к примеру, роутер, что всю систему «пк-сеть» оставит надолго при отключении питания в доме (естественно, если у провайдера есть в шкафу ИБП, и он не удрочен, что бывает редко — раньше работал в домру на линиях, и постоянные писки из шкафа — нередкое явление))) ) Ну а современные БИРП у того же К-Инжиниринга (БИРП 12\4) имеют средства контроля и сигнализацию через простые опторелейные выходы. Схемотехника у них обычно хорошая — конденсаторы, как правило, Jamicon, остальная рассыпуха тоже явно не подвальный Китай, сколько ни разбирал, качество печатных плат отличное. 10 и более лет без проблем служат на объектах практически без внимания, в пыли и грязи.
Вообще, мало народу понимает, что вся современная техника (не силовая) 220 вольт использует просто потому что а откуда взять еще?) А 220, как правило, преобразуется в большинство стандартных напряжений: 5, 12, 19 (ноутбуки) вольт. То есть для питания всякой цифровой техники в доме (если не лень, ибо простому юзеру геморройно разбирать всю технику и вырезать горячую часть) вообще можно сделать отдельную сеть 12 или 24 вольт с централизованным резервным питанием, к примеру, а приборы подключать через преобразователи. Ту же сеть розеток с USB. Ну просто такое питание будет иметь существенно более высокий КПД и более долгое время работы при меньших затратах на аккумуляторы.
> сеть розеток с USB

и на сколько упадет напряжение «в дальней розетке»?

Вот это некропост!
Что самое смешное — экономия на спичках какая-то выходит, одним словом — рекламный пост ;((


В качестве NAS лучше уж взять MicroServer Gen8, в него можно и процессор пободрее поставить и он не древний, как предыдущее поколение с несменным процессором.
Да и сжатие в ZFS для видео-контента это сильно. Дедупликацию бы ещё включили для полного счастья ;))

Подскажите, зачем для хранилки статики ZFS? Вот сейчас говорят настраивать систему на mini-itx. Памяти 3гб. Для ZFS мало. Чем будет хуже использовать lvm raid 5 и какой-нибудь xfs сверху?

ZFS умеет периодически проверять консистентность данных, плюс из-за COW (Copy On Write) подхода можно делать лёгкие снапшоты, что для домашнего хранилища может быть очень полезно.

Забавная экономия… Купить древнее железо за недорого, потратить кучу времени на то чтобы оно чуть чуть заработало, а потом за этот минимум платить огромные деньги по счету за электричество… По мне сомнительное удовольствие..

Поинтересуйтесь, сколько стоит amazon S3 на 12 гигабайт в месяц — прифигеете и не будете задавать таких вопросов. За эту цену каждый месяц-два можно новый NAS покупать.

12 гигабайт на год стоят ~$3. Причём это самый горячий доступ к данным. Если для бэкапов, можно взять S3 Glacier Deep Archive, тогда 12 гигабайт будут стоит уже ~$0.14 (а 12 терабайт $140) Правда стоит учесть стоимость получения данных, но для бэкапов очень даже нормально.

Из горячего также есть (цены за месяц):



Из холодного:



Это из тех, кто не слишком наглеет с ценами за трафик. Наверняка есть ещё.


¹ Хотя Sia и не совсем корректно сравнивать с централизованными облачными хранилищами

Извините, я опечатался, конечно. Постоянно путаю гигабайты с терабайтами (это уже та планка, где числа такие большие, что мозги заклинивает :). У меня 12 Тб данных. Платить ~$3000 в год (как Вы и говорите — ~$3 за 12 гигабайт * 1000 раз) — увольте, я лучше куплю 4 четырёхтерабайтника по $150 и ящик за $400 (что я и сделал) и буду иметь его далеко не год — ZRAID1 вполне даёт нужный уровень сохранности данных.

Тут нужно разобраться, какие данные требуется хранить, как часто к ним нужно иметь достпуп, какой процент недоступности данных в год допустим. И, конечно, не стоит надеяться полностью на локальное или полностью облачные решения, нужна комбинация таких вариантов.
1. Странная математика 3$ за терабайт в месяц это не 3000$ за 12 терабайт в год, а всего 432. И не забываем, что это цена за терабайт месяц, а не за 10+ терабайт год.
Там цены меньше процентов на 40-60…
2. Также там 12 Тбайт это данные в рейд и вероятность их утраты крайне низка… Со своей «хранилкой» это уже это минимум дисков на 16 Тбайт (чтобы иметь хоть какую-то защитой от утраты), а реально 24. (раз уж мы с облаком сравниваем).
3. Ну и опять таки, разговор зашел за старое железо которое жалко выбросить, а это ихвините повышенный риск отказа в обслуживании, вероятность которого в облаке крайне низка, да и с новым железом она явно ниже…
А я и не задаю вопросов. В статье сравниваются НОВЫЕ изделия от synology с в 10 раз меньшим потреблением, со старым подержанным железом без гарантии, да ещё и требующим обслуживания на момент покупки. Далее строитсямсистема с нуля, для получения минимального функционала, а не получаете больший функционал «из коробки». Может Ваше личное время и бесплатно, но у большинства людей работа не бесплатна.
Дальше вы пишите про облачные хранилища и опять вы получаете услугу сразу без настроек, сборок и ремонтов. И облако вам даёт более менее высокую гарантию на сохранность ваших данных, что подтверждено договором. А поделка из статьи имеет надёжность на уровне плинтуса… И дело не в файловой системе, а во всех элементах. Железо сервера, внешнее питание и т.д.

Я не знаю, что там касательно "железки из статьи", но я свой NAS построил один раз, года 3 назад, и с тех пор всё "обслуживание" сводится к прогону на нём zpool scrub раз в пару месяцев.


И облако вам даёт более менее высокую гарантию на сохранность ваших данных, что подтверждено договором.

Вам примеры, когда "облачные хранилища" вчера были, а сегодня испарились — вместе с данными, — несмотря на договоры и прочее, надо приводить, или сами нагуглите? А если мой NAS "сам испарится", это значит, что у меня, мягко говоря, несколько более серьёзные проблемы (вроде радиоактивных осадков), чем сохранность данных.

Знаете поговорку — скупой платит дважды. Я что то не припоминаю. чтобы амазон или blackbaze куда-то «убегали» да и остальные приведенные выше сервисы существуют уже очень много лет…
Знаете, у нас в США многие заявления сопровождаются припиской «past performance does not guarantee future results». Или, русским языком говоря, «то, что так было до сих пор — не гарантия, что так будет и дальше». И да, это касается всех, в том числе амазонов.
Не могли бы привести ссылку на оферту с данной фразой от Амазон и блэкбэйз например?

О чём это Вы? Какая ещё оферта амазона??


Повторяю: «то, что так было до сих пор — не является гарантией, что так будет и в дальнейшем». То, что амазон беспроблемно просуществовал более 10 лет — не гарантия, что он просущестует ещё 10. Скорее всего, просуществует, но — не гарантированно.

Если Амазон перестанет существовать, он утащит с собой Вайбер, ватсап часть Фейсбука и т.д. а также огромный кусок интернета… Причем не просто, а функциональную часть. Т.е. перестанут работать и сервисы на прямую не связанные с амазоном.
И где ссылка на указанную вами фразу хоть где-то в сервисах хранения данных Амазон и блэкбэйз, вы же написали что данная фраза там есть… Или?
Если Амазон перестанет существовать, он утащит с собой Вайбер, ватсап часть Фейсбука и т.д. а также огромный кусок интернета…

Да. И?.. Вон, амазон Parler уже утащил — и что, Земля налетела на небесную ось?


вы же написали что данная фраза там есть… Или?

Или. Вам ведь не составит труда предоставить ссылку на комментарий, где я открытым текстом "написал, что такая фраза там есть"? В противном случае поздравляю Вас, гражданин, соврамши. (А за то, то Вы там навыдумывали, я ответственности не несу и нести не могу).

Пока выдумщик только Вы.
Вы пишите что «многие заявления сопровождаются припиской «past performance does not guarantee future results».»
Где такое есть относительно указанных сервисов? Вот гарантии хранения они предоставляют. А указанное вами где? Или это у Вас личная Ваша присказка?

Так вот для кого пишут, что в микроволновке нельзя сушить кошек, а полиэтиленовые пакеты нельзя завязывать на голове ребенка…

Рекомендую автору не позориться переводом статьи трехлетней давности и тихо её удалить.
UFO just landed and posted this here
А что, так можно было? Пойду-ка я переведу статью… так, чтобы не мелочиться, сразу тридцатилетней давности найду что-нибудь. Может возьмут куда-нибудь после этого в штат? :)

Не-е-е, в рувдс не возьмут. Там конкурс и хоть какое-никакое (ну или никакое-никакое) тестирование, как мы видим.
А вот в Редакторы хабра — вполне. Требований никаких, судя по всему.
А с такой грамотностью (что редкость сейчас) — так и в Главные Редакторы.

На главреды хабра тоже согласен! Заверните! ;)
Raspberry Pi 4 Model B + Toshiba V300 [HDWU120UZSVA] + AGE STAR 3UB3A8-6G + Transcend microSDHC 32 ГБ = 13150р.
UFO just landed and posted this here
за 13к будет что-то уровня synology ds120\220, а это всего один или два (если 2xx серия) диска и крайне низкая производительность. Был опыт с ds119если не изменяет память, это такая боль что лучше не связываться
вот с самосбором да, не так красиво, удобно и экономично по электрике будет при таком бюджете, но значительно производительней и практичней
UFO just landed and posted this here
мммм диски по юсб, и как? он хотя бы спит или как самолетик на постоянном взлете? а с охладом как боролись? четвертая малина не любит в пассиве работать, да и кейсик этот пластик в полном пассиве — перегрев то не ловится?
интересуюсь, не с целью подколоть или обидеть, интересен опыт использования — так как мой опыт использования кейсов для хдд в качестве сетевого хранилища весьма печален — на связке с моим кинетиком диск защелкал в кейсе спустя месяц в режиме 24\7 — скорость не то что бы даже приемлимая была… в итоге остановился на itx плате в напечатанном на 3д принтере корпусе с 4 дисками и обычным atx блоком питания и 1 крутелятором на 120 мм — да коробочка вышла не сама компактная зато нет развешенных на проводах коробок и работает достаточно тихо — осталось только сигму вынести с базой некстклауда на флэшку и будет тишина
Нет потребности во сне. Система используется как домашний видеорегистратор на 4 камеры, качалка/раздавалка, центр управления умного дома, IPFS нода.
Малина не в корпусе, установлена стойками на корпусе AGE, на камень наклеен пассивный радиатор — субъективно градусов 50-60.
Запитана от блока питания AGE.
Скорость запись/чтение в рабочем режиме — ~112/117
А вот как у вас выходит такая скорость чтения\записи? Я себе тоже собрал типа-NAS на малинке 4. Воткнул в него 2 USB-3 жестких диска (при чем один 3.5' с внешним питанием). Там Pi-hole, samba и miniDLNA. И чтение\запись у меня по проводу 35\50 Мб\с в лучшем случае. Порты в роутере\десктопе гигабитные, эзернет-лапша вроде не самая дешманская. Где я потерял аж в два раза?
Диски, само собой, просто по ЮСБ отдают гораздо быстрее.
local %RASPBERRY% port 5201 connected to %DESKTOP% port 58330 -- 927 Mbits/sec
local %DESKTOP% port 54976 connected to %RASPBERRY% port 5201 -- 575 Mbits/sec


В реальности же просто копирование большого файла:
  • с малины на компьютер — 50 Мбайт/сек
  • с компьютера на малину — вообще 30...35 Мбайт/сек, но вот сейчас тестирую и после скачивания с малины обратно он копирует со скоростью 18 Мбайт/сек


В top при простое вообще ничего, нагружающего процессор хотя бы на 1% нет. При копировании вылезают вот эти процессы:
  • smdb — 49%
  • mount.ntfs — 47%
  • ksoftirqd/0 — 35
  • kswapd0 — 10%
  • usb-storage — 5...10%

При записи на сервер mount.ntfs жрет ~87%

Ну, 575 Mbits/sec — уже нехорошо.
И попробуйте, ради интереса, отформатировать жёсткий диск в ext4.

Да, ext4 действительно помогло. Копирование на сервер теперь поднялось до 100 мбайт\с, а вот копирование с сервера теперь упирается в эти 575 мбит — скорость копирования 59 мбайт\с. Что может так занижать пропускную способность в эту сторону?

Поиграйтесь с iperf3, используя протокол UDP, играясь с размером и количеством пакетов. Убедитесь, что проблема не в роутере.

К соседнему совету ещё можно добавить — что выдаёт top? И с какой скоростью получается читать с диска без сети?


Вообще, скорости однозначно должны быть выше. И их можно поднять ещё, если выбирать правильный адаптер с поддержкой UASP https://www.jeffgeerling.com/blog/2020/uasp-makes-raspberry-pi-4-disk-io-50-faster

Выше ответил насчет top (smdb, mount.ntfs, ksoftirqd/0, kswapd0, usb-storage). Спасибо за статью, проверил, у меня UASP не поддерживается ни одним адаптером. Попробую найти с поддержкой.
У меня — ~112/117 — это скорость доступа к диску, в мегабайтах.
А по сети скорость (чтение) однозначно меньше, но не намного:


А у Вас скорость указана в мегабитах (35\50 Мб)- т.е. это 3.5-5 мегабайта?

Ответить на Ваш вопрос не видя железа/конфигов/загрузки сети/камней сложно.
Я бы в первую очередь посмотрел на какую скорость поднялись все сетевые инт. участвующие в цепочке передачи данных и в идеальных условиях (нет никаких процессов кроме системных на малине, оставить в роутере только малину и свой комп), запустил бы (как советуют товарищи выше) с двух сторон iperf. Ну а дальше по результатам…
Нет, у меня 35\50 Мбайт. Выше я ответил как загружается малинка при копировании\записи. Десктоп, вроде, достаточно мощный, чтоб справиться с копированием) Больше в локальной сети ничего не происходит при копировании.
Ну так все верно. У вас диск под NTFS, это не нативная ФС — также часто наблюдал такое в связке samba+NTFS. Попробуйте тест с разделом под unix ФС — например ext4.
А проблем с доступом к данным (чтение и запись) с других устройств не будет? У меня к нему подключается зоопарк: Windows\Android\iOS\WebOS. За некоторые из них я переживал, поэтому сделал NTFS.
В каком смысле «подключается зоопарк»? Разве этот диск не физически подключен (по USB) к малине, а другие компы имеют доступ к файлам на нем как к сетевому шарингу?

Суть работы сетевых дисков в том, что компьютеры между собой общаются по протоколу SMB. О том, что там за файловая система, знает только сам сервер — клиентам это без разницы. В вашей ситуации NTFS — однозначный источник проблемы.

Проблема с покупкой таких б/у серверов в том, что лет через 5 сдохнет в нём, скажем, блок питания — а заменить нечем: стандартный не лезет, а родной продаётся по цене антиквариата (фигли, он примерно столько же лет назад и был произведён).

UFO just landed and posted this here
Менял БП в gen7 — обычный Flex-ATX блок. Никаких проблем с заменой нет.
UFO just landed and posted this here

Я писал по собственному опыту. Вот железяка. У меня сейчас в шкафу три штуки таких, все с дохлыми БП. Отлично работали как NAS, но теперь никакие стандартные БП не подходят — ни по размеру, ни по распиновке. И фсё. :(

Если мне не изменяет глазомер, то в этой железяке стоит такой же Flex ATX блок, как и в HP-микросервере, только помощнее.
Полагаю, что Вам подойдет, например, SeaSonic SSP-250SUB, но у него лишь три разъема SATA-питания, так что придется докупить переходник с молекса.
Ну или поискать другую модель. Flex-ATX модели я встречал также у exegate и procase. Хоть это и не самый популярный формат, моделей мало, но подобрать и купить не проблема.
К сожалению не все так радужно.
На грая станциях HP в свое время стояли atx блоки питания, которые нельзя было заменить на другие, из-за платы мониторинга состояния…
а на xw4600 блоки atx но крепление и размер не позволяют вместо них ставить обычные…

в худшем случае можно будет купить очередной б/у сервер в сборе за условные $75 (и получить заодно апгрейд системы)

Видимо, потому что у zfs есть фишка — снэпшоты. Ну а скорость здесь уже не критична — все равно же по медленной сети данные гоняются.

а почему нет? )


у raidz нет write hole. и вообще всё в zfs спроектировано так, что потерять данные нужно ещё постараться, а прочитать искажённые данные вообще малореально.
raidz «знает» о данных и поэтому проверка/восстановление незаполненного массива идёт куда быстрее.


есть и недостатки:


  1. md позволяет использовать крупный stripe (например, мегабайт), в этом случае чтение небольшого файла затрагивает только один диск.
    у raidz чтение мегабайтного файла затронет все диски в vdev, для многопоточной нагрузки это плохо (фактически мы получаем мультипликацию iops);
  2. избыточность у raidz выше, особенно на мелких файлах.
    скажем, на raid6 10+2 1000 файлов по 200 байт займут 1200 секторов; на zfs — 3000 секторов
у raidz чтение мегабайтного файла затронет все диски в vdev

Зато сбойный сектор будет обнаружен практически сразу же, а не "когда-нибудь", и (скорее всего) тут же исправлен.

не понял как это связано.


вы про то, что zfs при чтении сразу проверяет контрольные суммы? так оно и с zfs over md работать будет

ZRAID читает обе копии сектора (оттого и тормоза) и сверяет КС в каждой. Если в одной копии КС не сошлась, то она тут же переписывается той копией, в которой сошлась.

мне кажется, что вы ошибаетесь. можно пруф?

Теперь я уже больше не уверен. При скрабе это происходит 100%, но мне всегда казалось, что и при "нормальном" чтении тоже.

Хм, любопытно. А что у zfs со скоростью?

если равнивать со стандартными файловыми системами, то в целом медленнее (cow совсем не бесплатная вещь). но есть некоторые «фишки»: продвинутый кэш в памяти (arc), несколько способов использовать ssd для ускорения hdd (l2arc, zil, special vdev).


ну и снапшотов в традиционных фс нет (а франкенштейны из lvm и xfs, которые лепит rh, мне совершенно не симпатичны).

Снепшоты не очень интересны для рейдов на 10+тб, ускорение в принципе тоже, а так подумаю, погуглю, спасибо

Как раз на больших объемах они крайне интересны: по сравнению с zfs send -i prev_snap new_snap любые другие способы бэкапа превращаются в лютый тормоз.

Хм, а может вы и правы особенно если еще в связке с samba shadow может быть довольно интересно. Эх жалко последний массив уже поверх md поднял

С самбой хорошо для виндовых клиентов, вместе с zfs-auto-snapshots.
К линуксовым сколько-нибудь нативно прикрутить "Предыдущие версии" (или как там они называются?) не вышло.
Правда, этот глубоко не копал, немножко потыкал thunar да nautilus, и то лет 5 назад.


Главное, не включайте дедупликацию — это здоровенная волчья яма без ssd и большого количества памяти. Хотя в отдельных случаях и позволяет получить просто фантастический профит по месту.

С самбой хорошо для виндовых клиентов, вместе с zfs-auto-snapshots.

а можно подробнее как это выглядит?

Отчего нет?


  1. Snapshotter.
    Этот использует zfs-auto-snapshot. Перед установкой лучше в кронфайлы добавить опцию --default-exclude


  2. Вручную установить свойства com.sun:auto-snapshot в true и snapdir=visible на нужных датасетах.


  3. Примерный конфиг samba-шары:


    vfs objects = shadow_copy2 aio_pthread
    shadow:format = zfs-auto-%Y%m%d-%H%M%S # <snap_prefix><time_format>
    shadow:snapdir = .zfs/snapshot
    shadow:sort = desc
    shadow:localtime = yes
    veto files = /.zfs/

  4. на виндоклиенте включить и запустить службу shadow copy client или как-то так…



Формат имени снепшота должен соответствовать shadow:format, иначе магии не случится. Что из них проще поменять — решайте сами.
В рассылке samba было обсуждение, в котором муссировалась тема префиксов перед датой, вроде было смерджено решение, позволяющее указывать то ли переменную, то ли замаскированную * часть.


После этого на вкладке "Предыдущие версии" в винде можно наблюдать список этих самых версий.
Перезагрузка самбы не нужна, достаточно reload. Перезагрузка винды не нужна (как правило), но нужен remount.

лучший NAS на бушном железе это свежий ноутбук с кокнутым экраном.

ИБП+тихий+wifi+ethernet+1 или 2 слота под диски.

сходите в ветку на ixbt, пулы в десятки терабайт там обычное дело.

UFO just landed and posted this here

диски слишком часто дохнут, так что хранить данные без избыточности — не очень хорошая идея.

UFO just landed and posted this here
Свежий ноутбук + ethernet — это уже не так просто найти.

схожий конфиг трудится дома уже несколько лет
N54L, 8G ECC RAM, 2 пары дисков, каждая в zfs зеркале, от двух вендоров, гигабитная сеть.
Программно — ZFS on Linux + debian + proxmox + truecrypt.
В контейнерах всякие торренты, DLNA, WinXP для запуска специфичного софта, отдельные контейнеры под сборку линукс-проектов (на рабочем ноуте винда).
Прошел путь от самосбора и покупного НАСа, и пришел к этому. Максимальная гибкость и софт из мэйнстрима.
Хранятся домашние фотки и видео, рабочие бэкапы, музыка и т.п. В шифрованых truecrypt разделах еще койчего. С нуля ставилось все за три вечера.
Ни один покупной Synology не закроет эти потребности, разве что только файлопомойка нужна.
Если надо, опубликую инструкцию howto, собранную по частичкам с ixbt, reddit, proxmox-форумов и т.п. Хотя тысячи их (с)


PS бэкапы на отдельном носителе в другом физически месте — отдельная тема

UFO just landed and posted this here

Справедливости ради, на Synology чтоб получить шифрованные контейнеры, виртуальные машины, докер, торренты, DLNA, бэкапы и музыку надо не 3 вечера, а просто нажать на кнопку питания :)
Ну, ладно, может еще надо зайти в менеджер пакетов и включить нужные, все перечисленные будут на первой странице списка.


P.S.: у меня самосборный апп-сервер.

Соглашусь с Вами по поводу достаточности коробочного функционала для режима использования «хабра-домохозяйка».
Но когда я скачал сериал BBC и мой телек просто отказался его по DLNA проигрывать, то я недолго думая погуглил, запустил софт с нужными ключиками и дети были счастливы. Хотя возможно новые Synology тоже так имеют, тут не буду о вкусе устриц спорить.

Ну и Synology на 4 диска на процессоре, в котором виртуализация (к примеру комфортный запуск WinXP) возможна не только на бумажке, а на самом деле — стоит неприлично много. А Gen7 \ Gen8 можно купить по цене металлолома, и это будет вполне себе взрослое железо и оно не сдохнет еще очень долго. Статья то про нищебродов изначально
Мне microserver gen7 нравится наличием разъема 5,25, в который спокойно можно разместить корзину на четыре 2,5' диска или SSD.
Добавляем дисковый контроллер и получаем неплохой такой NAS на 8 дисков или даже два…
image
supermicro, atom, мелкий ссд под рут, 4Gb, 2 гринвд 4tb (2 в зеркале под фотки и важное, 2 в linear под фильмецы и прочий хлам) lvm для удобств. всё смотированно без корпуса в шкафу для электроустановки в стене. блюреи не затыкаются, рипы с блюреев тоже. за 10 лет сдох один гривд, второй собирается сдохнуть.
кроме того держит ovpn для разных нужд, nextcloud, мониторинг дачи (отопление, инвертор, тепличка), zabbix подшефных клиентосов, ещё чего-то по-мелочи.
система altlinux p8 (ну нравился он мне в своё время)
проц холодный, крутится сутками 10 лет. тишина.
гринвд покупались из-за низкого электропотребления
Это за сколько же вы 4 ТБ 10 лет назад покупали? Они тогда вообще были????
В 2010 году топовый сегейт был на 3 Тбайта (первый выпущенный диск такого объема)
а в 2011 первый в мире 4 Тбайт диск был сделан…

Я за бекап порядка 200гб в google cloud + blackblaze плачу порядка 2 баксов, ето 24 в год. Чтоб потратить 700 баксов на клауды мне надо 30 лет и ето без учёта мейнтененса, електричества и ремонтов :) нафиг надо такой nas дома

Я за бекап порядка 200гб в google cloud + blackblaze плачу порядка 2 баксов

а где гарантия, что через год, два они скажут извините не смогли…
и все накроется медным тазиком

Вы настолько параноик что думаете что два клауда загнуться одновременно — ну тогда добавьте сюда ещё амазон и ещё несколько по своему желанию и гарантией что все они не накроються одновременно.

UFO just landed and posted this here

Ух, как хорошо что я не россии живу и такое мне не грозит :) А вы можете использовать яндекс, мейл.ру и что там ище будет доступно, когда отключат интернет ;)

UFO just landed and posted this here
UFO just landed and posted this here
UFO just landed and posted this here
UFO just landed and posted this here
UFO just landed and posted this here
UFO just landed and posted this here
Ссылку не дадите на материал? Я лично первый раз про такое слышу. Вот сегментарное отключения Амазона лет 5 назад было, когда лег Вотсап Вайбер и ещё куча сервисов… И то тогда все лежало часов 30 всего…

Опять же. Отключат вам свет и провод до квартиры и с самопальным насос вы также окажитесь без данных. Даже если только интернет отключат нас сведётся к обычному usb диску…
А где гарантия что не накроется старое железо из статьи и не утащит за собой все диски? Или что ремонтник Вася не «херакнет» 380 на землю и не спалит оборудование всего дома?
даже в стольном граде Москва, в новостройке у меня теперь ИБП так как 2-ды за неделю были аварии на НОВОЙ подстанции (не поп причине поломок, Джамшут провод кидаль, кидаль, не попаль...)
FreeNas -> Nas4Free -> XigmaNas с 2007 года. Вторая по счету материнка Mini-ITX, на первой было всего 2 SATA. 8 Винтов, три из них сдохли. Самая старая 1Tb WDшка накрутила 77525 часов. Если доработает до 100000, как думаете, купит ее у меня Western Digital в свой музей? ;)
UFO just landed and posted this here
сервер дома сожрёт за год электричества больше своей стоимости.
Для дома надо бы решение ITX платформу с low-voltage процессором.
UFO just landed and posted this here
Специально замерял: при пиковой нагрузке (CPU + IO + копирование по сети) HP Microserver Gen7 с четырьмя дисками 3.5" жрет 65 Вт. В простое 45 Вт. 65 Вт * 24 часа * 365 дней = 570 кВт*ч. При тарифе 5 руб\кВтч -> 2850 рублей.

Так что Вы правы. Но не потому, что сожрет много, а потому, что сегодня Gen7 реально за копейки купить.
— Как собрать недорогой NAS?
— Купить б/у сервер по цене в 4 раза ниже цены б/у сервера.
Сначала я ознакомился с коммерческими решениями и рассмотрел, в частности, компанию Synology, которая, как предполагалось, предоставляет лучшие NAS-системы потребительского уровня на рынке. Однако стоимость этого сервиса оказалась достаточно высока.


Замечу, что Synology (а точнее Disk Station Manager ) это операционная система сделанная на базе Linux. Авторы, согласно GNU GPL — ее исходники периодически выкладывают в опенсурс.

С-нно существует проект построенный на базе этих исходников — XPEnology. Его можно поставить практически на любую железку и из коробки, с удобным интерфейсом задействовать большинство фичей (Time Machine — в том числе).
1. «проект построенный на базе этих исходников — XPEnology» — это совсем не так. Проект построен на готовом дистрибутиве DSM с пропатченным (сломанным) загрузчиком.
2. «практически на любую железку и из коробки» далеко не на любую. Перечень железок очень ограничен. НО DSM от определенных железных хранилок отлично работает на ESX, который в свою очередь можно поставить практически на любое железо.

А кто что скажет насчет шума от HP Microserver G7/G8? Рассматриваю для себя подобную покупку, чтоб стоял рядом на столе. И хотелось бы чтоб система была тихой.

Sign up to leave a comment.