Comments 289
Спасибо за обзор, познавательно!
Тут недавно поставили задачу, может подскажите, есть ли у готовых решений возможность включить full audit в самбе?
ЗЫ. Мне freenas как-то не зашел, поэтому остановился на nas4free.
Тут недавно поставили задачу, может подскажите, есть ли у готовых решений возможность включить full audit в самбе?

По этому вопросу я не могу подсказать: SAMBA мне хотя и может потребоваться, но она далеко не в первом приоритете.
Кроме того, это зависит от конкретного NAS: надо искать для каждого решения отдельно.
Однако, я могу предположить, что в большинстве он включен по умолчанию. Например в руководстве по Synology нет ничего про full_audit, зато возможно включить отладочные логи, что позволяет предположить: логирование уровнем ниже отладочного включено (в т.ч. и отдельные модули логирования).


Тем не менее, лучше всё-таки уточнить на форумах производителя конкретного NAS, который вас интересует.


Если же вопрос в том, возможно ли править конфиг самбы вручную, чтобы подключить модули, которые хочется, то обычно нет: конфигурирование производится через Web-интерфейс, и если разработчики не предусмотрели, штатными средствами, очевидно, никак.

Связку nas4free + syslog сервер и авторизация пользователей из AD я поборол. Но хотелось бы готовое решение, думаю это было бы надежнее чем самосбор.
ЗЫ. full audit соответственно включил
Интересная статья, спасибо.
Вставлю свои 5 копеек, так как занимаюсь «строительством» NAS уже достаточно давно и пока успешно (пока не было ситуаций, когда приходилось от построенного руками решения отказываться в пользу готового).

Цена: Если Вы собираете NAS на «много ТБ» — то диски и будут основной статьей бюджета. За вычетом стоимости дисков «самосбор» и «готовый NAS» будут сопоставимы при условии, что все запчасти мы покупаем новые. Самосбор начинает выигрывать, когда у нас уже что-то есть либо мы изначально берем что-то Б/У (например, китайский Huanan + Б/У Xeon + Б/У DDR3 планки). Тут уже новое однозначно по цене будет проигрывать, причем возможно в несколько раз. НО — новое по идее должно работать дольше (тут как повезет — не 100% утверждение). В общем каждый сам решает.

Софт: Увы, пока универсальный швейцарский NAS помоему еще не создан. Чтобы все было, и ничего за это не было )))) Вот если посмотреть на рынок сетевых роутеров — то тут Mikrotik может претендовать на это звание (швейцарский роутер )))). Но с NAS-ами пока «серебряной пули нет». И лично мне пока проще и быстрее решить задачу на FreeBSD + ZFS + CBSD, чем изучать очередной черный ящик, который приготовили за меня. Любезно «заминировав» неожиданные места.

Я так скажу — опыт решает. Когда уже сделаешь штук 15-20 таких типовых коробочек (все вдоль и поперек излазив), время на поднятие NAS — это несколько часов. Так как все кейсы давно пройдены, документированы в WiKi, есть которые инструкции и шаблоны контейнеров. И работает оно потом годами, и обновлять его можно без особых неожиданностей, и обновлять уязвимое ПО просто (pkg audit то штатный).
Если опыта нет — то «готовый NAS» кажется манной небесной. И только потом понимаешь, что оно «ограничено» знаниями и желаниями разработчика. И либо придется с этим мириться, либо делать самому.
Увы, пока универсальный швейцарский NAS помоему еще не создан.

Контейнеризация очень сильно в этом помогает.
Да и в современных NAS "из коробки" есть почти всё.
Вплоть до станции видеонаблюдения.


Самосбор начинает выигрывать, когда у нас уже что-то есть либо мы изначально берем что-то Б/У (например, китайский Huanan + Б/У Xeon + Б/У DDR3 планки).

Да, этот пункт у меня есть.


Я так скажу — опыт решает. Когда уже сделаешь штук 15-20 таких типовых коробочек (все вдоль и поперек излазив), время на поднятие NAS — это несколько часов.

Это уже подход производителя NAS, пусть и в мелкой серии. В этом случае, условия другие, в том числе налажены цепочки поставки компонентов. Я данный вариант не рассматривал.

Мне кажецо готовые нас сильно как то много денег хотят. Почему даже новая комплектуха на матери супермикро оказывается вдвое дешевле? Да и собственно кроме диска все спокойно же можно брать бу

ЗЫ а можете поподробней почему именно ZFS? У меня с ней ка кто не складываются
отношения.

Там стоимость некоторых NAS указана с дисками.


Про ZFS уже комментировал здесь. Много возможностей предоставляет, которые не предоставляют другие ФС, меньше сущностей, всё в одном. Выше надёжность.

Полностью согласен — использую ZFS с 2009-го года (с FreeBSD версии 7.2-STABLE, с 13-й версии пула). Опыт инсталляций — под сотню самых разных конфигураций (и десктопное, и серверное железо, и память как с ECC так и без).
Нигде не было ситуаций, что пришлось бы от использования ZFS отказываться в пользу другой файловой системы.
Исключительно надежная, гибкая и удобная технология.
Весьма любопытно, надо попробовать. Несколько раз отказывался поскольку многие пишут, что ZFS дает хорошую нагрузку на цпу
ZFS на цпу не дает особой нагрузки. Вот память любит. И да дедуп не включайте. Он дохлый по умолчанию, т.к. удаление файлов вызывает лок всей системы.

Как-то был бекап, который стал забывать удалять файлы после себя. В итоге 20ТБ хранилось на 1ом ТБ. Размер дедап таблицы был примерно 18-20гб. При этом в системе было 56гб памяти. В момент удаления файлов все к чертям зависло. Перезагрузили, запустили дестрой всего датасета с дедапом — завис полностью сервер. Перезагрузили и продолжили в single user mode.

Учтите датасет будет говорить что он удален, но на самом деле данные не будут освобождены! За этим надо следить через пуловый сеттинг freeing.

В итоге 12 часов спустя дедупленный датасет удалился и освободился.

Короче в ZFS дедуп таблица общая на весь пул, соответственно если удаляется целый датасет даже и с последними блоками то ZFS будет проверять каждый dedup блок.

Чуток получилось увеличить скорость засчет metadata limit, который маловат по умолчанию, но все равно все висело пока происходил бекграундный дестрой.
Про ZFS уже комментировал здесь.

Как бы это еще найти.

Много возможностей предоставляет

А можно для примера килер-фичу?
Снапшоты, компрессия, дедупликация (правда, это очень специфическая фича, дома не нужно использовать), возможность увеличения объёма пула на лету (путём добавления дисков или замены дисков на более ёмкие), возможность хранения блоков отдельных датасетов в нескольких местах (настраиваемый replica factor на уровне датасета), ARC, возможность организации тонких блочных хранилищ (это скорее в сценарии хранилища под виртуализацию).
ну для больших файловых хранилищ мб дедупликация и и увеличение объема интересны, они у меня как раз самые частые.

Это все вместо рейда или поверх рейда? у меня живут рейд6 как аппаратные так и софтварные.

Зы спасибо 8)
Это все вместо рейда или поверх рейда? у меня живут рейд6 как аппаратные так и софтварные.

ZFS — не файловая система. Это комплексное решение для организации хранения данных.
Он сам реализует RAID и может предоставлять, как файловые системы, так и "сырые" тома.


Поверх массива ставить ZFS крайне не рекомендуется.

То есть поверх Raidz пула нужно будет создавать логические диски с любой привычной файловой системой?
Зачем?
RAIDZ — нижний уровень, как физический том LVM.
ZFS вам может либо «файловые системы» создавать на нём, либо предоставлять блочные устройства (zvol).
Я правильно понимаю, что на основе пула я смогу сделать либо «том» с файловой системой ZFS, либо блочное устройство (zvol) с любой другой файловой системой?

Да, ещё. Дедап там сильно жрёт память.


Насчёт добавления дисков в пул. Насколько я помню, добавить их в пул просто так было нельзя. Может, уже реализовали это.

У дедупликации очень злостные требования к ОЗУ.
  • If performance isn't critical, and if you expect to save more than 20% of storage capacity through deduplication, then go for it but add at least 5GB of L2ARC SSD capacity per TB of pool data to store the dedup table in.
  • If performance is important, wait until you expect at least a 2:1 reduction in storage space through deduplication, and add 30GB of RAM to your system for every TB of disk capacity to make sure that the dedup table is always in memory so optimal write performance is ensured.
А можно запустить raidz из трех дисков с дальнейшим апгрейдом до пяти дисков без потери информации?
Значит, чтобы произвести апгрейд, надо иметь куда забекапить много терабайт инфорамции? Неудобно, даже невозможно.
Можно увеличить размер пула, заменив один диск на больший по объёму, дождаться завершения ресильвера, потом так же другой диск, а потом и третий. После замены третьего диска — полезный объём увеличится (если autoexpand=on) или самому надо будет дать команду на экспорт/импорт.
А можно для примера килер-фичу?

Я не искал киллер-фичей. Почти всё возможно сделать иными средствами.
Снэпшоты через LVM (они будут тяжелее, чем ZFS), RAID через md, контрольные суммы файлов рядом с ними хранить.
Но зачем, когда уже всё это реализовано лучше и работает?


Ну, если хотите, ZFS установленный на голый диск, определит оптимальный размер сектора, сам включить кэш записи и т.п..

Ясно спс. Мне задать параметры для ext4 не очень лениво, снепшоты на файловых хранилищах мне не нужны, инкрементального бекапа вполне хватает.
Цена: Если Вы собираете NAS на «много ТБ» — то диски и будут основной статьей бюджета. За вычетом стоимости дисков «самосбор» и «готовый NAS» будут сопоставимы при условии, что все запчасти мы покупаем новые. Самосбор начинает выигрывать, когда у нас уже что-то есть либо мы изначально берем что-то Б/У (например, китайский Huanan + Б/У Xeon + Б/У DDR3 планки). Тут уже новое однозначно по цене будет проигрывать, причем возможно в несколько раз. НО — новое по идее должно работать дольше (тут как повезет — не 100% утверждение). В общем каждый сам решает.

Тут вопрос скорее задач.
У меня самосборный NAS на 6x3Тб (собирал лет 5 назад на 4x1, потом менял диски) на Atom 330 и 4 гига памяти (было 2) на OMV. Висит на гигабитной сети.
Нужен под бекапы сайтов, виртуалок, хранение фоток и видео и работу с фотками по сети (SMB).
Уперся я в него только в прошлом году, когда провел интернет на 500Мбит — торренты качаются максимум на 150-200мбит — упираемся в процессор. На сотке соответственно вообще проблем ноль. 100Мбит торренты + 900Мбит во внутреннюю сеть — без вопросов.
Копирование по SMB — в полку.
rsync и прочее — в полку.
SFTP — 300+Мбит по интернету до сервера.
А самый кайф — тишина. На корзинах 2 вентиля 80мм на вдув + 120мм на БП на вдув. Выдув напротив процессора. С учетом «адских» 8Вт на процессоре — охлаждается пассивно самотеком.

Корпус Fractal Design с регулировкой скорости вентиляторов.
Удобно, что USB, кнопки, регулировка сверху — корпус стоит на полу и не жужжит)
Сейчас новая версия:
Fractal Design Define R5 White

Тут бонус в том, что в итоге, если не упираться во FreeNAS как панацею, получается годный сервер общего назначения, чего из заводского NASа не получится никогда. В Вашем случае железо для FreeNAS не то, чтобы избыточное, но с таким количеством шпинделей и кэшом оно явно избыточное для гигабитной сети.
С 2006 года эксплуатирую дома под холодильником сервер (поначалу на VMWare Server for Linux, с 11 года ESXi), прошедший долгий путь мутаций. Поначалу это был обычный минотавр от INWIN на каком-то Athlon 5400, который в дальнейшем мигрировал на i5-2500K в ящике CFI-A2059 с двумя хардами в RAID-1, затем в ящик CFI-A7X79 с четырьмя хардами в RAID-10 на LSI 9260-4i, и вот на новый год переселил все это хозяйство в Norco ITX-S8 с контроллером LSI 9265-8i, на данный момент 8 дисков в RAID-10. Все извращения вызваны к жизни доступным местом под холодильником :)
Так вот с 32 гигами DDR-3 и на стареньком i5-2500K эта железка нормально тянет четыре активных виртуалки — файлопомойку под линуксом (гигабит она нормально загружает), виндовый сервер для Veeam, семерку для бухгалтерии, рабочий виртуализованный линукс десктоп и какие-то экспериментальные сервисы, причем на данный момент все упирается в память, а не в процессор. На NASе, пусть даже самом навороченном, ничего такого сделать не выйдет, потому как там будет Atom, или в лучшем случае какой-нибудь Celeron.
Что такое ящики от FreeNAS? Они вроде как баребоны продают, а не ящики? Взял Norco ITX-S8 исключительно из соображений нормального охлаждения — там два вентилятора 80мм (стоковые ужасно жужжат, заменил на Noctua без PWM от 12в) продувают корзину насквозь спереди назад, температура при ребилде где-то 44 градуса, в простое падает до 37, винты 4 и 6 Tb от HGST. Ну и подключение корзины к контроллеру двумя проводами SFF-8087 — SFF-8087 очень сильно способствует порядку внутри.
Есть еще неплохой корпус от Supermicro www.supermicro.com/products/chassis/tower/721/SC721TQ-250B но по нему есть нарекания на длину проводов передней панели, подходящих только к платам от Supermicro :).
Сейчас я бы поменял плату и процессор, думаю дождаться выхода восьмиядерных интеловских камней и потом уже что-то думать на эту тему, есть платы от той же Supermicro с Xeon D SoC, с 10G и поддержкой до 128Gb RAM, но с довольно негуманным ценником.
Резюмируя — если нужен именно NAS, то лучше купить железный NAS. Но если фантазии простираются несколько дальше простого перемещения файлов по сети, то железный NAS за те же деньги сильно проигрывает в итоговой производительности серверу похожего форм-фактора.
Тут бонус в том, что в итоге, если не упираться во FreeNAS как панацею, получается годный сервер общего назначения, чего из заводского NASа не получится никогда.

Да ну почему? Если вы внимательно посмотрите обзор, то заметите несколько NAS, которые не только по железу сильно похожи на сервер, но и позиционируются, как сервер. Да и вообще большинство современных NAS являются именно сервером, а не исключительно сетевым хранилищем.


В Вашем случае железо для FreeNAS не то, чтобы избыточное, но с таким количеством шпинделей и кэшом оно явно избыточное для гигабитной сети.

  1. В плате, которую я использовал, есть слот PCI Express, на крайний случай.
  2. Я использую бондинг, так что фактически, у меня канал 2 Гбит/с.
  3. При организации CI на NAS и сборки проектов, кэш и "лишние" диски сразу видятся в ином свете.

На NASе, пусть даже самом навороченном, ничего такого сделать не выйдет, потому как там будет Atom, или в лучшем случае какой-нибудь Celeron.

Опять же: есть решения на Core i, на Xeon и на Avoton (это весьма мощный многоядерный Atom).


Что такое ящики от FreeNAS? Они вроде как баребоны продают, а не ящики?

Пепепроверил. Тут действительно мой недосмотр. Отдельно корпусов нет: если покупать, то вместе с их железом.


Описание корпусов из вашего опыта могу добавить в статью.

Да ну почему? Если вы внимательно посмотрите обзор, то заметите несколько NAS, которые не только по железу сильно похожи на сервер, но и позиционируются, как сервер


Если не рассматривать железо совсем высокого конца, устанавливаемое в 19" рэки, то вырисовывается такая картина — либо процессор шлак, либо памяти зачем-то 8 гиг, либо добавить память можно только какими-нибудь экзотичными SO-DIMM с ECC. И если что-то пошло не так, то всю железку как целое в сервис, который неизвестно есть ли.
Но это на самом деле цветочки, ягодки там в фирмвари, которую собирают люди с альтернативным видением мира, чем-то напоминающим RPMы для линукса образца 90х годов — выключенные стандартные опции в ядре и в сервисах, намеренная кастрация внешних eSATA-портов, совершенно убойные стартап-скрипты и так далее. Ну и на сладкое внезапный отказ от поддержки железки в новых прошивках без раскрытия сорцов старых.
У меня есть на хозяйстве четырехдисковый QNAP на i7, из которого сделали веб-сервер с LAMP на стандартной прошивке, но количество костылей к ней прикрученных уже зашкаливает за ресурсы моей памяти; каждый раз при выходе новой прошивки приходится пересобирать Apache и PHP, применять какие-то брутальные хаки и вообще насиловать себя.
В итоге, кстати, ради интереса у нас получилось на QNAP с атомом поставить Windows XP на харды, подключив к нему монитор по VGA и клавиатуру с мышью через USB-хаб, но чисто в качестве извращения.

Я использую бондинг, так что фактически, у меня канал 2 Гбит/с


Любой бондинг, кроме round-robin с тем же количеством активных портов на клиенте, что и на сервере (и при этом в разных вланах) между двумя точками будет ограничен скоростью одного интерфейса в бонде. То есть для самой полезной задачи, вроде скопировать терабайт видео с компа на файлопомойку, получится загрузить только один гигабит.
Но матери с 10G в форм-факторе mini-ITX уже есть от Supermicro, так что глядишь еще год-другой и все станет совсем с этим хорошо.
Если не рассматривать железо совсем высокого конца, устанавливаемое в 19" рэки

Из рассмотренных: QNAP TVS-871-i7-16G, Synology DS3617xs, Asustor и Thecus с натяжкой.
Стоечных вариантов там нет.


И если что-то пошло не так, то всю железку как целое в сервис, который неизвестно есть ли.

Две стороны: с одной конечно плохо, сам поправишь — конец гарантии (не могу сказать какова ремонтопригодность у всех железок), с другой — есть гарантии и производитель всё починит, если что (о сохранности данных не говорю, решается другими средствами).


Ну и на сладкое внезапный отказ от поддержки железки в новых прошивках без раскрытия сорцов старых.

Это известный факт. Потому, стоит смотреть лишь в сторону того, что использует опенсорсные ОС. Таких сейчас много (те же QNAP, например, или Synology).


каждый раз при выходе новой прошивки приходится пересобирать Apache и PHP, применять какие-то брутальные хаки и вообще насиловать себя.

Docker не спасает от костылей?


В итоге, кстати, ради интереса у нас получилось на QNAP с атомом поставить Windows XP на харды

Но зачем?
Не для таких ли случаев там сделана виртуализация?


с этим хорошо

Только не с ценой и поддержкой SAS.

Из рассмотренных: QNAP TVS-871-i7-16G, Synology DS3617xs, Asustor и Thecus с натяжкой

Из этого всего я готов рассматривать QNAP и Synology, потому что остальное за гранью на самом деле в плане прошивок. У меня на поддержке есть и мелкие и большие устройства обоих производителей, несколько стоечных железок от Synology, и даже дома есть QNAP, даже два. И когда меня спрашивают за сервер под файлопомойку я их рекомендую без зазрения совести.
Но вот эти все фишечки, типа виртуализации, нативного докера, видео-транскодинга и проч — они для них вторичны и пользуется ими дай бог 2% пользователей, поэтому я скептически отношусь к их использованию даже в домашнем продакшене. И перед последним апгрейдом железа я всерьез посчитал цены этих железок с нормальными процами и от 32 гиг памяти и жаба меня просто съела.

Потому, стоит смотреть лишь в сторону того, что использует опенсорсные ОС. Таких сейчас много (те же QNAP, например, или Synology).

Так-то да, но нет (с). Вот дома стоит QNAP 239 Pro II под локальные бэкапы. Отличный девайс, там QNAP в стоковой прошивке сделал так, что шары NFS по дефолту монтируются с async, даже если просят об обратном, поэтому из-под ESXi выдает как внешнее хранилище честные 110 MB/sec без битья в бубен. И внутри там линукс. И ныне он unsupported, чисто из маркетинговых соображений, так как внутри там x86.
И что мы имеем? Сорцов прошивки нет, неофициальных прошивок тоже нет, но можно поставить дебиан, лол. Можно туда DSM от Synology впилить путем нетривиальных манипуляций, но вряд ли это принесет радость. Ну или долго пинать QNAP на предмет GPL, да.

Docker не спасает от костылей?

Там простые менеджеры по продажам, им мил родной гуй, в который они могут кликнуть и создать себе сайт. Ну и в маркете было написано — можно создавать сайты, значит нужно создавать сайты :).

Вообще будущее ближайшее однозначно за 10G, а насчет SAS — 9265-8i на амазоне можно взять за $50 новый, с модулем flash-cache на гиг и я не шучу. Да, к нему нету IT фирмвари и он не поддерживает JBOD, так что для чистого ZFS это плохой выбор, но это полноценный SAS RAID даже с RAID 60. Так что от производителей матерей на самом деле нужно только 10G, желательно SFP+, и все :)
И перед последним апгрейдом железа я всерьез посчитал цены этих железок с нормальными процами и от 32 гиг памяти и жаба меня просто съела.

И всё-таки выходит ненамного дороже своего, причём это без учёта затрат личного времени.


Ну или долго пинать QNAP на предмет GPL, да.

Ну это да, печально, однако сейчас меняется к лучшему. Пинать, думаю, бесполезно. Далеко не факт, что у них остались исходники прошивок, снятых с поддержки.


Там простые менеджеры по продажам, им мил родной гуй, в который они могут кликнуть и создать себе сайт. Ну и в маркете было написано — можно создавать сайты, значит нужно создавать сайты :).

Не знаю для чего менеджерам по продажам создавать сайты. Но ладно.
Я про запуск Апача в докере, а то как в Web-интерфейсе реализуете, это уже вторично. Сразу часть проблем снимается. По крайней мере, с конфликтами версий пакетов.


Вообще будущее ближайшее однозначно за 10G, а насчет SAS — 9265-8i на амазоне можно взять за $50 новый, с модулем flash-cache на гиг и я не шучу.

Неплохо, но такое решение применимо не для всяких задач, а уж в свете последних блокировок адресов Amazon, стоит трижды задуматься.

И всё-таки выходит ненамного дороже своего, причём это без учёта затрат личного времени.
Тут штука в чем (КМК) — если вы купили железку на 5 дисков, то в лучшем случае вы можете поставить еще плату расширения PCI (если повезет найти подходящую и если коробка позволяет это сделать) на пару дисков. При этом еще и останется вопрос куда эти диски физически девать.
Если же мне с моим самосборным NAS понадобится еще 5 дисков, то мне достаточно купить платы расширения (потому что слотов под них обычно на материнках несколько), в крайнем случае еще заменить материнскую плату, если слотов PCI недостаточно. То есть по необходимости я могу заменить любой компонент системы, если требования изменились. Зачастую даже всего лишь один, далеко не за цену нового NAS.
В случае с готовым NAS я могу только купить только новую (дополнительную?) коробку.
Ну у ASRock, которую я взял, один PCI Express (да и в корпусе, как у меня, туда не всякую плату засунешь), SAS каналы там все уже забиты (остался один незаполненный, который через SAS->SATA), заменить плату — это почти тоже самое, что поменять NAS.
В случае же с покупным NAS возможно купить дисковый модуль расширения на n дисков (у некоторых предусмотрено).
Смотря что за железо в ней стоит. Обычно найти материнскую плату под тот же процессор и ту же память, но с большим количеством SATA портов и\или PCI слотов не сложно. И стоит далеко не как заменить все вместе.
Вот прямо сейчас для моей системы купить новую материнскую плату с 10 портами SATA вместо 6 будет стоить 18 тысяч. В ней также будет аж 5xPCI-E x16 (хотя беглый осмотр показал, что в лучшем случае режим будет 8-0-8-8-8, то есть 4 слота?..). Каждый из них — N количество дополнительных портов SATA. Предположим, два. Итого — 18 SATA портов?
Опять же, это новая плата из магазина — можно взять б\у. У меня есть большие сомнения, что готовые NAS можно так масштабировать. Дешевле 30 тысяч я вообще приемлемых вариантов не припоминаю. А уж на 18 дисков…
Ну это так, полет фантазии конечно. Хотя должно сработать.
Смотря что за железо в ней стоит. Обычно найти материнскую плату под тот же процессор и ту же память, но с большим количеством SATA портов и\или PCI слотов не сложно. И стоит далеко не как заменить все вместе.

  1. Не всегда. Плат с SAS мало.
  2. Это дорого, хотя и не так, как заменить всё, конечно.
  3. Если менять только плату, то вы ограничены конкретным сокетом, а это значит, что платами определённого года выпуска. Но необходимость замены, как правило, возникает из-за того, что мощностей не хватает, а на тот момент когда плата была куплена, лучше ничего не было (если покупалось с запасом и осознанием перспектив роста нагрузки).

Вот прямо сейчас для моей системы купить новую материнскую плату с 10 портами SATA вместо 6 будет стоить 18 тысяч. В ней также будет аж 5xPCI-E x16 (хотя беглый осмотр показал, что в лучшем случае режим будет 8-0-8-8-8, то есть 4 слота?..). Каждый из них — N количество дополнительных портов SATA. Предположим, два. Итого — 18 SATA портов?

Что-то мне подсказывает, что вы сейчас не о форм-факторе mini-ITX.
Тут да, несколько проще.


Далее. Заменили вы плату. Загрузится ли на ней существующая ОС?
Какие изменения вам придётся вносить в конфигурацию?

Я еще ничего не менял и не улучшал, только добавлял диски. Если так пойдет, то необходимость замены у меня появится когда будет больше некуда втыкать новые диски. Сначала корпус (тут уже придется скорее всего забыть про mini-ITX и компанию, хотя могут быть корпуса-исключения), потом материнская плата. Процессор и память, при этом, можно оставить — а это примерно 50% стоимости.

Если чипсет тот же и при этом не использовался WIFI, то все должно заработать. На голых дисках без ZFS, а может и с ним — не знаю, ZFS я еще банально не пробовал, как видно по моим вопросам. Вероятно, отвалится сеть — надо будет перенастроить.
Да, я не о mini-ITX, а об обычных ATX. Какого размера ставить коробку на шкаф, кмк, не очень принципиально. Сейчас стоит в корпусе mini-ITX, но чувствую, что рано или поздно придется менять и корпус. Все равно выйдет дешевле, чем менять все диски с X Тб на X+N Тб. Старые, опять же, продавать или что…
Но опять же, возвращаясь к тому, с чего все началось: если бы у меня был готовый NAS, то я бы сейчас думал не о замене корпуса и МП, а о покупке нового (дополнительного) NAS или (если бы мне очень повезло) о покупке дискового модуля расширения.
У меня есть знакомый с 3 NAS дома, мне кажется, что проще собрать один…

Тогда всё-таки замена платы уже не видится такой сильной необходимостью, и не сильно влияет на выбор покупного решения.

У меня есть знакомый с 3 NAS дома, мне кажется, что проще собрать один…

Подозреваю, что он живёт один. С тремя NAS. Либо, это свой дом, а NAS стоят в подвале: шум даже от тихих NAS с активным охлаждением будет постоянным и ощутимым.


Но у такого решения есть и плюс: возможно настроить между ними репликацию. Это повысит надёжность.

Живет не один, но шума я от них не слышал. Может, спали.
Горизонтальные, дисков на 5-6 вроде как, подробности не узнавал.
Репликацию все же лучше делать совершенно в другое место, за пределами квартиры.
Однозначно — активное охлаждение. Странно. Я шум слышу даже от трёх 120 мм. вентиляторов Noctua, не на полных оборотах.
У меня стоит обычная материнка x8 занят 10гигабиткой, еще х8 контроллер SAS (8 SATA портов), на х4 (работает через DMI так процессор десктопный больше 16 линий не дает PCI-E) стоит еще 1 контроллер SAS — у него 4 порта используются локально как SATA (и того с предыдущим контроллером 12 портов локально), а еще 1 SAS порт (4 линка) уходит наружу — там подключается к SAS Expander на 16 портов (в дополнительной коробке еще 15 дисков) и того всего 27 дисков.
В принципе если выкинуть 10 гигабит (если он не нужен), то к любой метеринке через SAS контроллер и SAS Expander — можно подключить без проблемм примерно 32-40 дисков (можно и больше)
Проблемма в корпусе и блоке питания…
И для этого не нужно кучу PCI-E (но они очень не лишнии)
Спасибо за статью.
Было бы хорошо добавить в конце итоговую таблицу получившегося решения по железу и софту.
Какой RAIDZ, какие скорости чтения/записи, результаты тестов iozone и т.п.?
Кстати, есть люди, кто дома уже использует сетевухи 10Гбит/с.
На хоботе уже 13 часть NAS своими руками (часть 13)
Было бы хорошо добавить в конце итоговую таблицу получившегося решения по железу и софту.

По объективным причинам я не могу этого сделать: у меня нет лаборатории, которой производители предоставляют свои железки.
Материал я изначально собирал для себя, и уж не обессудьте, что накопал, то и есть.
Кроме того, обзор и так получился немаленький, и в таком случае написание статьи бы неслабо затянулось.


Какой RAIDZ, какие скорости чтения/записи, результаты тестов iozone и т.п.?

Не у всех же RAIDZ, а там где он есть, вы вольны выбирать любой, это ограничено только количеством дисков.
I/O сейчас определяется, в основном, дисками и кэшем (ну, либо прямой записью), так что не сильно зависит от продукта (считаю, что там DMA, а CPU почти не задействован для генерации трафика, который пишется и не обрабатывает то, что читается).
Да, возможно актуально для систем, которые используют гибридные технологии (перемещение часто используемых данных на SSD, к примеру).


Кстати, есть люди, кто дома уже использует сетевухи 10Гбит/с.

Это вопрос или утверждение?
Наверное есть. Лично мне это пока не требуется.

Я имел ввиду итоговую таблицу с тем, что вы выбрали, из чего собрали.
Про 10Гбит/с — это утверждение.
Я имел ввиду итоговую таблицу с тем, что вы выбрали, из чего собрали.

А, это я мерял. Как на железо, так и на ФС. Даже скидывал в рассылку, вроде. Но это в другой статье будет: сколько iops даёт голое железо мало кому интересно, а ФС и прочие наслоения к железу, которое здесь описано, в общем-то не относятся.

На хоботе уже 13 часть NAS своими руками (часть 13)

Статьи там я, кстати, читал. Тоже ими вдохновился. Но там пишут с излишним энтузиазмом и несколько умалчивают о подводных камнях.

Когда собирал NAS, сознательно не стал использовать готовые NAS-дистрибутивы. Как оказалось не зря. Мало того что все что мне надо проще сделать на чистой системе, так еще и нет всяких сюрпризов, описанных в статье.

И с докером проблем вроде бы особо не было. Ну кроме того что, кажется, не совсем себя адекватно ведут контейнеры после перезагрузки. (автоматически не стартуют и docker-composer up не видит старые контейнеры и орет что не может создать новый контейнер с таким именем) Пока еще нет времени и желания с этим разбираться.
Мало того что все что мне надо проще сделать на чистой системе, так еще и нет всяких сюрпризов, описанных в статье.

Вы про OMV? Мне он нужен, как система управления.
Я его не использовал, как дистрибутив. Он ставится пакетом на обычный Debian.
Первые же сюрпризы из-за того, что я не использовал штатный установщик ОС (ставил вручную) из-за желания сделать корень на ZFS.


И с докером проблем вроде бы особо не было.

Не столько с самим докером (там-то проблемам особо возникать неоткуда), сколько со связкой Docker+ZFS (и его ZFS бэкэнд) и с конфигурацией диспетчера.


Ну кроме того что, кажется, не совсем себя адекватно ведут контейнеры после перезагрузки. (автоматически не стартуют и docker-composer up не видит старые контейнеры и орет что не может создать новый контейнер с таким именем) Пока еще нет времени и желания с этим разбираться.

restart: always, я так понимаю, установлен?

Поддерживаю насчет NAS-дистрибутивов. У меня стоит обычная Ubuntu, на ней Webmin и netdata для мониторинга. Через Webmin большинство полезных вещей настраиваются удобно и быстро. И без всяких подводных камней.
OMV это просто дебиан с аналогом WebMin.
Он просто удобнее для работы именно с NAS.
Создать шары, раздать права и тд.
Все это и из консольки ручками можно, да нафиг надо?
На самом деле я сегодня буду пробовать FreeNAS. Может и изменю мнение.
В общем и целом я остался разочарован во FreeNAS. Скорость передачи (хоть и на неоптимальном железе и конфигурации дисков в ZRAID1) почему-то была в районе 40Мбит\с, причем иногда передача в Samba из под-винды просто прекращалась с сообщением «непредвиденная сетевая ошибка». Подкрутить что-то без shell в конфигурации Samba мне не удалось, на этом решил просто поставить обратно Ubuntu и попробовать настроить все там.
Хоть и без GUI, но я поднял ZFS и Samba, скорость сейчас 80-90Мбит с той же конфигурацией, ошибок нет…
В общем мои претензии остались теми же: непонятно куда копать, если что-то ломается, и GUI в этот момент становится не помощником, а настоящим врагом. Крутить что-то под капотом мне совершенно не захотелось, я Ubuntu-то только недавно осилил…
Как известно, у людей всё работает, потому смотреть надо на вашу конфигурацию.

Для начала:

1. Сколько было памяти?
2. Какие опции ZFS были включены?
3. Был ли SLOG вынесен на SSD?

Вопросы по сети в данном случае задать сложно. И, опять же, причём тут SAMBA?
Сначала надо померять дисковые IO, изолировать проблему, ведь пока не ясно вообще, в чём она заключалась.
С сетью проблем нет — на Stripe с теми же дисками было стабильно 110МБ\с.
1. 8 Гб
2. Сжатие LZ4 и noatime, больше ничего. Dedup и шифрование отключены.
3. Нет, потому что отдельного SSD нет, а про перемещение SLOG на SSD с системой начитался страшилок. Да и не нашел простого способа это сделать в любом случае. L2ARC не устанавливал, только голые диски (4 штуки) в RAIDZ1 — знаю, что не оптимально.
Я бы даже смирился с низкой скоростью, но ошибки — это перебор. Про SAMBA вспомнил, потому что вроде бы год назад я подобную проблему лечил ее конфигом, вроде что-то связанное с Opportunistic Locks, точно не вспомню. По стандартному пути smb.conf я конечно же не нашел, на чем и остановился.

(Каюсь, везде где раньше писал МБит, были МБ)
GUI в этот момент становится не помощником, а настоящим врагом

Не знаю, как во FreeNAS (после общения с их сообществом и разработчиками я и свалил на OMV), но в случае OMV с GUI проблем нет: он работает параллельно.

Судя по скорости в 40мбит и конфигурации c ZFS — проблема в слабом железе.
Или мало памяти (а ZFS довольно прожорлива) или уперлись в проц.
По FreeBSD не силен.
Мне ZFS сильно не понравилась, когда я крутил виртуалки на Proxmox.
Из 16 гигов памяти на сервере 8 утекало в файловую систему и загрузка E3-1240V2 была порядка 10% на файловых операциях. Ну так себе.
Я на Atom 330 c 4Gb на Raid6 с 6 дисками по SMB утилизирую гигабит на OMV. Правда не на ZFS, а на MDRAID6 + XFS.
Памяти мало, но в минимальные требования влезаю. Опять же, на том же железе и обычной серверной Ubuntu скорость в 2 раза выше…
Приложение для резервного копирования, которое меня устраивает — UrBackup.
Urbackup'ом только винду бэкапите?

Как-то вробовал его на линукс натравить, столкнулся с несколькими проблемами:
  1. Образы на линуксе не работают из коробки
  2. Нельзя выкачать бэкапы больше 4GB из web'a
  3. Невозможность восстановиться из urbackup-livecd без образов

Хотя надо отметить, Urbackup порадовал позиционрированием себя как бэкапа «в один клик».
Urbackup'ом только винду бэкапите?

Пока только поднял его в контейнере. Ещё не бэкаплю. Из работающих сервисов сейчас контейнеры со LDAP, nginx-proxy, gitlab и локальным nginx (перенаправление на хостовый OMV).
Бэкапить собираюсь, в основном, Linux пофайлово. На моих личных машинах винды нет.
Там дальше, как пойдёт.


Образы на линуксе не работают из коробки
Нельзя выкачать бэкапы больше 4GB из web'a
Невозможность восстановиться из urbackup-livecd без образов
Хотя надо отметить, Urbackup порадовал позиционрированием себя как бэкапа «в один клик».

Спасибо, ваш комментарий учту. Бэкап у меня ещё в процессе разработки: есть несколько альтернативных инструментов, но из них пока Urbackup выглядел лучше остальных.
Политику и регламент ещё надо доработать.
Если интересует, по факту работы могу сделать статью на эту тему (хотя, их уже и так много).

А есть какой-нибудь гайд по настройке сего чуда? У меня дальше попытки добавления компа в список не дошло.
Какая-то кривая технология типа поставь клиент и найди его с сервера.
Сервер банально компы видит, а связи нет. Причем как винда, так и linux.
Порты открыты, клиент-сервер в одной сети и все равно фиг.
Установщик FreeNAS не поддерживает даже пользовательское разбиение дисков.

Скорей всего, такое поведение представляет более общий шаблон использования, когда систему ставят на флешку, а диски объединяют в ZFS пулл. ZFS тем и хорош, что о разделах думать не нужно, это одна из самых ярких его характеристик, а система в NAS — это просто средство управления дисковым пространством, с основной целью «не мешать», потому настривать в системе особенно нечего, в частности разбиение системного диска (если там тоже ZFS то совсем можно не лезть). Кроме того если хочется понастраивать что-то в NAS-е, то нужен не NAS а сервер с обширным дисковым хранилищем, и странно в этом месте использовать узкоспециализированное ПО. Мой личный опыт работы с подобными системами, как с системами общего назначения, привёл к мысли, что можно просто поставить FreeBSD и не мучать ни себя, ни ПО, оно того не стоит.

И всё-таки хотелось бы более полного раскрытия темы в части более гибкой настройке linux, мне очень интересно в свете выбора платформ для собственного мини-сервера.
Скорей всего, такое поведение представляет более общий шаблон использования,
когда систему ставят на флешку, а диски объединяют в ZFS пулл.

Не обязательно на флешку, но да, шаблон именно такой.


ZFS тем и хорош, что о разделах думать не нужно, это одна из самых ярких его характеристик, а система в NAS — это просто средство управления дисковым пространством, с основной целью «не мешать», потому настривать в системе особенно нечего, в частности разбиение системного диска (если там тоже ZFS то совсем можно не лезть).

Там шёл вопрос не о настройке, а о установке.
И ответ мне запомнился: "FreeNAS is not operating system, FreeNAS is an appliance". :-/


Кроме того если хочется понастраивать что-то в NAS-е, то нужен не NAS а сервер с обширным дисковым хранилищем, и странно в этом месте использовать узкоспециализированное ПО. Мой личный опыт работы с подобными системами, как с системами общего назначения, привёл к мысли, что можно просто поставить FreeBSD и не мучать ни себя, ни ПО, оно того не стоит.

А как настраивать? Каждый раз заходить по SSH? Или использовать Web GUI для управления сервером?
Первое — слишком муторно, второе — избыточно. Именно для того, чтобы "среднюю" нишу заполнить, FreeNAS/OMV и подобные нужны.


И всё-таки хотелось бы более полного раскрытия темы в части более гибкой настройке linux, мне очень интересно в свете выбора платформ для собственного мини-сервера.

Посмотрите на объём статьи, вместе с обзором и картинками: порядка 80-ти страниц.
Однозначно, что данная тема, ещё более объёмная, для другой статьи.

Я наверное хочу странного, но спрошу, раз тут есть знающие люди:
Есть ли железные NAS с поддержкой Plex? Не так чтобы там рядом поставить как-то, а с нормальной поддержкой изначально.
Почти все современные.
В большинстве случаев, где есть «мультимедийный сервер с DLNA», стоит Plex.
В некоторых случаях Kodi или что-то проприетарное (есть более редкие вещи но их, соответственно, меньше).
Спасибо, буду искать значит. Из этой статьи узнал и про Kodi и про Plex, попробовал оба — думаю копать в сторону Plex. Пока что поставил на комп, а там посмотрим :)
Их больше, чем два, это лишь наиболее популярные, но многое зависит от задачи.
Ctrl-F «microserver» не сработало по странице, а зря. Если речь про 4 дисковые решения (+ssd под систему), и с местом для установки проблем нет — то и конкурентов HP в этом месте нет.
Нет, речь больше про 8+ дисковые решения (лишь несколько упомянуты 4-х дисковых в обзоре). А микросервер я как-то давно смотрел. Всё-таки это не NAS, хотя вы правы: возможно было добавить, ради приличия.
Ну raw 28TB можно сейчас и из четырех дисков сделать (на самом деле 48). Если рассматривать NAS именно как хранилище (всё же 12 ТБ по скорости такие себе диски).
28 ТБ — не предел, это просто объём, который есть сейчас, причём два слота у меня вообще без пока дисков.

Добавил в обзор. Весьма кратко, но по ссылкам возможно пройти и составить более подробное представление.

HP Microserver Gen6 под Nas4Free, WD Red, 4Gb ECC
не энтерпрайз конечно, но мои потребности закрыты на ближайшие ххх лет
А с учетом того, что сам серверок я купил за 50 баксов (контора закрывалась и распродавалась) так совсем счастье.
Железка сделана наотлично, аптайм месяцами, останавливаю только пропылесосить

только с родным Seagate 250Gb. И у меня не настолько железные яйца, чтобы покупать в NAS диски б/у.

Вопрос насколько б/у: если оно в той конторе месяц проработало, и вы купили, то не вижу проблемы.
В любом случае $50 — почти задаром.
Когда оно достается практически задаром — это действительно хороший вариант. Но сейчас, когда за Gen10 просят 30-35k, при этом за 20k можно купить готовый четырехдисковый NAS (QNAP, ASUSTOR, NETGEAR), а за 25k — уже и Synology, особого смысла покупать НР (и потом еще возиться с установкой/настройкой) я не вижу
старые генерации (до 8 включительно) — были хороши. А вот MicroServer Gen10 — так себе вышел, имхо. И в сочетании с появлением относительно недорогих готовых NAS это выглядит уже не очень интересным вариантом
Десятую я пока не видел, как раз последнюю восьмую смотрел. По высоте на шкаф не влезла, в итоге потратил столько же денег на менее производительную систему. Думал сделать менее шумную конфигурацию, в итоге — фиг, microserver шумит так же, как один вентилятор в корпусе на реостате в минимум.

upd: посмотрел что 10й на amd, неудивительно, что он не очень. Тот первый из продаваемых в РФ (он, кажется, шестой или пятый) на amd тоже был не очень =) Я рассматриваю только те, что на интелах сделаны — у них есть какой-никакой ценовой диапазон по потребностям, в итоге есть и копеечные на пентиуме для дома, и толковые на LV-xeon для SMB.
Дело не только в НР, изменилось еще и окружение: во времена царствования Gen7 (и даже Gen8) выбор готовых NAS был небогат и стоили они вдвое дороже, чем НР. А сейчас за MicroServer Gen10 просят 30-35k, при этом за 20k можно купить готовый четырехдисковый NAS (QNAP, ASUSTOR, NETGEAR), где все будет работать «из коробки», что критично для SOHO-сегмента. И даже законодатель мод — Synology — сейчас предлагает свои четырехдисковые модели по цене от 25k.
Поэтому сейчас нет особого смысла покупать железку, с которой нужно возиться, если за ту же цену (а то и ощутимо дешевле) можно купить готовое решение, в котором изначально будет и само файлохранилище, и медиасервер, и принт-сервер, и торрентокачалка, и видеонаблюдение, и прочие вкусняшки
В Gen10 убрали iLo, а это было одной из двух killer feature'ов Gen8 (первая — возможность замены процессора). Теперь это просто красивый корпус с довольно посредственным процессором (чисто для NAS очень даже ничего, но не более того)
А зачем для NAS'а с такими требованиями к функциональности Xeon?
Я сейчас пересобираю свой старый NAS на базе HP Microserver gen7 на новом поколении Microserver gen10. Там обрезанный проц AMD, 4 слота под винты.
При желании можно туда воткнуть и аппаратный рейд Smartarray с ebay'я, если уж сильно хочется RAID5 без насилования CPU…
Это не все требования, лишь основная часть функциональных.
Ну и серверная плата, которая с SAS как-бы предполагает, что там сокет для Xeon.
Кроме того, мне требовалась поддержка ECC для ZFS.
И AES-NI, а также VT-X в перспективе.
SAS как протокол спорное требование… Или предполагается использовать реально SAS-диски (не NL-SAS и т.п.)? ECC в microserver'е однако есть…
У меня, кстати, конфиг после пересборки будет HP microserver gen7 + 250Gb система + smartarray Raid5 4x3Tb SATA на одной «площадке» и HP microserver gen10 + 256GB SSD система + ZFS 4x3Tb SATA на другой. Взаимная репликация через Syncthing внутри VPN-туннеля. Из фич: samba (локально), webdav (в инет), torrent, ldap, sms-tools, telegram-bot.
Или предполагается использовать реально SAS-диски (не NL-SAS и т.п.)?

HGST с 3 млн. часов MTBF похожи на SAS...


256GB SSD система

Я поставил на зеркало. И просто под систему — это слишком много.


ZFS 4x3Tb

Какой ZRAID и сколько процент потерь?


ldap

Потому, что его поддерживают приложения из коробки или из-за большого количества пользователей?

HGST с 3 млн. часов MTBF похожи на SAS...

А скорость вращения какая? Реальные SAS делают 10k или 15k RPM, SATA (NL-SAS) — 5,4k или 7,2k… Кстати, есть и переходники для подключения SATA в SAS…
У меня в рабочем компе так винты подключены на SAS RAID-контролллер.

Я поставил на зеркало. И просто под систему — это слишком много.

Сорри, 120Gb SSD, 256Gb действительно много… ;) Самый дешевый в ближайшем магазе взял. По цене, что самый дешевый шпиндель, что SSD — примерно одна цена. С учетом весьма неактивной нагрузки на загрузочный диск — риск выхода его из строя минимален. Даже если и сдохнет, то есть реплика на другой «площадке» :)

Какой ZRAID и сколько процент потерь?

Пока не определился. Собран тестовый том с десятком файлов, к концу мая планирую переехать уже на него, тогда и видно будет. Если результаты будут неудовлетворительные, то воткну Smartarray и RAID5.

Потому, что его поддерживают приложения из коробки или из-за большого количества пользователей?

В первую очередь приложения из коробки. Пользователей полтора ;)
А скорость вращения какая? Реальные SAS делают 10k или 15k RPM, SATA (NL-SAS) — 5,4k или 7,2k…

7.2. Но, я так понимаю, скорость вращения всё-таки ещё не говорит о том NL-SAS это или нет.
Плюс, SAS гарантирует сквозной контроль (самокорректирующийся код, исправление ошибок в канале, чего SATA не делает).


Кстати, есть и переходники для подключения SATA в SAS…

Использую для подключения SATA SSD: именно этот кабель пришлось дозаказывать.


В первую очередь приложения из коробки. Пользователей полтора ;)

Тогда всё-таки LDAP несколько избыточен. Разве что, для централизованной смены пароля.

7.2 — 90% что nl-sas. Плюсы по сравнению с сата конечно есть, но всё ж не полноценный sas.
Впрочем ИМХО sas уже практически не нужен. Есть sata для объёма и ссд (на nvme оптимально) для скорости, ну и конечно их комбинация при помощи технологий кеширования и многослойного хранения.
Впрочем ИМХО sas уже практически не нужен.

Он развивается быстрее SATA, и последний SAS-4, который до 24 Гб/с по сравнению с последней SATA-3, которая 6 Гб/с, выигрывает по всем показателям.


Есть sata для объёма и ссд (на nvme оптимально) для скорости, ну и конечно их комбинация при помощи технологий кеширования и многослойного хранения.

NVME — это костыль, который делают для того, чтобы обойти низкую скорость SATA (ok, в моём случае SAS 6 Гб/с, но это SAS, который всё-равно надёжнее, чем SATA).

Выигрывает, кто ж спорит. Только смысла собирать огромную полку, на который эти винты вылетают как семечки (sas винты в моей практике дохнут чаще чем ентерпрайз-сата, думаю что из-за скорости) становится всё меньше, даже all-flash выходит хоть и дороже, но шустрее.
И да, я выразился несовсем корректно. Sas как интерфейс — очень даже нужен, например для подключения тех же полок. А вот с дисками со шпинделем — ИМХО их время проходит.

Nmve как раз не костыль, а новый протокол, который не тянет набор команд scsi и прочую шнягу из далёкого легаси. Опять же ИМХО.
А вот с дисками со шпинделем — ИМХО их время проходит.

Ну куда же они денутся-то? В SSD столько недостатков, что с HDD никто уходить не собирается (кроме, специфичных приложений). А всякие новые технологии, типа мемристоров, ещё далековато, и неизвестно, какие там всплывут проблемы.

Reram и mram смотрим конечно. Но повторюсь — я именно про сас-диски со шпинделем.
Так посмотрим конечно что будет дальше и как пойдет развитие, может действительно будут решать nl-sas для холодных данных… но лично я уже довольно давно перестал покупать sas для новых инсталляций. Sata ssd — да, nmve ssd — да, sata hdd — да.
Reram и mram смотрим конечно.

Да про это я не совсем в курсе.


Но повторюсь — я именно про сас-диски со шпинделем.

Так если SATA HDD, почему не SAS HDD на 7200k?

Это вот как раз всякие мемристоры и новые технологии которые вот-вот отправят ссд в небытие))

Стоимость внедрения и стоимость владения.
NVME — это костыль, который делают для того, чтобы обойти низкую скорость SATA

А вы уверены, что это костыль?


«NVMe has data transfer performance characteristics of PCIe Gen 3 and therefore has bandwidth of around 1Gbps per lane – up to 16Gbps in a 16-lane configuration. PCIe Gen 4 will likely double that and is set for release in 2017.


At the same time, NVMe is built to handle more queues than SAS and SATA at the drive, with 65,000 queues and 65,000 command queue depths possible. This compares to one queue for SAS and SATA, and queue depths of 254 and 32 respectively.»

Я в курсе про скорость. И про цены на NVMe устройства (хотя, может сейчас к лучшему что-то поменялось).
Несколько коробит то, что при наличии отдельной шины для дисковой подсистемы, они используют общую шину PCI Express, для работы с ними.

Ну и с учётом SAS, который 24 Гб/с, 16 Гб/с кажется большим числом только относительно SATA.
Размер очереди команд, с точки зрения пользователя меня вообще не интересует.
Скорость же выше у SAS-4, при этом слоты PCI Express лишние не занимаются.

PCIe Gen 4 will likely double that and is set for release in 2017

Т.е. в Gen 4 — 16*2 == 32 Gb/s, быстрее, чем SAS-4.


Размер очереди команд, с точки зрения пользователя меня вообще не интересует.

Он повышает производительность. Особенно если много процессов параллельно работает (например, сервер с виртуалками). На сторадже — зависит от того, что хранится и от нагрузки.

Господа, я может чего-то не понимаю, а что за диски у вас выдают 16, 24 и 32 Gb/s? Куда вам интерфейсы с такой скоростью?
В любом случае, это очень специфичный случай из разряда быстрых SSD хранилищ для кэширования результатов большого объёма вычислений.
К NAS, которые хранят данные и периодически их отдают пользователю это слабо относится.
Несколько оффтопик.
Т.е. в Gen 4 — 16*2 == 32 Gb/s, быстрее, чем SAS-4.

Но в SAS возможно подключать к диску два канала.
Опять же, вопрос: а надо ли даже 32 Гб/с?

7.2. Но, я так понимаю, скорость вращения всё-таки ещё не говорит о том NL-SAS это или нет.

Вот что пишут на амазоне про этот диск:
HGST Ultrastar™ 7K4000 is the world's first 4TB 7200 RPM hard drive with a 2.0 million hours MTBF specification and backed by a full 5-year warranty, originally offered with SATA 6Gb/s and now also available with a SAS interface.


Т.ч. точно NL-SAS…
Долго хотел собрать свой NAS, в итоге купил HPE Microserver gen8, привезти из США корпус Supermicro Superchassis CSE-721TQ-250B, как на фото с Netberg дороговато выходит.
Спасибо.
Я бы с удовольствием почитал статью про Seafile. Или даже две статьи: первую — про то, чем оно лучше аналогов, а также про особенности версий и лицензирования (хватит ли Community Edition или для каких-то рутинных задач нужен именно Professional Edition (у него вроде как даже есть бесплатная лицензия на 3 юзеров)); а вторую — собственно, про сам процесс установки/настройки/подводные камни и лайфхаки всего этого хозяйства

Статей про то, "как он хорош" много. Про лицензии ничего не знаю, вы наверное имеете ввиду планы использования. Они актуальны только для покупки облака у них. Для того, чтобы установить и использовать Seafile у себя никаких лицензий не нужно, и он опенсорсный.
Настроек тоже почти не нужно.
Просто используете Docker образ seafileltd/seafile и настраиваете по инструкции, которая там есть (как на гитхабе, так и на докерхабе).

Сейчас в области «насо-строения для человеков» есть несколько путей, на развилке которых окажется любой желающий заиметь свою хоронилку.

Откинем не-тру-way «купил-забыл-привет супорт» и рассмотрим привычный хэнд-мэйд со стороны ПО:

— идёшь в обитель XPEnology… железо совместимо? установил? всё работает? поздравляю, у тебя, %username, в руках приличный софт с кучей фич и возможностей, но не спеши его обновлять на самый свежий релиз.

— хренология — хрень? не завелась? загрузчик не загружает? на форуме не решили твои проблемы? ковыляешь в обитель FreeNAS и любителей всяческих bdsm BDS, там у них контора серьёзная и гуй есть, и фичи, и zfs из коробки, и ram докупи, а если non-ecc — добро пожаловать в клуб «ты обязательно потеряешь данные, это вопрос времени»

— фринас не пошла? мало ram? zfs не мил? фичей не хватает? — ну тогда погружайся во все тяжкие: OMV Nas4Free Rockstor и т.д. — все такие красивые и функциональные, прям душа поёт от релиза к релизу.

— не тру? ставь любимую ос и настраивай всё вручную, даже можешь свой гуй сделать с оповещениями и телегой, было бы желание.
фринас не пошла? мало ram? zfs не мил? фичей не хватает? — ну тогда погружайся во все тяжкие: OMV Nas4Free Rockstor и т.д. — все такие красивые и функциональные, прям душа поёт от релиза к релизу.

OMV поддерживает ZFS.
Я бы не сказал, что Nas4Free красивее и функциональнее FreeNAS: скорее, наоборот.


не тру? ставь любимую ос и настраивай всё вручную, даже можешь свой гуй сделать с оповещениями и телегой, было бы желание.

Не конфликтует с предыдущим пунктом. Я, например, ставлю OMV пакетом. Вполне нормально.

По поводу конечной стоимости — в подавляющем большинстве случаев готовые решения поставляются без дисков. Данный факт существенно меняет отношение к ценовому подходу при выборе хоронилки.

— «В смысле ещё ~100к на диски? В прошлом месяце же хранилище покупали...»

Там указано, в некоторых случаях, что с дисками, что без.
В этом плане diskless Synology за $3100 конечно проигрывает. :-)

Тут уже многие отписались, но и я свои пять копеек добавлю.
Давно планировал собрать нормальный NAS, до этого были:
1. Самосбор на Core2Duo с 2x1Tb дисками под данные + 320 Gb под систему. Жив и сейчас, но включается редко, только для копирования бекапов туда/оттуда
2. Однодисковый NAS WD My Cloud 3Tb. В какой-то момент прошивка в нём окирпичилась, а благодаря «подарку» от WD в виде Ext4 с размером кластера в 64Kb такую FS не видит ни один Linux (зато есть отличный софт под Windows, который с лёгкостью монтирует такие разделы в R/O). Процессор довольно тормозной, перезаливать в итоге не стал и использовал HDD отдельно от самого NAS'а
3. WD My Cloud 4Tb — более производительная версия NAS, уже с USB3.0 на борту.
Используется по сей день для торрентов и бекапов.

Долго думал на чём же можно запустить нормальный NAS и небольшой домашний сервер (для нескольких виртуалок, всяких экспериментов и т.д.), много думал о самосборе,… но в итоге выбор пал на HP Microserver Gen8.

Немного б/у микросервер с базовым процессором и 4Gb RAM (в планах апгрейдить и то и другое) был взят на Авито за 25 т.р., к нему добавлен SSD для системы (стоит вместо DVD привода) + 3 диска WD RED 6Tb, развёрнут RAIDZ-1, proxmox (для управления виртуалками).

Долгое время считал цену микросервера завышенной, пока не начал ставить систему.
Оказалось, что для установки системы не то, что не нужен монитор, но и вообще физический доступ к серверу не требуется. Все необходимые операции можно делать через iLo — он и KVM даёт и кнопку soft/hard перезагрузки и возможность подключить виртуальный DVD диск.
В общем, мечта админа для систем, которые стоят не совсем под рукой.

Из минусов:
1. Всего 4 диска под данные (+ один 2.5" под систему)
2. Только гигабитные порты (две штуки), 10G нет
3. Максимум 16Gb ECC, причём ещё и Unregistered памяти (она заметно дороже, плюс на рынке сейчас очень много дешевой б/у серверной ECC Registered памяти, а вот с Unregistered всё грустно)

Из плюсов:
1. Один слот PCI-E, в который можно:
1.1. Поставить 10G карту и получить 10 гигабит (вместо 2 гигабит, которые можно получить bonding'ом с родных карт), либо:
1.2. RAID контроллер с возможностью подключить внешнюю дисковую полку (тут уже явно б/у, т.к. новые SAS/SATA полки будут стоить как десяток микросерверов)
2. ECC память
3. Очень удобный iLo
благодаря «подарку» от WD в виде Ext4 с размером кластера в 64Kb такую FS не видит ни один Linux

Linux не видит ext4, а windows видит? o.O


proxmox

В моём случае не нужен: хватает плагина OMV (для докера).


Максимум 16Gb ECC

Маловато для ZFS (хватит, но маловато).

Linux не видит ext4, а windows видит? o.O

Ошибся, 64k это размер блока.
В линуксе у модуля ext4 максимальный размер блока = PAGE_SIZE.
NAS работал на PowerPC и если для x86_64 PAGE_SIZE = 4k, то для PowerPC PAGE_SIZE = 64kb.
Т.е. штатными средствами на x64 машине такую файловую систему не подмонтировать, а модуль для FUSE намертво подвисал при попытке обратиться к диску.

Маловато для ZFS (хватит, но маловато).

Понимаю, что маловато.
Но для малонагруженного домашнего NAS'а она даже на 8Gb вполне неплохо живёт (правда сейчас занято всего ~1.5Tb из 6Tb на RAIDZ, 3Tb+3Tb+3Tb).
NAS работал на PowerPC и если для x86_64 PAGE_SIZE = 4k, то для PowerPC PAGE_SIZE = 64kb.
Т.е. штатными средствами на x64 машине такую файловую систему не подмонтировать, а модуль для FUSE намертво подвисал при попытке обратиться к диску.

Любопытный выверт, ни разу с таким не сталкивался (и слава Богу).


RAIDZ

RAIDZ-1, судя по тому, что 30% издержек. Возможно было ещё один диск докинуть в массив.

Основной минус — на замену ему вышло merde, и gen8 нужно доставать.

Мз плюсов — он кастомизируется, например сдром меняется на ссд под систему/кэш, проц меняется на xeon и все такое. Радуюсь, что успел не одному клиенту gen8 поставить))
Долгое время считал цену микросервера завышенной

во времена, когда Gen8 только появился, уго цена была более чем вкусная. Сейчас его цена приемлемая, если рассматривать его именно как сервер для рабочих задач, но однозначно завышена, если сравнивать именно с «бытовым» NAS — за те же 25k можно взять новый Synology DS418j и радоваться жизни
2. Однодисковый NAS WD My Cloud 3Tb.
На него можно поставить Clean Debian, что я вам и советую сделать. Именно после таких манипуляций я решил окончательно отказаться от коробок и собирать свой NAS. Потому что понял, что получится как минимум не хуже. Ну и масштабирование.
Кстати, никаких проблем с его монтированием у меня на десктопе не было. Я просто скачал загрузочный образ UBUNTU и производил все манипуляции их под него.
Другое дело, что я не ставил перед собой задачи сохранить данные, а сразу же форматнул диск по-нормальному.
Про WD тоже есть в обзоре. Далеко не лучшая система: я бы не стал покупать. А такие манипуляции требуются далеко не на всех покупных NAS.
в итоге выбор пал на HP Microserver Gen8.
Немного б/у микросервер с базовым процессором и 4Gb RAM (в планах апгрейдить и то и другое) был взят на Авито за 25 т.р., к нему добавлен SSD для системы (стоит вместо DVD привода) + 3 диска WD RED 6Tb, развёрнут RAIDZ-1, proxmox (для управления виртуалками).

Прошлой осенью взял по распродаже в одной сети РФ, когда он там по 16к сливался (плюс скидка личная до 12к). 10-е поколение было тогда от 22-25к где-то.

Проц за 2,5к i5 всунул (надо теперь силер продать из стандартной комплектации, благо есть мамка для него чтоб сразу комплектом отдавать), за 1,5к ещё 4 гига бу — всё с авито. Сейчас там 2х6Тб HGST-ки плюс ssd 128 самсунговский 750-ка (опять же по скидке все хорошо вышли).

Так что для самосборов иногда удается использовать скидки, часть брать бу, а вот с готовыми решениями — это уже реже получается.
В своё время изрядно поел невкусной субстанции со всякими готовыми насами. Глюки незапуска синолоджи (запускаем с 1 диском, потом с двумя, потом с тремя, потом с четырмя), баги в прошивках wd (типа полного игнорирования вентиляторов), да и медленные довольно они. Из всех насов что работал — реально радовали леново (перестали выпускаться), нетгиры были ничего ну и qnap.
Но смотришь на цену, считаешь цену с дисками и понимаешь что собрать «на коленке» выходит ощутимо дешевле, и при этом без геморроя с неведомыми глюками и совметимостью.

Hp microserver gen8 стоимостью 18к был настоящим подарком в качестве nas/soho сервера. На gen10 — без ilo и с распаяным процессором плеваться не перестаю.

По части интерфейсов — OMV хорош, но с zfs порой возникали траблы, в решениях на bsd оно более стабильно. Также в своё время порадовала nexenta (на базе солярки, хз жива ли она ещё).
и при этом без геморроя с неведомыми глюками и совметимостью

Ну это спорное утверждение: я их выловил достаточно.


OMV хорош, но с zfs порой возникали траблы

У меня возникли — пофиксил, но времени пришлось затратить ощутимо.

А ещё возникает вопрос — так ли он нужен, этот zfs для NAS с гигабитным интерфейсом?)

А какое отношение имеет скорость сетевого интерфейса к файловой системе?

Раскрываются ли все прелести фс, если скорость доступа к данным существенно ограничена.
Вполне. По крайней мере, лёгкие снэпшоты, сжатие на лету, управление томами, прозрачная проверка целостности файлов, уменьшение фрагментации с использованием SLOG. Возможно ещё что-то, сходу не вспомню.
Ну, если вы всё это используете, тогда конечно. Кстати, а OMV умеет из красиво из коробки бэкапить zfs?

Конечно использую: это базовые возможности ZFS.
Сжатие у меня включено, тома ZFS (кроме нижнего слоя, но это лишь потому, что в стабильном Linux ZFS не было шифрования), проверка целостности по хэшам там есть всегда, ZIL включен по умолчанию.
Бэкапить куда?
Есть пакет zfs-auto-snapshot, но к OMV он не относится.

Основные прелести ZFS — живучесть (благодаря Copy-On-Write и RAIDZ), лёгкие snapshot'ы, удобное управление файловыми системами, сжатие на лету.

Скорость это отдельная тема (нужно тюнить, нужен SSD кеш,...), но дома лично мне даже гигабита — за глаза.
Да ну, особо тюнить там не нужно. atime отключить, SLOG на SSD вытащить. Возможно и дальше, но в большинстве случаев хватит.
SSD кеш может быть на диске с системой? Какого объема он нужен?
И я правильно понимаю, что ZFS подходит только для «устоявшегося» набора дисков — 1 или 2 диска туда так просто не добавить?

Может. Но у меня он на отдельной SSD, которую возможно выбросить и заменить.
С выключенной дедупликацией порядка ~1 GB L2ARC на 1 TB данных, но определяется не только объёмом хранимых данных, а также интенсивностью ввода-вывода.


В общем, про объём L2ARC почитать лучше на профильных форумах: статей и обсуждений на эту тему много.


Кроме того, перед тем, как L2ARC задействовать, крайне желательно максимально расширить объём RAM.


У меня на диске с системой — SLOG, это не кэш, а журнал. Его надо выносить на отдельную SSD, чтобы не увеличивать количество обращений к HDD, при каждой записи.


Насчёт добавления диском в zpool — да, так просто сейчас не добавить. Есть возможности расширения объёма пула путём постепенной замены дисков на диски большего объёма, но просто добавить новые диски в уже созданный пул нельзя.

SLOG это ZIL? Какого объема он должен быть?
L2ARC это кеш только на чтение?
Какой объем оперативной памяти оптимален в nas сервере?

ZIL — это внутренняя структура, "буфер транзакций". Пишется туда же, где расположена ФС.
SLOG — это Separate zfs intention LOG, т.е. ZIL, отделённый от ФС.


См. здесь:
http://www.freenas.org/blog/zfs-zil-and-slog-demystified/


В случае SLOG, объём невелик (как правило, в типичных случаях 5-8 GB за глаза хватит).
Подробнее про объём ниже.


L2ARC это кеш только на чтение?

Да, если точнее — это кэш 2-го уровня, адаптивной замены. И скорее всего, он вам не нужен. Для его использования сначала надо, чтобы ARC выжрал всю доступную RAM и часто обновлялся. Это очень, очень много обращений к ФС в секунду (ну например, при 32-х GB RAM, ARC будет занимать оставшиеся свободными 19 GB (пусть 10 занято сервисами, 1 он оставит свободным), и этого недостаточно?)...


Про него см. здесь:
https://habr.com/sandbox/71332/
https://www.45drives.com/wiki/index.php?title=FreeNAS_-_What_is_ZIL_%26_L2ARC


Какой объем оперативной памяти оптимален в nas сервере?

Что лучше: КамАЗ или Феррари?
Сегодня у коллеги спросил, что он использует: FreeBSD, диск 1 TB, всё на нём, root на ZFS, Intel Atom, 2 GB RAM, сеть 1 Gb/s, качает торренты и параллельно раздаёт виде по квартире, что-то ещё делает.
Тоже сервер.
По его словам, всё работает быстро и без тормозов, аптайм более года.


FreeNAS рекомендует минимум 8 GB, лучше 16, а серьёзно так расширить до 32-х (до максимума) и только после этого выносить L2ARC.


С дедупликацией… Впрочем, понятно. Есть определённые правила расчёта объёма, но сказать числа, возможно лишь исходя из конкретных условий, в том числе критерия, по которому вы определяете оптимальность.

Спасибо за статью. Я прочитал, но все еще путаюсь в понятиях ZIL/SLOG.
Правильно ли я понимаю:
— ZIL это буфер, который есть всегда и по умолчанию он расположен в пуле, куда происходит запись?
— SLOG это этот же ZIL буфер, но вынесенный на отдельный диск?

Ok.
Процитирую второй источник, указанный ниже, после чего вопросов о том "что это" остаться не должно:


The ZFS intent log (ZIL) is provided to satisfy POSIX requirements for synchronous transactions. For example, databases often require their transactions to be on stable storage devices when returning from a system call. NFS and other applications can also use fsync() to ensure data stability. By default, the ZIL is allocated from blocks within the main storage pool. In this Solaris release, you can decide if you want the ZIL blocks to continue to be allocated from the main storage pool or from a separate log device. Better performance might be possible by using separate intent log devices in your ZFS storage pool, such as with NVRAM or a dedicated disk.

Раз (с. 29):
https://www.opennet.ru/soft/fs/zfs_arch.pdf


Два:
https://docs.oracle.com/cd/E19253-01/819-5461/gfgaa/index.html


Три:
https://www.freebsd.org/doc/ru_RU.KOI8-R/books/faq/all-about-zfs.html

Спасибо. Разобрался.
Вот еще хороший материал по теме нашел:
www.ixsystems.com/blog/o-slog-not-slog-best-configure-zfs-intent-log

А имеет ли смысл выносить SLOG на отдельный от системного диск? Может на ssd небольшого объема. Ведь запись на него, как я понимаю, будет происходить достаточно интенсивно.
Спасибо за статью, у самого было несколько вариантов NAS — диск подключенный к Asus WL500gp, неттоп DNS и самосбор в интересном корпусе Mustiff MX-31-A11.
Скажите, можно ли собрать более менее жизнеспособный NAS на платах с ARM? От него будет требоваться только сетевая шара и возможность синхронизации данных. Изучал платки, у многих sata порт работает через usb контроллер, что накладывает определённые ограничения по скорости.
Скажите, можно ли собрать более менее жизнеспособный NAS на платах с ARM? От него будет требоваться только сетевая шара и возможность синхронизации данных.

  1. Почему именно с ARM, а не с Atom?
  2. Некоторые NAS нижнего уровня делаются на ARM.
  3. Многие роутеры на ARM поддерживают подключение внешнего жёсткого по USB 3, возможно этого будет достаточно.

Изучал платки, у многих sata порт работает через usb контроллер, что накладывает определённые ограничения по скорости.

Тут есть поддержка SATA-2.

Автор как всегда забыл рассмотреть самый ходовой вариант- использовать б/у сервера. Цены более чем приемлемые. Единственный недостаток шумные системы охлаждения ну тут как раз есть место для творчества.
Я не забыл, в выводах в самом конце обзора они упомянуты. Если такой вариант у вас есть и приемлем (да, я в курсе, что «посмотреть на Avito», но это не всегда работает), то стоит задуматься надо ли покупать NAS за $3000.
Но б/у сервера доступны не всем (к тому же, если это сервер, то он, как правило, для стойки).
Не нашёл я что-то тех самых приемлемых цена на б\у серверы, о которых так много говорят. На авито вообще неадекватные цены. Типичная картина — продавцу на шару достался списанный сервер типа и он пытается продать его по конской цене, мотивировка простая — «ну это ж сервер, он не может стоить дешёво!» А то, что сервер отмолотил несколько лет в режиме нон-стоп, давно снят с поддержки, никаких официальных драйверов на системы новее WS2008 просто нет. Ну и комплектующие, если вдруг что, в ближайшем магазине не купишь, особенно если МП полетит. Вот потому и списываются железки по цене лома, а выкружившие их пытаются продать подороже. В конторах, которые торгуют б\у с гарантией, тоже цены далеки от реальных, но тут хоть год-два ремонт это не проблема покупателя. А дальше что? И всё равно при попытке что-нибудь скомпоновать из б\у вдруг выясняется, что лучше чуток докинуть и взять уже новый какой-нибудь ML — они не особо дорогие и тихие, в отличие от стоечных. Ну или самосбор.

Кстати, если говорить о "серьёзных" серверах, я вспоминаю старые HP Proliant: с ними пришлось году в 2012-м повозиться в серверной.
Отвратительно шумят (они были старее 2012-го).
Даже в серверной рядом с ними тяжело находиться, тем более, когда их больше двух.
Это не "домашнее" решение.
Раз уж вопрос именно о серверах.

Батарея 40мм жужжалок, работающих на скоростях за 4К оборотов, будет отвратительно шуметь у любого бренда.
Те Proliant-ы, как не удивительно, было хорошо слышно даже в общем фоне серверной.
Несколько лет назад при проектировании наса остановился тоже на самосборе, но в качестве софта выбрал решение unraid. У меня уже были диски разных объемов, что накладывало дополнительное требование на использование технологий резервирования.

Unraid кастомный дистрибутив slackware с проприетарным драйвером. Драйвер использует до двух дисков для хранения битов четности и распределяет файлы по дискам данных. Восстановление данных возможно при выходе из строя до двух дисков (в зависимости от количества дисков четности).

Из преимуществ для меня, для дисков данных используются штатные линуксовые файловые системы. Объединение для внешнего доступа делается драйвером по аналогии с unionfs. Поддерживаются диски разного размера. При желании можно развернуть драйвер хоть на дебиане. Благодаря минимально модифицированному линуху штатно поддерживается контейнеризация и виртуализация с управлением через вебморду. При доступе к данным раскручивает только тот диск, с которого нужно прочитать файл, остальные остяются спящими (когда дисков около десятка это приятно). По опыту эксплуатации с 2010 года вполне стабильно работает в режиме «настроил и забыл». С дисками пока везло, вышел из строя всего один, данные при замене восстановлены без потерь.

Из недостатков, лицензия платная в зависимости от количества дисков от $60 до $130. Разработку ведет всего два человека, автобусоустойчивость низкая. Под четность нужно отдавать диск равный по размеру наибольшему диску данных.
У unraid есть минус в том, что он вообще не проверяет что записал на диск. У данных вообще нет никакой чексуммы.

Так же не ковырял unraid досконально, но что-то мне подсказывает что разработчики не очень хотят, чтобы пользователь залезал внутрь системы, то есть уровень красноглазия для задач, которым не подходит docker/vm будет зашкаливать. Сюда же можно закинуть то что исходников системы нигде нет.
Собственно, основной минус: я не видел, где он продаётся.
Я написал письмо на info@qsan.ru, где попросил указать цену.
Никакого ответа. Меня просто проигнорировали.
С таким уровнем сервиса я бы поостерёгся его покупать: битый купишь, потом не обменяешь, потому что о покупателе тут не заботятся.

Ничего удивительного в этом нет, т.к. сайт производителя расположен в домене su, т.е. правильный адрес info@qsan.su. Соответственно, нет никакого секрета о том, где купить, как осуществляется техподдержка и гарантия.
Перепроверил. Моё письмо с запросом цены было на info@qsan.su. Но не через форму на сайте, а напрямую. По привычке в публикации я написал ru.
Цены искал, не нашёл, собственно потому и задавал вам вопрос, на который мне не ответили.
К сожалению, нет писем от вас. Отправьте письмо еще раз или можно здесь задать вопросы.

Собственно, вот содержание письма от 22.04.18 в 14:09:22:


Здравствуйте.

Я пишу статью на Хабр, которая включает в себя краткий обзор рынка NAS.
Ваш XCubeNAS XN5008T показался мне очень любопытным, но я не смог найти
цену.
Почти все решения продаются на amazon, но вашей системы там нет.
Не могли бы вы сказать диапазон цен в долларах на ваше устройство?

Вопрос остаётся прежним.

Озвучьте пожалуйста цену на ваше решение, которое описано в статье.
Кроме того, я так понимаю, на Amazon XCubeNas не продаётся?
Только на постсоветском пространстве?

XCubeNas продается в России. Но это пока не стоковый продукт, и вы не найдете его на полках магазинов. Производитель ориентируется прежде всего на проектный бизнес, поэтому открытого прайс листа не существует. Есть конечно рекомендуемые розничные цены, но они имеют весьма далекое отношение к реальности.

Так всё-таки, его может купить физическое лицо?
И если да, то по какой цене?
Вопрос, кажется, очевидный.

Ok.
Это цена именно на ту модель с Celeron?
Данную цену я могу добавлять в статью?

Да, это цена на модель XN5008T. Добавляйте с пометкой «рекомендуемая розничная цена».
Поправил.

Посмотрел спецификации. Действительно, сейчас есть селероны с поддержкой ECC памяти, как ни странно.
Более того, кроме силеров ECC поддерживают некоторые пеньки, i3 и i5 (T-ные), что позволяет апать тот же микросервер ген8 не до дорогущих ксеонов с этих самых силеров (которые стояли в самой простой версии данной платформы).
Так что в плане линейки микросеверов у вас провал большой:
начиная с того, что 6 и 7 генерации были на распаянных АМД, так что в 10-м поколении это не стало таким уж «сюрпризом»
и то, что 8-ое было не на ксеонах, а включало линейку моделей от силеронов до ксеонов и в шаговом доступе в РФ продавались таки как раз на первых процах чаще, чем прочие.

А Qsan-то здесь причём?


По микросерверам я не специалист, потому наличие линейки 10, я воспринял, как устаревание предыдущих.


Да и про поколение на Xeon сказано в обзоре.

Сообщение было к тому, что для вас стало сюрпризом, какие процы с ЕСС работают у интел («Посмотрел спецификации. Действительно, сейчас есть селероны с поддержкой ECC памяти, как ни странно.»).

Предыдущие микры убрали из продаж, это да, но они популярны среди людей до сих пор.
и про поколение на Xeon сказано в обзоре.
Именно. Именно что там сказано про ксеон. А на самом деле — это было поколение на LGA 1155 c силерами, пеньками, i3 и в последнюю очередь с ксеонами урезанными по ватности (и ядрам) (в последнюю — по причине задранной цены на этот конфиг)
для дома в основном брали с силером и ставили что-нибудь ещё при необходимости (под вируталочки) и выходило заметно дешевле.
Сообщение было к тому, что для вас стало сюрпризом, какие процы с ЕСС работают у интел

Да, потому что раньше селероны были процессорами нижнего уровня, и то что они вдруг стали поддерживать ECC, возможность нехарактерную для железа нижнего уровня, для меня было неожиданно.


для дома в основном брали с силером и ставили что-нибудь ещё при необходимости (под вируталочки) и выходило заметно дешевле.

В принципе, возможно добавить. Но надо ли?
Во-первых, сейчас 8-е поколение, я так понимаю, устаревает, найти такие микросерверы будет сложнее, потому цена на них вероятно будет задрана, несмотря на то, что это относительно старое железо.
Во-вторых, пока новой модели на Intel не предвидится.
В-третьих, по просьбам из комментариев я упомянул их в обзоре, так что их здесь увидев, всегда возможно пройти по ссылке и найти о них больше.

Во-первых, сейчас 8-е поколение, я так понимаю, устаревает, найти такие микросерверы будет сложнее, потому цена на них вероятно будет задрана, несмотря на то, что это относительно старое железо.
Думается мне, что 8го поколения с запасом хватит для нужд домашнего NAS на много лет вперед.
При замене охлады туда впихивали полноценный E3-1290 V2 (прирост в 5 раз по отношению к базовому селерону), так что вопрос уже стоит, какие такие задачи могут потребовать от именно NAS'а больше ;-)
Да, потому что раньше селероны были процессорами нижнего уровня, и то что они вдруг стали поддерживать ECC, возможность нехарактерную для железа нижнего уровня, для меня было неожиданно.
Более того, я видел в прайсах готовые серваки 1U с подобными камнями. Собственно, ровно для этого Intel и запилила данную возможность.
8-е было на Xeon, и стоило дороже, а теперь они зачем-то делают сервера на AMD.
Правильнее так:
8-е было с сокетом LGA1155 от Intel, и поддерживало от Celeron в более дешевых конфигурациях до Xeon в дорогих, что позволяло достаточно дешево апгрейдится при необходимости в будущем. Теперь они зачем-то делают сервера с распаянными процессорами AMD.
Так то конфиги с силерами стоили около 20к, а вот с ксеоном — 65к. gen10 по началу тоже до 25к был доступен в самой дешевой конфиге, а сейчас уже и за 35к легко…
Когда-то супермикру брали как дешевый аналог «взрослых» серверов. С тех пор они повзрослели, но все равно недороги и привычно хороши. Но брать его «аналог»…
UFO landed and left these words here
Не на замену прошивке NAS, а вместе с ней. Там есть виртуализация. И установка своего Linux поддерживается штатно, не ломая прошивку.
Меня статья в том, что почти всегда лучше купить готовый NAS, вообще не убедила.
Готовые решения, в том числе и перечисленные в в статье, на мой взгляд делятся на две категории (не считая полок и прочих нормальных серверов):
1. Кубическое нечто со специфическим процессором, зачастую слабосильным, память нерасширяема, прошивка от производителя. Сомнительная схема охлаждения (один вентилятор, стоящий за платой). Все работает хорошо (да и то не у всех), пока пользуешься функционалом, шедшим из коробки — просмотр фоточек и DLNA. Установка или запуск торрент-клиента, рекомендованного производителем, вызывает тормоза. Установка чего-либо, не предусмотренного производителем — страдания с бубном и тормоза. Запуск apache — обычно да. Запуск ownCloud — может быть. Запуск агента Swarm в вируталке, билдагента, Gitlab CE — обычно даже речи не идет.
Плюсы:
— Небольшие габариты.
— Шаринг файлов работает из коробки.
Минусы:
— Нерасширяемость даже в пределах возможностей железа — все задушено программно, политически.
— Почти всегда убогий интерфейс управления. То мобильное прилоожение, то веб-интерфейс, править конфиг руками — через бубен. Веб-интерфейс ладно бы, но практически всегда этот веб-интерфейс невыносимо отвратителен (скажем, у QNAP). Эта вот эмуляция рабочекго стола макоси — она зачем? Зачем мне платить за эти потуги маркетологов, от использовния которых браузер по швам трещит и потом еще страдать, совершая сотни излишних телодвижений со значками, мастерами, идиотскими вопросами, идиотской терминологией?
— Спорная цена. Железо уровня Raspberry PI стоит от $300. Да, корпус обычно хорош, но толку, если в него ничего нормального не вставить без изготовления новой материнской платы.
Диагноз — решение для домохозяек, при первом отказе или сбое — фтопку.

2. Более-менее толковые изделия с нормальным x86-процессором. Могут все, что я могу захотеть. Но не всегда. Иногда нормальная железка кастрирована опять же по политическим соображениям (не все устройства можно заставить загрузиться с диска в корзине, а не со своей флешки, со всеми вытекающими типа «есть xeon, но только через веб-интерфейс, пока не прицепился прошить через JTAG»).
Плюсы:
— Умеренные габариты.
— Зачастую это просто микросервер.
Минусы:
— Иногда все равно черный ящик с вебинтерфейсом без должной кастомизации.
— Дорого. Иногда просто дорого, как HP microserver (бытовое железо такой производиельности стоит в два раза дешевле, а сервером его я все равно считать не могу, пока там нет двух блоков питания и агрессивного охлаждения). Иногда неадекватно дорого, скажем, Thecus чего-то там из статьи. i3, 2гб памяти и корпус с двумя слотами pcie. $1700. Судя по форме корпуса и наличию этих самых слотов — это тупо писюк. В розницу мать, процессор и память стоят $200 (если просто купить в магазине у дома). Блок питания — $100 (пущай будет 600+ ватт, один раз живем). Корпус и опенсорсный софт — остальные $1400? Серьезно? Нет, идите на , спасибо, я еще посмотрю. Бывает довод «зато там все подогнано и не надо тратить время на настройку, мое время дорого» — настолько ли дорого? Полторы штуки заморских для большинства айтишников — месячная зарплата, для прочих — двухнедельная или двухмесячная. Если за две-четыре недели человек не может изучить линукс и гугл в объеме, достаточном для запуска RAID, samba и transmission — это немного пичалька. Впрочем, бывает всякое, некоторые и дизайн рисуют в макоси, им это не близко. Окей, можно по-барски нанять на месяц толкового админа, который вам этот нас соберет и настроит в мелочах, и все равно будет дешевле.

Поэтому всю эту лавочку я откладываю и иду в магазин (лето 2017).
День первый. MiniITX на 775 сокете, zotac, 6 sata + 2 esata, новая, в моем городе (центр мухосранской области) — 3,5к. Xeon X3380 с наклейкой — 2,5к там же. Скорей всего, б/у, это не принципиально для процессора. 8гб памяти DDR3 беру из коробочки (3к б/у, память тоже без проблем покупается бушной и служит годами, если на момент покупки тест прошла. Ну да ладно, пусть даже совсем новая за 4к). Блок питания TFX 300W — 2,5к новый. Сложили в кучку. Идем на авито. «сервер купить в мухосранске без смс.» Не то, преджлагают актуальные линейки. Расширяем на мухосранскую область. Ага. Серверы и Dell SFF, модели неизвестны, выбор из кучи в гараже, самовывоз с 20го километра шоссе на Урюпинск. Беру такси, еду. Корпус 2U Chenbro, спереди шесть корзин 3,5 и полноразммерный сидюк, внутри какое-то железо. Просят 6к. Дорого за это, ну да ладно. Такси 500р туда-сюда. Везу домой, блок питания мертвый, мать живая, но дрова с Pentium D. Мать с камнем и памятью — на авито за тыщу (забрали за 700). Три вентилятора ничотак, один засран. Два кладу в кучку к остальным покупкам. На корпусе рисую маркером линии вдоль внутренней перегородки с вентиляторами (остается где-то 40% глубины сервера), несу в автосервис (у самого руки кривые болгаркой резать). Через 20 минут отрезано, оставляю красить «в темный цвет». Дядя Вася почти всегда не против покрасить небольшую хреновину заодно с какой-нибудь дверью или бампером за малую мзду, просто кладет ее в боксе рядом с нормальной деталью, подобранная краска все равно пропадает.
День 2. Прихошу в себя после пьянки, забираю обрезанное и окрашенное изделие из сервиса. Денег даю тыщу. Несу домой. Впихиваю заглушку матери в слот сидюка (кто не в курсе — он короче заглушки платы на 3мм, достаточно ножницами эту заглушку обрезать) Под мать ставлю четыре стойки — вопрос высверливания 4х отверстий, резьбу можно не резать, и так сойдет. Блок питания за платой на термоклее, вентиляторы на родные места в перегородке, снаружи и внутри на них декоративные решетки 80мм (4х110р). Вывод силового кабеля на заднюю стенку через удлинитель мама-папа (единственное, что нужно было спаять, запчасти ну пусть 200р), остальные разъемы соединяю, закрываю крышку. Снизу приклеиваю мягкие ножки-кругляши из мебельного. Серверные вентиляторы шумные, подключил к матери, задушил PWM до состояния «обычный ПК». Бумажки к решеткам все равно присасываются. Время два часа второго дня. Ем-гуляю-фтыкаю в игры, вечером ставлю дебиан, настраиваю программное зеркало, ставлю самбу и gitlab для левака (раньше крутился gogs на eeepc b202, там задребезжал вентилятор). Все, я сделяль. Денег потрачено ~21к, ~$350 + времени часов 10-12. Имею 6 горячих корзин с индикаторами наличия диска в нешумном компактном корпусе из миллиметровой стали с двумя вентиляторами прямо за корзинами с дисками, достаточно мощный процессор (quad core extreme семилетней давности без проблем поспорит с текущими i3), достаточно много памяти, легко заменяемые компоненты, и какое-никакое развлечение на выходные. Для интереса смотрю интернет-магазин в данной ценовой категории: Synology DS214 [2x3.5", 1066 МГц, 512 Мб, USB 2.0 x 1, USB 3.0 x 2]. Прискорбно.

В статье было замечение «не у всех рядом продается корпус для NAS, а доставка составит полцены от стоимости корпуса» — ну так у этих людей скорей всего и 95% NAS, перечисленных в статье, рядом не продаются и их доставка чего-то будет стоить. И даже если доставка корпуса будет стоить в 2 раза дороже его самого, это скорей всего выйдет дешевле готового изделия.

Внёс в статью дополнение: если исключить диски, доставку, разборки с ОС и пакетами, выходит дешевле.


Если за две-четыре недели человек не может изучить линукс и гугл в объеме, достаточном для запуска RAID, samba и transmission — это немного пичалька.

Вводные вы, похоже, не дочитали.


Впрочем, бывает всякое, некоторые и дизайн рисуют в макоси, им это не близко. Окей, можно по-барски нанять на месяц толкового админа, который вам этот нас соберет и настроит в мелочах, и все равно будет дешевле.

Толковый админ, вам не пофиксит баги в OMV, админ же, способный поставить ОС "с нуля" (без инсталлятора и так, как надо), при этом решить все проблемы, будет стоить дорого, его сложно найти, да и не факт, что согласится на подработку.

Вводные вы, похоже, не дочитали.

Так а чего вводные? Как только в списке требований появился rsync и LDAP (не виндовый «контроллер домена», заметьте), круг пользователей и администраторов девайса сразу сузился до людей «в теме». И изучение линукса за месяц я привел не потому, что это все должны делать, а как пример того, что цена за предустановленную ос как-то великовата.

Толковый админ, вам не пофиксит баги в OMV, админ же, способный поставить ОС «с нуля» (без инсталлятора и так, как надо), при этом решить все проблемы, будет стоить дорого, его сложно найти, да и не факт, что согласится на подработку.

Так ведь и у корообочных решений багов обычно немерено. OMV хоть как-то поддерживается и обновляется и будет это делать в худо-бедно обозримом будущем, а производитель специфической сборки специфической ОС для специфического девайса может завтра забить на поддержку — покупай нашу новую модель или сам ковыряйся. У девайсов нижней ценовой категории ширпотребных брендов (врочем, вы их не затронули особоо) поддержка вообще призрачна.

ОС с нуля типа арча без пресетов, генты с правкой ебилдов или LFS — да, за тыщу такого админа не купишь. А нужен ли он, если нет задачи впихнуть побольше функций в немощное железо? Мы собираем нас на базе писюка, где можно поставить серверную убунту (а то и с иксами) и производительности почти не убудет. Ну будут в фоне 10 ненужных служб молотить и жрать 100 метров памяти — никто и не заметит.
Так а чего вводные? Как только в списке требований появился rsync и LDAP (не виндовый «контроллер домена», заметьте), круг пользователей и администраторов девайса сразу сузился до людей «в теме». И изучение линукса за месяц я привел не потому, что это все должны делать, а как пример того, что цена за предустановленную ос как-то великовата.

С точки зрения производителя есть ещё амортизация затрат на разработку. С точки зрения потребителя — это не только предустановленная ОС, но и поддержка разработчика, если что-то сломается, плюс меньшее количество багов. Кроме того, всё из коробки: это просто не надо досконально настраивать, и тратить время.


Так ведь и у корообочных решений багов обычно немерено. OMV хоть как-то поддерживается и обновляется и будет это делать в худо-бедно обозримом будущем, а производитель специфической сборки специфической ОС для специфического девайса может завтра забить на поддержку — покупай нашу новую модель или сам ковыряйся.

Да такой риск есть, но для серьёзных брендов он меньше.


ОС с нуля типа арча без пресетов, генты с правкой ебилдов или LFS — да, за тыщу такого админа не купишь. А нужен ли он, если нет задачи впихнуть побольше функций в немощное железо?

Не для этого, а для того, чтобы реализовать сложную конфигурацию, и сложность не обязательно следствие железных ограничений.

С вашими доводами согласен, поддержка, особенно там, где она официальная — важный параметр.
Но я что забыл спросить-то еще в первом посте — вы собрали сервер сами (да, я вижу именно сервер, на который поставили ориентированную на нас ось), а общественности рекомендуете все же брать готовый NAS. Почему? Только по стоимости (у вас вышло по сумме не сильно дешевле готового)? Есть ли готовая железка, которая вас устроила бы функционально, если не глядеть на стоимость? Эта железка должна именно как NAS позиционироваться, понятно, что серверов с таким железом пруд пруди.
а общественности рекомендуете все же брать готовый NAS. Почему?

Я подхожу в одну из упомянутых категорий: мне просто было интересно, и я собирал его во много, как исследовательский проект.
Идея зрела давно, а катализатором стало то, что у меня на стационарной машине сдох старый IDE диск, на который делались бэкапы.
После этого я решил: "Собираю". Изначальный обзор конкурентов, для себя, я делал не с целью выбрать себе NAS, а с целью изучить возможности, которые они предоставляют.
Собирая NAS, я отнял время у других проектов.
И если бы для меня это был бы исключительно инструмент, зная сколько времени и усилий это займёт, я бы купил готовый.


Только по стоимости (у вас вышло по сумме не сильно дешевле готового)?

Да, вышло так. Хотя, в комментариях Krey вы можете видеть, что он может собрать сходную конфигурацию в два раза дешевле. Тут бы я всё-таки сделал скидку на опыт: не знаю сколько NAS он уже собрал, но далеко не факт, что человек в теме новый достигнет подобной эффективности сразу.


В любом случае, то что я хотел, я получил.


Есть ли готовая железка, которая вас устроила бы функционально, если не глядеть на стоимость?

В обзоре написано. XCubeNas весьма неплох, если забыть, что он на Celeron и стоит $3000 без дисков.
Synology неплохая машинка по железу, да и ОС тоже, пусть и хотелось бы, чтобы там был ZFS, как в вышеупомянутом XCube.
FreeNAS вполне возможно было бы купить, и ставить туда что-угодно (я и сам задумывался над тем, не взять ли плату с Avoton).


Эта железка должна именно как NAS позиционироваться, понятно, что серверов с таким железом пруд пруди.

Да сейчас уже сложно разделить NAS и сервер. Что такое Synology 12-ти дисковый, который в обзоре? Это NAS с серверным железом или сервер с большим количеством дисков?

Спасибо за ответы, я во всем наконец-то разобрался. Сам-то, я конечно, останусь при своем мнении «собираем из спичек и желудей», но и ваши доводы вполне логичны и имеют аудиторию.

Да сейчас уже сложно разделить NAS и сервер. Что такое Synology 12-ти дисковый, который в обзоре? Это NAS с серверным железом или сервер с большим количеством дисков?

Для себя я делю по принципу «ориентировано на plug and play» или нет. Пластиковые коробочки на четыре диска — несомненно NAS. Стоечные железяки, если в них нет предустановленной ОС — несомненно, серверы, ориентированные на сторадж. А между этим — все размылось и непонятно ничего.

Так-то Network Attached Storage в приниципе и не означает наличие конкретной железки вообще, может и чисто программным решением быть. Испоользуется какойнить iSCSI — вот тебе и NAS.

А и да. Не холивара ради, но как только вы себе поставили на нас Gitlab — он перешел из категории NAS в «домашний сервер» :) Но сути не меняет, да.
Для себя я делю по принципу «ориентировано на plug and play» или нет. Пластиковые коробочки на четыре диска — несомненно NAS. Стоечные железяки, если в них нет предустановленной ОС — несомненно, серверы, ориентированные на сторадж. А между этим — все размылось и непонятно ничего.

А вот это: https://www.dellemc.com/ru-ru/storage/isilon/index.htm ?


Так-то Network Attached Storage в приниципе и не означает наличие конкретной железки вообще, может и чисто программным решением быть.
Испоользуется какойнить iSCSI — вот тебе и NAS.

Это уже ближе к SAN.


А и да. Не холивара ради, но как только вы себе поставили на нас Gitlab — он перешел из категории NAS в «домашний сервер» :) Но сути не меняет, да.

И, при этом, по крайней мере, для некоторых железок из обзора, которые NAS, гитлаб есть в их "магазине приложений", а где нет, там его возможно установить в контейнере.
А в обзор просили добавить (и я добавил) Microserver от HP.
Фактически, NAS и домашние сервера сейчас трудно отделить.

А вот это: www.dellemc.com/ru-ru/storage/isilon/index.htm ?

Ну это NAS, там же какая своя ось специализированная.

Это уже ближе к SAN.

Да, не совсем корректный пример привел, слишком низкий уровень.

Фактически, NAS и домашние сервера сейчас трудно отделить.

Да вообще сервер от «несервера» трудно отделить. Формфактор не показатель давно, железо — тоже. Половина Hetzner на десктопном железе крутится и ничо. Все плохо, ничего непонятно (
Вот кстати про баги в OMV и прочее. Вот зачем самому себе рыть яму? ZFS управляется двумя простенькими командами в консоли.
И так во всем. Зачем нужен микротик, который по сути оболочка над линуксом с его нетфильтром, при том что синтаксис nftables прост и компактен для восприятия по сравнению с веб-интерфейсом из миллиона вкладок и работает быстрее.

Люди, не разбрасывайте грабли, избегайте этих оболочек как огня. CLI\TUI это альфа и омега в плане владения компьютером. Если вам не подходят готовые НАСы с их веб интерфейсами, то в итоге всякие FreeNasы и OMV вам также не помогут, просто съедят ваше время и нервы.
Вот кстати про баги в OMV и прочее. Вот зачем самому себе рыть яму? ZFS управляется двумя простенькими командами в консоли.

Ну в общем-то не двумя. Да и не простенькими. Это сильное утрировано.


Люди, не разбрасывайте грабли, избегайте этих оболочек как огня. CLI\TUI это альфа и омега в плане владения компьютером. Если вам не подходят готовые НАСы с их веб интерфейсами, то в итоге всякие FreeNasы и OMV вам также не помогут, просто съедят ваше время и нервы.

Это вы к чему сейчас? Существуют разные типы интерфейсов, и у каждого своя ниша. Для визуализации данных и быстрого решения типовых задач подходит GUI, для обработки данных и пакетных задач CLI, для слепых людей и тех, которые плохо видят, делают интерфейсы Брайля и синтезаторы, ну и так далее.


К чему тут этот оффтопик?

К тому, что выбор ОС и инструментов в данной теме не офтопик.
Про zfs — это команды zpool и zfs. Других команд нет. Есть ряд настроек, должно быть общее понимание принципов работы этой ФС — это все безотносительно к типу интерфейса.
Вот вы пишите: «Основной плюс OpenMediaVault перед FreeNAS в том, что это Debian Linux»
Это что за сферический плюс такой в вакууме? Взять ОС у которой по вашим словам «ZFS в Linux недостаточно стабилен в настоящий момент», пришлепнуть в нее веб-костыли вроде OMV и назвать это плюсом? Да вы можете сделать это в собственной статье, так же как я могу указать на эту логическую ошибку в своем комментарии.

Оффтопик — это спор GUI vs CLI. Я на это уже ответил: одно не противоречит другому.
Хотите — заходите каждый раз по SSH, пишите


Вот вы пишите: «Основной плюс OpenMediaVault перед FreeNAS в том, что это Debian Linux»
Это что за сферический плюс такой в вакууме?

А, это из моей документации прилетело, не заметил. У меня все машины на Debian, потому и плюс. Убрал.


Взять ОС у которой по вашим словам «ZFS в Linux недостаточно стабилен в настоящий момент», пришлепнуть в нее веб-костыли вроде OMV и назвать это плюсом?

См. выше: это недосмотр.


Да вы можете сделать это в собственной статье, так же как я могу указать на эту логическую ошибку в своем комментарии.

У omv некоторый плюс действительно есть: он легко ставится из пакета на "голый" Debian.

*Хотите — заходите каждый раз по SSH, пишите hddtemp /dev/sd{a-f}, например, а мне удобнее через web интерфейс выполнять типовые действия.
Для того он там и есть. Хотя, сейчас я им мало пользуюсь: в основном всё приходится делать из консоли.

> Про zfs — это команды zpool и zfs. Других команд нет.

Если придраться:

dpkg -L zfsutils-linux |grep "bin[^$]"
/sbin/fsck.zfs
/sbin/mount.zfs
/sbin/zdb
/sbin/zfs
/sbin/zhack
/sbin/zinject
/sbin/zpios
/sbin/zpool
/sbin/zstreamdump
/usr/bin/zgenhostid
/usr/sbin/arc_summary
/usr/sbin/arcstat
/usr/sbin/dbufstat


Ok, это основные команды, но каждая из них сложносоставная, а каждая подкоманда имеет свой набор опций.
ZFS достаточно сложная система и объём документации на неё большой.
Если придраться, то из OMV все что вы написали кроме двух основных команд использовать тоже не получится. И вы таки полезете за ними в консоль.

Так я и делаю всё в консоли сейчас, а где-то фоном работает OMV.
Чем он удобен: я могу быстро посмотреть все пулы, ФС, снэпшоты, а также их параметры (там ещё докер понасоздавал).
Ну и через его интерфейс возможно легко, быстро и, в основном, безошибочно абсолютное большинство действий с ZFS выполнять.

Сильно завысили мощность БП. На 8 дисков 250Вт выше крыши. Завышение мощности ведет к снижению эффективности, а при 50% завышении всякие рейтинги 80+Bronze можете смело игнорить. А ведь можно еще озаботиться последовательным стартом дисков.

Цена на ваш самосборный нас в итоге получилась ужасная. Возможно, если хочется купить еще вчера, да в одном американском магазине, заплатить посреднику, да со страховкой — может оно так и получается. Но если быть в теме, почитывать упомянутую выше темку на хоботе, то регулярно проскакивают выгодные предложения вроде серверной платы за 5к, серверного корпуса на 8 хотсвопов за те же 5к, короче примерный аналог вашего НАСа я собрал баксов за 500$.

Еще совет по шуму. Если НАС стоит в комнате, то ему совсем необязательно держать на вентилях постоянные обороты. Можно регулировать их в зависимости от температуры винтов, т.е. в итоге от нагрузки. Уже много лет как серверные платы отдают контроль всех вентиляторов по i2c через ipmi.
Сильно завысили мощность БП. На 8 дисков 250Вт выше крыши. Завышение мощности ведет к снижению эффективности, а при 50% завышении всякие рейтинги 80+Bronze можете смело игнорить. А ведь можно еще озаботиться последовательным стартом дисков.

На пиковых нагрузках не особенно "выше". Рейтинги, конечно: я же не попадаю в Мощность блока ± 10%. Ну разве что, он более стабильное напряжение даёт.


Цена на ваш самосборный нас в итоге получилась ужасная. Возможно, если хочется купить еще вчера, да в одном американском магазине, заплатить посреднику, да со страховкой — может оно так и получается.

Без амазона — мне сложно было бы найти серверное железо.
Без посредника — амазон не присылает в РФ.
Без страховки — "скупой платит дважды".


Но если быть в теме, почитывать упомянутую выше темку на хоботе, то регулярно проскакивают выгодные предложения вроде серверной платы за 5к, серверного корпуса на 8 хотсвопов за те же 5к, короче примерный аналог вашего НАСа я собрал баксов за 500$.

Вместе с дисками? Вопрос только когда, и насколько примерный. В таком случае, конечно, было бы выгодно.


Еще совет по шуму. Если НАС стоит в комнате, то ему совсем необязательно держать на вентилях постоянные обороты. Можно регулировать их в зависимости от температуры винтов, т.е. в итоге от нагрузки. Уже много лет как серверные платы отдают контроль всех вентиляторов по i2c через ipmi.

Да, там есть Smart fan, но сейчас я поставил на полные обороты, чтобы не грелось.

Пиковые нагрузки у HDD — только при старте, раскручивании шпинделя. И они укладываются в 250Вт с вашей системой и 8-ю шпинделями. В остальное время у вас и 150Вт не набирается, купите ваттметр и убедитесь.

500$ без дисков естественно. Но возможно с системным ССД.

SmartFan — это не про винты. Он смотрит только на температуру процессора или внутри корпуса. Для NAS неприемлемо.
Пиковые нагрузки у HDD — только при старте, раскручивании шпинделя. И они укладываются в 250Вт с вашей системой и 8-ю шпинделями. В остальное время у вас и 150Вт не набирается, купите ваттметр и убедитесь.

Ток я могу замерить и сейчас. Блок брался в расчёте на пиковые нагрузки. По расчёту в 250 Вт не укладывается.


500$ без дисков естественно. Но возможно с системным ССД.

Плюс, диски $1000, в лучшем случае. Ну ok, $1500, в два раза дешевле.
SSD у меня — три.


SmartFan — это не про винты. Он смотрит только на температуру процессора или внутри корпуса. Для NAS неприемлемо.

Температуру платы. Но там есть только smart fan, а программно кулером управлять пока не получается: pwmconfig не видит его. Потом может разберусь, если руки дойдут. Сейчас на полной мощности, я шума не слышу (NAS в коридоре).

Как раз на почте меня дожидаются три 8ТБ по 160$. Не призываю, не спорю. Просто указываю на то что суммы завышены.

Привёл цены, за которые купил на Amazon. Asus брать не хотелось, а Supermicro вообще стоит каких-то нереальных денег. Собственно, ограничение по ОЗУ и нестандартный форм-фактор — это основные минусы данной платы, а так она крайне неплоха, пусть и 2014-й год.

Если не гнаться за встроенным SAS, отдав его внешней платке, или за форматом, похожим на itx, то и у супермикро можно много из чего выбрать. Например itx мамка с впаянным xeon, 4x полноразмерных сима (до 128Гб ECC ОЗУ), 2x 10 Gb сеть. 30к руб, что вполне норм за такую степень интеграции. В более просторных формфакторах выбор из платок SM просто огромный.
Любопытно. Возможно всё-таки стоило посмотреть на Supermicro. Хотя, впаянный процессор, конечно минус.
А можете подсказать модель платы или дать ссылку на неё?
Хотя бы посмотрю, на будущее.
Всё-таки и на Amazon, эта плата в районе $500, в 1.5 раза дороже, чем ASRock.
Амазон, ебей, берем внешние USB WD на 8ТБ и расковыриваем, вытаскивая оттуда зачастую WD Red. Внешний корпус и БП будет приятным бонусом :)
А почему они в корпусе настолько дешевле, чем те же самые hdd, только отдельные.
Тут много теорий, не буду вас загружать. Скорее всего просто слитие излишков без урона для основной линейки продуктов. Ну или просто маркетинг в диком мире копроэкономики.

Кроме них есть refubrished винты, тоже раза в два дешевле магазинной цены и тоже новые.
HGST и Hitachi — одно и тоже. Может вы тошибу имели ввиду?
Во внешних боксах не видел. Но их много refubrished, правда не новых. У ВД есть раздел refubrished прям на основном сайте.
Тут много теорий, не буду вас загружать. Скорее всего просто слитие излишков без урона для основной линейки продуктов. Ну или просто маркетинг в диком мире копроэкономики.


Скорее уж слитие того что не прошло по качеству для того чтобы быть тру-red дисками.
А не получится так, что расковыряв увидим диск без SATA-интерфейса, а именно с USB на плате?
Или такое только на 2.5" практикуется?
возможно видеть, что рынок сейчас достаточно насыщен

если бы так было на самом деле, то производители не накидывали бы к стоимости железа еще два-три раза по столько же за веб-интерфейс к линуксу

То, что они не демпингуют, ещё не говорит о том, что рынок не насыщен.

ИМХО
бу сервер на 25 корзин (2.5) или 12(3.5)- 400-500$
и никаких проблем с охлаждением, да шумно но сервер есть сервер
Диск нужно было брать еще 1 про запас — что-бы в случае вылета диска zfs могла его заменить

Да и на zfs гнать не нужно zfs = solaris и никаких проблем
И по поводу бекапа ОС — в соляре есть такая штука beadm)
бу сервер на 25 корзин (2.5) или 12(3.5)- 400-500$
и никаких проблем с охлаждением, да шумно но сервер есть сервер

И серверную впридачу.


Диск нужно было брать еще 1 про запас — что-бы в случае вылета диска zfs могла его заменить

Там ZRAID, хотя и 1-й. На вылет я проверял. Вытаскивал диск, пул оставался рабочим.

так в том то и суть пул остается рабочий, но со статусом дегрейдет, а сбойный он автоматом заменит на резервный и перейдет в статус онлайн. (т.е. в случае каких либо проблем он сам заменит диск, а не вам нужно его мониторить)

из опыта скажу — диски можно было взять подешевле, но добавить кеширующий на ссд + 1 резервный в случае вылета

Минус тут будет в том, что получу один диск, который будет простаивать, а даже с ZRAID1 у меня почти 40% издержек в моей конфигурации.
Что мне мешает, в таком случае, просто сделать ZRAID2?


Но возможно подробнее, как такая конфигурация реализуется?


из опыта скажу — диски можно было взять подешевле, но добавить кеширующий на ссд + 1

Кэширование на SSD есть (пока только SLOG, и ещё там swap, который я фактически не использую).

Raidz1, не коверкайте плиз.
alexkuzmenko7 HotSpare заработало в ZOL (если я правильно помню) только с 0.7, соответственно в стабильный дебиан и уж тем более в гуй OMV еще не завезли.
Raidz1, не коверкайте плиз.

Да, извиняюсь, называю их когда как, правильно конечно же RAIDZ.

Немного оффтоп.
На собственном опыте проверял, что поддержка HGST по запросу (с указанием партномера и серийника диска) высылает для своих дисков новые прошивки и утилиты для их заливки (под Windows и Linux).


Вероятно, WD придерживается той же политики.

По теме сказать нечего, я не спец. Просто спасибо за подробнейший разбор вопроса домашнего NAS. И не меньшая благодарность — за комментарии их авторам. Много информации сконцентрированной в одном месте, это ценно.
Одного не пойму нахрена дома дисковое хранилище в десятки ТБ???, т.е. шумящее, жрущее существо, что хранить???? Ну а для офиса… т.е. фактически когда два человека работают в команде уже как бы файлопомойка не панацея, нужны более эффективные средства. И получается железяка с «топовым» железом для хранения фоточек которые ни кто, и никогда не будет смотреть???
Очевидный ответ: если вы не знаете, зачем оно вам, скорее всего оно вам не нужно.
Но логику то понять нужно, ибо коментов дочерта, значит вещь популярна, возможно я что то не знаю или не понимаю, и как следствие не пользуюсь «дешевыми» NAS а использую дорогущие сервера с дорогущей инфраструктурой…
Я например продаю место на дисках. т.е немаленький НАС потихоньку сам себя окупает.
Storj.io
Правда сейчас не лучшее время что бы туда входить, сеть переделывают.
Опять? Что-то колбасит их в разные стороны, народ разбегаться начнёт.
и как следствие не пользуюсь «дешевыми» NAS а использую дорогущие сервера с дорогущей инфраструктурой…

Свои или арендуете мощности?

Свои, привычка, скажем так есть очень негативный опыт от аренды (и дело не в сервисах которые предоставляют мощности), по старинке работаем, мощности не большие но нужно хранить наработки десятилетиями, как говорится это долгая и грустная история…
За топовые железки ценой в несколько килобаксов не скажу, но вот NAS на 2-4 диска (ценой в 200-500 баксов) для дома очень удобны — хотя бы просто для того, чтобы хранить всякий контент на одно компактном и маложрущем энергию устройстве, которое доступно для любого девайса в сети и за счет RAID1/5 имеет хоть какую-то отказоустойчивость. Не говоря уж о всяких фотографах, дизайнерах, моделлерах и прочих товарищах, которым нужно дофига места, чтобы хранить свои файлы
Обратно согласен, для дома до 3-х ТБ вполне, и железка что бы не шумела и кушала как зарядка от телефона, т.е. хранить «честно украденные» сериальчики, фоточочки… Но на счет надежности тут не согласен… надежное хранение это когда инфу записываешь на 3 DVD, один прячешь на полочку для «быстрого доступа», второй прячешь в сейф для сохранности, а третий прячешь в сейф на удалении 2000 км от первого сейфа на случай ракетно-бомбового удара, хотя если по тебе нанесут ракетно-бомбовый удар вряд ли тебе будут важны твои файлики
надежное хранение это когда инфу записываешь на 3 DVD, один прячешь на полочку для «быстрого доступа», второй прячешь в сейф для сохранности, а третий прячешь в сейф на удалении 2000 км от первого сейфа на случай ракетно-бомбового удара, хотя если по тебе нанесут ракетно-бомбовый удар вряд ли тебе будут важны твои файлики


Если уж следовать правилу 3-2-1 то данные должны быть минимум на 2 разных носителях.
ну скажем так, «одинаковость» носителей компенсируем двумя сейфами и расстоянием между ними
Ну так использование разных носителей это, в первую очередь, защита от минусов конкретного вида носителя. Вот хранится у нас бекап в виде 3 копий на DVD, и все 3 копии помрут от disc rot и что делать? Никакое раздельное хранение не спасет от такого.
еще раз, мой юный друг, не забываем про регламент… как говорится это что то вроде устава, ну и если все делается правильно то в принципе и ядерная война не страшна, ну а вы если боитесь «disc rot», советую как в старом фильме, отойти в окоп по дальше, и выстрелить себе в рот, помогает, реально потом боятся будет нечего…
Но на счет надежности тут не согласен… надежное хранение это когда инфу записываешь на 3 DVD

Степень избыточности диктуется требованиями. Если вы проживаете в Сирии, вам требуется защищать данные от ракетно-бомбового удара. В России, например, пока не требуется. Значит, например, оценив вероятность пожара или кражи, возможно обойтись и без этого или, условно, использовать огнеупорный сейф.

кража, пожар, затопление, да падение спутника может случится, мы не знаем что может случится, поэтому и разносим на большое расстояние. Ракетно-бомбовый это как пример, хоть и мало вероятный
Важно, какова цена вопроса и насколько вероятны события, от которых вы хотите защититься.
Ну и ещё, потребуются ли данные после этого.
Ото всего защититься нельзя, в принципе.
Цена вопроса как раз мизерна, ну так получилось, но схема работает с 2002 года, еще не было проблем, ну кроме проблем связанных с распиздяйством

В качестве корпусов для NAS (даже не NAS, а гиперконвергентного решения) использовал красивые, на мой взгляд, корпуса от Fractal Design:


  • NODE 804 вместимостью 8 x 3,5″, 4 x 2,5” или до 10 x 3,5”, 2 x 2,5″ жестких дисков и SSD
  • NODE 304 вместимостью 6 х 3,5" или 2,5" жестких дисков/SSD. К этим 6 у меня получилось добавить еще по одному SSD и HDD.

Да, у них нет съемных корзин и нет защиты от физического доступа в внутрь, но для дома по мне этого и не надо. Внутрь залазил только два раза, когда собирал NODE 304 и когда переезжал из него в NODE 804. Работают тихо, температура дисков не превышает 40 градусов.

Для любителей tower можно вспомнить еще про «народный» define r5. 8 3.5"/2.5" дисков в стоке + можно еще достать корзину на 3 доп. диска + отдельное крепление под 2 2.5".
Можете написать, какую мат. плату/доп. контроллеры/доп. вентиляторы использовали при сборке в 804 корпусе? И делали ли шумоизоляцию? У самого такой только что приехал, подбираю оптимальную комбинацию железа, интересен Ваш опыт…
Внесу свои 5 копеек.
Кулеры Noctua докупал тут, чтобы не заказывать:
www.coolera.ru

На их сайте, по крайней мере, возможно посмотреть, что есть.
Если интересует, могу подробнее впечатления расписать.

По кулерам есть «законодатели мод», это: Noctua, Scythe, с натяжкой сюда возможно припихнуть Zallman (хотя, они больше по радиаторам и процессорным кулерам).
Ещё мне очень понравился кулер от NoiseBlocker: и как сделано крепление (не эти резиновые стойки, которые в труднодоступных местах хирургическим зажимом приходится вытаскивать, а резиновые уголки и крепление на обычных металлических винтах), и низким уровнем шума, а уровень вибраций, по ощущениям, ниже, чем у Noctua.

Ещё момент: хотите хороший тихий и надёжный кулер, во-первых смотрите в спецификации, сколько децибел (или Сон) он даёт, во-вторых старайтесь не брать кулера с подшипниками скольжения — берите магнитные или масляные (вот тут Noctua обычно выигрывает).

По шумоизоляции, например вот: www.coolera.ru/tovar.php?tovar=12407
Я себе хотел ещё противовибрационный коврик взять, но пока не купил: плотный многослойный лист.

Если проблемы с охлаждением CPU, стоит изначально смотреть в сторону термоинтерфейса.
Жидкий металл (и Thermal Pad, соответственно, который тоже самое, однако проще наносится) тут бьёт все термопасты (и Arctic MX-4, которую я взял, тем более).

Ещё могу посоветовать обратить внимание на современные «водянки»: они малошумные, как правило, компактные, находятся внутри корпуса, да и теплоноситель там уже давно не вода.
Конфигурация у меня такая:
Материнская плата: ASRock Z77 EXTREME 4-M, LGA1155
Процессор: Intel® Core™ i5-3570
Память: 4 x Corsair Vengeance CML8GX3M1 A1600C10 DDR3 PC3-12800 1600MHz/DDR3 8Gb
Жесткий диск под виртуальные машины: Western Digital WD5000AUDX
SSD под виртуальные машины: Samsung 850 EVO
HDD для хранилища: 6 x Western Digital WD30EFRX — 3 ТБайта RED
Cетевая карта: TP-LINK TG-3468
Контроллер жестких дисков: Orient J363SIR (чип JMicron JMB363). PCI-E 1x — пока без дела.
Вентилятор на процессор: Noctua NH-U12S — но по-моему это уже перебор был. Точные показатели не помню, но процессор точно не греется сильно.
Доп. вентилятор отсека HDD Noctua NF-A14 ULN
Загрузочная флешка NoName
Блок питания Corsair — не помню точно модель, на 500Вт по-моему. Шума больше всего именно от него. Мощность сейчас я бы пересчитал.

Шумоизоляцию не делал. Система стоит в закрытом шкафу. Рядом с шкафом ее не слышно.
Конфигурацию железа надо подбирать исходя из ваших требований и финансов.
Сейчас я бы собирал что-то на Xenon. Думаю скоро памяти будет не хватать. Пока присматриваюсь к Supermicro X11SPM-F.

Спасибо. У меня скоро освободится старая материнка с i7-4770 — думаю задействую её, плюс Адаптековский рейд на 4 SATA добавлю (мать — только 6 SATA). За вентилятор Noctua NF-A14 ULN спасибо: не был уверен в достаточной его производительности, теперь точно возьму.
По БП — неплохо работает be quiet! Straight Power 10 400W — не слышу от слова вообще 8))
Читая статья держу в памяти 2 начальные задачи:
Тут рассматриваются NAS верхней границы «домашнего» сегмента и начального бизнес-сегмента, позволяющие удовлетворить запросы взыскательного пользователя, либо офиса на 50-100 человек.
Прежде всего, NAS является точкой синхронизации между разными устройствами.
Это может быть по файловая синхронизация (например, используя rsync или syncthing), облако, общие репозитории
И просматривая варианты начинается казаться, что ТС просто не куда потратить деньгивыбирает слишком избыточное решение для NAS.
При этом очень удивляет упор не на «хард», а на «софт». (Что выливается в завышенные требования к мощности CPU)
Почему бы не доверить контроль целостности файлов, например, хорошему рейд-контролеру?

PS:
Мой предыдущий NAS был собран из говна и палокна мамке с G31 + C2D + 2gb ddr2 + 6 x 2Tb HDD(добиралось по мере заполнения). Ни одного потерянного файла.
Почему бы не доверить контроль целостности файлов, например, хорошему рейд-контролеру?

Потому что, это слишком избыточное решение. Посмотрите цены на "хорошие рэйд-контроллеры". Это первое. О софт-контроллерах тоже много было говорено. А тут всё бесплатно.
Второе: известная проблема в том, что при выходе из строя рэйд-контроллера, вам придётся искать аналогичный, иначе данные на массиве потеряны. А это сложно и дорого (особенно, если компания-производитель закроется к тому моменту). Проблема описана неоднократно.
Третье: почти все (или все?) рэйд-контроллеры — это программно-аппаратные комплексы, и в них тоже есть говнокод баги.
Ну и четвёртое: есть интегрированное решение, которое, в целом, проще связки компонентов, вами предлагаемой, хорошо работает и ничего мне не стоит, — так если нет разницы, зачем платить больше?


При этом очень удивляет упор не на «хард», а на «софт». (Что выливается в завышенные требования к мощности CPU)

Где-то тут есть мой скриншот htop: нагрузка, которую даёт дисковая подсистема минимальна, порядка 0.5 — 2% (там ещё и гитлаб в это время работает). Кажущаяся избыточность нужна мне для других задач (например, для организации CI, в будущем).


Нашёл скриншот:

Позвольте, коллега, тогда я настаиваю на не верных формулировкках у вас, вводящих в заблуждение читателя. Например в статье написано:
В итоге, я имею работающий NAS на серверном Xeon ценой чуть более $3000

А в комментарии:
А тут всё бесплатно.… хорошо работает и ничего мне не стоит

И логично возражение «постойте, но как же бесплатно и потраченные 3 килобакса».

Из чего я делаю вывод, что вместо NAS собран хороший сервер под несколько задач.

PS:
Стоит отметить, что:
* Софт-рейд я не рассматриваю и не предлагаю по понятным причинам.
* Проблема поломки аппаратного рейда имеет место быть, но сильно раздута. Мы знаем об этом, потому что есть статистика или возвраты. И решается использование пары одинаковых для пары массивов дисков. У меня где-то были пара PCI рейд контроллеров, ушедших в коробку из-за морального устаревания. Пара, как раз, чтоб восстановить, если один выйдет из строя. Но этого так и не случилось.
* Если допускать наличие багов, их можно ожидать и в ZFS и в костылях не используя солярку. Да-да, рейды тоже могут быть проверенными временем и надежны не менее ZFS
И логично возражение «постойте, но как же бесплатно и потраченные 3 килобакса».

Но не на RAID контроллер: с ним вышло бы дороже. И не вполне понятно, какие бы мне дало это плюсы (нагрузка на CPU сейчас низкая). А память с ECC явно не лишняя для любой ФС.


Из чего я делаю вывод, что вместо NAS собран хороший сервер под несколько задач.

Об этом тоже уже здесь говорили. Как и подавляющее большинство (все?) NAS сейчас (см. обзор).


Если допускать наличие багов, их можно ожидать и в ZFS и в костылях не используя солярку. Да-да, рейды тоже могут быть проверенными временем и надежны не менее ZFS

Да, без сомнения. Даже я бы сказал: в ZFS есть баги. Но правятся они наверняка активнее, чем баги в прошивке контроллера.

Второе: известная проблема в том, что при выходе из строя рэйд-контроллера, вам придётся искать аналогичный, иначе данные на массиве потеряны.


Я тут немножко вклинюсь в вашу беседу. А позвольте полюбопытствовать, на вашей памяти много данных потеряно по причини смерти raid-контроллеров? И вообще, много, собственно, контроллеров помэрло?

Сам вот неоднократно прыгал с бубном, выковыривая данные из всяких там развалившихся софтрейдов, поверх которых был еще накачен lvm и тому подобного. Хотя, если совсем откровенно, в большинстве тех случаев виновато грошовое железо, закупленное из-за дифицита бюджета, жадности закупщиков и ласторукости внедренцев по совокупности.

И не вполне понятно, какие бы мне дало это плюсы

Например, скорость перестроения при замене вылетевшего диска.
Я тут немножко вклинюсь в вашу беседу. А позвольте полюбопытствовать, на вашей памяти много данных потеряно по причини смерти raid-контроллеров? И вообще, много, собственно, контроллеров помэрло?

А причём тут моя память? Мой минимальный опыт прямого общения с "большим" серверным железом ещё ни о чём не говорит. Да, были рэйды, при мне не померло ни одного.
Опыт не мой.
Помимо этого, мне приходилось общаться с людьми, которые данные контроллеры разрабатывали, и они не агитировали за решение с аппаратным рэйдом: дорого и не даёт ощутимых преимуществ.


из всяких там развалившихся софтрейдов, поверх которых был еще накачен lvm и тому подобного

Не знаю для чего поверх софт-рейда накатывать LVM, если LVM может почти всё тоже самое сделать.


Например, скорость перестроения при замене вылетевшего диска.

Есть у меня подозрение, что и в том, и в другом случае скорость будет ограничена либо скоростью IO, либо скоростью интерфейса.


В любом случае: это дорого. Это самый первый и основной минус. В данном ценовом сегменте контроллер будет стоить, как половина этого NAS с дисками, и это неприемлемо.

на лезвии как бы встроенная сетка


Странно, мне говорили ровно обратное. Хотя, быть может, следовало их подпоить хорошенько и выведать всю подноготную (:

либо скоростью IO, либо скоростью интерфейса.


Если это простое зеркало, то да. Если какой-нибудь raid6 (и даже 5), до зависеть будет еще и от алгоритмов реализации.

В данном ценовом сегменте контроллер будет стоить, как половина этого NAS с дисками


Ну нет, что вы. Тот же хьюлетовский p222 или p420 с кэшем и батарейкой стоит на ебее в районе $80-100.
Ну нет, что вы. Тот же хьюлетовский p222 или p420 с кэшем и батарейкой стоит на ебее в районе $80-100.

Посмотрел. Ну вообще $130-$250, но всё-равно это не те контроллеры за $1000-$1500, на которые я натыкался.
Поскольку, в данной теме я не сведущ, спросил по их поводу, вот ответ:


Достоинства: таки рейд. Хранит конфигурацию рейда на дисках, т.е.
можно переткнуть диски в другой аналогичный контроллер и оно
поднимется.
Недостатки: тормоз в режиме рейда, что в raid5, что в raid6 (сейчас
используются те же контроллеры, те же диски, но рейд — через mdadm и
копирование упирается в сеть, а не в массив).

Так что… Привязка к аппаратуре, возможность её поломки, лишние 200 баксов, плюс ещё и тормоза.
А зачем, если откинуть, например то, что вы привыкли к тому, что диски должны управляться аппаратурой?

Вот про тормоза интересно сравнение посмотреть. Сам давно mdadm не использую. Есть у меня тестовый сервак на 25 дисков с lsi hba'хой и p212м контроллером. В принципе, после праздничков попробую потестить конфиг на mdadm и на raid6 хьюлетовском через тот же fio.

Вот ещё (из рассылки):


с p410/p420 вообще странно ведут себе с не HP дисками.

Так зачем мне такие сюрпризы?
Кроме того, думаю вы помните, что ZFS на массив ставить не надо?
И что, ото всех плюсов системы я буду отказываться из-за сомнительного аппаратного рэйда?


Тут стоит определиться, почему вы действительно за них агитируете: это плюсы перевешивают минусы или всё-таки привычка?

с p410/p420 вообще странно ведут себе с не HP дисками.

На p410 не сталкивался вообще ни с какими проблемами совместимости, на 420 в последней прошивке зачем-то (денег, видимо, хотят — покупайте только наших слонов) нашаманили с индикацией на неродных дисках (неродными оно считает диски и от g6/g7 перекрученные в g8)

Кроме того, думаю вы помните, что ZFS на массив ставить не надо?


Откровенно говоря, с ZFS я не особенно дружу, или даже, скорей, особенно не дружу. С FreeBSD знакомиться не стремился, так как задачи от и до покрывал Linux. Когда появилось в Linux, начинать знакомство и толкать в продакшн малознакомую конструкцию не хотелось.

Почему, кстати, не стоит ставить на ZFS на рейд-массив? Я понимаю, что она несет в себе нужный функционал, но, например, не лучше ли возложить логику IO на контроллер, а снапшотами пусть занимается система?

это плюсы перевешивают минусы или всё-таки привычка?


Сколько сталкивался с mdadm, он всегда оказывался тормознутее. Ну и, опять же, нормальная индикация и возможность сказать человеку «замени вон тот диск, что горит красным», а не «в четвертом столбце третий снизу» ( с возможными вариантами в духе «в четвертом ряду, считая слева, блин!!111»)

В общем, я сейчас запущу нагрузочное тестирование на 24х 450Gb 10K дисках Hitachi:

#cat /proc/mdstat                 
Personalities : [raid6] [raid5] [raid4]
md0 : active raid6 sdy[23] sdx[22] sdw[21] sdv[20] sdu[19] sdt[18] sds[17] sdr[16] sdq[15] sdp[14] sdo[13] sdn[12] sdm[11] sdl[10] sdk[9] sdj[8] sdi[7] sdh[6] sdg[5] sdf[4] sde[3] sdd[2] sdc[1] sdb[0]
      9667192832 blocks super 1.2 level 6, 512k chunk, algorithm 2 [24/24] [UUUUUUUUUUUUUUUUUUUUUUUU]
      bitmap: 1/4 pages [4KB], 65536KB chunk

unused devices: <none>



Подключено это к hba'шке lsi sas2308. Погоняю случайное и последовательное чтение/запись с разной глубиной очереди, посмотрим, что получится, и напишу короткую заметку после праздников, все равно в другой контроллер переткнуть смогу только в понедельник.

Если приведете пример подходящего конфига ZFS для такого стенда, можно и для нее тесты погонять.
на 420 в последней прошивке зачем-то (денег, видимо, хотят — покупайте только наших слонов) нашаманили с индикацией на неродных дисках (неродными оно считает диски и от g6/g7 перекрученные в g8)

Чур меня, чур от таких проблем.
Однозначно: программное решение.


Откровенно говоря, с ZFS я не особенно дружу, или даже, скорей, особенно не дружу.

А попробуйте подружиться. Я тоже относился скептически: "Ну вот, очередная ФС, что снова не устраивает связка LVM (GEOM_RAID) + LUKS (GELI) + ext4 (ufs/xfs)?"
Потом смотрю: весьма интересная и неплохая разработка.
Действительно некоторые вещи она делает неплохо и многое упрощает, объединяя в себе (вспоминается systemd — там наоборот).


С FreeBSD знакомиться не стремился, так как задачи от и до покрывал Linux. Когда появилось в Linux, начинать знакомство и толкать в продакшн малознакомую конструкцию не хотелось.

Разумно. До сих пор пишут, что она stable, but not production ready. А если что случится, по башке первым получит админ, и потом хрен докажешь, что ты не верблюд, и поставил какую-то экспериментальную фигню вместо "надёжных и проверенных временем решений".


Однако, для себя уже вполне возможно использовать.


Почему, кстати, не стоит ставить на ZFS на рейд-массив? Я понимаю, что она несет в себе нужный функционал, но, например, не лучше ли возложить логику IO на контроллер, а снапшотами пусть занимается система?

Кстати, вопрос хороший, если вдуматься.


ZFS is used on top of hardware and software RAID in most cases, this is the standard deployment of it outside of massive Sparc architecture mini computers because anything that runs ZFS (FreeBSD, Ubuntu or Sparc AMD64) would all be expected to be VMs and not on bare metal, so ZFS' primary use and role is on top of other RAID.

Вот тут пишут, что это миф:
https://mangolassi.it/topic/12047/zfs-is-perfectly-safe-on-hardware-raid


А пошло это (в том числе и моё мнение) вот отсюда:
http://www.freenas.org/blog/freenas-worst-practices/


Ну и, собственно, причины всё-таки есть, вот список (некорректное определение ZFS размера сектора, добавление точки отказа, неопределённое поведение при перестроении массива и т.д.):
http://open-zfs.org/wiki/Hardware#Hardware_RAID_controllers

Подключено это к hba'шке lsi sas2308. Погоняю случайное и последовательное чтение/запись с разной глубиной очереди, посмотрим, что получится, и напишу короткую заметку после праздников, все равно в другой контроллер переткнуть смогу только в понедельник.

Хотелось бы посмотреть результаты.


Если приведете пример подходящего конфига ZFS для такого стенда, можно и для нее тесты погонять.

Попробуйте создать RAIDZ2 (это аналогия RAID6), если есть возможность, выделить из него том (zfs create -V) и потестить на нём (это будет блочное устройство).
Затем, было бы любопытно создать ФС (zfs create) и проверить, будет ли различаться скорость записи в файл.


Это первое, тут на те же диски пишется ZIL, и скорее всего будет медленнее. После этого неплохо было создать отдельный SLOG, чтобы ZIL писался на SSD. В этом случае производительность должна возрасти.


Да, я только что наткнулся на замеры.

С systemd, местами это нечто вызывает зубовный скрежет, особенно когда дело касается acpi на ноутбуках.

Замеры по ссылке проглядел, мда, ZFS очень небыстрая штука, значительно медленнее чем mdadm — мне она вряд ли подойдет. Для дома, в принципе, нормально, но для чего-то большего… А если включить еще и встроенное шифрование ( с некотрых пор использую полнодисковое шифрование на всех своих персональных устройствах), то все будет, похоже, совсем печально.

В общем, попробую это все промерить. Спасибо за интересную беседу, поглядывайте в комментарии, оставлю здесь ссылку на результат.
Замеры по ссылке проглядел, мда, ZFS очень небыстрая штука, значительно медленнее чем mdadm — мне она вряд ли подойдет. Для дома, в принципе, нормально, но для чего-то большего…

Ну штука-то быстрая: в три раза быстрее mdadm (здесь про первую таблицу, где активно используется ARC). Небыстрая запись на диск. Но это синтетические тесты, и в реальности обычно не работают с ФС без кэша, синхронно и с прямой записью на диск.


А если включить еще и встроенное шифрование ( с некотрых пор использую полнодисковое шифрование на всех своих персональных устройствах), то все будет, похоже, совсем печально.

AES-NI если имеется, не сильно затормозит. Да и никто не мешает юзать штатный LUKS.

Ну штука-то быстрая: в три раза быстрее mdadm

Ну, операции последоательного доступа — это весьма оторванный от жизни показатель. При тестах обычно комбинирую 70/30 случайный к последовательному — это сколько-нибудь ближе к реальности. Ну и latency там везде просто конское, лучше тесты строить так, чтобы не превышало 20мс.

Вот ещё пишут про HP raid (разные люди):


По факту — HP делает вендор-локед шлак. Со всеми вытекающими из этого
плюшками для своего кармана — то батарейки по $100, то ключи для RAID5 (не,
ну мы конечно продали рэйд, но 0/1/10). Это хорошо для больших дядей с
контрактом на охреннилион баксов — поддержка, гарантия, все понты. А по
остатку — могут и диск не найти для горячей замены по контракту.

Для дома/для семьи — контроллеры HP смысла не имеют от слова совсем. Не для дома — только за откат/бумагу что виноват платный саппорт HP.

...


Dl180G6 сервант, с P210
родных дисков не было от родясь… стоит солянка из сиагейтов и wd.Всё > работает без видимых проблем уже более 5 лет.диски меняются по мере помирания.

...


Это который судя по картинкам с https://habr.com/post/330286/ больше 100Mb/s с батарейкой и SSD выдать не может? Так я тебя растрою — у меня в 2004 году LSI SATA 150-6 в 5м рейде из дисков SATA1 100 гигов на запись давал со свистом. При этом учитывая, что онный LSI в то время был самым дешевым и ничем сильно не выдающимся (в отличии от 3ware и areca).
А если упомянуть, что например p420 может давать SmartCache, т.е. не только хороводить HDD, но ещё и ускорять их умным кешированием на SSD. То можно получить аппаратно полный комфорт с контролем файлов, высокой скоростью и защитой от случайного пропадания питания(чаще всего является причиной потери данных) всего за 150-200$.
Кстати, это надёжный ентерпрайз, есть аналоги попроще, для смертных, стоимостью 70-150$ с аналогичными технологиями.
При этом очень удивляет упор не на «хард», а на «софт». (Что выливается в завышенные требования к мощности CPU)


Тоже возникла такая мысль. Себе для дома собрал систему на базе хьюлета DL180 G6 с двумя e5540, 96Gb оперативочки, 12х2Tb дисками, поставил на вырост raid-контроллер с внешним портом (при необходимости еще полку или две добавлю) и запитал от APC SURT2000.

В качестве операционки любимый Debian с полнодисковым шифрованием, поверх чего накатил Proxmox, внутри которого теперь живет NAS под тем же Debian'ом, сервер синхронизации и отдачи отснятого и кучка разных виртуалок для опытов.

Плюсы: полноценный двухголовый сервкак, пусть начального уровня, есть ILO, хоть и довольно убогое (ilo100), большой объем оперативки, большой задел на расширение.

Минусы: шумит.

Ну и как выше верно заметили, проще настроить все с нуля, благо при наличии опыта это делается быстро, чем пробиваться через велосипеды из костылей, которые понастроили производители подобных коммерческих решений и радоваться как мане небесной наличию встроенного vpn-клиента и какой-нибудь torrent-качалки.
Я вот тоже года 2-3 назад решил, что без домашнего сервера как-то плохо. Но я пошел по другому пути. Мне нужен был медиа сервер. И основным требованием была не его производительность, а бесшумность. У меня дома нет серверной. Только коммутационный шкаф (ниша в стене над распределительным щитком). Поэтому мне нужна была тишина. Ведь он будет работать 24/7. Иначе в сервере нет смысла. К тому-же не хотелось бы что бы он был очень большой. Все-таки коммутационный шкаф не безразмерный.

Сначала хотел найти что-то с пассивным охлаждением и всем готовым. Что бы купил, поставил, пользуйся. Но все, что более-менее подходило было с активной системой охлаждения.

В результате я взял mini-ITX плату с впаянным Intel Atom J1900 и пассивным радиатором, 8GB (меньше я не покупаю), маленький корпус с пассивным блоком питания, 2,5" HDD. Собрал это все до кучи, поставил Linux Debian (без Х), Transmissioin, Plex (кстати очень рекомендую). По прошествии времени могу сказать, что получилось очень удачное сочетание. Бесшумное и вполне производительное решение. Даже под burncpu не нагревалось больше 70 градусов. Нет возни с софтом. Доступно все, что есть под Linux. Клиенты для Transmission и Plex есть под все системы. Я пробовал смотреть с нескольких устройств разные источники. Тогда набралось 2 компа, 3 телефона и планшет. Все прошло как по маслу. Из приятных бонусов- привычный Linux Debian. Не нужно читать никакие доки что бы что-то завелось, не нужно переживать что твою железку забросит производитель потому, что она «старая», все комплектующие продаются во всех магазинах. Ну и не будем забывать, что электричество не бесплатное. Поэтому четырех ядерные процессор с TDP 10W (а в простое куда меньше) — это прекрасно.

PS: Резервные копии не делал. Для фильмов-сериалов не нужно. Да и на работе этого хватает. Дома хочется быть попроще. Git мне работодатель предоставляет, облака — Google (включая корпоративные), софт собираю локально. Для Android его куда-то гонять нет особенного смысла.
Спасибо за статью, очень подробно и информативно!
Но как помешанный на супермикро (не реклама) подобрал для себя оптимальный на сейчас комплект из:
Supermicro A2SDI-4C-HLN4F-B Intel Atom C3558
SuperMicro CSE-721TQ-250B Mini Tower Chassis (вариант для стойки SuperChassis 504-203B)
На момент покупки цена комплекта составила $400, все новое. Осталось только добавить память и 2-4 диска, скорее всего будут только SSD.
А есть что-то похожее, только на 6-8 дисков? Или проще в pci-e какой-то контроллер докупить?
p.s. увидел, что написано 8, но разглядел только 4 разъёма…
Платы есть на любой вкус, вот здесь есть хорошая брошюра для подбора.
К указанной выше плате таки можно подключить 8 дисков:
«The A2SDi-2C/4C-HLN4F supports up to eight SATA3.0 ports (4 via ports and 4 via miniSAS
HD header). Using the Flexible I/O feature, a user can select a total of eight SATA ports and/
or PCIE lanes on the expansion slot.»
Учитывая сколько стоит dell h310 и его аналоги на ебее, мне кажется можно вообще не обращать внимания на то что там стоит на самой материнке.
Действительно, SAS2 устройства дешевеют очень стремительно, плюс неубиваемый железный контроллер это всегда хорошая примета. Но для меня выбор материнской платы под NAS был самым сложным — хотелось компактности, DIMM DDR4, энергопотребление (здесь счет на ватты) из которого следует необходимое охлаждение и, соответственно, шум. При этом всем она не должна быть дорогой. Просмотрев линейку подходящих плат сделал вывод, что экономия в случае с платами на Atom C2000 не очень значительная, использование же Xeon D-2100 или D-1500 для такой цели излишне, к тому же цена платформ достигает $1000 и выше.
Я купил какой-то контроллер по совету 2gusia, но походу его нужно перепрошивать, т.к. он не определился. Так и валяется.
p.s. да, именно h310
если не определился — то может он дохлый? (а вот что бы он работал не в RAID режиме, а как тупой HBA — его и надо шить)

на эту статью сослались в обсуждении на ixbt, цитата резанула глаз:


В среднем, 3.5" диск потребляет 6 Ватт по спецификации и порядка, 20 Вт, с учётом тепловых потерь.
Достаточно считать, что диск не может потреблять более 25 Вт.

ИМХО написана ерунда. Так 6, 20 или 25Вт? Что за тепловые потери?!?

Часто производитель пишет в datasheet, например для Ultrastar 7K4000 максимальные стартовые — 6+24 = 30 Вт, при работе до 11.5 Вт, в простое 6-7 Вт. https://documents.westerndigital.com/content/dam/doc-library/en_us/assets/public/western-digital/product/data-center-drives/ultrastar-sata-series/data-sheet-ultrastar-7k4000.pdf


  • Power Requirement +5 VDC (±5%); +12VDC (+10%/-8%)
  • Startup current (A, max) 1.2 (+5V), 2.0 (+12V)
  • Read/write (W) 11.4; 10.9
  • Idle (W, avg) 6.9; 7.6
  • Unload idle (W) 5.7; 6.2

Тепловые потери у автора странные и мне кажется все подсчеты мощности у автора не очень точные и лучше вернуться куда-нибудь на профильные сайты типа http://forum.ixbt.com/topic.cgi?id=49:13396.

я вообще не понимаю, что может означать "тепловые потери" применительно к hdd

Only those users with full accounts are able to leave comments. Log in, please.