Как стать автором
Обновить

GlusterFS, NFS — заметки о скорости и крохотном хранилище

Время на прочтение6 мин
Количество просмотров8.3K

В нашем проекте есть немного (~500GB) статических файлов, которые раздаются через nginx. Лежат они на одном физическом сервере и подключены по NFS к серверу, на котором запущен nginx. Скорость сети между серверами 1GBit/s. И вот мы задумались о том, чтобы как-то обезопасить проект от "пропадания" сервера хранящего статические файлы. Сразу отметём вопросы выбора типа хранилища, просто примем тот факт, что мы выбрали GlusterFS, а вот почему и как, вы узнаете в статье.

Узнать
Всего голосов 4: ↑4 и ↓0+4
Комментарии23

Как мы производительность блочного pNFS измеряли

Уровень сложностиСредний
Время на прочтение21 мин
Количество просмотров4.1K

Привет, Хабр! Меня зовут Сергей Баширов, я ведущий разработчик в Cloud.ru. Наша команда RnD занимается исследованиями и оптимизацией баз данных, файловых систем, объектных хранилищ, СХД и SDS в облачной инфраструктуре. И мы решили «импортозаместить в лучших традициях» вендорские решения на базе pNFS. За дело взялись вместе с моим коллегой — Константином Евтушенко (@kevtushx).

К сожалению менеджеров и на радость нам, годной инструкции по настройке в интернете не оказалось. Софт с открытым исходным кодом из коробки не завелся: пришлось погружаться в детали, отлаживать и чинить. В статье расскажу, как всё было, какие ошибки и выводы мы сделали, а также поделюсь подробной инструкцией по настройке стенда с блочным типом доступа к серверам данных. Если интересно — добро пожаловать под кат!

Читать дальше
Всего голосов 14: ↑14 и ↓0+14
Комментарии3

dCache — xранилище, где живёт ХИГГС

Время на прочтение3 мин
Количество просмотров6.9K
В последнее время было большое количество постов о ЦЕРНе и Большом Адронном Kоллайдере (БАК или LHC). Но не многие знают, что БАК производит ~20 ПБ данных в год. Порядка 50% всех данных хранится в dCache.

dCache является распределённой системой хранения данных, способной работать на обычном железе, с возможностью расширения посредсвом добавления новых узлов. Всё, что нужно для работы на узле, — это JVM (так как всё написано на джаве) и файловая система, где, собственно, и хранятся данные. Типичные инсталляции используют Linux(RHEL/SL/CentOS 6) или Solaris с XFS или ZFS, соответсвенно. В связи с натурой экспериментальных данных dCache не предусматривает изменение хранимых файлов.

dCache разрабатывается с 2000 года и с 2002 года используеться в более чем 80 научных центрах мира, включая Россию. Самые маленькие системы состоят из одного узла в несколько ТБ, самые большие состоят из ~500 узлов с суммарным дисковым пространством в 22 ПБ.

Подробности
Всего голосов 21: ↑19 и ↓2+17
Комментарии14

Разбираемся с загрузкой ArchLinux по сети

Время на прочтение11 мин
Количество просмотров40K
В предыдущей статье мы подготовили базовую систему. Закончим настройку в следующей статье.

Здесь мы создадим новую систему Arch Linux, способную загружаться по сети и автоматически запускать браузер Firefox, а между делом разберёмся с необходимой функциональностью загрузочного сервера. Потом настроим сам сервер и попробуем с него загрузиться. Всё произойдёт в точности, как на картинке, которую нашёл гугл по запросу «PXE»:


Читать дальше →
Всего голосов 16: ↑15 и ↓1+14
Комментарии28

Стань повелителем загрузки Linux

Время на прочтение24 мин
Количество просмотров90K
Сначала мы познакомимся с udev и научимся с его помощью исследовать установленные в компьютере устройства прямо во время загрузки: в качестве примера будем автоматически выбирать настройки видеокарт для Xorg. Затем решим задачу работы с одним образом на десятках компьютеров одновременно путём внедрения собственного обработчика в initramfs, а заодно оптимизируем систему для сетевой загрузки. Чтобы дополнительно уменьшить время загрузки и снизить нагрузку на сеть попробуем NFS заменить на NBD, и помочь TFTP с помощью HTTP. В конце вернёмся в начало — к загрузочному серверу, который также переведём в режим «только для чтения».



Данная статья — скорее исследование, а не готовое руководство (все решения работают, просто они не всегда оптимальны). В конце у вас появится достаточно знаний, чтобы сделать всё так, как захотите именно вы.

Начало смотрите здесь:
Первоначальная настройка сервера
Подготовка образа для загрузки по сети
Читать дальше →
Всего голосов 41: ↑40 и ↓1+39
Комментарии13

NetApp ONTAP & ESXi 6.х tuning

Время на прочтение11 мин
Количество просмотров13K
В продолжение темы об оптимизации ESXi хоста для взаимодействия с СХД NetApp ONTAP, эта статья будет просвещена оптимизации производительности VMWare ESXi 6.X, предыдущие статьи были посвящены тюнингу ОС Linux, Windows и VMware ESXi 5.X в среде SAN. Компания NetApp давно тесно сотрудничает с VMware, подтверждением тому может стать тот факт, что нашумевшая технология vVOL была реализована одной из первых ещё в релизе Clustered Data ONTAP 8.2.1 (Август 2014), в то время как vSphere 6.0 ещё даже не был выпущен. Компания NetApp первой объявила поддержку vVol c NFS (Возможно NetApp по-прежнему здесь единственный, не слежу). В связи с чем системы хранения ONTAP крайне популярны в этом окружении.

Эта статья будет полезна владельцам систем хранения с ONTAP, а часть про Disk Alignment будет полезна не только владельцам NetApp`а.

Настройки VMWare ESXi 6.X можно разделить на следующие части:

  • Оптимизация гипервизора
  • Оптимизация гостевой ОС (GOS)
  • Оптимальные настройки SAN (FC/FCoE и iSCSI)
  • Настройки NAS (NFS)
  • Проверка совместимости оборудования, прошивок и ПО


Для поиска узкого места обычно выполняют методику последовательного исключения. Предлагаю перво-наперво начать с СХД. А дальше двигаться СХД -> Сеть (Ethernet / FC) -> Хост ( Windows / Linux / VMware ESXi ) → Приложение.
Оттюнить vSphere 6
Всего голосов 17: ↑16 и ↓1+15
Комментарии9

Концепция Open Storage — открытые системы хранения

Время на прочтение1 мин
Количество просмотров2.9K

Что такое Open Storage ?


image
Открытая архитектура

Индустриальные стандарты в аппаратной части и ПО с открытым кодом с интегрированной функциональностью систем хранения данных (более высокая масштабируемость и низкая стоимость владения в сравнении с проприетарными системами)
Читать дальше →
Всего голосов 11: ↑7 и ↓4+3
Комментарии10

Повышаем безопасность стека web-приложений (виртуализация LAMP, шаг 2/6)

Время на прочтение6 мин
Количество просмотров8.3K

Linux: Настройка сервера баз данных MySQL


Перейдем ко второму практическому уроку серии и поговорим о настройке виртуального окружения выделенного сервера – подготовим  узел (VM) предназначенный для хранения и обслуживания доступа к БД MySQL/PostgreSQL.

В этой установке, мы будем использовать сервер баз данных MySQL. Все настройки этого урока будут проводится исключительно на vm04 с IP-адресом 192.168.1.13
Читать дальше →
Всего голосов 23: ↑16 и ↓7+9
Комментарии15

Повышаем безопасность стека web-приложений (виртуализация LAMP, шаг 1/6)

Время на прочтение5 мин
Количество просмотров11K

Настройка доступа web-сервера Apache/Lighttpd/Nginx к файлам сетевой файловой системы (NFS)


Мы продолжаем переводить серию уроков о виртуализации и настройке LAMP сервера с сайта www.cyberciti.biz и переходим к первому практическому шагу — созданию сетевого хранилища файлов

Создание хранилищ общего сетевого доступа NFSv4.0 (Network File System) в ОС Linux и Unix не сильно отличается от создания иных общих сетевых ресурсов Apache/Lighttpd/Nginx. Для этого произведем следующие настройки нашего файлового сервера/VM vm05 с IP-адресом 192.168.1.14.
Читать дальше →
Всего голосов 22: ↑19 и ↓3+16
Комментарии8

Повышаем безопасность стека web-приложений (виртуализация LAMP, шаг 3/6)

Время на прочтение2 мин
Количество просмотров6.8K

Настройка Memcached-сервера кэширования


Перейдем к третьем практическому уроку серии и поговорим о настройке Memcached-сервера

Memcached может ускорить работу с базами данных динамического  web-сайта. Она должна быть развернута в доверенной сети, где vm01 и vm02 клиенты могут свободно подключиться к нашему серверу. Вам нужно будет ввести следующие команды на vm03 с IP-адресом 192.168.1.12.
Читать дальше →
Всего голосов 20: ↑16 и ↓4+12
Комментарии3

Повышаем безопасность стека web-приложений (виртуализация LAMP, шаг 4/6)

Время на прочтение6 мин
Количество просмотров6.9K

Настройка web-сервера Apache на работу с HTML+PHP5 файлами сетевой файловой системы (NFS)


В четвертом уроке цикла статей о настройке стека web-приложений мы поговорим о сервере Apache.

Web-сервер Apache отвечает за предоставление доступа к динамическому контенту по HTTP или HTTPS протоколу. В этом примере мы установим и будем использовать web-сервер Apache2 + php5, а так же установим DocumentRoot на vm05:/exports/html, смонтировав его в /var/www/html. Для этого мы введем следующие команды на нашем виртуальном сервере vm02 с IP-адресом 192.168.1.11.
Читать дальше →
Всего голосов 23: ↑15 и ↓8+7
Комментарии7

Повышаем безопасность стека web-приложений (виртуализация LAMP, шаг 5/6)

Время на прочтение6 мин
Количество просмотров8.1K

Настройка web-сервера Lighttpd  на работу со статическими файлами сетевой файловой системы (NFS)


Пятый урок цикла статей по настройке web-стека LAMP на виртуальных машинах будет посвящен обслуживанию статических файлов.

lighttpd web-сервер отвечает за предоставление доступа через HTTP или HTTPS протокол к статическому контенту. В этом примере я собираюсь установить и использовать Lighttpd web-сервер, привязав DocumentRoot к vm05:/exports/static mounted смонитрованной в /var/www/static. Все приведенные ниже команды вам необходимо вводить исключительно на vm01 с IP-адресом 192.168.1.10.
Читать дальше →
Всего голосов 14: ↑10 и ↓4+6
Комментарии11