Как стать автором
Обновить

Клонирование ОС под шифрованным LVM на меньший по объему диск

Уровень сложностиСредний
Время на прочтение8 мин
Количество просмотров5.1K

В рабочих процессах клонирование Linux-хостов для меня стало обычным делом. Но однажды пришлось клонировать сервер с LVM и шифрованием LUKS на меньший по объему диск. И оказалось не все так просто.

Как урезать LVM и LUKS? Как правильно склонировать диск и расширить его обратно?
Рассказал все под катом.

Читать далее
Всего голосов 12: ↑12 и ↓0+12
Комментарии4

Производительность софт nvme рейдов на основе mdadm, LVM, ZFS и LVM+vdo

Уровень сложностиСредний
Время на прочтение15 мин
Количество просмотров5K

Тестирование программных рейдов с NVMe U.2 дисками для выбора основы блокового хранилища для виртуализации.

Читать далее
Всего голосов 12: ↑11 и ↓1+10
Комментарии20

Эксперименты и увлекательные манипуляции с дисковым кэшем Linux

Время на прочтение5 мин
Количество просмотров6.3K

Надеюсь, теперь вы убедились, что Linux не “съел” всю вашу оперативную память. Вот несколько интересных вещей, которые вы можете сделать, чтобы узнать, как работает дисковый кэш.

Читать далее
Всего голосов 12: ↑10 и ↓2+8
Комментарии8

Кластерное хранилище Pacemaker + DRBD (Dual primary) + samba

Время на прочтение5 мин
Количество просмотров10K
В продолжение статьи «Кластерное хранилище Pacemaker + DRBD (Dual primary) + ctdb» представляю полностью готовый и рабочий вариант HA кластера файловой шары на 2-4 ноды для centos 6 и centos 7. Если вы хотите реализовать такое, вы либо извращенец, либо вам не дали никакого выбора, и реализовать надо хоть как-то.

Я просто опишу слоёный пирог, который мы будем собирать:

На блочном устройстве создаём таблицу gpt => один раздел на всё пространство под лвм => группу томов лвм на всё доступное пространство => лвм том на всё доступное пространство => drbd устройство => dlm => размечаем как физический том лвм на всё доступное пространство => на него кластерную группу томов лвм => лвм том на всё доступное пространство => размечаем фс gfs2 => подключаем в точку монтирования.
И рулить всем этим будет pacemaker c virtual ip адресом.


Если вы ещё хотите продолжать, читайте дальше под катом.
Читать дальше →
Всего голосов 16: ↑15 и ↓1+14
Комментарии26

Ускорение дисковой подсистемы Qemu KVM в Linux

Время на прочтение7 мин
Количество просмотров44K


Иногда я берусь за различные задачи по настройке серверов. Некоторое время назад ко мне обратился владелец небольшой хостинговой компании, с интересной проблемой. Он хотел бы на своих серверах, где уже стоял Ubuntu 18.04, запускать виртуальные машины с Windows под KVM.

Однако проведённое им тестирование показало, что дисковая система KVM прилично отставала от показателей, которые у него были под Hyper-V. Он хотел раскочегарить qemu на своих Ubuntu серверах, чтобы избежать закупок дорогих серверных лицензий Windows (бесплатная версия Microsoft Hyper-V Server не устраивала из-за своих ограничений).
С убеждённостью в том, что возможно превзойти настройки по-умолчанию, я взялся за работу.
Всего голосов 51: ↑46 и ↓5+41
Комментарии101

Замена дисков меньшего объёма на диски большего объёма в Linux

Время на прочтение17 мин
Количество просмотров15K
Всем привет. В преддверии старта новой группы курса «Администратор Linux» публикуем полезный материал, написанный нашим студентом, а также наставником на курсах, специалистом технической поддержки корпоративных продуктов REG.RU — Романом Травиным.



В данной статье будет рассмотрены 2 случая замены дисков и переноса информации на новые диски большего объёма с дальнейшим расширением массива и файловой системы. Первый случай будет касаться замены дисков c одноименной разметкой MBR/MBR либо GPT/GPT, второй случай касается замены дисков с разметкой MBR на диски объёмом более 2 TB, на которые потребуется ставить разметку GPT с разделом biosboot. В обоих случаях диски, на которые переносим данным, уже установлены в сервер. Файловая система, используемая для корневого раздела — ext4.


Читать дальше →
Всего голосов 15: ↑14 и ↓1+13
Комментарии5

Что общего между LVM и матрешкой?

Время на прочтение43 мин
Количество просмотров12K
Доброго времени суток.
Хочу поделиться с сообществом практическим опытом построения системы хранения данных для KVM с использованием md RAID + LVM.

В программе будет:

  • Сборка md RAID 1 из NVMe SSD.
  • Сборка md RAID 6 из SATA SSD и обычных дисков.
  • Особенности работы TRIM/DISCARD на SSD RAID 1/6.
  • Создание загрузочного md RAID 1/6 массива на общем наборе дисков.
  • Установка системы на NVMe RAID 1 при отсутствии поддержки NVMe в BIOS.
  • Использование LVM cache и LVM thin.
  • Использование BTRFS снимков и send/recieve для резервного копирования.
  • Использование LVM thin снимков и thin_delta для резервного копирования в стиле BTRFS.

Если заинтересовало, прошу под кат.
Всего голосов 11: ↑11 и ↓0+11
Комментарии6

LVM Thinpool Restore

Время на прочтение4 мин
Количество просмотров3.6K

Hi everyone, today I will tell how I restored a defunct LVM thinpool. Unfortunately I could not find any howtos or manuals on the internet, so maybe this one will help someone in a similar situation.

Read more
Всего голосов 2: ↑2 и ↓0+2
Комментарии0

Увеличение размера диска с LVM на VirtualBox

Время на прочтение4 мин
Количество просмотров21K

Приветствую, меня зовут Иван, я системный администратор. Решил попробовать писать такие вот заметки на задачи, которые делаю редко, чтобы потом вспомнить, если понадобится. Надеюсь и ещё кому-то пригодится.

Все пути и имена разделов мои, меняйте соответственно на своё. Все действия на свой страх и риск, делайте бэкапы.

Задача следующая. Есть виртуалка, к ней подключен виртуальный диск, на нём система Debian 10, разметка сделана автоматически с LVM, отдельные разделы /var, /tmp, /home и т.д. Требуется расширить существующий раздел /root не добавляя дополнительный том в LVM.

(И да, если вам удобнее - есть возможность расширять разделы LVM добавляя дополнительные физически тома в группу томов, я такой способ сейчас не описываю, у меня немного другая задача).

Читать далее
Всего голосов 8: ↑6 и ↓2+4
Комментарии11

Автоматизация автоматизации или как мы обеспечили автоустановку не только ОС Astra Linux, но и софта в один «проход»

Время на прочтение19 мин
Количество просмотров22K

Как "раскатать" ось на кучу устройств? Что делать если перед вами стоит задача установить операционную систему семейства linux на большое количество устройств? Ходишь-бродишь среди леса устройств, подключаешь флешку и отвечая на одни и те же вопросы при установке системы. Пока не заблудишься...или не сойдёшь с ума в этой рутине...или поймёшь что поседел и зрение уже не то...или...Что-то я увлёкся. Конечно первым делом нужно открывать google! И он ответит: "Парень, не парься, используй preseed". И будет прав, т.к. в linux есть задокументированная возможность использования файла ответов (тот самый preseed.cfg). Если коротко, то вы формируете файл ответов, кладёте его в нужное место и система использует его для ответов на вопросы при установке. А вы в это время пьёте чай и всё такое. Но так ли всё гладко? Конечно нет! Welcome!

Читать далее
Всего голосов 4: ↑3 и ↓1+2
Комментарии14

Обновление через пропуск. Необычный апдейт самого древнего веб-сервера Linux

Время на прочтение3 мин
Количество просмотров7.6K


На первый взгляд chiark.greenend.org.uk кажется обычным веб-сервером. Простой хостинг для кучки личных страниц (~200 аккаунтов), нескольких почтовых рассылок, групп Usenet и тому подобного. Пользователи из-за пределов Кембриджского университета могли попасть на этот сайт разве что в том случае, если им понадобилось скачать SSH-клиент PuTTY под Windows с сайта автора.

Но этот сервер особенный. Дело в том, что Чиарк (имя сервера из фантастики Бэнкса, на КДПВ) работает с 1993 года. Скорее всего, это самый древний в интернете хост под Linux. Если кто забыл, в том году Intel выпустила свой первый Pentium. Изначально Чиарк крутился под Debian Linux 0.93R5, последний апгрейд был сделан в 2016 году на jessie (Debian 8).

Администратор сервера — бывший технический директор и основной разработчик Debian, кандидат наук Иан diziet Джексон (он известен как автор пакетного менеджера dpkg, SAUCE, userv, debbugs и др.). В июле 2022 года Джексон решил, что можно перескочить сразу через две версии Debian, вопреки официально рекомендованному методу апгрейда (мануалы ведь пишут для пользователей, а не для создателя системы, правильно?).
Читать дальше →
Всего голосов 8: ↑8 и ↓0+8
Комментарии12

Заметка о восстановлении Grub UEFI для Proxmox 7.xx (Debian 11)

Время на прочтение4 мин
Количество просмотров9K

Доброго времени суток, Хабр!

В своей работе IT-специалист иногда сталкивается с задачами, которые входят только в общий кругозор на уровне "читал, осознал", требующими срочного решения.

Недавно, после установки драйверов видеокарты NVIDIA для XFCE4 на Proxmox 7.xx перестал пинговаться гипервизор с роутера и компов сети. После его перезагрузки я увидел черный экран и надписью "grub disk native sectors not found".

Как восстановить загрузку с диска LVM Deb
Всего голосов 13: ↑12 и ↓1+11
Комментарии45

UNИX: доклад по теме «Системы хранения данных»

Время на прочтение1 мин
Количество просмотров1.1K
30 мая в 18:30 в ауд. 707 второго учебного корпуса МГУ (факультет ВМК, МГУ1С52) состоится семинар Александра Герасёва по теме «Системы хранения данных». Страница доклада здесь: uneex.mithril.cs.msu.su/Events/Storage

Доклад рассчитан на тех, кто пока мало что знает о СХД, SAN и тому подобных вещах (но хочет узнать больше), и на тех, кто готов вносить интересные комментарии; проходит в рамках семинара UNИX.

В здании факультета ВМК работает бюро пропусков. Для получения пропуска необходимо предъявить паспорт и сказать, на что вы идёте — и этого должно быть достаточно. В случае проблем в день семинара можно связаться с Артёмом Гавриченковым (это я) по телефону +7 916 515 4958 и в джаббере (ximaera@gmail.com).

P. S. С этой весны мероприятия UNИX начинают проходить более-менее регулярно, так что вопрос: насколько интересны подобные объявления в будущем?

31 мая 2008. Всем пришедшим спасибо, было круто!

Материалы лежат по следующим адресам:
uneex.mithril.cs.msu.su/Events/Storage
http://esyr.org/wiki/index.php/UNИX,_весна_2008,_04_семинар_(от_30_мая)
esyr.org/photo/uneex_08_05_30
Всего голосов 8: ↑8 и ↓0+8
Комментарии9

Gentoo+drbd+ocfs2

Время на прочтение4 мин
Количество просмотров10K

Введение


Поставили передо мной как-то задачу… говорят один сервер это хорошо… но учитываю рост посетителей, неплохо бы было повысить производительность отдачи и для этой цели будет приобретен еще 1 сервер…
еще один сервер это хорошо, подумал я… только что с ним делать ??
Поговорив с програмистом и примерно поняв чего он хочет…

А именно одновременную отдачу контента, и что-то типа nfs или шары…
но тогда был бы оверхед ибо данные гонялись по сети и нагружен был бы диск одного сервера, посему надо было чтобы данные одновременно хранились на обоих серверах и реплицировались друг на друга…
поискав в гугле что-то на эту тему нашел информацию по кластерным фс, и для меня подходили gfs2 и позднее обнаруженная ocfs2, но была проблема в том что обычно использовалось выделенное файловое хранилище и его уже монтировали ноды… что было неприемлимо для меня, и тогда позадавав вопросы народу в конференции (gentoo@conference.gentoo.ru благо там были люди работающие с кластерами и прочими веселыми вещами) я вышел на drbd
Читать дальше →
Всего голосов 6: ↑5 и ↓1+4
Комментарии12

Средства создания горячих BackUp`ов MySQL

Время на прочтение3 мин
Количество просмотров33K
Доброго времени суток. Недавно я задался вопросом о том, как делать горячие BackUp`ы MySQL-серверов — ниже компиляция из прочитанного. Заранее хочу сказать, что данный пост является скорее большой заметкой, чем полноценной статьёй. Я намеренно уклоняюсь от описания синтаксиса — на эту тему уже немало написано — я же ставил перед собой другую цель — составить краткий обзор основных методов с характерными особенностями:
далее
Всего голосов 57: ↑53 и ↓4+49
Комментарии49

Организация распределенного дискового хранилища с возможностью неограниченного расширения с применением технологий LVM и ATAoE

Время на прочтение7 мин
Количество просмотров5.8K

Задача


Когда диски были маленькие, а Интернет большой, владельцы частных FTP-серверов сталкивались со следующей проблемой:
На каждом жестком диске создавалась папочка Video или Soft, и получалось так, что добавив новый жесткий диск, приходилось делать на нем папочки Video2, Soft2, etc.
Задача поменять жесткий диск на диск большего объема приводила к тому, что данные нужно было куда-то переносить, все это происходило нетривиально и с большими downtime'ами.
Разработанная нами система в 2005 году позволила собрать надежный и быстрый массив в 3 терабайта, масштабируемый, расширяемый, в режиме онлайн, добавляя диски или целые сервера с дисками.
Цена всего решения составляла 110% от стоимости самих дисков, т.е. по-сути, бесплатной, с небольшим overhead.

Вот примерная схема устройства нашего хранилища:


Читать дальше →
Всего голосов 75: ↑69 и ↓6+63
Комментарии66

перенос системы на RAID + LVM (краткий конспект)

Время на прочтение2 мин
Количество просмотров4.8K
Немножко о работе с soft'овым RAID (mdadm) и LVM, возможно при наличии кучи свободного времени ЭТО превратится в какую-то приличную статью… а пока, лишь куча команд с краткими комментариями.

Итак, однажды мне потребовалось больше места под виртуалбоксовую папку…
Читать дальше →
Всего голосов 4: ↑3 и ↓1+2
Комментарии5

Паранойя без границ или шифруем LVM из файлов

Время на прочтение2 мин
Количество просмотров1.1K
После прочтения сегодняшнего топика из блога BSDельники о шифровании данных, мне пришла в голову мысль создать из нескольких файлов LVM-том и его-же зашифровать.
Не буду тянуть кота за хвост, а сразу покажу как я сделал.

Читать дальше →
Всего голосов 7: ↑4 и ↓3+1
Комментарии6

Пошаговое руководство по установке Debian 5.0 Lenny + XEN + LVM + Routing на Hetzner DS3000

Время на прочтение7 мин
Количество просмотров15K

Вступление


Недавно мне потребовалось перенести несколько сайтов различных клиентов на нормальный выделенный сервер (не виртуальный). Я давно выбирал, где лучше арендовать сервер и выбором стала немецкая компания Hetzner Online и ее тарифный план DS 3000 (AMD Athlon 64 X2 4200+/2Gb DDR/2x160Gb HDD — как выяснилось потом — на сервере оказалось два винчестера по 320Гб).

Но мне не хотелось всех размещать на одном сервере. Поэтому было решено сделать виртуальные машины на базе технологии XEN (к тому же в придачу к серверу на ТП DS 3000 Hetzner Online бесплатно выдает 6 IP-адресов, которые очень удобно будут смотреться для отдельных проектов). В Сети можно найти много информации по теме настройки и самого XEN'а на Debian'e и настройки роутинга на нем, поднятии виртуалок на LVM (lvm дает большее быстродействие, чем виртуалки на базе image-файлов), даже в вики самой фирмы была информация об этом (но на немецком — Google Translate нам в помощь). Но. Было одно «Но». Она вся была разрозненная и кусками. Я нигде не смог найти толкового пошагового руководства для настройки «от» и «до».

Поэтому, всем кому интересна эта тема,
добро пожаловать под кат...
Всего голосов 71: ↑62 и ↓9+53
Комментарии36

Монтирование LVM-based томов (LVM-in-LVM)

Время на прочтение2 мин
Количество просмотров43K
Ситуация в которрой может понадобиться данная процедура, довольне не частая, однако, иногда приходится с ней столкнуться, например при работе с виртуальными машинами.

Представим что у нас есть виртуальная машина на LVM разделе, внутри которой так же есть LVM разделы. К примеру CentOS, при установке, по умолчанию, создает LVM-based разделы, за исключением /boot.

Задача:

добраться до данных в этих разделах с родительской машины.

Читать дальше →
Всего голосов 53: ↑39 и ↓14+25
Комментарии7