Привет, Хабр! Сегодня я предлагаю поговорить о скорости восстановления из резервной копии. Иногда именно этот параметр оказывается критически недооцененным при внедрении систем резервного копирования для небольших отделов и не самых критичных задач (ведь для критичных RTO и RPO прописывают еще на этапе проектирования). В этом посте мы остановимся на 10 способах сократить время, которое ваши системы будут простаивать, если вдруг не дай бог чего случится. А если вы знаете еще и другие методы, делитесь ими в комментариях.
Мой прошлый пост был посвящен ускорению бэкапа. Как и следовало ожидать, в комментариях мне напомнили, что медленный бэкап — не единственная проблема, с которой сталкивается компания при эксплуатации системы резервного копирования. Наличие резервной копии может создавать иллюзию непрерывности бизнес-процессов…пока вы точно не оцените, сможете ли восстановить то, что нужно за определенный промежуток времени.
Поэтому текущий пост будет дополнением предыдущего. Мы снова расскажем о возможных изменениях в настройках СРК. Я это сделаю на примере Кибер Бэкап 15, но эти же мысли можно применить и к другим СРК.
1. Восстанавливайте тома целиком
Сегодня практически все современные СРК предлагают функции гранулярного восстановления. Из резервной копии при необходимости можно вытащить отдельную папку или даже отдельный файл — и это здорово! Но пусть это остается уделом частных случаев. Когда вы бэкапитесь, чтобы в случае сбоя восстановить образ целиком, лучше всего отказаться от режима работы с файлами.
Если речь идет о сложной файловой системе, о большом количестве файлов, восстановление тома может произойти быстрее в несколько раз. Особенно ярко это проявляется для жестких дисков. Использование последовательной записи и последовательного чтения помогают выжать максимум как из накопителя на целевой машине, так и из накопителя, на котором лежит резервная копия.
Если восстановление данных происходит на исходный том, то есть на тот же самый компьютер, прирост скорости может дать технология Flashback. Уверен, что у других вендоров СРК есть аналогичные решения, которые позволяют восстановить только различия между данными в резервной копии и данными на целевом диске. В этом случае, кстати, также используется работа с целым томом. Если мы поддерживаем файловую систему тома, то можем анализировать разницу между файлами на лету и восстанавливать только то, что изменилось.
2. Применяйте режим дифференциальной копии
Кто читал первый пост помнит, что я рекомендовал использовать инкрементальную копию, чтобы резервное копирование происходило быстрее. Но, если вам нужно также быстрое восстановление, то следует задуматься о настройке СРК. Правда в случае с Кибер Бэкап данная рекомендация будет относиться в первую очередь к старому формату архива (11 версия), который используется в управляемом хранилище с поддержкой дедупликации.
Разумеется, самое быстрое восстановление происходит из полной резервной копии. В ней находится уже готовый образ, который нужно только залить на диск.
Процесс восстановления из дифференциальной копии будет уже медленнее, так как для восстановления потребуется учитывать два состояния данных — полную исходную и последующую дифференциальную копии. Но даже в случае значительных отличий дифференциальной копии, потери времени на такую «сборку» будут небольшими — до 8-9%. Так что если вы свободно входите в RTO, лучше все-таки выбрать дифференциальную копию, чтобы и бэкап происходил тоже быстро.
При использовании нашего нового формата архива (Версия 12 *.tibx) дифференциальная копия не сильно ускоряет восстановление. Если использовать схему всегда инкремент и держать небольшую длину цепочки (до 100 точек восстановления), то скорость восстановления и так будет высокой.
3. Установите быстрые сетевые адаптеры
Сегодня очень многие используют для резервного копирования сетевые ресурсы. Не спорю, это удобно и практично. Но при этом пропускная способность сети может стать лимитирующим фактором для скорости восстановления.
Давайте посчитаем. Обычный жесткий диск может выдавать данные со скоростью 120-200 МБ/сек. Соответственно, восстановление “на полную” будет целиком утилизировать пропускную способность стандартного гигабитного сетевого адаптера. А поскольку вместе СРК чаще всего используют RAID-массивы, состоящие из 4-6 дисков, скорость потока данных может достигать 300-400 Мбит/сек (это мы уже сделали скидку на избыточность). В результате образ рабочей станции, который мог бы включиться обратно через 3 минуты, будет восстанавливаться 10 минут. Сервер вместо 10 минут будет восстанавливаться примерно полчаса…
Если такое различие для вас критично, стоит подумать об установке сетевых карт на 10+ Гбит/сек. Также можно объединить несколько гигабитных адаптеров, чтобы в агрегированном виде они давали нужную пропускную способность.
4. Выбирайте правильные хранилища для важных копий
Вот тут вы точно поймете, что я не намерен рекламировать нашу платформу в своих постах. Одним из преимуществ Кибер Бэкап 15 называют возможность резервного копирования на ленту и поддержку множества ленточных библиотек. Но для скорости восстановления это бесполезно. Нужно выбирать такие накопители, которые будут обеспечивать оптимальный перенос данных.
Согласно пункту 3 многие часто винят в низкой скорости восстановления только сеть. Но это не так! Нахождение резервных копий на медленных, фрагментированных дисках может, наоборот, привести к снижению скорости из-за накопителей. Так что если вы уже установили 10 Гбит/с сетевые адаптеры, может быть стоит самые важные копии размещать на SSD или хотя бы быстрых SAS-дисках…или по крайней мере, настроить RAID на более высокую производительность, а не на максимальную емкость.
5. Используйте файловую систему с большими кластерами
Это, пожалуй, первый пункт, который будет одинаково полезен для ускорения и резервного копирования, и аварийного восстановления. Как мы говорили в прошлом посте, файловая система NTFS по умолчанию использует размер кластера всего 4 Кб (если том менее 16 ТБ). Для ускорения процессов резервного копирования и восстановления стоит увеличить размер кластера. Тогда и восстановление будет идти быстрее за счет последовательного чтения больших объемов данных.
6. Проведите ревизию расписания резервного копирования
Чтобы восстановление с жестких дисков и дисковых массивов происходило быстро, необходимо заранее “подложить соломку” и подумать о том, как именно попадают на накопители сами резервные копии. Если у вас много параллельных процессов резервного копирования — а Кибер Бэкап как раз часто используется для бэкапа сложных инфраструктур — одновременная запись на один и тот же диск приводит к высокой фрагментации, и как следствие, восстановление будет намного медленнее.
Чтобы избежать этого для бэкапа, лучше всего настроить расписание. Можно развести друг от друга несколько потоков данных, создав программу резервного копирования на разные часы. Даже если процесс бэкапа происходит ночью, пусть с разных серверов данные сливаются в разное время…или на разные накопители. В таком случае восстановление будет происходить быстрее, потому что чтение с диска будет преимущественно последовательным.
7. Осторожнее с дедупликацией
Практически любая система резервного копирования позволяет активировать функцию дедупликации. И нередко удаление дубликатов данных устанавливается на уровне всего хранилища. Да, места на диске становится больше, но со временем скорость восстановления будет снижаться ощутимо. Для того, чтобы “собрать” образ по кусочкам обратно потребуется время, и поэтому для размещения оперативных резервных копий, с которых важно восстановиться быстрее, лучше использовать хранилище с отключенной дедупликацией.
Лучше всего создать два или более хранилища, активировав дедупликацию на них выборочно. Например, грех не оптимизировать ежемесячные резервные копии баз 1С, которые по регламенту компании нужно хранить 5–10 лет.
8. Используйте загрузочный носитель
Несмотря на то, что большинство процессов восстановления можно запустить сегодня в автоматизированном режиме, при восстановлении данных все-таки иногда стоит использовать загрузочные носители. Это особенно важно, если речь идет о восстановлении тяжелых серверов или других физических машин с большим количеством данных на диске.
Если счет времени восстановления идет на секунды, можно вернуть себе ту часть производительности, которая тратится на работу операционной системы. Например, мы в Киберпротект используем компактную ОС на базе Linux, в которой удалено все лишнее для достижения высокой скорости восстановления.
При восстановлении всей машины или отдельных дисков в большинстве систем резервного копирования можно активировать режим съемного носителя — перезагрузку и запуск специально подготовленной облегченной ОС.
9. Запускайтесь прямо из образа ВМ
У интеграции СРК с гипервизорами есть множество плюсов, и дело не только в оптимальном использовании ресурсов и управляемости (мы кстати, уже реализовали несколько таких интеграций и мои коллеги расскажут об этом в блоге). Еще одно преимущество заключается в том, что мы можем запустить ВМ непосредственно из резервной копии. Ведь образ ВМ — это один файл, лежит он на основных SSD-дисках или в резервном хранилище.
Когда ждать нельзя, можно запустить ВМ непосредственно с хранилища. Да, система будет работать не так быстро, но будет. А позже получится провести полноценное восстановление.
10. Следите за последовательностью восстановления
Уделите время разработке плана восстановления. Что Вы будете делать когда выйдет из строя данное оборудование и его нужно будет восстанавливать на физике или ВМ. Что Вам для этого понадобится? А есть ли у Вас все необходимые для этого права доступа, ресурсы и проброшенные VLAN? Поверьте, когда придет беда и со всех сторон начнут писать, звонить, угрожать, сохранять холодный рассудок очень трудно, особенно когда время за полночь и очень хочется спать.
И тут очень поможет заранее написанный план восстановления, где четко прописана оптимальная последовательность действий для восстановления работы инфраструктуры. Более того, такой план можно делегировать младшим, освобождая руки для другой оперативной деятельности.
Будем быстрее!
Я надеюсь, что вам пригодятся какие-то из этих советов, чтобы ускорить восстановление в критически важных ситуациях. Они точно реализуются на базе Кибер Бэкап 15, и наша служба техподдержки регулярно помогает пользователям максимально эффективно выходить из сложившихся ситуаций. Но, уверен, и на других СРК есть способы воплотить аналогичные процессы.
Если вы знаете еще действенные способы ускорить восстановление, пусть даже и на других СРК, поделитесь ими в комментариях, а если знаете как ускорить резервное копирование — в комментариях к этой статье.
