Использование 7zip для бэкапа данных

.zip бывает больше 2гб размером?

Спасибо, что собрали всё в одном месте.

инкрементные архивы?

Я так понимаю дело происходит в Винде… там нету стандартного потока ошибок? Не пойму к чему использовать такую конструкцию с findstr. Можно (в линуксе точно) написать просто 2>log_file.%date%.txt. 2 это стандартный поток ошибок.
И почему именно zip? Он уже устаревший формат. Можно было как раз 7z использовать… ну или что-нибудь ещё надёжнее.

Могу добавить, что если перед вами стоит задача упаковать большой объем, и главное для вас время упаковки, а не качество (размер конечного архива), то для более чем двухядерных систем лучше использовать bzip2 формат. К примеру:

7z a -t7z archive_file_name input_file_name -m0=bzip2 -mmt=8

В данном случае сжатие будет вестись в 8-и параллельных потоках (-mmt=8). Родной для 7z формат сжатия LZMA поддерживает к сожалению только 2-а потока. Остальные форматы сжатия максимум один поток.

Я таким способом на сервере с 8-ью ядрами сжимаю 9гб до 2,3гб за 23 минуты.

Помню что *.7z не делает инкрементный бекап без параметра --ms=off в конце строки, вот. Помню лоханулся когда заархивировал 40гб проектов а потом обновить не смог. Пришлось заново все сжимать.

Я бы еще добавил параметр -y, чтобы задача не «зависала» ожидая ответа с консоли Y(es) or N(o), например, если целевой файл существует

инкрементные архивы я не использую, т.к. время создания бэкапа не критично. вечером ночью в конторе все равно никого нет. ежедневно создается полный бэкап всех файлов, а потом vbs скрипт удаляет бэкапы старше 7 дней.

про stderr не знал, нужно будет посмотреть, вываливает ли туда что-то 7zip, а архивация идет в zip, а не какой-то другой формат, именно из-за его универсальности, как правильно подметил VolCh.

вообще, когда я все это тестировал у себя, то при наличии одноименного архива, 7zip не особо напрягался и сравнивал содержимое архива с содержимом исходной папки, но согласен, что лучше подстраховаться и добавить парметр -y

а как обстоят дела со скоростью многогигабайтного архивирования?

такое ощущение, что тут не системные администраторы, которые не используют принцип «чувак, делай проще», а вместо подходящих инструментов пытаются подручными пинцетом и кувалдой сварить борщ, и ещё и огрызаются, когда им на это намекают.

использую такой способ на серверке уже два года, 7zip паролит архив и я его отсылаю на почтовый ящик (жмейл).

Кстати, встроенный в винду бекап не так уж и плох

А что со свободным местом всё настолько плохо, что приходится архивировать? Виндовый robocopy сихронизирует ~100Гб с usb диском минуты за 3-5 и лог выдает вполне понятный.

Звиняйте за размер но…
Кому лень разбираться — ссылка на архив с готовыми скриптами настроенными на проекты на DELPHI. Имею сказать, что с RAR'ом это всё можно сделат неизмеримо круче. Но RAR малость платный.

Структура каталогов:
Делаем в корне проекта папочку !Bakup
В ней создаём папки:
7zip — кладём туда 7zip.
Archives — тут будут хранится архивы и инкрементальные архивы.
Current — тут хранятся текущие образы архива проекта (можно просто переписать на флэшку).

Создаём в !Backup файлы:
exclude.lst и excludeback.lst — с масками файлов и директорий исключаемых из инкрементальных и обычных архивов. Маски из этих файлов объединяются.
excludecur.lst — файлы, исключаемые из текущих архивов.
excludefull.lst — файлы, исключаемые из полных архивов.
archivename.txt — префикс имени архива.

Дальше идут скрипты:
Backup.bat — создаёт самодостаточный архив в !Backup\Archives с текущей датой в имени. Файлы сортируются по папкам по месяцам (все архивы одного месяца хранятся в одной папаке).
Текст скрипта:

rem @echo OFF
set BDir=!Backup
md Current >nul
md Archives >nul
cd…
del %BDir%\Current\_excludebak.tmp >nul

copy /Y /A %BDir%\excludeback.lst + %BDir%\exclude.lst %BDir%\Current\_excludebak.tmp >nul

@for /f «tokens=*» %%a in (%BDir%\ArchiveName.txt) do (
SET Name=%%a
goto ok
)
:ok

set Dtmp=%Date%%Time%
set DD=%Dtmp:~0,2%
set DM=%Dtmp:~3,2%
set DY=%Dtmp:~6,4%
set TH=%Dtmp:~10,2%
set TM=%Dtmp:~13,2%
set TS=%Dtmp:~16,1%

SET AName1=%BDir%\Archives\%Name%_%DY%-%DM%\%Name%_%DY%-%DM%-%DD%.zip
SET AName2=%BDir%\Archives\%Name%_%DY%-%DM%\%Name%_%DY%-%DM%-%DD%_%TH%%TM%%TS%.zip
if exist "%AName1%" goto FileExist

:FileAbsent
%BDir%\7zip\7za.exe a "%AName1%" -tzip -mx9 -mmt=on -mtc=on -ssw -scsWIN -ir!* -xr!"%BDir%\Current\*" -xr!"%BDir%\Full\*" -xr!"%BDir%\Archives\*" -xr@%BDir%\Current\_excludebak.tmp
goto DoExit

:FileExist
%BDir%\7zip\7za.exe a "%AName2%" -tzip -mx9 -mmt=on -mtc=on -ssw -scsWIN -ir!* -xr!"%BDir%\Current\*" -xr!"%BDir%\Full\*" -xr!"%BDir%\Archives\*" -xr@%BDir%\Current\_excludebak.tmp
goto DoExit

:DoExit
del %BDir%\Current\_excludebak.tmp >nul
cd %BDir%

Скрипт Current.bat — создаёт самораспаковывающийся самодостаточный архив текущего образа проекта в !Backup\Current в имя файла включается текущая дата. Предыдущие образы удаляются. Не архивирует историю архивов (папки !Backup\Current и !Backup\Archives). Предназначен для хранения и переноски текущего состояние проекта (очень удобно чтобы взять работу домой, например).
Текст скрипта:

rem @echo OFF
set BDir=!Backup
md Current >nul
cd…

@for /f «tokens=*» %%a in (%BDir%\ArchiveName.txt) do (
SET Name=%%a
goto ok
)
:ok

set Dtmp=%Date%%Time%
set DD=%Dtmp:~0,2%
set DM=%Dtmp:~3,2%
set DY=%Dtmp:~6,4%
set TH=%Dtmp:~10,2%
set TM=%Dtmp:~13,2%
set TS=%Dtmp:~16,1%

set AName1=%BDir%\Current\Cur_%Name%_%DY%-%DM%-%DD%.exe

:CreateNew
del Current\Cur*.exe
%BDir%\7zip\7za.exe a "%AName1%" -t7z -mx9 -sfx7zcon.sfx -ms30f10m -mmt=on -mtc=on -ms=off -ssw -scsWIN -ir!* -x!"%BDir%\Current\*" -x!"%BDir%\Full\*" -x!"%BDir%\Archives\*" -xr@%BDir%\excludecur.lst
goto DoExit

:DoExit
cd %BDir%

Скрипт Delta.bat — создаёт древовидную структуру самораспаковывающихся инкрементальных архивов в !Backup\Archives. Архивы создаются помесячно. Т.е. для каждого месяца создаётся базовый архив и инкрементальные архивы. Для восстановления нужно распаковать сначала базовый архив за нужный месяц, а затем инкрементальный (_diff) за нужную дату месяца. Архивы также сортируются по папкам по месяцам.
Текст скрипта:

@echo OFF
set BDir=!Backup
md Current >nul
cd…
del %BDir%\Current\_excludebak.tmp >nul

copy /Y /A %BDir%\excludeback.lst + %BDir%\exclude.lst %BDir%\Current\_excludebak.tmp >nul

@for /f «tokens=*» %%a in (%BDir%\ArchiveName.txt) do (
SET Name=%%a
goto ok
)
:ok

set Dtmp=%Date%%Time%
set DD=%Dtmp:~0,2%
set DM=%Dtmp:~3,2%
set DY=%Dtmp:~6,4%
set TH=%Dtmp:~10,2%
set TM=%Dtmp:~13,2%
set TS=%Dtmp:~16,1%

SET NameM=%Name%_%DY%-%DM%
SET NameD=%Name%_%DY%-%DM%-%DD%_diff

SET ANameM=%BDir%\Archives\%NameM%\d_%NameM%.exe
SET AName1=%BDir%\Archives\%NameM%\d_%NameD%.exe
SET AName2=%BDir%\Archives\%NameM%\d_%NameD%_%TH%%TM%%TS%.exe

if exist "%ANameM%" goto MonthExist

:MonthAbsent
%BDir%\7zip\7za.exe a "%ANameM%" -t7z -mx9 -sfx7zcon.sfx -mmt=on -mtc=on -ms30f10m -ssw -scsWIN -ir!* -x!"%BDir%\Archives\*" -x!"%BDir%\Full\*" -x!"%BDir%\Current\*" -xr@%BDir%\Current\_excludebak.tmp

:MonthExist
if exist "%AName1%" goto FileExist

:FileAbsent
%BDir%\7zip\7za.exe u "%ANameM%" -u- -up0q3r2x2y2z0w2!"%AName1%" -t7z -mx9 -sfx7zcon.sfx -mmt=on -mtc=on -ms30f10m -ssw -scsWIN -ir!* -x!"%BDir%\Archives\*" -x!"%BDir%\Full\*" -x!"%BDir%\Current\*" -xr@%BDir%\Current\_excludebak.tmp
goto DoExit

:FileExist
%BDir%\7zip\7za.exe u "%ANameM%" -u- -up0q3r2x2y2z0w2!"%AName2%" -t7z -mx9 -sfx7zcon.sfx -mmt=on -mtc=on -ms30f10m -ssw -scsWIN -ir!* -x!"%BDir%\Archives\*" -x!"%BDir%\Full\*" -x!"%BDir%\Current\*" -xr@%BDir%\Current\_excludebak.tmp
goto DoExit

:DoExit
del %BDir%\Current\_excludebak.tmp >nul
cd %BDir%

Скрипт Full.bat — создаёт полую копию проекта вместе со всей историей архивов в папке !Backup\Current. Предыдущая копия удаляется. Используется для переноса проекта вместе со всей историей и полного резервного копирования.
Текст скрипта:

@echo OFF
set BDir=!Backup
md Current >nul
cd…

@for /f «tokens=*» %%a in (%BDir%\ArchiveName.txt) do (
SET Name=%%a
goto ok
)
:ok

set Dtmp=%Date%%Time%
set DD=%Dtmp:~0,2%
set DM=%Dtmp:~3,2%
set DY=%Dtmp:~6,4%
set TH=%Dtmp:~10,2%
set TM=%Dtmp:~13,2%
set TS=%Dtmp:~16,1%

SET AName1=%BDir%\Current\Full_%Name%_%DY%-%DM%-%DD%.exe

if exist «AName1» goto FileExist
del Current\Full*.exe

:FileExist
%BDir%\7zip\7za.exe a "%AName1%" -up0q0r2x2y2z1w2 -t7z -mx9 -sfx7zcon.sfx -mmt=on -mtc=on -ms=off -ssw -scsWIN -ir!* -x!"%BDir%\Current\*" -x!"%BDir%\Full\*" -xr@%BDir%\excludefull.lst

cd %BDir%

И снова ссылка на архив со всем этим добром.

Любопытна задача. Но мне кажется, что Акронис все же в другом деле хорош (когда целиком партишн бэкапить надо, с системой или какими-то архи-важными данными). А что касается 7-zip, то его использую косвенно, в замечательном бесплатном продукте Cobian backup (он автоматизирует процесс сжатия резервных копий), который помимо минималистичного, но достаточно удобно GUI обладает и крутым функционалом. Например, без дифференциальных бэкапов мои данные бы занимали уйму места. А так, собираю n-ое количество дифференциальных бэкапов и раз в пару месяцев или больше скидываю их на блю-рэй диски. Если можно через консоль научить 7-zip делать диф. копии — научите ;-)

А что за сервер? Что архивируется? Делается ли ASR бекап? Как вы планируете быстро развернуть сервер взамен расстрелянного старого?

У меня есть некоторый негатив к статье, и вот почему — мне попадались пара фирм, где бекап был сделан подобным весьма простым способом. Начавшись с простого zip, мысль у администратора плавно перетекла к складированию копий в централизованном виде. Потом автор задействовал кучу скриптов, которые архивируют, копируют, подтирают старые копии.

Так вот — пришел я и поставил Bacula, потому что мне отнюдь не кажется вот это творчество простым, мне кажется, что это стабильный источник проблем — каждое простое действие, которое встроено в нормальную систему здесь надо реализовать, встроить в существующий велосипедный парк, поиметь проблем с ошибками.

Это я к чему — господа админы, делайте правильно, чтобы за вами не расхлебывать потом последствия ваших «простых» схем, в которых вы что то там не дореализовали и делали руками, да и чтобы добавить новый сервер надо поменять вот тут, там и вот тут подопнуть.

Может быть кто-нибудь поможет Жану Вальжану?
Перебрал несколько бэкап-программ (Cobian и проч.), не могу найти нужную.
Хотелось бы, чтобы:
1) архиватор был ZIP, ARJ или 7zip.
2) Чтобы каждый файл запаковывался отдельно и структура каталогов сохранялась.
3) Чтобы программа была бесплатной.

Проблема именно с запаковывание файлов по-отдельности. Кстати, если 7-zip поддерживает такое «отдельное» архивирование, то какой должна быть строка.

автору на заметку:
1. лог файл тоже можно сжать, если он будут весить больше нескольких десятков мегабайт. и оптимально естественно никак не фильтровать лог, а сохранять целиком.
2. если использовать более современные алгоритмы сжатия, то можно получить многократный выигрыш в размере по сравнение с zip, ибо это один из наименее эффективных форматов сжатия.
3. использовать готовые системы для бэкапа это все же очень неплохой вариант.

Настоящий мужик, молодец! Мужик маны прочитал — всем рассказал!

А можно как нибудь сделать, чтобы при бекапе не отображался процесс архивирования? Т.е. я запустил скрипт, он пыхтит и мне ничего на экран не выходит. Кстати, а почему у вас идет запуск 7za.exe? Где вы такой файл нашли? В инсталяшке же нет такого, мне приходится запускать 7zG.exe

зачем же рубанком забивать гвозди?
надо использовать инструменты для тех задач для которых они предназначены. Для бекапов надо использовать rsync и надстройки над ним, например duplicity

делаю инкрементные бекапы с помощью winrar:
rar.exe a -agYYYYMMDDHHMM -ac -ao \\server\share\ D:\documents
где: agYYYYMMDDHHMM — прибавлять к имени архива текущие дату/время
-AC — снять атрибут «архивный»
-AO — добавить файлы с установленным атрибутом «архивный»
именно так, а не архивация «за последние» n-дней (т.к. скрипт архивации по сотне причин может и не запуститься) — в архив попадают файлы, измененные ТОЛЬКО с момента последней архивации.

очень удобно анализировать: а в какой же именно день Леночка накосячила в файле общий.xls (можно откатить на любой день, причем БЕЗ установки всяких там акронисов (для любителей предполагать самые экстремальные ситуации, когда ВСЕ компы в офисе «НЕ ГРУЗЯЦЦО» — winrar идет даже на загрузочном WinXP PE)

Но winrar хоть и относительно недорогой, но в кучу мест покупать надоест, поэтому перехожу на 7zip
1. Как бы это реализовать на 7zip — у него таких ключей нет, да и «общая папка» может в один прекрасный день оказаться на samba-сервере под убунтой…

По итогам использования: 182 ГБ данных были упакованы по архивам общей емкостью 66,5 ГБ за 3,5 часа

Для тех, кому приходится архивировать сотни гигабайт
Пробовал использовать WinRar для бэкапа общего сетевого диска (RAID10) — порядка 400 ГБ. Получался архив около 300 ГБ, при попытке открыть его WinRar сдулся с ошибкой «недостаточно системных ресурсов». Причем, на разных серваках. Видимо, неоптимальная работа с памятью. Степень сжатия была и 1, и 0.
Попробовал 7zip — работает без проблем. Для файловой помойки в Windows этот архиватор однозначно рулит. Исходный архив открывался очень быстро и без проблем. Вот пример простого батника, который, на мой взгляд, оптимально решает данную задачу:
"C:\Program Files\7-Zip\7z.exe" u -ssw -mx0 -mmt2 -ms=off -r e:\m_backup.7z @"c:\m_listbackup.txt" >> c:\m_backup_%date%.log
Тип архива 7zip определяет по расширению результирующего файла бэкапа.
u — поскольку архивный бит 7zip не понимает, пришлось делать просто обновление основного архива.
-ssw — как и написано выше, открываем открытые другими программами файлы
-mx0 — поскольку на диске куча pdf, jpg и т.д., то сжатие дает только 4% экономии. нерациональное соотношение место_на_диске/процессорное_время.
-mmt2 — использовать два потока. думаю, пригодится при обновлении архива.
-ms=off — по дефолту создаются solid-архивы. отключаем ибо они работают медленнее. возможно, для mx0 — некритично, но для mx1 и т.д. — оптимальнее.
-r — рекурсивно обрабатывать поддиректории.
e:\m_backup.7z — результирующий файл архива
@«c:\m_listbackup.txt» — файл в UTF8 с папками, которые следует архивить.
>> c:\m_backup_%date%.log — выводим результаты в лог с датой.
К сожалению, сохранять права доступа к файлам 7zip тоже не умеет.
Подчеркиваю, данные настройки оптимальны для достаточно больших объемов. Когда важно, чтобы просто с бэкапом можно было работать быстро и просто работать — извлекать отдельные файлы, лазить по папкам. Имхо — это основной плюс такой «кустарной» архивации.

проблема супер архивов это их размер, никаких ресурсов на них не хватит, потому или архив надо разбивать на части или использовать что то вроде CopyMik — который жмёт и сохраняет каждый файл отдельно (кстати, при этом, может ещё и шифровать).