Скрипт удаления файлов старше N дней

user warning: Table './muffsql1/cache_filter' is marked as crashed and should be repaired query: SELECT data, created, headers, expire, serialized FROM cache_filter WHERE cid = '2:90eba0bc0b9fa97a265be8f058a73b9b' in /usr/local/www/muff.kiev.ua/includes/cache.inc on line 27.
user warning: Table './muffsql1/cache_filter' is marked as crashed and should be repaired query: UPDATE cache_filter SET data = 'Для бекапирования данных можно использовать как специализированное ПО, так и самописные скрипты.\nВ случае использования самописных скриптов, возникает необходимость периодически удалять архивы бекапов. Однако и этот процесс можно автоматизировать.\nПопытаемся максимально приблизить условия к боевым.\nИтак, имеется в наличии сервер, на котором в родительском каталоге (например, /backup) созданы подкаталоги, для хранения бекапов в зависимости от типа содержимого:\n<ul>\n<li class=\"rtejustify\">конфигурации маршрутизаторов</li>\n<li class=\"rtejustify\">конфигурации коммутаторов</li>\n<li class=\"rtejustify\">конфигурации серверов</li>\n<li class=\"rtejustify\">данные с серверов</li>\n<li class=\"rtejustify\">т.д.</li>\n</ul>\nЛогика написания скрипта состоит в следующем. В зависимости от типа содержимого, скорости устаревания данных, доступного дискового пространства и т.д, выбираем оптимальное время хранения бекапов в каталогах. После этого необходимо "пройтись" по каталогах и удалить все файлы, которые созданы более чем N дней назад.\nДля поиска файлов, которые созданы более чем N дней назад, воспользуемся возможностями <a href=\"http://muff.kiev.ua/content/poisk-v-freebsd\">утилиты find</a>.\nДопустим, необходимо найти в каталоге все файлы, созданные более 25 дней назад:\n<table border=\"1\" cellpadding=\"1\" cellspacing=\"1\" style=\"width:100%\">\n<tbody>\n<tr>\n<td># find /backup/jun -type f -mtime +25 \n /backup/jun/juniper.conf.gz_20150209_141842 \n /backup/jun/juniper.conf.gz_20150209_142441 \n /backup/jun/juniper.conf.gz_20150209_142733 \n /backup/jun/juniper.conf.gz_20150209_151936 \n /backup/jun/juniper.conf.gz_20150209_152555 \n /backup/jun/juniper.conf.gz_20150209_173457</td>\n</tr>\n</tbody>\n</table>\n После поиска устаревших файлов, необходимо их удалить. Для этого можно использовать, например, такую конструкцию:\n<table border=\"1\" cellpadding=\"1\" cellspacing=\"1\" style=\"width:100%\">\n<tbody>\n<tr>\n<td>find /backup/jun -type f -mtime +25 -exec rm -f {} \\;</td>\n</tr>\n</tbody>\n</table>\n Либо же такую:\n<table border=\"1\" cellpadding=\"1\" cellspacing=\"1\" style=\"width:100%\">\n<tbody>\n<tr>\n<td>find /backup/jun -type f -mtime +25 -print0 | xargs -0 rm -f</td>\n</tr>\n</tbody>\n</table>\nВоспользуемся вторым вариантом и добавим несколько переменных. В результате получаем примерно следующий скрипт:\n<table border=\"1\" cellpadding=\"1\" cellspacing=\"1\" style=\"width:100%\">\n<tbody>\n<tr>\n<td style=\"background-color:rgb(51, 51, 51)\">\n<pre>\n#!/bin/sh\n\n# Путь к утилите поиска\nFIND="/usr/bin/find"\n# Путь к утилите удаления\nRM="/bin/rm"\n# Путь к утилите xargs\nXARGS="/usr/bin/xargs"\n\n# Список каталогов с архивами бекапов\nPATH1="/backup/jun"\nPATH2="/backup/sw"\n\n# Время хранения файлов (в днях)\nTIME1="25"\nTIME2="60"\n\n# Перебираем каталоги и удаляем устаревшие бекапы\n$FIND $PATH1 -type f -mtime +$TIME1 -print0 | $XARGS -0 $RM -f\n$FIND $PATH2 -type f -mtime +$TIME2 -print0 | $XARGS -0 $RM -f</pre></td>\n</tr>\n</tbody>\n</table>\nНазовем его, например, remove_old_backups.sh и запустим на выполнение:\n<table border=\"1\" cellpadding=\"1\" cellspacing=\"1\" style=\"width:100%\">\n<tbody>\n<tr>\n<td># sh /usr/local/etc/remove_old_backups.sh</td>\n</tr>\n</tbody>\n</table>\nПосле этого проверим наличие файлов старше 25 дней в каталоге /backup/jun:\n<table border=\"1\" cellpadding=\"1\" cellspacing=\"1\" style=\"width:100%\">\n<tbody>\n<tr>\n<td># find /backup/jun -type f -mtime +25</td>\n</tr>\n</tbody>\n</table>\nТаких файлов не обнаружено. А вот, для примера, файлы старше 20 дней - присутствуют:\n<table border=\"1\" cellpadding=\"1\" cellspacing=\"1\" style=\"width:100%\">\n<tbody>\n<tr>\n<td># find /backup/jun -type f -mtime +20 \n /backup/jun/juniper.conf.gz_20150210_124853 \n /backup/jun/juniper.conf.gz_20150212_145222 \n /backup/jun/juniper.conf.gz_20150212_151451 \n /backup/jun/juniper.conf.gz_20150212_151608 \n /backup/jun/juniper.conf.gz_20150213_033623 \n /backup/jun/juniper.conf.gz_20150213_033643 \n /backup/jun/juniper.conf.gz_20150213_033751 \n /backup/jun/juniper.conf.gz_20150213_113431</td>\n</tr>\n</tbody>\n</table>\nСкрипт работает... Модифицируем под свои нужды и пользуемся.\nПо завершению редактирования, в целях безопасности, выставим необходимые права и разшешения (у меня файлы архивов пишутся от имени пользователя proftpd):\n<table border=\"1\" cellpadding=\"1\" cellspacing=\"1\" style=\"width:100%\">\n<tbody>\n<tr>\n<td># chown proftpd:proftpd /usr/local/etc/remove_old_backups.sh \n # chmod 700 /usr/local/etc/remove_old_backups.sh</td>\n</tr>\n</tbody>\n</table>\nНу и не забываем добавить ежедневный запуск скрипта в планировщик заданий:\n<table border=\"1\" cellpadding=\"1\" cellspacing=\"1\" style=\"width:100%\">\n<tbody>\n<tr>\n<td># echo '# Clear old backups' >> /etc/crontab \n # echo '2       6       *       *       *       proftpd    /bin/sh /usr/local/etc/remove_old_backups.sh' >> /etc/crontab</td>\n</tr>\n</tbody>\n</table>\n \n', created = 1767337383, expire = 1767423783, headers = '', serialized = 0 WHERE cid = '2:90eba0bc0b9fa97a265be8f058a73b9b' in /usr/local/www/muff.kiev.ua/includes/cache.inc on line 112.
user warning: Table './muffsql1/cache_filter' is marked as crashed and should be repaired query: SELECT data, created, headers, expire, serialized FROM cache_filter WHERE cid = '2:01ae698694af4ad0dfbc7c898784f237' in /usr/local/www/muff.kiev.ua/includes/cache.inc on line 27.
user warning: Table './muffsql1/cache_filter' is marked as crashed and should be repaired query: UPDATE cache_filter SET data = '<pre>\nДобавлю свои 5 копеек\nДва однострочника для логов:\n1 для сжатия\n2 для подчистки за ним\n10 0 * * * find /var/log/host68/ \$ -name '*' -a ! -name '*.gz' \$ -type f -mtime +0 | xargs gzip -9\n10 0 * * * find /var/log/host68/ -name '*.gz' -mtime +60 | xargs rm</pre>', created = 1767337383, expire = 1767423783, headers = '', serialized = 0 WHERE cid = '2:01ae698694af4ad0dfbc7c898784f237' in /usr/local/www/muff.kiev.ua/includes/cache.inc on line 112.
user warning: Table './muffsql1/cache_filter' is marked as crashed and should be repaired query: SELECT data, created, headers, expire, serialized FROM cache_filter WHERE cid = '2:0aff59d553b3da1d9797f00eb1de5ec4' in /usr/local/www/muff.kiev.ua/includes/cache.inc on line 27.
user warning: Table './muffsql1/cache_filter' is marked as crashed and should be repaired query: UPDATE cache_filter SET data = 'Раньше тоже так делал. Пока не пришло осознание, что лучше старый бекап, чем никакого. Все бывает, верно? И если по каким-то причинам бекап перестал выполняться, то find все также будет удалять файлы, пока не останется ни одного. При этом сообщение об ошибке при выполнении бекапа, например, на тот же email, также не помешает.\n# remove old files \n_SaveFilesCount=100 \n_AllFilesCount=`ls |wc -l` \nif [ $_AllFilesCount -gt $_SaveFilesCount ]; then \n        let "_RmFilesCount = $_AllFilesCount - $_SaveFilesCount" \n        rm -f `ls -t |tail -$_RmFilesCount` \nfi\n', created = 1767337383, expire = 1767423783, headers = '', serialized = 0 WHERE cid = '2:0aff59d553b3da1d9797f00eb1de5ec4' in /usr/local/www/muff.kiev.ua/includes/cache.inc on line 112.
user warning: Table './muffsql1/cache_filter' is marked as crashed and should be repaired query: SELECT data, created, headers, expire, serialized FROM cache_filter WHERE cid = '2:337237d1337813718c7893112a74cae8' in /usr/local/www/muff.kiev.ua/includes/cache.inc on line 27.
user warning: Table './muffsql1/cache_filter' is marked as crashed and should be repaired query: UPDATE cache_filter SET data = 'лучше старый бекап, чем никакого\nполностью согласен\nа можно коментарии к вашему скрипту, где что виполняется, т.к. я новичок и не все тут понимаю\n', created = 1767337383, expire = 1767423783, headers = '', serialized = 0 WHERE cid = '2:337237d1337813718c7893112a74cae8' in /usr/local/www/muff.kiev.ua/includes/cache.inc on line 112.
user warning: Table './muffsql1/cache_filter' is marked as crashed and should be repaired query: SELECT data, created, headers, expire, serialized FROM cache_filter WHERE cid = '2:52f0b2da09de2e5465292a7ce675eb70' in /usr/local/www/muff.kiev.ua/includes/cache.inc on line 27.
user warning: Table './muffsql1/cache_filter' is marked as crashed and should be repaired query: UPDATE cache_filter SET data = 'а чего не понятного то? \nданный скрипт выполняется для текущей директории. \n_SaveFilesCount=100 # минимальное количество файлов, которое должно остаться. \n_AllFilesCount=`ls |wc -l` # общее количество файлов в директории. \nif [ $_AllFilesCount -gt $_SaveFilesCount ]; then # условие - если общее количество файлов больше чем минимальное то... \n let \"_RmFilesCount = $_AllFilesCount - $_SaveFilesCount\" # вычисление количества удаляемых файлов. \n rm -f `ls -t |tail -$_RmFilesCount` # собственно, получение _RmFilesCount последних элементов, сортированного по дате модификации, в порядке более старые в конце, списка файлов в директории и их удаление. \nfi\nсобственно только в данном виде скрипт не удобен для автоматизации. в начале следовало бы указать: \n_BackupDir=<путь к директории>\nи\ncd $_BackupDir \nили же думаю лучше \npushd $_BackupDir \n<основной текст скрипта> \npopd\n', created = 1767337383, expire = 1767423783, headers = '', serialized = 0 WHERE cid = '2:52f0b2da09de2e5465292a7ce675eb70' in /usr/local/www/muff.kiev.ua/includes/cache.inc on line 112.
user warning: Table './muffsql1/cache_filter' is marked as crashed and should be repaired query: SELECT data, created, headers, expire, serialized FROM cache_filter WHERE cid = '2:e6984979be8d9ced4e98c135e5196b0e' in /usr/local/www/muff.kiev.ua/includes/cache.inc on line 27.
user warning: Table './muffsql1/cache_filter' is marked as crashed and should be repaired query: UPDATE cache_filter SET data = 'Вам может и все понятно, а мне не все, топому и спрашивал. Спасибо за разжовывание.\n', created = 1767337383, expire = 1767423783, headers = '', serialized = 0 WHERE cid = '2:e6984979be8d9ced4e98c135e5196b0e' in /usr/local/www/muff.kiev.ua/includes/cache.inc on line 112.
user warning: Table './muffsql1/cache_filter' is marked as crashed and should be repaired query: SELECT data, created, headers, expire, serialized FROM cache_filter WHERE cid = '2:8d8b33b1af878b51363fda698b944691' in /usr/local/www/muff.kiev.ua/includes/cache.inc on line 27.
user warning: Table './muffsql1/cache_filter' is marked as crashed and should be repaired query: UPDATE cache_filter SET data = 'Ох, если бы этот скрипт еще был бы применим к Synology, цены б ему не было\nА так на сколько я понимаю с этим NASoм скрипт не имеет ничего общего :(\n', created = 1767337383, expire = 1767423783, headers = '', serialized = 0 WHERE cid = '2:8d8b33b1af878b51363fda698b944691' in /usr/local/www/muff.kiev.ua/includes/cache.inc on line 112.
user warning: Table './muffsql1/cache_filter' is marked as crashed and should be repaired query: SELECT data, created, headers, expire, serialized FROM cache_filter WHERE cid = '2:07243fc0252056071eaa62af8c18d662' in /usr/local/www/muff.kiev.ua/includes/cache.inc on line 27.
user warning: Table './muffsql1/cache_filter' is marked as crashed and should be repaired query: UPDATE cache_filter SET data = '<a class=\"thickbox\" href=\"/files/imagepicker/1/wake_up_ua.png\"><img alt=\"Вставай, Україно!\" class=\"imgp_img\" src=\"/files/imagepicker/1/thumbs/wake_up_ua.png\" style=\"height:200px; width:150px\" /></a>\n', created = 1767337383, expire = 1767423783, headers = '', serialized = 0 WHERE cid = '2:07243fc0252056071eaa62af8c18d662' in /usr/local/www/muff.kiev.ua/includes/cache.inc on line 112.
user warning: Table './muffsql1/cache_filter' is marked as crashed and should be repaired query: SELECT data, created, headers, expire, serialized FROM cache_filter WHERE cid = '3:cc913d232116f0426090404133377d88' in /usr/local/www/muff.kiev.ua/includes/cache.inc on line 27.
user warning: Table './muffsql1/cache_filter' is marked as crashed and should be repaired query: SELECT data, created, headers, expire, serialized FROM cache_filter WHERE cid = '2:d9a86123bfcbc57878743027b584400b' in /usr/local/www/muff.kiev.ua/includes/cache.inc on line 27.
user warning: Table './muffsql1/cache_filter' is marked as crashed and should be repaired query: UPDATE cache_filter SET data = '<a href=\"http://muff.kiev.ua/rss.xml\"><img alt=\"RSS\" width=\"160\" height=\"60\" src=\"http://muff.kiev.ua/files/muf-rss.png\" /></a>\n', created = 1767337383, expire = 1767423783, headers = '', serialized = 0 WHERE cid = '2:d9a86123bfcbc57878743027b584400b' in /usr/local/www/muff.kiev.ua/includes/cache.inc on line 112.
user warning: Table './muffsql1/cache_filter' is marked as crashed and should be repaired query: SELECT data, created, headers, expire, serialized FROM cache_filter WHERE cid = '3:39649256b636e3d5ded656bc52bd8c01' in /usr/local/www/muff.kiev.ua/includes/cache.inc on line 27.

Опубликовано muff в Пт, 2015-03-06 19:08

Для бекапирования данных можно использовать как специализированное ПО, так и самописные скрипты.

В случае использования самописных скриптов, возникает необходимость периодически удалять архивы бекапов. Однако и этот процесс можно автоматизировать.

Попытаемся максимально приблизить условия к боевым.

Итак, имеется в наличии сервер, на котором в родительском каталоге (например, /backup) созданы подкаталоги, для хранения бекапов в зависимости от типа содержимого:

конфигурации маршрутизаторов
конфигурации коммутаторов
конфигурации серверов
данные с серверов
т.д.

Логика написания скрипта состоит в следующем. В зависимости от типа содержимого, скорости устаревания данных, доступного дискового пространства и т.д, выбираем оптимальное время хранения бекапов в каталогах. После этого необходимо "пройтись" по каталогах и удалить все файлы, которые созданы более чем N дней назад.

Для поиска файлов, которые созданы более чем N дней назад, воспользуемся возможностями утилиты find.

Допустим, необходимо найти в каталоге все файлы, созданные более 25 дней назад:

# find /backup/jun -type f -mtime +25
/backup/jun/juniper.conf.gz_20150209_141842
/backup/jun/juniper.conf.gz_20150209_142441
/backup/jun/juniper.conf.gz_20150209_142733
/backup/jun/juniper.conf.gz_20150209_151936
/backup/jun/juniper.conf.gz_20150209_152555
/backup/jun/juniper.conf.gz_20150209_173457

После поиска устаревших файлов, необходимо их удалить. Для этого можно использовать, например, такую конструкцию:

find /backup/jun -type f -mtime +25 -exec rm -f {} \;

Либо же такую:

find /backup/jun -type f -mtime +25 -print0 | xargs -0 rm -f

Воспользуемся вторым вариантом и добавим несколько переменных. В результате получаем примерно следующий скрипт:

#!/bin/sh

# Путь к утилите поиска
FIND="/usr/bin/find"
# Путь к утилите удаления
RM="/bin/rm"
# Путь к утилите xargs
XARGS="/usr/bin/xargs"

# Список каталогов с архивами бекапов
PATH1="/backup/jun"
PATH2="/backup/sw"

# Время хранения файлов (в днях)
TIME1="25"
TIME2="60"

# Перебираем каталоги и удаляем устаревшие бекапы
$FIND $PATH1 -type f -mtime +$TIME1 -print0 | $XARGS -0 $RM -f
$FIND $PATH2 -type f -mtime +$TIME2 -print0 | $XARGS -0 $RM -f

Назовем его, например, remove_old_backups.sh и запустим на выполнение:

# sh /usr/local/etc/remove_old_backups.sh

После этого проверим наличие файлов старше 25 дней в каталоге /backup/jun:

# find /backup/jun -type f -mtime +25

Таких файлов не обнаружено. А вот, для примера, файлы старше 20 дней - присутствуют:

# find /backup/jun -type f -mtime +20
/backup/jun/juniper.conf.gz_20150210_124853
/backup/jun/juniper.conf.gz_20150212_145222
/backup/jun/juniper.conf.gz_20150212_151451
/backup/jun/juniper.conf.gz_20150212_151608
/backup/jun/juniper.conf.gz_20150213_033623
/backup/jun/juniper.conf.gz_20150213_033643
/backup/jun/juniper.conf.gz_20150213_033751
/backup/jun/juniper.conf.gz_20150213_113431

Скрипт работает... Модифицируем под свои нужды и пользуемся.

По завершению редактирования, в целях безопасности, выставим необходимые права и разшешения (у меня файлы архивов пишутся от имени пользователя proftpd):

# chown proftpd:proftpd /usr/local/etc/remove_old_backups.sh
# chmod 700 /usr/local/etc/remove_old_backups.sh

Ну и не забываем добавить ежедневный запуск скрипта в планировщик заданий:

# echo '# Clear old backups' >> /etc/crontab
# echo '2 6 * * * proftpd /bin/sh /usr/local/etc/remove_old_backups.sh' >> /etc/crontab

Re: Скрипт удаления файлов старше N дней

Опубликовано le9i0nx (не проверено) в Сб, 2015-03-07 09:05.

Добавлю свои 5 копеек
Два однострочника для логов:
1 для сжатия
2 для подчистки за ним
10 0 * * * find /var/log/host68/ \( -name '*' -a ! -name '*.gz' \) -type f -mtime +0 |  xargs gzip -9
10 0 * * * find /var/log/host68/ -name '*.gz' -mtime +60 | xargs rm

ответить

Re: Скрипт удаления файлов старше N дней

Опубликовано sv (не проверено) в Пнд, 2015-03-09 16:40.

Раньше тоже так делал. Пока не пришло осознание, что лучше старый бекап, чем никакого. Все бывает, верно? И если по каким-то причинам бекап перестал выполняться, то find все также будет удалять файлы, пока не останется ни одного. При этом сообщение об ошибке при выполнении бекапа, например, на тот же email, также не помешает.

# remove old files
_SaveFilesCount=100
_AllFilesCount=`ls |wc -l`
if [ $_AllFilesCount -gt $_SaveFilesCount ]; then
let "_RmFilesCount = $_AllFilesCount - $_SaveFilesCount"
rm -f `ls -t |tail -$_RmFilesCount`
fi

ответить

Re: Скрипт удаления файлов старше N дней

Опубликовано Гость (не проверено) в Пт, 2015-03-27 18:48.

лучше старый бекап, чем никакого

полностью согласен

а можно коментарии к вашему скрипту, где что виполняется, т.к. я новичок и не все тут понимаю

ответить

Re: Скрипт удаления файлов старше N дней

Опубликовано warlock (не проверено) в Сб, 2015-05-23 22:13.

а чего не понятного то?
данный скрипт выполняется для текущей директории.
_SaveFilesCount=100 # минимальное количество файлов, которое должно остаться.
_AllFilesCount=`ls |wc -l` # общее количество файлов в директории.
if [ $_AllFilesCount -gt $_SaveFilesCount ]; then # условие - если общее количество файлов больше чем минимальное то...
let "_RmFilesCount = $_AllFilesCount - $_SaveFilesCount" # вычисление количества удаляемых файлов.
rm -f `ls -t |tail -$_RmFilesCount` # собственно, получение _RmFilesCount последних элементов, сортированного по дате модификации, в порядке более старые в конце, списка файлов в директории и их удаление.
fi

собственно только в данном виде скрипт не удобен для автоматизации. в начале следовало бы указать:
_BackupDir=<путь к директории>

cd $_BackupDir
или же думаю лучше
pushd $_BackupDir
<основной текст скрипта>
popd