Авг 23

Бэкапим без расходов

Опубликовано в Винчестеры, Сетевые данные

Бэкапим без расходов

Бэкапы — это вечная проблема: то объемы данных сумасшедшие, то вообще забываешь про них. В своем предыдущем проекте dvice.ru (он пока закрыт, так что без ссылки) я допустил досадную ошибку в самом начале его запуска. Я написал небольшой крон, который в 12 часов ночи удалял всех неактивированных пользователей, зарегистрировавшихся больше 24 часов назад. Но я ошибся в запросе и потерял данные пользователей, которые зарегистрировались до первого запуска этого запроса. Слава Богу, у меня были все данные в сессиях, поэтому я восстановил всех тех, кто логинился и ставил галку на чекбоксе — запомнить меня. Обидно и глупо, но на ошибках учатся.

Бэкапы делались и копились, старые удалялись, и все было отлично. Пока внезапно я не понял, что страдаю полной фигней. Бэкапы-то я делаю, а вот забирать — не забираю. Объемы данных, лежащих на моем VPS, не такие большие, но по почте тоже особо не наотправляешься. Покупать еще один VPS и складывать туда все по FTP/SVN/CVS/SSH не особо хочется, хотя тоже вариант интересный.

До вчерашнего дня я был озадачен мыслью: а как все же забирать эти данные? И вот вечером меня осенило.

Я являюсь счастливым пользователем сервиса Dropbox. Хоть и с бесплатным аккаунтом, но благодаря inwhite.ru у меня есть еще 2.5ГБ места сверху, т.е. не начальные 2ГБ, а уже аж целых 4.5ГБ. И еще на 500МБ место может увеличиться. А это уже нормальная площадка для создания бэкапов средних объемов данных.

На данный момент у меня файлов в архивах бэкапится на 200МБ, баз данных, которые я поставил бэкапиться ежедневно — 2МБ в день, а бэкапов базы данных inwhite.ru, которая бэкапится каждый час (от греха подальше), за неделю набирается пока что примерно на 215МБ.

Я не стал искать книжку «КАК НАСТРОИТЬ БЭКАПЫ С ВАШЕГО СЕРВЕРА ЧЕРЕЗ ДРОПБОКС ЗА 24 ЧАСА». Покопавшись в больших интернетах, я нашел статью, в которой говорится о том, как настроить и заставить работать Dropbox при отсутствии GUI. Это было самое главное, т.к. если у вас не Windows сервер, то вряд ли у вас на сервере есть X.

Статья находится по этому адресу, и я не буду приводить ее здесь, т.к. сам процесс довольно прост и описан достаточно подробно. Скажу лишь пару вещей:
Если вы начали настраивать Dropbox, то HOST_ID зависит от папки, откуда запустили Dropbox
Если вы из обсуждаемого в статье расположения файлов ~/.dropbox-dist перенесете файлы, например, как я, в /usr/local/dropbox (я привык там хранить программы), то вам надо будет по-новой получать HOST_ID
dbreadconfig у меня так и не заработал, и что-то мне подсказывает, что у вас тоже просто так не заработает, только если вы не исправите этот скрипт, написанный на Python
Следствие из п.3 — запаситесь sqlite3
Скрипт запуска Debian/Ubuntu у меня тоже не особо пожелал работать, поэтому я вам тут его в исправленном виде выложу
Также я позволил себе сделать несколько новых па, т.к. у меня свои правила на сервере. Надо создать пользователя для Dropbox:

adduser —home /home/dropbox —shell /bin/false —disabled-login dropbox

Обратите внимание на то, что в папке пользователя вам надо будет сделать еще одну папку — «Dropbox», т.к. именно в нее по умолчанию Dropbox будет записывать файлы.

Т.е. по сути должно получиться что-то вроде:

/home
/home/dropbox
# эту папку вам создаст сам Dropbox после первого правильного запуска
/home/dropbox/.dropbox
# а вот эту папку вам надо будет сделать самому, т.к. Dropbox этого почему-то не делает
/home/dropbox/Dropbox

Сам скрипт запуска

USERS=»dropbox»
DAEMON=/usr/local/dropbox/dropbox
LAUNCH=/usr/local/dropbox/dropboxd

start() {
echo «Starting dropbox…»
for dbuser in $USERS; do
HOMEDIR=`getent passwd $dbuser | cut -d: -f6`
if [ -x $DAEMON ]; then
HOME=»$HOMEDIR» start-stop-daemon -b -o -c $dbuser -S -u $dbuser -x $LAUNCH
fi
done
}

stop() {
echo «Stopping dropbox…»
for dbuser in $USERS; do
if [ -x $DAEMON ]; then
start-stop-daemon -o -c $dbuser -K -u $dbuser -x $DAEMON
fi
done
}

status() {
for dbuser in $USERS; do
HOMEDIR=`getent passwd $dbuser | cut -d: -f6`
USERPID=`cat $HOMEDIR/.dropbox/dropbox.pid`
if [ -z $USERPID ] ; then
echo «Dropbox for USER $dbuser: not running.»
else
echo «Dropbox for USER $dbuser: running (pid $USERPID)»
fi
done
}

case «$1″ in
start)
start
;;

stop)
stop
;;

restart|reload|force-reload)
stop
start
;;

status)
status
;;

*)
echo «Usage: /etc/init.d/dropbox {start|stop|reload|force-reload|restart|status}»
exit 1

esac

exit 0

Но написать статью про то, как воспользоваться какой-то там другой статьей — это мне кажется бредом, поэтому я решил поделиться не просто такого рода вариацией на тему «Как забэкапить данные с сервера без лишних телодвижений», а еще и скриптами самого процесса.

Я уже говорил, что бэкап у меня происходит с разным постоянством для разных сайтов, но напомню еще раз:
inwhite.ru – каждый час
все остальное — каждые сутки
По сути особой разницы в этих скриптах нет, поэтому приведу их 1 раз. Скриптов два, т.к. мы бэкапим базы и файлы, а они — суть разные вещи.

Итак.

Бэкапим базы данных

#!/bin/bash

DATE=`date «+%Y-%m-%d»`
TIME=`date «+%H-%M»`

# в Dropbox я создал специальную папку Backup, т.к.
# у меня там хранятся еще и другие файлы и папки
# если же вы создадите себе отдельный аккаунт на Dropbox
# для этого, то, конечно же, вам эта папка будет не нужна
HOME=»/home/dropbox/Dropbox/Backup»

# массив таблиц, которые скрипт должен игнорировать
# я старался максимально упростить жизнь, и сделать так, чтобы можно
# было меньше залезать на сервер при добавлении новых баз
# мне кажется, что проще залезть и добавить базу, которую не надо
# бэкапить, чем каждый раз добавлять новые базы, которые надо бэкапить
SKIP=(«information_schema» «mysql»)

HOST=»127.0.0.1″ # хост, на котором расположена база данных
USER=»» # укажите здесь имя пользователя для соединения с базой данных
PASSWORD=»» # пароль этого пользователя

# получаем список доступных баз данных
DBS=»$(mysql -h$HOST -u$USER -p$PASSWORD -Bse ‘show databases’)»

# небольшая функция, для проверки на вхождение записи в массив
# я не буду объяснять, как она работает, если вы захотите, то сами
# разберетесь, т.к. тут нет ничего сложного
in_array() {
haystack=(«$@»)
needle=$1

unset haystack[0]

for i in «${haystack[@]}»; do
if [ «$needle» == «$i» ]; then
return 1
fi
done

return 0
}

# HERE GOES THE MAGIC
for DB in $DBS; do
# есть ли текущая база в списке игнорируемых
in_array $DB «${SKIP[@]}»

# если нет
if [ «$?» == 0 ]; then
# создаем полный путь до папки, куда мы положим бэкап
# это будет выглядеть примерно так:
# /home/dropbox/Dropbox/Backup/DB/inwhite
mkdir -p $HOME/DB/$DB

# делаем дамп базы данных
mysqldump -h$HOST -u$USER -p$PASSWORD $DB > /tmp/db-$DB-$DATE-$TIME.sql
# сжимаем TAR’ом
tar -Pcf /tmp/db-$DB-$DATE-$TIME.tar /tmp/db-$DB-$DATE-$TIME.sql
# сжимаем GZIP’ом. обратите внимание на то, что стоит максимальное сжатие,
# поэтому на больших объемах данных процесс может происхоть долго
gzip -c9 /tmp/db-$DB-$DATE-$TIME.tar > $HOME/DB/$DB/$DATE.tar.gz

# удаляем ненужные файлы, оставшиеся после создания бэкапа
rm -f /tmp/db-$DB-$DATE-$TIME.tar
rm -f /tmp/db-$DB-$DATE-$TIME.sql

# удаляем файлы, которым больше 7 дней
find $HOME/DB/$DB/* -type d -mtime +7 -exec rm -rf {} \;
fi
done

exit 0;

А теперь бэкапим файлы

По сути это два примерно одинаковых процесса с небольшими различиями в плане получения данных.

#!/bin/bash

HOME=»/home/dropbox/Dropbox/Backup»

DATE=`date «+%Y-%m-%d»`
TIME=`date «+%H-%M»`

# массив доменов, которые мы не бэкапим
SKIP=(«test1.ru» «test2.ru» «test3.ru»)

# получаем список папок, в которых расположены файлы наших доменов
# у меня файлы расположены в папке /home/apache
# если у вас они расположены, например, в /var/www, то строка ниже
# должна выглядеть примерно так:
# DOMAINS=`find /var/www -maxdepth 1 -type d | sed ‘s/\/var\/www//’ | sed ‘s/\///’`
DOMAINS=`find /home/apache -maxdepth 1 -type d | sed ‘s/\/home\/apache//’ | sed ‘s/\///’`

in_array() {
haystack=(«$@»)
needle=$1

unset haystack[0]

for i in «${haystack[@]}»; do
if [ «$needle» == «$i» ]; then
return 1
fi
done

return 0
}

for DOMAIN in $DOMAINS; do
in_array $DOMAIN «${SKIP[@]}»

if [ «$?» == 0 ]; then
mkdir -p /$HOME/FS/$DOMAIN

tar -Pcf /tmp/fs-$DOMAIN-$DATE-$TIME.tar /home/apache/$DOMAIN
gzip -c9 /tmp/fs-$DOMAIN-$DATE-$TIME.tar > /$HOME/FS/$DOMAIN/$DATE.tar.gz

# в случае с файлами мы удаляем только TAR, т.к. SQL файла
# у нас тут не производится
rm -f /tmp/fs-$DOMAIN-$DATE-$TIME.tar

find /$HOME/FS/$DOMAIN/* -type d -mtime +7 -exec rm -rf {} \;
fi
done;

exit 0;

У меня они называются database и filesystem соответственно, так что после установки их в /etc/cron.daily вам надо сделать:

chmod +x /etc/cron.daily/database
chmod +x /etc/cron.daily/filesystem

Это, конечно же, простейший вариант. Можно все сделать более «правильно» и положить эти скрипты куда-нибудь, а задачу добавить через crontab -e. Но я единоличный пользователь своего сервера, и доступа к нему нет ни у кого другого, поэтому я вправе сделать так, как мне проще и удобнее.

Обращаю также внимание на то, что пользователю, от имени которого вы будете делать бэкапы базы данных достаточно таких прав:

SELECT, SHOW DATABASES, LOCK TABLES, SHOW VIEW

Вот, в общем-то, и все, что тут можно рассказать. Спасибо за внимание, и пользуйтесь на здоровье. Надеюсь, кому-то это все же пригодится.

Комментарии: 0 »

You must be logged in to post a comment.