Бекап через RSYNC. Часть 1 - сервер

[2gusia]

Как известно, ваше семейное фото и видео делится на два класса - (1) те, что с бекапом и (2) те, что вы ещё не потеряли по чистой случайности. Способов делать бекап много. Простейший - копировать руками на NAS или USB диск. Мы рассмотрим автоматический бекап на NAS4FREE через RSYNC

Comments

[ext_1586335]

Очень жду вторую часть. Особенно с комментария по поводу необходимых ключей RSYNC. Например, не очень понятно действие ключа --hard-link. А также совсем непонятно что предлагает QtdSync при добавлении в задание папки "Мои документы" предлагает биндить эту папку или пользоваться "абсолютным путем". Китайская грамота какая-то.

[2gusia]

пишу... жж снова глючит, не хочет картинки грузить, редиска

биндить я отключил, в тексте написал. --hard-link - сохранять их, хардлинки то есть :) http://ru.wikipedia.org/wiki/%C6%B8%F1%F2%EA%E0%FF_%F1%F1%FB%EB%EA%E0

Вообще у rsync море ключей, ср ман http://www.opennet.ru/man.shtml?topic=rsync&category=1&russian=2 со всеми, понятно, я поленился разбираться. Сделал, чтоб работало, выкинул то, что мешает.

RSYNC

[leshiy13]

Доброго времени суток. давно Вас читаю и пользуюсь Вашими инструкциями. Сегодня решил избавится от nop устройств в пуле. Для этого отключил все службы. В том числе RSYNC. В итоге в dataset куда синхронизируется RSYNC стерлись все папки. Хорошо, что настроены слепки dataset, но сначала понервничал. Не могу ручаться, что до отключения RSYNC все файлы были, но в ночном слепке они есть. Вот такой пердимонокль вышел. Если подтвердится думаю надо упомянуть эту особенность.
PS Версия nas4free 10.2.0.2 - Prester (revision 2332)

Re: RSYNC

[2gusia]

паршивый оптический прибор... на RSYNC подозреваете? Какие-то следы процесса (логи, записив history пула) модет остались?

Re: RSYNC

[leshiy13]

Ни чего не нашел. В логах чисто.
Ночью в слепке файлы присутствуют, а после перезапуска сервисов Transmision, Samba, Rsync отсутствуют. Избавиться от nop мне не удалось, pool не отмонтируется по причине busy. Других причин не могу предположить.

UPD а что вот эта команда делает zpool import -d /dev -f -a ?

Re: RSYNC

[2gusia]

zpool import -d /dev -f -a ?
это nas4free при старте ищет и импортирует все пулы. Видимо, на случай, если прошлый раз что-то пошло не так при выходе, типа пропадания питания. IMHO - безвредно, только историю загаживает несколько.

Проблема синхронизации - разрешения

[konokradm]

сталкиваюсь с такой проблемой. Если внутри синхронизируемой папки была создана другая, то QtdSync спотыкается. Ошибка синхронизации. Папка создана на сервере.
Как только дам 777 на вновь созданные папки, синхронизация идет как по маслу.
Как бы сделать так, чтобы папки, создаваемые в процессе работы Rsync сразу получали разрешение 777

UPD
Сам разобрался. в Expert Mode добавил
--perms --chmod=a+rwx

и все заработало как надо

Re: Проблема синхронизации - разрешения

[2gusia]

надо курить доп параметры rsync - их там море. можно передавать в софтину.

кроме того, и в rsync и в самбе можно играть юзером, от имени которого идёт доступ.

Re: Проблема синхронизации - разрешения

[konokradm]

да. Но что-то не хотелось с авторизацией заморачиваться.
Повесил без авторизации. Ну и наткнулся на 755 в итоге. Но сейчас норм.
А опций там да, просто море

[pottercaulfield]

а в 10.3.03 добавились новые параметры выделены черным цветом.
ACL inherit
This attribute determines the behavior of Access Control List inheritance.
ACL mode
This attribute controls the ACL behavior when a file is created or whenever the mode of a file or a directory is modified.
Case Sensitivity
This property indicates whether the file name matching algorithm used by the file system should be casesensitive, caseinsensitive, or allow a combination of both styles of matching

[2gusia]

ACL - это тонкий механизм прав, когда zfs эмулирует виндовое поведение. там сложно и я не использую. наслдование и режим стоит оба Passthrough

Case Sensitivity - что-то я у себя в гуе не вижу, но этот параметр стандарный есть. У меня на всех датасетах
sensitive

[rodez_hh]

<наслдование и режим стоит оба Passthrough>

немного перелопачиваю структуру пула, сверяясь время от времени с вашей "библией"... при создании датасета вы в строке советовали на этих местах restricted/discard, т.e. passthrough только для бэкапа?

п.с. и, чтобы не вставать дважды, для бэкапа всех пользователей хватает одной папки?

[2gusia]

> restricted/discard
Вот как раз в области ACL мои настройки, вероятно, не оптимальные - всё что мне надо работает, но вроде можно сделать лучше. Я не вдавался тогда, но если это важно - стоит погуглить по ACL

Бэкап с андроидов

[ext_4282742]

Ну подскажите уважаемые, может я не правильно представляю, но в конечном итоге бы хотелось получить следующее: Определяем папку на андроид устройстве. Она, желательно по изменению содержимого, синхронится любыми возможными способами с сервером. Это можно sincthin`ом сделать. Но еще хотелось бы, чтобы после удаления (освобождения места) на устройстве чего-либо из папки - на сервере все равно оставалось :)

Надеюсь, понятно выразился :)

Re: Бэкап с андроидов

[2gusia]

надо именно syncthig или btsync (сейчас resilo) копать. Я когда-то btsync настраивал, тут описывал.

Оба эти варианта будут работать глобально. Если найти rsync клиент толковый для андроида - ещё проще, но скорее в родной локалке. Но я тогда не нашёл, мож сейчас появился

Re: Бэкап с андроидов

[ext_4282742]

Спасибо. Буду копать syncthing. Вообще представлял себе по началу схему следующей: syncthing синхронизирует папку с сервером (благо клиент на андроид вроде есть вменяемый). На сервере по крону содержимое папки синка бэкапится rsync`ом, чтобы удаленное не терялось никуда. Но придумал 2е проблемы: 1 - необходимо очень часто бэкапить папку синка, чтобы ничего не пропустить; 2 - как на анроиде узнать, что все забэкапилось на сервере и можно смело удалять...

Как-то так :)

Re: Бэкап с андроидов

[2gusia]

Не решение, но уголька в топку решения. Синхронизировать на сервере можно и нужно не текущее состояние файловой системы, а слепок. В нашем случае zfs snapshot. Он делается мгновенно и потом не изменяем.