Re: Borg [was Re: Sauvegarde "classique" vs synchronisation ?]
Le 09/04/2019 à 09:58, David BERCOT a écrit : [...] > Maintenant, j'ai beaucoup d'erreurs : > Local Exception > OSError: [Errno 28] No space left on device [...] d'après https://stackoverflow.com/questions/6998083/python-causing-ioerror-errno-28-no-space-left-on-device-results-32766-h ça a l'air d'une erreur Python qui n'a rien de spécifique à Borgbackup et pour laquelle quelques pistes de résolution sont évoquées (tu en trouveras sûrement d'autres en lançant une recherche du message d'erreur sur internet)
Borg [was Re: Sauvegarde "classique" vs synchronisation ?]
Bonjour Bernard,
J'ai regardé la doc et, en effet, l'outil semble intéressant et correspond bien
à mon besoin (sauvegarde distante, via SSH, avec déduplication, etc.)
Maintenant, j'ai beaucoup d'erreurs :
Local Exception
OSError: [Errno 28] No space left on device
During handling of the above exception, another exception occurred:
Traceback (most recent call last):
File "/usr/lib/python3/dist-packages/borg/archiver.py", line 4455, in main
exit_code = archiver.run(args)
File "/usr/lib/python3/dist-packages/borg/archiver.py", line 4387, in run
return set_ec(func(args))
File "/usr/lib/python3/dist-packages/borg/archiver.py", line 145, in wrapper
assert_secure(repository, kwargs['manifest'], self.lock_wait)
File "/usr/lib/python3/dist-packages/borg/cache.py", line 206, in
assert_secure
sm.assert_secure(manifest, manifest.key, lock_wait=lock_wait)
File "/usr/lib/python3/dist-packages/borg/cache.py", line 171, in
assert_secure
with cache_config:
File "/usr/lib/python3/dist-packages/borg/cache.py", line 238, in __enter__
self.open()
File "/usr/lib/python3/dist-packages/borg/cache.py", line 261, in open
kill_stale_locks=hostname_is_unique()).acquire()
File "/usr/lib/python3/dist-packages/borg/locking.py", line 351, in acquire
self._roster.modify(EXCLUSIVE, ADD)
File "/usr/lib/python3/dist-packages/borg/locking.py", line 286, in modify
self.save(roster)
File "/usr/lib/python3/dist-packages/borg/locking.py", line 258, in save
json.dump(data, f)
OSError: [Errno 28] No space left on device
Platform: Linux DBE 4.19.0-4-amd64 #1 SMP Debian 4.19.28-2 (2019-03-15) x86_64
Linux: debian buster/sid
Borg: 1.1.9 Python: CPython 3.7.3
PID: 30522 CWD: /home/david.bercot
sys.argv: ['/usr/bin/borg', 'create', '--list', '--one-file-system',
'--compression', 'auto,zlib,5', '--stats',
'serveur:/data/borgbackup::home_david_{now:%Y-%m-%d_%H:%M}',
'/home/david.bercot/', '--exclude', '/home/david.bercot/rep']
SSH_ORIGINAL_COMMAND: None
Killed stale lock DBE@110352858462797.30522-0.
Local Exception
OSError: [Errno 28] No space left on device
During handling of the above exception, another exception occurred:
Traceback (most recent call last):
File "/usr/lib/python3/dist-packages/borg/archiver.py", line 4455, in main
exit_code = archiver.run(args)
File "/usr/lib/python3/dist-packages/borg/archiver.py", line 4387, in run
return set_ec(func(args))
File "/usr/lib/python3/dist-packages/borg/archiver.py", line 145, in wrapper
assert_secure(repository, kwargs['manifest'], self.lock_wait)
File "/usr/lib/python3/dist-packages/borg/cache.py", line 206, in
assert_secure
sm.assert_secure(manifest, manifest.key, lock_wait=lock_wait)
File "/usr/lib/python3/dist-packages/borg/cache.py", line 171, in
assert_secure
with cache_config:
File "/usr/lib/python3/dist-packages/borg/cache.py", line 238, in __enter__
self.open()
File "/usr/lib/python3/dist-packages/borg/cache.py", line 261, in open
kill_stale_locks=hostname_is_unique()).acquire()
File "/usr/lib/python3/dist-packages/borg/locking.py", line 351, in acquire
self._roster.modify(EXCLUSIVE, ADD)
File "/usr/lib/python3/dist-packages/borg/locking.py", line 286, in modify
self.save(roster)
File "/usr/lib/python3/dist-packages/borg/locking.py", line 258, in save
json.dump(data, f)
OSError: [Errno 28] No space left on device
Platform: Linux DBE 4.19.0-4-amd64 #1 SMP Debian 4.19.28-2 (2019-03-15) x86_64
Linux: debian buster/sid
Borg: 1.1.9 Python: CPython 3.7.3
PID: 30586 CWD: /home/david.bercot
sys.argv: ['/usr/bin/borg', 'prune', '--list', '--keep-within=14d',
'--keep-weekly=4', '--keep-monthly=-1', 'serveur:/data/borgbackup']
SSH_ORIGINAL_COMMAND: None
Je ne sais pas si tu as déjà rencontré ça et si tu as une idée ?
Les messages "no space left" me semblent très bizarres (pas du tout de souci
d'espace disque)...
Merci d'avance.
David.
P.S. : sinon, je tenterai backuppc...
Le 09/03/2019 à 18:51, Bernard Schoenacker a écrit :
>
>
> - Mail original -
>> De: "David BERCOT"
>> À: debian-user-french@lists.debian.org
>> Envoyé: Samedi 9 Mars 2019 18:42:04
>> Objet: Sauvegarde "classique" vs synchronisation ?
>>
>> Bonjour,
>>
>> Afin d'avoir une copie à jour (ou du moins, le plus à jour possible)
>> de
>> mon ordinateur (ce qui m'intéresse est uniquement mon /home),
>> j'hésite
>> entre des sauvegardes classiques et une synchronisation type "cloud".
>>
>> De mon point de vue, la sauvegarde a l'avantage d'être "consistante"
>> et
>> d'intégrer potentiellement des versions différentes de mes documents
Re: Sauvegarde "classique" vs synchronisation ?
Rsync et Rsnapshot semblent intéressant : https://wiki.visionduweb.fr/index.php?title=Sauvegarder_et_reinstaller_Linux#Rsync_et_Rsnapshot
Re: Sauvegarde "classique" vs synchronisation ?
Le 09/03/2019 à 20:15, fab a écrit : > 'lut, > > Juste un conseil: à mon avis, inutile de sauver tout ton home. Par > exemple, le cache de ton navigateur, tu t'en fiches un peu. Par > ailleurs, pour tes mails, il est préférable d'utiliser le stockage > maildir plutôt que mailbox. Ainsi, ça évitera à ta synchro de devoir > récupérer tous tes mails juste pour un seul nouveau message. > > Enfin, pour répondre plus précisément à ta question, je pense que > sauvegarde et synchro sont 2 choses différentes que je pratique avec > backuppc. C'est à dire que tous les jours, il y a un différentiel qui > est sauvegardé (une synchro quoi) puis toutes les semaines, une > sauvegarde complète. Je n'ai pas d'archivage. > > Et à titre d'exemple, voici quelques exclusions de mon home: > /fabricer/.cache > /fabricer/.config/google-chrome-unstable > /fabricer/.config/google-chrome > /fabricer/.config/libreoffice > /fabricer/.local/share/torbrowser > /fabricer/.mozilla/firefox/0aakuu2qzp.default > /fabricer/.local/share/Trash Voilà quelques unes des miennes, pour un poste de bureau, sans serveur web, donc, j'exclue de la sauvegarde les configurations MySQL notamment. Sont également exclues des informations qui ne me semblent pas nécessaires, je peux me tromper, a chacun de définir sa propre liste d'exclusion. #INCLUDE EXCLUDE exclude /home/USER/.cache/ exclude /home/USER/.config/chromium/ exclude /home/USER/.eclipse/ exclude /home/USER/.gimp/ exclude /home/USER/.gnupg/S.gpg-agent exclude /home/USER/.local/share/akonadi/socket-Alien exclude /home/USER/.local/share/Trash/ exclude /home/USER/.mozilla/firefox/ exclude /home/USER/.openshot/ exclude /home/USER/.var/app/com.discordapp.Discord/ exclude /home/USER/.var/app/org.gnucash.GnuCash/ exclude /home/USER/"VirtualBox VMs" exclude /etc/alternatives/ exclude /etc/apm/ exclude /etc/apparmor/ exclude /etc/cups/ssl/ exclude /etc/dhcp/ exclude /etc/dictionaries-common/words exclude /etc/dkms/template-dkms-mkdsc exclude /etc/dpkg/origins/default exclude /etc/fonts/ exclude /etc/ifplugd/action.d/ exclude /etc/ld.so.conf.d/ exclude /etc/modprobe.d/blacklist-oss.conf exclude /etc/modules-load.d/modules.conf exclude /etc/mysql/my.cnf exclude /etc/network/ exclude /etc/newt/palette exclude /etc/pki/nssdb exclude /etc/rc* exclude /etc/sgml/ exclude /etc/ssl/certs/ exclude /etc/sysctl.d/ exclude /etc/systemd/system/ exclude /etc/xdg/ exclude /etc/resolv.conf exclude /etc/localtime exclude /etc/mtab exclude /etc/os-release exclude /etc/printcap exclude /etc/vtrgb exclude /etc/X11/ Ajouter également : exclude/home/USER/.mozilla/firefox/"Crash Report"
Re: Sauvegarde "classique" vs synchronisation ?
bonjour je dirais que les deux sont complémentaires : * la synchronisation est une procédure PRA (Procédure de Reprise d'Activité) qui permet de redémarrer très rapidement en cas de sinistre : le PC ne démarre plus, panne, crash disque Elle implique souvent d'avoir un système de secours permettant de redémarrer en servant les fichiers issus de la synchronisation * La synchronisation permet aussi d'avoir un point unique de fichiers permettant d'avoir ses fichiers à disposition sur plusieurs systèmes différents. C'est mon cas : le /home est synchronisé avec un cloud personnel et toute modification se retrouve propagée sur l'ensemble des systèmes auxquels j'ai accès * la sauvegarde permet d'historiser plusieurs versions d'un même fichier, même effacé. Elle permet de revenir en arrière en cas de mauvaise manipulation. La reprise sur sinistre est plus compliquée (temps de restauration) et on se retrouve avec des fichiers à jour de la dernière sauvegarde En résumé : la synchronisation permet d'avoir un jeu de fichiers le plus à jour possible, sans historiser. La sauvegarde historise mais on a que les fichiers à jour à la date de la dernière sauvegarde. Personnellement : j'ai tout sur un cloud personnel (ownCloud, qui a disparu depuis des dépôts Debian) ; backuppc me sauvegarde directement les fichiers du cloud sur un disque externe conservé ailleurs. cordialement Erwann Le 09/03/2019 à 18:42, David BERCOT a écrit : Bonjour, Afin d'avoir une copie à jour (ou du moins, le plus à jour possible) de mon ordinateur (ce qui m'intéresse est uniquement mon /home), j'hésite entre des sauvegardes classiques et une synchronisation type "cloud". De mon point de vue, la sauvegarde a l'avantage d'être "consistante" et d'intégrer potentiellement des versions différentes de mes documents. En revanche, si le crash ou la perte ou le vol de la machine se produit "relativement longtemps" après la dernière sauvegarde, les données ne sont pas vraiment fraîches. La synchronisation (partons sur un serveur personnel de type NextCloud pour illustrer) permet justement de répondre à ce besoin de fraîcheur mais peut poser d'autres problèmes [quid des fichiers qui bougent quasiment en permanence, d'un "gros" fichier mis à jour au moment d'un connexion bas débit [aéroport par exemple] ?). Bref, le sujet me semblant assez "classique", je me disais que j'aurais pu profiter de vos expériences en la matière ;-). Si vous avez des retours, des conseils, des préconisations, je suis preneur... Merci d'avance et bon week-end. David.
Re: Sauvegarde "classique" vs synchronisation ?
Le 2019-03-09 18:42, David BERCOT a écrit :
Bonjour,
Afin d'avoir une copie à jour (ou du moins, le plus à jour possible) de
mon ordinateur (ce qui m'intéresse est uniquement mon /home), j'hésite
entre des sauvegardes classiques et une synchronisation type "cloud".
Bonjour,
Depuis qu'on m'a conseillé lsyncd sur cette liste (encore merci la liste
! ;))
Je fais de la synchronisation...
Les défauts sont que ça ne protège pas d'une suppression malencontreuse,
car elle est propagée et ça ne sauvegarde les fichiers que dans un
état : le dernier, donc pas forcément le bon...
Je pallie ça avec deux commandes (mes scriptes à 2 cent) dont le
résultat est propagé (donc dans chaque version) :
L’un nommé bkp
#!/bin/bash
#crée un rep backup si pas existant
if [ ! -d backup ]; then mkdir backup ; fi
DATE_EXT=$(\date '+%d-%m-%Y-%H.%M.%S')
for fichier in $@
do
tar -czvf "backup/$fichier"-$DATE_EXT.tgz "$fichier"
--
L’autre sbkp :
#!/bin/bash
DESTINATAIRE="monadre...@titi.org"
EXPEDITEUR="adre...@toto.org"
PATH_BACKUP="backup"
BODY="TODO: "
SUJET="Backup "
DATE_EXT=$(\date '+%d-%m-%Y-%H.%M.%S')
declare -a TABLEAU
LIST_ARCIVES=""
usage(){
echo utilisation :
echo "-s Sujet du courriel ($SUJET par défaut)"
echo "-c Rédiger le corps du courriel ($BODY par défaut)"
echo "-p chemin(path) de base des archives ($PATH_BACKUP par
défaut)"
echo "-e Définir l'expéditeur ($EXPEDITEUR par défaut)"
echo "-d Définir le destinataire ($DESTINATAIRE par défaut)"
echo "-h afficher cette aide"
exit
}
if [ $# -lt 1 ] ; then
echo "Vous devez au moins spécifier un argumant"
usage
exit 1
fi
while getopts "hs:c:p:e:d:" arg
do
case "$arg" in
h) usage;;
s) ARG_SUJET=${OPTARG};;
c) BODY+=${OPTARG:-$BODY};;
p) PATH_BACKUP=${OPTARG:-$PATH_BACKUP};;
e) EXPEDITEUR=${OPTARG:-$EXPEDITEUR};;
d) DESTINATAIRE=${OPTARG:-$DESTINATAIRE};;
\?) exit 1;;
esac
done
shift $(($OPTIND - 1))
LISTE_FICHIERS="$*"
#crée un rep backup si pas existant
if [ ! -d $PATH_BACKUP ]; then mkdir $PATH_BACKUP ; fi
archivage(){
for fichier in $@
do
NOM_ARCHIVE="$PATH_BACKUP/$fichier-$DATE_EXT.tgz"
tar -czvf $NOM_ARCHIVE "$fichier"
TABLEAU=("${TABLEAU[@]}" "$NOM_ARCHIVE")
LIST_ARCIVES+="$fichier-$DATE_EXT.tgz "
done
}
envoyer(){
SUJET+=$LISTE_FICHIERS
if [ -n "$ARG_SUJET" ] ; then
SUJET=$ARG_SUJET
fi
claws-mail --compose
"mailto:$DESTINATAIRE?subject=$SUJET=$EXPEDITEUR=$BODY;
--attach ${TABLEAU[@]}
}
archivage "$LISTE_FICHIERS"
envoyer
--
Ca laisse des répertoires backup dans mon arborescence, ils sont
propagés.
Les fichiers importants en pièce jointe dans ma boite mail avec ce qu'il
reste à faire en message.
C'est du bricolage de bouts de ficelles, mais ça me va...
--
Benoit
De mon point de vue, la sauvegarde a l'avantage d'être "consistante" et
d'intégrer potentiellement des versions différentes de mes documents.
En revanche, si le crash ou la perte ou le vol de la machine se produit
"relativement longtemps" après la dernière sauvegarde, les données ne
sont pas vraiment fraîches.
La synchronisation (partons sur un serveur personnel de type NextCloud
pour illustrer) permet justement de répondre à ce besoin de fraîcheur
mais peut poser d'autres problèmes [quid des fichiers qui bougent
quasiment en permanence, d'un "gros" fichier mis à jour au moment d'un
connexion bas débit [aéroport par exemple] ?).
Bref, le sujet me semblant assez "classique", je me disais que j'aurais
pu profiter de vos expériences en la matière ;-).
Si vous avez des retours, des conseils, des préconisations, je suis
preneur...
Merci d'avance et bon week-end.
David.
Re: Sauvegarde "classique" vs synchronisation ?
'lut, Juste un conseil: à mon avis, inutile de sauver tout ton home. Par exemple, le cache de ton navigateur, tu t'en fiches un peu. Par ailleurs, pour tes mails, il est préférable d'utiliser le stockage maildir plutôt que mailbox. Ainsi, ça évitera à ta synchro de devoir récupérer tous tes mails juste pour un seul nouveau message. Enfin, pour répondre plus précisément à ta question, je pense que sauvegarde et synchro sont 2 choses différentes que je pratique avec backuppc. C'est à dire que tous les jours, il y a un différentiel qui est sauvegardé (une synchro quoi) puis toutes les semaines, une sauvegarde complète. Je n'ai pas d'archivage. Et à titre d'exemple, voici quelques exclusions de mon home: /fabricer/.cache /fabricer/.config/google-chrome-unstable /fabricer/.config/google-chrome /fabricer/.config/libreoffice /fabricer/.local/share/torbrowser /fabricer/.mozilla/firefox/0aakuu2qzp.default /fabricer/.local/share/Trash mes 2 cts, f. Le 09/03/2019 à 18:42, David BERCOT a écrit : Bonjour, Afin d'avoir une copie à jour (ou du moins, le plus à jour possible) de mon ordinateur (ce qui m'intéresse est uniquement mon /home), j'hésite entre des sauvegardes classiques et une synchronisation type "cloud". De mon point de vue, la sauvegarde a l'avantage d'être "consistante" et d'intégrer potentiellement des versions différentes de mes documents. En revanche, si le crash ou la perte ou le vol de la machine se produit "relativement longtemps" après la dernière sauvegarde, les données ne sont pas vraiment fraîches. La synchronisation (partons sur un serveur personnel de type NextCloud pour illustrer) permet justement de répondre à ce besoin de fraîcheur mais peut poser d'autres problèmes [quid des fichiers qui bougent quasiment en permanence, d'un "gros" fichier mis à jour au moment d'un connexion bas débit [aéroport par exemple] ?). Bref, le sujet me semblant assez "classique", je me disais que j'aurais pu profiter de vos expériences en la matière ;-). Si vous avez des retours, des conseils, des préconisations, je suis preneur... Merci d'avance et bon week-end. David.
Re: Sauvegarde "classique" vs synchronisation ?
Bonjour, À mon avis le "vs" n'a pas trop ça place dans le sujet puisque chacune des deux solutions touche à mon avis à deux domaines plutôt différent. À mon avis il faudrait faire une réel distinction entre synchronisation et sauvegarde... Le sam. 9 mars 2019 18:42, David BERCOT a écrit : > Bonjour, > > Afin d'avoir une copie à jour (ou du moins, le plus à jour possible) de > mon ordinateur (ce qui m'intéresse est uniquement mon /home), j'hésite > entre des sauvegardes classiques et une synchronisation type "cloud". > > De mon point de vue, la sauvegarde a l'avantage d'être "consistante" et > d'intégrer potentiellement des versions différentes de mes documents. > En revanche, si le crash ou la perte ou le vol de la machine se produit > "relativement longtemps" après la dernière sauvegarde, les données ne > sont pas vraiment fraîches. > > La synchronisation (partons sur un serveur personnel de type NextCloud > pour illustrer) permet justement de répondre à ce besoin de fraîcheur > mais peut poser d'autres problèmes [quid des fichiers qui bougent > quasiment en permanence, d'un "gros" fichier mis à jour au moment d'un > connexion bas débit [aéroport par exemple] ?). > > Bref, le sujet me semblant assez "classique", je me disais que j'aurais > pu profiter de vos expériences en la matière ;-). > > Si vous avez des retours, des conseils, des préconisations, je suis > preneur... > > Merci d'avance et bon week-end. > > David. > >
Re: Sauvegarde "classique" vs synchronisation ?
- Mail original - > De: "David BERCOT" > À: debian-user-french@lists.debian.org > Envoyé: Samedi 9 Mars 2019 18:42:04 > Objet: Sauvegarde "classique" vs synchronisation ? > > Bonjour, > > Afin d'avoir une copie à jour (ou du moins, le plus à jour possible) > de > mon ordinateur (ce qui m'intéresse est uniquement mon /home), > j'hésite > entre des sauvegardes classiques et une synchronisation type "cloud". > > De mon point de vue, la sauvegarde a l'avantage d'être "consistante" > et > d'intégrer potentiellement des versions différentes de mes documents. > En revanche, si le crash ou la perte ou le vol de la machine se > produit > "relativement longtemps" après la dernière sauvegarde, les données ne > sont pas vraiment fraîches. > > La synchronisation (partons sur un serveur personnel de type > NextCloud > pour illustrer) permet justement de répondre à ce besoin de fraîcheur > mais peut poser d'autres problèmes [quid des fichiers qui bougent > quasiment en permanence, d'un "gros" fichier mis à jour au moment > d'un > connexion bas débit [aéroport par exemple] ?). > > Bref, le sujet me semblant assez "classique", je me disais que > j'aurais > pu profiter de vos expériences en la matière ;-). > > Si vous avez des retours, des conseils, des préconisations, je suis > preneur... > > Merci d'avance et bon week-end. > > David. > bonjour, voici un début de piste : https://doc.ubuntu-fr.org/borgbackup et c'est un ami admin qui me l'a conseillé merci slt bernard
Sauvegarde "classique" vs synchronisation ?
Bonjour, Afin d'avoir une copie à jour (ou du moins, le plus à jour possible) de mon ordinateur (ce qui m'intéresse est uniquement mon /home), j'hésite entre des sauvegardes classiques et une synchronisation type "cloud". De mon point de vue, la sauvegarde a l'avantage d'être "consistante" et d'intégrer potentiellement des versions différentes de mes documents. En revanche, si le crash ou la perte ou le vol de la machine se produit "relativement longtemps" après la dernière sauvegarde, les données ne sont pas vraiment fraîches. La synchronisation (partons sur un serveur personnel de type NextCloud pour illustrer) permet justement de répondre à ce besoin de fraîcheur mais peut poser d'autres problèmes [quid des fichiers qui bougent quasiment en permanence, d'un "gros" fichier mis à jour au moment d'un connexion bas débit [aéroport par exemple] ?). Bref, le sujet me semblant assez "classique", je me disais que j'aurais pu profiter de vos expériences en la matière ;-). Si vous avez des retours, des conseils, des préconisations, je suis preneur... Merci d'avance et bon week-end. David.
