Re: sauvegardes: Vorta/Borgbackup et Deja-Dup/Duplicity-Borgbackup-Restic (was: sauvegardes: Vorta/Borgbackup et Deja-Dup/Duplicity)
suite et fin du feuilleton Deja-Dup et sa compatibilité avec Duplicity/Borgbackup/Restic: - le paquet Deja-Dup 44.0 de Bookworm appelle systématiquement Duplicity même si on sélectionne Borg ou Restic dans les paramètres dconf - le paquet Deja-Dup 44.2 de Sid n'affiche pas la même interface que les paquets Fedora (.rpm) ou Flathub (flatpak): il n'y a pas d'onglet GUI où on peut choisir un autre backend que Duplcity. Je n'ai pas cherché à modifier les paramètres dconf. A priori le paquet Debian Sid se comporte comme le paquet Debian Bookworm: il appelle systématiquement Duplicity - Deja-Dup 44.2 (flatpak sous Debian ou rpm sous Fedora) propose un onglet GUI où on peut choisir parmi deux backends: Duplicity ou Restic. Autant le flatpak que le rpm fonctionnent correctement avec le backend Restic.
Re: sauvegardes: Vorta/Borgbackup et Deja-Dup/Duplicity-Borgbackup-Restic (was: sauvegardes: Vorta/Borgbackup et Deja-Dup/Duplicity)
Le 04/08/2023 à 18:23, Sébastien Dinot a écrit : C'est exact. Borg fonctionne par déduplication [...] C'est très efficace (Borg n'est pas le seul outil à procéder par déduplication, c'est aussi ce que fait par exemple Restic),* [...] Au cas où ça puisse intéresser ceux à la recherche de frontaux GUI pour accéder aux fonctions d'un outil backup CLI particulier (Attention: ne pas se lancer avant d'avoir testé, je ne l'ai pas encore fait, peut-être que ça se plante d'entrée.) je continue de regarder un peu tout ça et en fouillant dans les options cachées (dconf) de Deja-Dup, je m'aperçois: - qu'il peut servir de servir de frontal GUI, non seulement à Duplicty (par défaut), mais aussi à Borgbackup ou à Restic! (paramètre /org/gnome/deja-dup/tool) - que comme Vorta on peut lui adjoindre des scripts avant, après, ou autour. (paramètres /org/gnome/deja-dup/custom*) Pour Borg ça aurait l'avantage d'offrir une alternative à Vorta, pour Restic ça aurait l'avantage de fournir un frontal GUI inexistant par ailleurs(?)
Re: sauvegardes: Vorta/Borgbackup et Deja-Dup/Duplicity
Le 05/08/2023 à 12:01, hamster a écrit : Le 05/08/2023 à 09:25, didier gaumet a écrit : [...] Donc on peut légitimement s'émouvoir lorsque j'évoque une automatisation, qui n'est que partielle ;-) Je crains que tu n'aie mal compris mon message. Je ne m'émeut pas, je me renseigne. Et loin de moi l'idée d'émettre la moindre critique. Non, pas de souci, c'est moi qui ai tenté une saillie humoristique dont j'aurais dû m'abstenir :-) Donc je résume pour voir si j'ai bien compris [...] oui, tu as bien compris :-) Un autre procédé que j'avais employé il y a quelques années sur un PC Windows d'une amie, c'était de lui créer un évènement récurrent quotidien dans Thunderbird pour lui rappeler de faire sa sauvegarde.
Re: sauvegardes: Vorta/Borgbackup et Deja-Dup/Duplicity
Le 05/08/2023 à 09:25, didier gaumet a écrit : la sauvegarde étant automatisée, lorsqu'elle se lance, le disque n'étant quasiment jamais branché à ce moment-là, la sauvegarde se vautre quasi-systématiquement, en notifiant l'utilisateur qu'elle reprendra lorsque le disque sera branché. Lorsque le disque est branché par l'utilisateur, elle reprend et notifie celui-ci lorsqu(elle s'est terminée. Donc on peut légitimement s'émouvoir lorsque j'évoque une automatisation, qui n'est que partielle ;-) Je crains que tu n'aie mal compris mon message. Je ne m'émeut pas, je me renseigne. Et loin de moi l'idée d'émettre la moindre critique. Donc je résume pour voir si j'ai bien compris : tu a un logiciel programmé pour lancer des sauvegardes automatiquement et tu utilise le fait que ce logiciel plante et sort un message d'erreur pour rappeler a l'utilisateur qu'il est temps de brancher le disque externe. En cela ca lui laisse le choix du moment ou il le branche et donc lance la sauvegarde. C'est en effet une facon fonctionnelle de procéder. Je n'y avais pas pensé parce que je cherchais dans les logiciels de sauvegarde un mécanisme dédié a faire a peu près la meme chose plutot que de passer par un plantage, mais je ne le trouvais pas. Merci donc pour cette astuce.
Re: sauvegardes: Vorta/Borgbackup et Deja-Dup/Duplicity
Bon alors d'abord merci à Erwan et Sébastien :-) d'avoir explicité le fonctionnement de Borgbackup et Vorta, parce qu'à la lumière de leurs explications et des docs de Borgbackup et Duplicty, j'avais manifestement mal compris pas mal de points (je résume la réflexion pour que les ignares dans mon genre puissent comprendre plus facilement ce fil dans le futur. évidemment si je dis des bêtises, corrigez) Je me demandais comment forcer une sauvegarde complète Vorta périodiquement parce que les outils traditionnels de sauvegardes sont incrémentaux ou différentiels à partir d'une sauvegarde complète. Mais ces outils sont séquentiels: pour restaurer un contexte à une date donnée, l'opérateur doit savoir quelle séquence d'archives restaurer, un exemple ici: https://en.wikipedia.org/wiki/Differential_backup#Illustration alors que Borgbackup (donc Vorta aussi) est indexé, donc si il y a une séquence de morceaux (chunks) à restaurer, c'est transparent pour l'opérateur qui restaure juste l'archive de la date donnée. Par contre, tout ça m'amène à penser que je dois faire des vérifications de sauvegardes périodiques parce qu'en tant que particulier quand on fait des sauvegardes (totales+incrémentales), on est surtout intéressé à restaurer suite à un plantage la situation juste antérieure, et on a parfois bêtement tendance à se dire que la dernière sauvegarde totale est récente donc non corrompue, ce qui est un peu stupide. pour ceux qui comme moi ont souvent besoin d'une petit dessin pour que ça passe mieux, la doc Borgbackup présente un "graphe des objets", schématique de la manière dont le logiciel s'y prend: https://borgbackup.readthedocs.io/en/stable/internals/data-structures.html#the-object-graph Tout ma réflexion sur les sauvegardes est assez caractéristique de l'amateur-qui-est-déjà-content-de-faire-des-sauvegardes sans bien réaliser tous les tenants et aboutissants, ce qui doit amuser quelque peu les experts du domaine ;-)
Re: sauvegardes: Vorta/Borgbackup et Deja-Dup/Duplicity
Le 04/08/2023 à 22:46, Sébastien Dinot a écrit : didier gaumet a écrit : Deja-Dup ne gère pas le chiffrement de la sauvegarde Il est indiqué ici [...] que les sauvegardes générées par Duplicity sont des archives TAR chiffrées. Je ne connais pas plus Deja-Dup que Duplicity, mais je serais étonné qu'un frontal graphique ne prenne pas en charge une fonction aussi essentielle. [...] Oui, je ne mettais pas en doute l'aptitude de Duplicity à chiffrer les sauvegardes *je*me*suis*trompé*, *Deja-Dup*gère*aussi*le*chiffrage*local* ma mémoire (parfois catastrophique, parfois fiable, allez comprendre) me fait un peu défaut: je me souviens avoir été confronté à un bug de Deja-Dup dans le passé, qui a été corrigé dans une version ultérieure. duplicity n'était pas affecté par cela et j'avais pu récupérer mes données avec duplicity. Du coup j'ai du mal à me souvenir exactement, mais c'est moi qui avais dû choisir après cela, par commodité, de ne plus chiffrer par Deja-dup des sauvegardes sur un disque dur externe non-chiffré, mais d'utiliser désormais des sauvegardes non-chiffrées sur un disque dur externe chiffré
Re: sauvegardes: Vorta/Borgbackup et Deja-Dup/Duplicity
Le 05/08/2023 à 01:57, Sébastien Dinot a écrit : hamster a écrit : Un logiciel qui lance automatiquement une sauvegarde a intervalle régulier, je comprend, mais si c'est sur un disque externe je vois mal comment le branchement du disque peut etre automatisé. Hors robot, le seul moyen d'arriver à ce résultat est de laisser le disque dur de sauvegarde branché en permanence ; mais c'est une très mauvaise pratique [...] pour préciser mon propos qui était un peu trop vague, explication de la situation chez moi ou chez d'autres personnes à qui j'avais paramétré ça par le passé: comme effectivement, tel que souligné par Sébastien, un disque externe branché en permanence est exposé à des risques supplémentaires tant accidentels que d'actes malveillants, le disque n'est branché qu'à la demande. la sauvegarde étant automatisée, lorsqu'elle se lance, le disque n'étant quasiment jamais branché à ce moment-là, la sauvegarde se vautre quasi-systématiquement, en notifiant l'utilisateur qu'elle reprendra lorsque le disque sera branché. Lorsque le disque est branché par l'utilisateur, elle reprend et notifie celui-ci lorsqu(elle s'est terminée. Donc on peut légitimement s'émouvoir lorsque j'évoque une automatisation, qui n'est que partielle ;-)
Re: sauvegardes: Vorta/Borgbackup et Deja-Dup/Duplicity
Le 5 août 2023 hamster a écrit : >> C'est exact. Borg fonctionne par déduplication. Virtuellement, il effectue >> une sauvegarde intégrale à chaque fois, mais dans la pratique, il ne >> sauvegarde que les blocs qui ont changé depuis la dernière sauvegarde. Pour >> le reste, il se contente de mettre à jour l'index (en gros, d'indiquer si >> les blocs sont présents ou non). > > Donc si je comprend bien, ca veut dire aussi que la sauvegarde ne pourra etre > relue que avec le logiciel kivabien ? Perso j'utilise rsnapshot qui fait de la déduplication basée sur les liens hard des filesystem. Du coup les backup sont tout simplement des répertoires classiques sur lesquels on peut utiliser tous les outils classiques : ls, find, grep, diff, etc. Sur ce point rsnapshot l'emporte.
Re: sauvegardes: Vorta/Borgbackup et Deja-Dup/Duplicity
hamster a écrit : > Un logiciel qui lance automatiquement une sauvegarde a intervalle > régulier, je comprend, mais si c'est sur un disque externe je vois mal > comment le branchement du disque peut etre automatisé. Hors robot, le seul moyen d'arriver à ce résultat est de laisser le disque dur de sauvegarde branché en permanence ; mais c'est une très mauvaise pratique, comme j'en ai témoigné sur mon blog : « Il y a une dizaine d'année, l’ordinateur d’un collègue a été victime d’un court-circuit. Tout a grillé, y compris le disque dur. Ce collègue réalisait bien des sauvegardes sur un disque externe mais ce disque était en permanence branché sur le PC. Il a grillé en même temps que la machine et un rapport concluant une étude de quatre mois a été perdu. » Sébastien -- Sébastien Dinot, sebastien.di...@free.fr http://www.palabritudes.net/ Ne goutez pas au logiciel libre, vous ne pourriez plus vous en passer !
Re: sauvegardes: Vorta/Borgbackup et Deja-Dup/Duplicity
hamster a écrit : > Donc si je comprend bien, ca veut dire aussi que la sauvegarde ne > pourra etre relue que avec le logiciel kivabien ? Exact. C'est le prix à payer. > > https://www.palabritudes.net/2020/11/21/quelques-reflexions-sur-la-sauvegarde.html > > Ca m'interesse, mais firefox me dit "erreur de chargement de la page". Oups, mon serveur était parti en quenouille au détour d'un reboot (d'ailleurs, il faudra que je lance une discussion à ce sujet ici l'un de ces jours, car je n'arrive pas à diagnostiquer le problème). C'est corrigé, la page est derechef accessible. Sébastien -- Sébastien Dinot, sebastien.di...@free.fr http://www.palabritudes.net/ Ne goutez pas au logiciel libre, vous ne pourriez plus vous en passer !
Re: sauvegardes: Vorta/Borgbackup et Deja-Dup/Duplicity
Le 04/08/2023 à 18:23, Sébastien Dinot a écrit : Le 2023-08-04 17:22, Erwan David a écrit : Dans borg, il n'y a pas de notion de complète/incrémentale. C'est exact. Borg fonctionne par déduplication. Virtuellement, il effectue une sauvegarde intégrale à chaque fois, mais dans la pratique, il ne sauvegarde que les blocs qui ont changé depuis la dernière sauvegarde. Pour le reste, il se contente de mettre à jour l'index (en gros, d'indiquer si les blocs sont présents ou non). Donc si je comprend bien, ca veut dire aussi que la sauvegarde ne pourra etre relue que avec le logiciel kivabien ? https://www.palabritudes.net/2020/11/21/quelques-reflexions-sur-la-sauvegarde.html Ca m'interesse, mais firefox me dit "erreur de chargement de la page".
Re: sauvegardes: Vorta/Borgbackup et Deja-Dup/Duplicity
Le 04/08/2023 à 16:37, didier gaumet a écrit : Deja-Dup ne gère pas le chiffrement de la sauvegarde: ça ne me gène pas parce que mon disque externe de sauvegarde lui-même est chiffré, mais ça peut être gênant. […] Vorta permet plus de flexibilité dans les fréquences de sauvegarde que Deja-Dup (uniquement quotidien ou hebdomadaire sans plus de précision, alors que Vorta peut sauvegarde toutes les trois minutes si ça vous semble pertinent) Tu parle a la fois de fréquence de sauvegarde et de disque externe. Comment ca se passe ? Un logiciel qui lance automatiquement une sauvegarde a intervalle régulier, je comprend, mais si c'est sur un disque externe je vois mal comment le branchement du disque peut etre automatisé.
Re: sauvegardes: Vorta/Borgbackup et Deja-Dup/Duplicity
Le 2023-08-04 17:22, Erwan David a écrit : Dans borg, il n'y a pas de notion de complète/incrémentale. C'est exact. Borg fonctionne par déduplication. Virtuellement, il effectue une sauvegarde intégrale à chaque fois, mais dans la pratique, il ne sauvegarde que les blocs qui ont changé depuis la dernière sauvegarde. Pour le reste, il se contente de mettre à jour l'index (en gros, d'indiquer si les blocs sont présents ou non). C'est très efficace (Borg n'est pas le seul outil à procéder par déduplication, c'est aussi ce que fait par exemple Restic), tant en terme de temps de sauvegarde (volume de données à transférer) que de stockage (les blocs ne sont sauvegardés qu'une seule fois). Certaines personnes sont effrayées par la déduplication, car elles se disent que si le secteur stockant leur plus précieux fichier vient à être corrompu ou illisible, elles perdent de facto toute copie de ce fichier. C'est vrai, mais j'ai expliqué mon point de vue à ce sujet dans un de mes articles sur la sauvegarde : https://www.palabritudes.net/2020/11/21/quelques-reflexions-sur-la-sauvegarde.html « Un dernier mot à propos de la déduplication des données. Certains voient en elle une fragilité, car chaque bloc n’est stocké qu’une seule fois sur le support de sauvegarde. Mais en réalité, la multiplicité des copies sur un même support de stockage n’apporte qu’une sécurité marginale. Si le disque flanche, c’est tout son contenu qui devient irrécupérable, peu importe alors que nous ayons sur ce disque une seule ou cent copies du fichier. La différence entre les deux stratégies ne se fait que sur l’apparition de secteurs défectueux. Pour réellement sécuriser les sauvegardes, il faut donc multiplier les supports. » Le pruning revient à supprimmer un index, puis supprimer les chunks qui ne sont plus dans aucun index. En effet. Le nettoyage des plus anciennes sauvegardes est plus simple. Mais la restauration d'une sauvegarde aussi, car il n'est pas nécessaire de calculer sur quelle sauvegarde complète il faut partir, puis quelles sauvegardes incrémentales il faut appliquer pour restaurer le fichier ou l'arborescence qui nous intéresse. On restaure la sauvegarde qui correspond au jour qui nous intéresse et Borg se charge via ses index d'aller chercher les données nécessaires. Sébastien -- Sébastien Dinot Ne goutez pas au logiciel libre, vous ne pourriez plus vous en passer ! https://www.palabritudes.net/
Re: sauvegardes: Vorta/Borgbackup et Deja-Dup/Duplicity
Le 04/08/2023 à 16:37, didier gaumet a écrit : Suite à une enfilade récente parlant de sauvegardes, j'avais dit que je regarderais un peu Vorta (GUI frontal de Borgbackup) et Borgbackup (CLI). A l'heure actuelle l'utilise un truc assez équivalent au sens où c'est un couple GUI et CLI qui produit des sauvegardes plutôt que des synchronisations, le couple Deja-Dup (GUI frontal à Duplicity) et Duplicity (CLI) - GUI: Vorta me paraît plus complet et plus complexe que Deja-Dup. Vorta permet si je me souviens bien de présenter le contenu d'une archive de sauvegarde par triage de date (ou autre) quand Deja-Dup présente des icônes triés par nom uniquement. ça ,'a l'air de rien mais ça peut être handicapant. Deja-Dup ne gère pas le chiffrement de la sauvegarde: ça ne me gène pas parce que mon disque externe de sauvegarde lui-même est chiffré, mais ça peut être gênant. Deja-Dup gère Microsift One Drive et Google Drive, pas Vorta. Vorta permet plus de flexibilité dans les fréquences de sauvegarde que Deja-Dup (uniquement quotidien ou hebdomadaire sans plus de précision, alors que Vorta peut sauvegarde toutes les trois minutes si ça vous semble pertinent) => Par contre, QUESTION: je n'ai pas compris comment je pouvais faire comme Deja-Dup: Deja-Dup crée une nouvelle sauvegarde complète tous les 90j (paramétrable dans dconf), J'ai essayé des paramètres d'élagage (pruning) dans Vorta en espérant que ça allait forcer la rre-création de sauvegardes complèrtes plutôt que continuer à faire des sauvegardes incrémentales. Mais l'élagage en lui-mêm n(a pas fonctionné donc pas de sauvegardes complètes Donc en gros, potentiellement, je conseillerais Deja-Dup pour sa simplicité d'emploi à ceux qui ont des besoins ordinaires (ou utilisent des services Google ou Microsoft) et je conseillerais Vorta à des utilisateurs plus autonomes et avertis qui ont des besoins un peu plus poussés - CLI: j'ai lu les docs sans quasiment utiliser (je suis une feignasse, pour ce genre de trucs j'utilise sans remords des outils GUI quand ça fait ce que je veux). J'ai eu l'impression que: Le développement de borgbackup est plus actif que celui de duplicity L'adoption de Borgbackup est plus importante que celle de Duplicity Les fonctionnalités de Borgbackup sont moins étendues que celles de Duplicity Voilà, c'était juste un petit retour d'expérience -minimaliste- sur ces outils? Sentez vous libre de compléter avec les vôtre, et de répondre à ma question si vous le pouvez, voire de me dire que mon approche est perfectible parce que vue du mauvais côté. Amicalement, DG. Dans borg, il n'y a pas de notion de complète/incrémentale. Tu as d'un côté des "chunks" (des blocs de données) et de l'autre des index. Un seul ensemble de chunks et chaque "sauvegarde" est un index qui vers les chunks correspondant à l'état de ta source au moment de la sauvegarde. Les chunks qui se retrouvent dans plusieurs sauvegardes (parceque les données sources n'ont pas changé par exemple) sont partagés. Donc chaque index pointe vers une sauvegarde totale, le logiciel n'a juste pas recopié ce qui était déjà dans le dépot borg. Le pruning revient à supprimmer un index, puis supprimer les chunks qui ne sont plus dans aucun index. Pas besoin de faire des totales et des incrémentales, avec ce principe de partage (qu'on trouve aussi dans les file system de type "copy on write" comme ZFS), toutes les sauvegardes sont équivalentes et le logiciel ne transfère que ce qui n'est pas déjà présent dans la sauvegarde.
sauvegardes: Vorta/Borgbackup et Deja-Dup/Duplicity
Suite à une enfilade récente parlant de sauvegardes, j'avais dit que je regarderais un peu Vorta (GUI frontal de Borgbackup) et Borgbackup (CLI). A l'heure actuelle l'utilise un truc assez équivalent au sens où c'est un couple GUI et CLI qui produit des sauvegardes plutôt que des synchronisations, le couple Deja-Dup (GUI frontal à Duplicity) et Duplicity (CLI) - GUI: Vorta me paraît plus complet et plus complexe que Deja-Dup. Vorta permet si je me souviens bien de présenter le contenu d'une archive de sauvegarde par triage de date (ou autre) quand Deja-Dup présente des icônes triés par nom uniquement. ça ,'a l'air de rien mais ça peut être handicapant. Deja-Dup ne gère pas le chiffrement de la sauvegarde: ça ne me gène pas parce que mon disque externe de sauvegarde lui-même est chiffré, mais ça peut être gênant. Deja-Dup gère Microsift One Drive et Google Drive, pas Vorta. Vorta permet plus de flexibilité dans les fréquences de sauvegarde que Deja-Dup (uniquement quotidien ou hebdomadaire sans plus de précision, alors que Vorta peut sauvegarde toutes les trois minutes si ça vous semble pertinent) => Par contre, QUESTION: je n'ai pas compris comment je pouvais faire comme Deja-Dup: Deja-Dup crée une nouvelle sauvegarde complète tous les 90j (paramétrable dans dconf), J'ai essayé des paramètres d'élagage (pruning) dans Vorta en espérant que ça allait forcer la rre-création de sauvegardes complèrtes plutôt que continuer à faire des sauvegardes incrémentales. Mais l'élagage en lui-mêm n(a pas fonctionné donc pas de sauvegardes complètes Donc en gros, potentiellement, je conseillerais Deja-Dup pour sa simplicité d'emploi à ceux qui ont des besoins ordinaires (ou utilisent des services Google ou Microsoft) et je conseillerais Vorta à des utilisateurs plus autonomes et avertis qui ont des besoins un peu plus poussés - CLI: j'ai lu les docs sans quasiment utiliser (je suis une feignasse, pour ce genre de trucs j'utilise sans remords des outils GUI quand ça fait ce que je veux). J'ai eu l'impression que: Le développement de borgbackup est plus actif que celui de duplicity L'adoption de Borgbackup est plus importante que celle de Duplicity Les fonctionnalités de Borgbackup sont moins étendues que celles de Duplicity Voilà, c'était juste un petit retour d'expérience -minimaliste- sur ces outils? Sentez vous libre de compléter avec les vôtre, et de répondre à ma question si vous le pouvez, voire de me dire que mon approche est perfectible parce que vue du mauvais côté. Amicalement, DG.
