Hiho, ich habe ein Tool gefunden, das mir gut gefaellt und ich dachte, ich lasse euch mal dran teilhaben:
https://github.com/zbackup/zbackup zbackup ist ein kleines Werkzeug zur Deduplikation - also Entfernung von redundanten Daten - in single file Backups. Wozu braucht man das? Angenommen ich erzeuge regelmaeszig zum Archivieren ein tar von bestimmten Daten und moechte das irgendwo extern (auf einer Festplatte die ich irgendwo einschliesse z.B.) wegspeichern. Das tue ich zum Beispiel so mit den Backups, die mein rsnapshot mir naechtlich anlegt. Mir bleibt dann in der Regel nichts anderes uebrig als jedes mal ein neues tar anzulegen - entweder ueber die gesamte Datenmenge oder ueber die Dateien, die sich geaendert haben. Das kann bei grossen Dateien schonmal nervig werden. Beispiel: wenige Byte der Datei aendern sich, dennoch muss die ganze Datei gespeichert werden). Das fuehrt zu relativ grossen Archiven in denen im Endeffekt viele der Daten uebereinstimmen. Wenn ich mehrere davon archivieren moechte, brauche ich also relativ viel Platz um immer wieder die gleichen Informationen in den Archiven zu speichern - das kann man aus Sicherheitsgruenden wollen, es waere aber schoen, das nicht zu muessen. zbackup kann diese (unkomprimierten) tar-archive entgegennehmen und speichert sie in kleinen bloecken in einem proprietaeren aber quelloffenen Format. Jeder einzelne der Bloecke wird komprimiert und auf Wunsch auch verschluesselt. Das ganze passiert unix-chic ueber das pipen des tar-Archives in das Tool. Durch einen Sliding-Window-Mechanismus werden wiederkehrende Bloecke oftmals erkannt und brauchen nicht erneut gespeichert werden. Aehnlich werden die Daten wieder reproduziert: Beim Restore werden die einzelnen Bloecke wieder zusammengestueckelt und so das originalfile reproduziert. Damit das funktioniert, sollten die Quelldateien nicht komprimiert sein, da Kompression in sich ja schon eine Reduktion um Redundanzen ist - die allerdings ueber groessere Datenmengen effizienter sein kann als wenn man jede Datei einzeln komprimiert. Das resultierende Repository mit den Bloecken laesst sich ohne Probleme effizient mit rsync auf eine externe Maschine uebertragen oder auf ein anderes Medium kopieren, da darauf geachtet wird, dass moeglichst wenige Dateien geaendert werden. Das Tool steckt in den Kinderschuhen, gerade tut sich sehr viel und ich empfehle es noch nicht fuer produktiven Einsatz. Alles in allem sieht das aber sehr vielversprechend aus. Auch der Entwickler ist sehr antwortfreudig und hilfsbereit, was ein gutes Zeichen ist. Liebe Gruesse, Joel /jbn -- Joel Brunenberg - Troisdorf PGP: 0xAD25981C
signature.asc
Description: Digital signature
_______________________________________________ Trolug_trolug.de mailing list [email protected] https://ml01.ispgateway.de/mailman/listinfo/trolug_trolug.de
