Ma uitam după posibile soluții de deduplicare la nivel de fișier (ca la nivel de bloc de date nici măcar zfs 0.8 nu e încă soluție viabilă) cu posibilitatea de a copia/backup-a prin rsync păstrând maparile de hard link dar și fără a omorî memoria și deci serverul nici pe sursa nici pe destinație când se aduna milioane de fișiere.
Pana acum la ce am testat nu am văzut diferențe de memorie între cu și fără -H, sincer ma întreb dacă respectiva opțiune a fost luată în considerare. On Wed, 9 Oct 2019, 16:51 Petru Rațiu, <rpe...@gmail.com> wrote: > On Wed, Oct 9, 2019 at 4:31 PM Alex 'CAVE' Cernat <c...@cernat.ro> wrote: > > > --inplace poate fi o binefacere sau un blestem, in functie de > > imprejurari, de obicei prefer sa nu-l folosesc decat cand chiar e musai > > nevoie de el (better safe than sorry) > > > > revenind la oile noastre strict cu -H, tot nu am gasit vreo referinta ca > > s-ar comporta diferit daca chiar sunt hardlink-uri in sursa fata de > > cazul in care nu ar fi > > iar pentru cazul (testat) in care nu sunt, nu am vazut schimbari > > evidente in utilizarea de memorie pe parcursul transferului (cu si fara > > -H); deci nu prea inteleg momentan de ce se plange lumea de extra consum > > de memorie si posibil blocari de sistem atunci cand volumul de date si > > numarul de fisiere este semnificativ ... > > > > Alex > > > > Daca ai -H specificat senderul mentine in memorie cate un hashtable pe > fiecare device cu toate inode-urile vazute pana atunci, si daca ai un tree > foarte stufos, ala tinde sa se umfle. Poti sa te uiti si prin cod ce anume > face: https://sources.debian.org/src/rsync/3.1.3-7/hlink.c/ (de notat ca-s > tot felul de if-uri care schimba comportamentul la versiuni mai mari de 3, > n-am stat sa sap prin release notes, feel free). > > Da' de fapt, care e problema ta? > -- > P. > _______________________________________________ > RLUG mailing list > RLUG@lists.lug.ro > http://lists.lug.ro/mailman/listinfo/rlug_lists.lug.ro > _______________________________________________ RLUG mailing list RLUG@lists.lug.ro http://lists.lug.ro/mailman/listinfo/rlug_lists.lug.ro
