On 9/26/23 14:51, Alex 'CAVE' Cernat via RLUG wrote:
On 26-Sep-23 14:36, Adrian Sevcenco via RLUG wrote:
Din ce stiu la raid6 e detectabila notiunea de chunk corupt si se
reface (cu repair in loc de check) dar pentru raid1 am inteles ca
solutia pentru bit-rot e sa pui sub raid1 un dm-integrity
bine am citit si raid6 facut peste dm-integrity dar nu vad rostul
Adrian
la raid6+ da, pentru ca ai 2+ paritati (presupunand ca raidul e 100%
functional cu toate hardurile, daca nu ... cred ca sanatate), insa mai
fiecare chunk are si celelate 2 paritati, cu 2 discuri cazute poti sa
faci rebuild chiar si in productie ... doar ca iti cam tzatzaie
backside-ul ca rebuildul in productie poate dura si mai mult de o
saptamana si daca ai un un-recoverable error la ce ai in rest in timpul
rebuild-ului atunci chiar ai pierdut tot (poti sa ai nroc si sa
lamuresti md-ul ca ce i se pare lui ca lipsestes in mod ne-recuperabil
de fapt e ok si apoi sa iti mearga fsck-ul pe ce se vede in sistemul de
fisiere si sa ai doar un numar de indouri lipsa)
Dupa primele 2x100 TB pierdute acum scot direct din productie md-urile
cu 2 discuri picate, dar nu s-a mai intimplat de atunci (era o masina
dubioasa cu cablaj dubios la expandere etc)
jos cutzu, poti detecta eroarea citind de pe disc, dar nu ai de unde sa
stii care date sunt cele corecte
de aia la zfs au bagat din start checksumming, acolo integritatea
datelor se testeaza chiar on-the-fly si repararea asisderea (cat timp nu
esti marele ghinionist sa ti se beleasca fix chunkurile care trebuie
:-P); si asta la orice fel de raid, inclusiv mirror; la non-raid, doar
stii ca ai pus-o de mamaliga, eventual poate te apuci de brute-force sa
reconstitui datele :-D
din punctul meu de vedere zfs-ul e irelevant atat timp cat nu exista in
kernel .. evident punctul meu de vedere e irelevant, dar sunt multi
oameni cu mult hardware in spate care gandesc (si actioneaza) la fel ...
pe aceiasi idee in cercul meu "social" ferme de gpu computing cu nvidia
au fost inlocuite cu insticturile de la amd ...
in plus tin minte ca acum ani de zile a fost testat la profilul nostru
de load-uri si a fost categorisit ca imposibil de utilizat :D
noi (cercul meu "social" :) ) folosim un sistem numit EOS, ce e un fel
de sistem distribuit de fisiere (ce foloseste fs-uri existente pe masina
deci nu raw block deviceuri) ce are si checksumming si stie si modele de
redundanta, doar ca are niste quirk-uri ce pentru oameni saraci ca mine
(4 PB) il fac un pic detrimental utilizarii, desi ar fi niste facilitati
obligatorii pentru siguranta datelor (in fault mode, daca nu gaseste
prin cluster un fs pentru recovery atunci blocheaza cel putin write-ul
la grupul respectiv de fs-uri)
Mno, nu e vineri dar mi-a fost dor de o flama pe aici ... am putea sa
mai bagam ca prea e liniste :D
idem pe la san-uri si (macar) unele hw raid, doar ca pe acolo sunt mai
NAS-uri vrei sa zici ? sa san-urile sunt mai multe discuri prin diverse
locuri in data center la care au access 1 sau mai multe servere (prin
SAS) .. e ca si cum ar fi in carcasa (asa cum in curand o sa fie
memoria, gpu-uri, NIC-uri/DPU-uri, NVME etc prin CXL)
mult sau mai putin "invaluite in magie", ca nu ai acces low level
mda, acum 15-20 ani am fost fan la placile raid hw dar dupa niste
intimplari (legate si de faptul ca la noi servere pot sa fie in
productie si dupa 10 ani) m-am jurat ca nu mai folosesc asa ceva vreodata
Adrian
_______________________________________________
RLUG mailing list
RLUG@lists.lug.ro
http://lists.lug.ro/mailman/listinfo/rlug_lists.lug.ro
