2013/5/28 Andrei-Florian Staicu <[email protected]> > Salut, > > Am nevoie sa generez repede* un fisier destul de aleator (i.e. care sa nu > fie prea comprimabil cu gzip) de 1TB. > Am incercat cu dd if=/dev/urandom bs=4194304 count=262144 of=/tapetest, dar > merge cam greu, cam 8MBps. Care dd mai foloseste si 100% un core. > Cam toata lumea zice ca urandom nu e bun pentru fisiere mari, dar care e > alternativa? > Aveti vreo idee? > > Merci. > > *daca se poate, cat ma tin discurile din storage. >
Daca doar pt. gzip te intereseaza, nu ai nevoie sa fie cu adevarat random, ci doar sa nu isi poata face el dictionar. Din ce vad la o prima vedere blocul maxim e de 900k (cand ii dai -9), deci ma astept ca daca creezi un bloc random mai mare de 1MB si-l concatenezi de X ori sa-l pierzi. Preferabil trunchiaza blocul cu pricina la un numar prim de biti (de peste 1 milion). Daca citesc printre randuri, cred ca vrei sa faci teste de IO la un fs care are compresie (zfs, wafl sau ce naiba se mai e la moda). In cazul asta vezi cat e blocul fs-ului cu pricina si inlocuieste si tu 1MB din paragraful de mai sus cu cat e, dupa are whlie true; cat block.txt >> testfile ; done (o sa-l ia din cache-ulo e disc dupa prima iteratie asa ca nu esti limitat de io la citire). Parerea mea, n-am testat, samd, samd, samd. PS: also urandom e pseudo-random, e posibil ca daca golesti sistemul de entropie sa iti dea rahaturi care nu-l pacalesc pe gzip. -- P. _______________________________________________ RLUG mailing list [email protected] http://lists.lug.ro/mailman/listinfo/rlug
