Re: ZFS e spazio occupato
Il 29/08/19 14:59, Bertorello, Marco ha scritto: Il 27/08/2019 11:18, Bertorello, Marco ha scritto: Il 27/08/2019 10:46, dea ha scritto: Ciao ! Anche io uso pesantemente ZFS ormai da tempo in Debian. Un file system COW (anche se ZFS non è solo un file system), per sua natura presenta una scarsa visibilità nello spazio libero (e su come agire per liberare spazio, specie se lavori con una miriade di snapshot). Altro fattore è che ZFS lavora bene con una buona dose di spazio libero, le prestazioni crollano se lo porti vicino alla saturazione. Non è che hai usato degli snapshot e che quindi hai "bloccato" dello spazio allocato ? assolutamente si! la VPS è dedicata per l'offline backup delle mie macchine virtuali. ho circa 45 (3 snapshot per 15 VM) snapshot. Il punto è proprio capire lo spazio realmente occupato per ragionare sulla possibilità di aumentare il numero di snapshot per VM Perdonami, ma quindi? Con gli snapshot non si può sapere quanto spazio si utilizza veramente? Se, come dici tu, ZFS lavora bene con abbastanza spazio libero, a maggior ragione ho bisogno di capire quanto ne ho a disposizione Si che si può capire, ma è più complesso e meno immediato. Si, ZFS lavora male (cala di prestazioni) con datastore al limite della capacità. Ti mando un link che fa un po di chiarezza: https://oshogbo.vexillium.org/blog/65/
Re: ZFS e spazio occupato
Il 27/08/2019 11:18, Bertorello, Marco ha scritto: > Il 27/08/2019 10:46, dea ha scritto: >> Ciao ! >> >> Anche io uso pesantemente ZFS ormai da tempo in Debian. >> >> Un file system COW (anche se ZFS non è solo un file system), per sua >> natura presenta una scarsa visibilità nello spazio libero (e su come >> agire per liberare spazio, specie se lavori con una miriade di snapshot). >> >> Altro fattore è che ZFS lavora bene con una buona dose di spazio >> libero, le prestazioni crollano se lo porti vicino alla saturazione. >> >> Non è che hai usato degli snapshot e che quindi hai "bloccato" dello >> spazio allocato ? > assolutamente si! > > la VPS è dedicata per l'offline backup delle mie macchine virtuali. > > ho circa 45 (3 snapshot per 15 VM) snapshot. > > Il punto è proprio capire lo spazio realmente occupato per ragionare > sulla possibilità di aumentare il numero di snapshot per VM Perdonami, ma quindi? Con gli snapshot non si può sapere quanto spazio si utilizza veramente? Se, come dici tu, ZFS lavora bene con abbastanza spazio libero, a maggior ragione ho bisogno di capire quanto ne ho a disposizione -- Marco Bertorello https://www.marcobertorello.it signature.asc Description: OpenPGP digital signature
Re: ZFS e spazio occupato
Il 27/08/2019 10:46, dea ha scritto: > > Ciao ! > > Anche io uso pesantemente ZFS ormai da tempo in Debian. > > Un file system COW (anche se ZFS non è solo un file system), per sua > natura presenta una scarsa visibilità nello spazio libero (e su come > agire per liberare spazio, specie se lavori con una miriade di snapshot). > > Altro fattore è che ZFS lavora bene con una buona dose di spazio > libero, le prestazioni crollano se lo porti vicino alla saturazione. > > Non è che hai usato degli snapshot e che quindi hai "bloccato" dello > spazio allocato ? assolutamente si! la VPS è dedicata per l'offline backup delle mie macchine virtuali. ho circa 45 (3 snapshot per 15 VM) snapshot. Il punto è proprio capire lo spazio realmente occupato per ragionare sulla possibilità di aumentare il numero di snapshot per VM -- Marco Bertorello https://www.marcobertorello.it signature.asc Description: OpenPGP digital signature
Re: ZFS e spazio occupato
Ciao ! Anche io uso pesantemente ZFS ormai da tempo in Debian. Un file system COW (anche se ZFS non è solo un file system), per sua natura presenta una scarsa visibilità nello spazio libero (e su come agire per liberare spazio, specie se lavori con una miriade di snapshot). Altro fattore è che ZFS lavora bene con una buona dose di spazio libero, le prestazioni crollano se lo porti vicino alla saturazione. Non è che hai usato degli snapshot e che quindi hai "bloccato" dello spazio allocato ? Luca
Re: ZFS e spazio occupato
Il 27/08/2019 09:34, Bertorello, Marco ha scritto: > Buongiorno lista, > > ho un dubbio relativo a ZFS. > > # zdb -DD zp1 > > DDT-sha256-zap-duplicate: 144703 entries, size 349 on disk, 200 in core > DDT-sha256-zap-unique: 1176516 entries, size 306 on disk, 159 in core > > DDT histogram (aggregated over all DDTs): > > bucket allocated referenced > __ __ __ > refcnt blocks LSIZE PSIZE DSIZE blocks LSIZE PSIZE DSIZE > -- -- - - - -- - - - > 11.12M 38.1G 23.0G 23.0G1.12M 38.1G 23.0G 23.0G > 287.8K 1.96G 1.05G 1.05G 197K 4.21G 2.26G 2.26G > 439.7K 1.41G729M729M 199K 7.04G 3.53G 3.53G > 813.2K261M132M132M 131K 2.29G 1.17G 1.17G > 16 493 3.05M 1.14M 1.14M10.4K 65.5M 24.5M 24.5M > 32 107800K271K271K4.38K 33.6M 11.8M 11.8M > 64 51374K112K112K4.62K 36.5M 11.3M 11.3M >1289163K 5.50K 5.50K1.48K 24.2M916K916K >2569 42K 4.50K 4.50K3.13K 16.0M 1.57M 1.57M >5122 1K 1K 1K1.11K566K566K566K > 1K1 8K512B512B1.28K 10.3M656K656K >16K1 8K512B512B20.3K163M 10.2M 10.2M > Total1.26M 41.7G 24.9G 24.9G1.68M 51.9G 30.0G 30.0G > ^^ > dedup = 1.21, compress = 1.73, copies = 1.00, dedup * compress / copies = 2.09 > > # zpool list > > NAME SIZE ALLOC FREE EXPANDSZ FRAGCAP DEDUP HEALTH ALTROOT > zp1 99.5G 31.7G 67.8G -39%31% 1.20x ONLINE - > ^ > > # df -h > > Filesystem Size Used Avail Use% Mounted on > udev3.4G 0 3.4G 0% /dev > tmpfs 697M 916K 696M 1% /run > /dev/mapper/localhost--vg-root 112G 104G 6.5G 95% / > tmpfs 3.5G 0 3.5G 0% /dev/shm > tmpfs 5.0M 0 5.0M 0% /run/lock > tmpfs 3.5G 0 3.5G 0% /sys/fs/cgroup > /dev/sda1 236M 46M 178M 21% /boot > zp1 65G 0 65G 0% /zp1 > zp1/backup 65G 0 65G 0% /zp1/backup > zp1/backup/subvol-109-disk-0 67G 2.3G 65G 4% > /zp1/backup/subvol-109-disk-0 > tmpfs 697M 0 697M 0% /run/user/0 > zp1/backup/subvol-110-disk-0 75G 11G 65G 14% > /zp1/backup/subvol-110-disk-0 > zp1/backup/subvol-111-disk-0 66G 1.4G 65G 3% > /zp1/backup/subvol-111-disk-0 > zp1/backup/subvol-105-disk-0 67G 1.9G 65G 3% > /zp1/backup/subvol-105-disk-0 > zp1/backup/subvol-106-disk-0 68G 2.7G 65G 4% > /zp1/backup/subvol-106-disk-0 > zp1/backup/subvol-100-disk-0 66G 551M 65G 1% > /zp1/backup/subvol-100-disk-0 > zp1/backup/subvol-114-disk-0 66G 794M 65G 2% > /zp1/backup/subvol-114-disk-0 > zp1/backup/subvol-103-disk-0 66G 1.4G 65G 2% > /zp1/backup/subvol-103-disk-0 > zp1/backup/subvol-101-disk-0 66G 943M 65G 2% > /zp1/backup/subvol-101-disk-0 > zp1/backup/subvol-107-disk-0 66G 1.2G 65G 2% > /zp1/backup/subvol-107-disk-0 > zp1/backup/subvol-112-disk-0 66G 643M 65G 1% > /zp1/backup/subvol-112-disk-0 > zp1/backup/subvol-113-disk-0 71G 6.3G 65G 9% > /zp1/backup/subvol-113-disk-0 > zp1/backup/subvol-104-disk-0 66G 1.3G 65G 2% > /zp1/backup/subvol-104-disk-0 > > Il dubbio è: quanto spazio sto effettivamente utilizzando? > > 41.7 GB dovrebbe essere lo spazio effettivamente utilizzato al netto della > deduplica, a fronte di 51.9 GB di dati. > > Ma allora perchè zpool list mi dice di averne allocati solo 31.7 GB? > > Inoltre, perchè df non mi fa vedere lo spazio occupato da zp1 e/o zp1/backup, > ma solo dai sottovolumi montati? > Per esempio, ci sono almeno altri 2 sottovolumi, non montati, con i relativi > snapshots, che occupano spazio. > > zp1 è un file da 100 GB (purtroppo essendo una vps non potevo fare > diversamente). > Sono attive sia deduplica che compressione. > > Grazie mille per le delucidazioni Ho dimenticato zfs list: # zfs list NAME USED AVAIL REFER MOUNTPOINT zp1 36.8G 64.6G24K /zp1 zp1/backup36.2G 64.6G32K /zp1/backup zp1/backup/subvol-100-disk-0 553M 64.6G 551M /zp1/backup/subvol-100-disk-0 zp1/backup/subvol-101-disk-0 951M 64.6G 943M /zp1/backup/subvol-101-disk-0 zp1/backup/subvol-103-disk-0 1.48G 64.6G 1.31G /zp1/backup/subvol-103-disk-0 zp1/backup/subvol-104-disk-0 1.22G 64.6G 1.22G
