Thanks for you reply. I am writing very few data on zil:
./zilstat.ksh -t 5 TIME N-Bytes N-Bytes/s N-Max-Rate B-Bytes B-Bytes/s B-Max-Rate ops <=4kB 4-32kB >=32kB 2018 Jun 21 17:58:53 106560 21312 106560 860160 172032 860160 8 0 0 8 2018 Jun 21 17:58:58 2288 457 2288 262144 52428 262144 2 0 0 2 2018 Jun 21 17:59:03 1949816 389963 1935408 5373952 1074790 4456448 41 0 0 41 2018 Jun 21 17:59:08 0 0 0 0 0 0 0 0 0 0 2018 Jun 21 17:59:13 0 0 0 0 0 0 0 0 0 0 2018 Jun 21 17:59:18 888 177 888 131072 26214 131072 1 0 0 1 2018 Jun 21 17:59:23 414512 82902 414512 1310720 262144 1310720 10 0 0 10 2018 Jun 21 17:59:28 2288 457 2288 262144 52428 262144 2 0 0 2 2018 Jun 21 17:59:33 8568 1713 8568 131072 26214 131072 1 0 0 1 2018 Jun 21 17:59:38 31272 6254 31272 393216 78643 393216 3 0 0 3 2018 Jun 21 17:59:43 888 177 888 131072 26214 131072 1 0 0 1 2018 Jun 21 17:59:48 0 0 0 0 0 0 0 0 0 0 2018 Jun 21 17:59:53 548384 109676 548384 3223552 644710 3223552 44 0 0 44 2018 Jun 21 17:59:58 2288 457 2288 262144 52428 262144 2 0 0 2 2018 Jun 21 18:00:03 405088 81017 305456 2433024 486604 1122304 20 0 0 20 Do you know why i am writing lot of data on disk pool (my 7 VMS are only online without write opération), not on zil ssd (but sync=always ! ). With 40 VM with no disk activity on it, i flush to data disk approximatively 30 MB every 5 seconds. What type of data is it (metadata ?) How can i readuce data write on disks ? Best regards 2018-06-21 14:51 GMT+02:00 Linda Kateley <lkate...@kateley.com>: > You should be able to get zilstat(just google) and get much more details > on what is happening in zil. > > I haven't done this for awhile in omni, but I increase the transaction > timeout in freebsd or linux quite often. The 5 seconds is set by a > variable. Put this into /etc/system and reboot. > > *set zfs:zfs_txg_timeout = 1* > > Quite often with zfs you won't see disk activity. That is it's beauty. All > of what you need is probably running from ram. > > Linda > > > On 6/21/18 5:50 AM, anthony omnios wrote: > > Hi, > > i am testing a new plateform with OmniosCe with 7 VM on zvol with ISCSI > comstar. > > I have set sync=always for all zvol and i have 2 ssd intel 3700 for zil > and two mirror ssd for data. > > Data Disk are samsung 850 evo (ashift=13). > > My problem is that the pool commit to data disk approximatively 5MB every > 5 second but i have only few data is write on zil (sync=always on zvol) and > my 7 vm are only up with no disk activity. > > With 40 VM with no disk activity on it, i flush to data disk > approximatively 30 MB every 5 seconds. > > How can i write a lot of data on data disk without network iscsi trafic > and no disk activity on VM and no disk activity on zil ? What type of data > is it (metadata ?) ? > > zpool status > pool: filervm2 > state: ONLINE > scan: resilvered 0 in 0h0m with 0 errors on Mon Jun 4 17:46:40 2018 > config: > > NAME STATE READ WRITE CKSUM > filervm2 ONLINE 0 0 0 > mirror-0 ONLINE 0 0 0 > c0t5002538E40102BECd0 ONLINE 0 0 0 > c0t5002538E40264251d0 ONLINE 0 0 0 > logs > mirror-1 ONLINE 0 0 0 > c0t55CD2E404B73F8F1d0 ONLINE 0 0 0 > c0t55CD2E404C270DD9d0 ONLINE 0 0 0 > > iostat -xn -d 1 : > > extended device statistics > r/s w/s kr/s kw/s wait actv wsvc_t asvc_t %w %b device > 2,0 39,4 80,6 2014,5 0,2 0,0 5,4 0,4 0 1 filervm2 > 0,0 0,9 0,3 12,1 0,1 0,0 89,9 3,7 0 0 rpool > 0,0 0,5 0,1 6,0 0,0 0,0 0,0 3,4 0 0 > c0t55CD2E414D2D4782d0 > 0,0 0,5 0,1 6,0 0,0 0,0 0,0 3,4 0 0 > c0t55CD2E414D2D4713d0 > 0,0 14,5 0,0 476,5 0,0 0,0 0,0 0,4 0 0 > c0t55CD2E404B73F8F1d0 > 0,0 8,9 0,0 476,5 0,0 0,0 0,0 0,3 0 0 > c0t55CD2E404C270DD9d0 > 1,0 11,0 40,3 530,8 0,0 0,0 0,0 0,2 0 0 > c0t5002538E40102BECd0 > 1,0 11,0 40,3 530,8 0,0 0,0 0,0 0,2 0 0 > c0t5002538E40264251d0 > extended device statistics > r/s w/s kr/s kw/s wait actv wsvc_t asvc_t %w %b device > 0,0 20,0 0,0 304,0 0,0 0,0 0,0 0,2 0 0 filervm2 > 0,0 0,0 0,0 0,0 0,0 0,0 0,0 0,0 0 0 rpool > 0,0 0,0 0,0 0,0 0,0 0,0 0,0 0,0 0 0 > c0t55CD2E414D2D4782d0 > 0,0 0,0 0,0 0,0 0,0 0,0 0,0 0,0 0 0 > c0t55CD2E414D2D4713d0 > 0,0 20,0 0,0 152,0 0,0 0,0 0,0 0,1 0 0 > c0t55CD2E404B73F8F1d0 > 0,0 10,0 0,0 152,0 0,0 0,0 0,0 0,1 0 0 > c0t55CD2E404C270DD9d0 > 0,0 0,0 0,0 0,0 0,0 0,0 0,0 0,0 0 0 > c0t5002538E40102BECd0 > 0,0 0,0 0,0 0,0 0,0 0,0 0,0 0,0 0 0 > c0t5002538E40264251d0 > extended device statistics > r/s w/s kr/s kw/s wait actv wsvc_t asvc_t %w %b device > 0,0 0,0 0,0 0,0 0,0 0,0 0,0 0,0 0 0 filervm2 > 0,0 0,0 0,0 0,0 0,0 0,0 0,0 0,0 0 0 rpool > 0,0 0,0 0,0 0,0 0,0 0,0 0,0 0,0 0 0 > c0t55CD2E414D2D4782d0 > 0,0 0,0 0,0 0,0 0,0 0,0 0,0 0,0 0 0 > c0t55CD2E414D2D4713d0 > 0,0 0,0 0,0 0,0 0,0 0,0 0,0 0,0 0 0 > c0t55CD2E404B73F8F1d0 > 0,0 0,0 0,0 0,0 0,0 0,0 0,0 0,0 0 0 > c0t55CD2E404C270DD9d0 > 0,0 0,0 0,0 0,0 0,0 0,0 0,0 0,0 0 0 > c0t5002538E40102BECd0 > 0,0 0,0 0,0 0,0 0,0 0,0 0,0 0,0 0 0 > c0t5002538E40264251d0 > extended device statistics > r/s w/s kr/s kw/s wait actv wsvc_t asvc_t %w %b device > 0,0 212,1 0,0 9826,4 1,9 0,1 8,8 0,3 3 3 filervm2 > 0,0 0,0 0,0 0,0 0,0 0,0 0,0 0,0 0 0 rpool > 0,0 0,0 0,0 0,0 0,0 0,0 0,0 0,0 0 0 > c0t55CD2E414D2D4782d0 > 0,0 0,0 0,0 0,0 0,0 0,0 0,0 0,0 0 0 > c0t55CD2E414D2D4713d0 > 0,0 11,0 0,0 56,0 0,0 0,0 0,0 0,1 0 0 > c0t55CD2E404B73F8F1d0 > 0,0 5,0 0,0 56,0 0,0 0,0 0,0 0,1 0 0 > c0t55CD2E404C270DD9d0 > 0,0 101,0 0,0 4857,2 0,0 0,0 0,0 0,2 0 2 > c0t5002538E40102BECd0 > 0,0 105,0 0,0 4857,2 0,0 0,0 0,0 0,2 0 2 > c0t5002538E40264251d0 > extended device statistics > r/s w/s kr/s kw/s wait actv wsvc_t asvc_t %w %b device > 0,0 38,0 0,0 735,5 0,0 0,0 0,0 0,2 0 0 filervm2 > 0,0 0,0 0,0 0,0 0,0 0,0 0,0 0,0 0 0 rpool > 0,0 0,0 0,0 0,0 0,0 0,0 0,0 0,0 0 0 > c0t55CD2E414D2D4782d0 > 0,0 0,0 0,0 0,0 0,0 0,0 0,0 0,0 0 0 > c0t55CD2E414D2D4713d0 > 0,0 37,0 0,0 367,7 0,0 0,0 0,0 0,1 0 0 > c0t55CD2E404B73F8F1d0 > 0,0 19,0 0,0 367,7 0,0 0,0 0,0 0,1 0 0 > c0t55CD2E404C270DD9d0 > 0,0 0,0 0,0 0,0 0,0 0,0 0,0 0,0 0 0 > c0t5002538E40102BECd0 > 0,0 0,0 0,0 0,0 0,0 0,0 0,0 0,0 0 0 > c0t5002538E40264251d0 > extended device statistics > r/s w/s kr/s kw/s wait actv wsvc_t asvc_t %w %b device > 0,0 8,0 0,0 64,0 0,0 0,0 0,0 0,2 0 0 filervm2 > 0,0 0,0 0,0 0,0 0,0 0,0 0,0 0,0 0 0 rpool > 0,0 0,0 0,0 0,0 0,0 0,0 0,0 0,0 0 0 > c0t55CD2E414D2D4782d0 > 0,0 0,0 0,0 0,0 0,0 0,0 0,0 0,0 0 0 > c0t55CD2E414D2D4713d0 > 0,0 8,0 0,0 32,0 0,0 0,0 0,0 0,1 0 0 > c0t55CD2E404B73F8F1d0 > 0,0 4,0 0,0 32,0 0,0 0,0 0,0 0,1 0 0 > c0t55CD2E404C270DD9d0 > 0,0 0,0 0,0 0,0 0,0 0,0 0,0 0,0 0 0 > c0t5002538E40102BECd0 > 0,0 0,0 0,0 0,0 0,0 0,0 0,0 0,0 0 0 > c0t5002538E40264251d0 > extended device statistics > r/s w/s kr/s kw/s wait actv wsvc_t asvc_t %w %b device > 0,0 4,0 0,0 32,0 0,0 0,0 0,0 0,2 0 0 filervm2 > 0,0 0,0 0,0 0,0 0,0 0,0 0,0 0,0 0 0 rpool > 0,0 0,0 0,0 0,0 0,0 0,0 0,0 0,0 0 0 > c0t55CD2E414D2D4782d0 > 0,0 0,0 0,0 0,0 0,0 0,0 0,0 0,0 0 0 > c0t55CD2E414D2D4713d0 > 0,0 4,0 0,0 16,0 0,0 0,0 0,0 0,1 0 0 > c0t55CD2E404B73F8F1d0 > 0,0 2,0 0,0 16,0 0,0 0,0 0,0 0,1 0 0 > c0t55CD2E404C270DD9d0 > 0,0 0,0 0,0 0,0 0,0 0,0 0,0 0,0 0 0 > c0t5002538E40102BECd0 > 0,0 0,0 0,0 0,0 0,0 0,0 0,0 0,0 0 0 > c0t5002538E40264251d0 > extended device statistics > r/s w/s kr/s kw/s wait actv wsvc_t asvc_t %w %b device > 0,0 0,0 0,0 0,0 0,0 0,0 0,0 0,0 0 0 filervm2 > 0,0 0,0 0,0 0,0 0,0 0,0 0,0 0,0 0 0 rpool > 0,0 0,0 0,0 0,0 0,0 0,0 0,0 0,0 0 0 > c0t55CD2E414D2D4782d0 > 0,0 0,0 0,0 0,0 0,0 0,0 0,0 0,0 0 0 > c0t55CD2E414D2D4713d0 > 0,0 0,0 0,0 0,0 0,0 0,0 0,0 0,0 0 0 > c0t55CD2E404B73F8F1d0 > 0,0 0,0 0,0 0,0 0,0 0,0 0,0 0,0 0 0 > c0t55CD2E404C270DD9d0 > 0,0 0,0 0,0 0,0 0,0 0,0 0,0 0,0 0 0 > c0t5002538E40102BECd0 > 0,0 0,0 0,0 0,0 0,0 0,0 0,0 0,0 0 0 > c0t5002538E40264251d0 > extended device statistics > r/s w/s kr/s kw/s wait actv wsvc_t asvc_t %w %b device > 0,0 239,1 0,0 11491,4 2,6 0,1 10,9 0,3 3 3 filervm2 > 0,0 0,0 0,0 0,0 0,0 0,0 0,0 0,0 0 0 rpool > 0,0 0,0 0,0 0,0 0,0 0,0 0,0 0,0 0 0 > c0t55CD2E414D2D4782d0 > 0,0 0,0 0,0 0,0 0,0 0,0 0,0 0,0 0 0 > c0t55CD2E414D2D4713d0 > 0,0 1,0 0,0 0,0 0,0 0,0 0,0 0,0 0 0 > c0t55CD2E404B73F8F1d0 > 0,0 0,0 0,0 0,0 0,0 0,0 0,0 0,0 0 0 > c0t55CD2E404C270DD9d0 > 0,0 118,0 0,0 5745,7 0,0 0,0 0,0 0,2 0 2 > c0t5002538E40102BECd0 > 0,0 125,0 0,0 5745,7 0,0 0,0 0,0 0,2 0 2 > c0t5002538E40264251d0 > extended device statistics > r/s w/s kr/s kw/s wait actv wsvc_t asvc_t %w %b device > 0,0 0,0 0,0 0,0 0,0 0,0 0,0 0,0 0 0 filervm2 > 0,0 0,0 0,0 0,0 0,0 0,0 0,0 0,0 0 0 rpool > 0,0 0,0 0,0 0,0 0,0 0,0 0,0 0,0 0 0 > c0t55CD2E414D2D4782d0 > 0,0 0,0 0,0 0,0 0,0 0,0 0,0 0,0 0 0 > c0t55CD2E414D2D4713d0 > 0,0 0,0 0,0 0,0 0,0 0,0 0,0 0,0 0 0 > c0t55CD2E404B73F8F1d0 > 0,0 0,0 0,0 0,0 0,0 0,0 0,0 0,0 0 0 > c0t55CD2E404C270DD9d0 > 0,0 0,0 0,0 0,0 0,0 0,0 0,0 0,0 0 0 > c0t5002538E40102BECd0 > 0,0 0,0 0,0 0,0 0,0 0,0 0,0 0,0 0 0 > c0t5002538E40264251d0 > extended device statistics > r/s w/s kr/s kw/s wait actv wsvc_t asvc_t %w %b device > 0,0 0,0 0,0 0,0 0,0 0,0 0,0 0,0 0 0 filervm2 > 0,0 0,0 0,0 0,0 0,0 0,0 0,0 0,0 0 0 rpool > 0,0 0,0 0,0 0,0 0,0 0,0 0,0 0,0 0 0 > c0t55CD2E414D2D4782d0 > 0,0 0,0 0,0 0,0 0,0 0,0 0,0 0,0 0 0 > c0t55CD2E414D2D4713d0 > 0,0 0,0 0,0 0,0 0,0 0,0 0,0 0,0 0 0 > c0t55CD2E404B73F8F1d0 > 0,0 0,0 0,0 0,0 0,0 0,0 0,0 0,0 0 0 > c0t55CD2E404C270DD9d0 > 0,0 0,0 0,0 0,0 0,0 0,0 0,0 0,0 0 0 > c0t5002538E40102BECd0 > 0,0 0,0 0,0 0,0 0,0 0,0 0,0 0,0 0 0 > c0t5002538E40264251d0 > extended device statistics > r/s w/s kr/s kw/s wait actv wsvc_t asvc_t %w %b device > 0,0 0,0 0,0 0,0 0,0 0,0 0,0 0,0 0 0 filervm2 > 0,0 0,0 0,0 0,0 0,0 0,0 0,0 0,0 0 0 rpool > 0,0 0,0 0,0 0,0 0,0 0,0 0,0 0,0 0 0 > c0t55CD2E414D2D4782d0 > 0,0 0,0 0,0 0,0 0,0 0,0 0,0 0,0 0 0 > c0t55CD2E414D2D4713d0 > 0,0 0,0 0,0 0,0 0,0 0,0 0,0 0,0 0 0 > c0t55CD2E404B73F8F1d0 > 0,0 0,0 0,0 0,0 0,0 0,0 0,0 0,0 0 0 > c0t55CD2E404C270DD9d0 > 0,0 0,0 0,0 0,0 0,0 0,0 0,0 0,0 0 0 > c0t5002538E40102BECd0 > 0,0 0,0 0,0 0,0 0,0 0,0 0,0 0,0 0 0 > c0t5002538E40264251d0 > extended device statistics > r/s w/s kr/s kw/s wait actv wsvc_t asvc_t %w %b device > 0,0 18,0 0,0 272,1 0,0 0,0 0,0 0,5 0 0 filervm2 > 0,0 0,0 0,0 0,0 0,0 0,0 0,0 0,0 0 0 rpool > 0,0 0,0 0,0 0,0 0,0 0,0 0,0 0,0 0 0 > c0t55CD2E414D2D4782d0 > 0,0 0,0 0,0 0,0 0,0 0,0 0,0 0,0 0 0 > c0t55CD2E414D2D4713d0 > 0,0 18,0 0,0 136,0 0,0 0,0 0,0 0,1 0 0 > c0t55CD2E404B73F8F1d0 > 0,0 9,0 0,0 136,0 0,0 0,0 0,0 0,2 0 0 > c0t55CD2E404C270DD9d0 > 0,0 0,0 0,0 0,0 0,0 0,0 0,0 0,0 0 0 > c0t5002538E40102BECd0 > 0,0 0,0 0,0 0,0 0,0 0,0 0,0 0,0 0 0 > c0t5002538E40264251d0 > extended device statistics > r/s w/s kr/s kw/s wait actv wsvc_t asvc_t %w %b device > 0,0 168,0 0,0 6336,8 0,9 0,1 5,4 0,3 2 3 filervm2 > 0,0 0,0 0,0 0,0 0,0 0,0 0,0 0,0 0 0 rpool > 0,0 0,0 0,0 0,0 0,0 0,0 0,0 0,0 0 0 > c0t55CD2E414D2D4782d0 > 0,0 0,0 0,0 0,0 0,0 0,0 0,0 0,0 0 0 > c0t55CD2E414D2D4713d0 > 0,0 15,0 0,0 96,0 0,0 0,0 0,0 0,1 0 0 > c0t55CD2E404B73F8F1d0 > 0,0 7,0 0,0 96,0 0,0 0,0 0,0 0,1 0 0 > c0t55CD2E404C270DD9d0 > 0,0 76,0 0,0 3072,4 0,0 0,0 0,0 0,2 0 2 > c0t5002538E40102BECd0 > 0,0 82,0 0,0 3072,4 0,0 0,0 0,0 0,2 0 2 > c0t5002538E40264251d0 > extended device statistics > r/s w/s kr/s kw/s wait actv wsvc_t asvc_t %w %b device > 0,0 0,0 0,0 0,0 0,0 0,0 0,0 0,0 0 0 filervm2 > 0,0 0,0 0,0 0,0 0,0 0,0 0,0 0,0 0 0 rpool > 0,0 0,0 0,0 0,0 0,0 0,0 0,0 0,0 0 0 > c0t55CD2E414D2D4782d0 > 0,0 0,0 0,0 0,0 0,0 0,0 0,0 0,0 0 0 > c0t55CD2E414D2D4713d0 > 0,0 0,0 0,0 0,0 0,0 0,0 0,0 0,0 0 0 > c0t55CD2E404B73F8F1d0 > 0,0 0,0 0,0 0,0 0,0 0,0 0,0 0,0 0 0 > c0t55CD2E404C270DD9d0 > 0,0 0,0 0,0 0,0 0,0 0,0 0,0 0,0 0 0 > c0t5002538E40102BECd0 > 0,0 0,0 0,0 0,0 0,0 0,0 0,0 0,0 0 0 > c0t5002538E40264251d0 > extended device statistics > r/s w/s kr/s kw/s wait actv wsvc_t asvc_t %w %b device > 0,0 0,0 0,0 0,0 0,0 0,0 0,0 0,0 0 0 filervm2 > 0,0 0,0 0,0 0,0 0,0 0,0 0,0 0,0 0 0 rpool > 0,0 0,0 0,0 0,0 0,0 0,0 0,0 0,0 0 0 > c0t55CD2E414D2D4782d0 > 0,0 0,0 0,0 0,0 0,0 0,0 0,0 0,0 0 0 > c0t55CD2E414D2D4713d0 > 0,0 0,0 0,0 0,0 0,0 0,0 0,0 0,0 0 0 > c0t55CD2E404B73F8F1d0 > 0,0 0,0 0,0 0,0 0,0 0,0 0,0 0,0 0 0 > c0t55CD2E404C270DD9d0 > 0,0 0,0 0,0 0,0 0,0 0,0 0,0 0,0 0 0 > c0t5002538E40102BECd0 > 0,0 0,0 0,0 0,0 0,0 0,0 0,0 0,0 0 0 > c0t5002538E40264251d0 > > zfs get all filervm2/hdd-110133a > NAME PROPERTY VALUE > SOURCE > filervm2/hdd-110133a type volume > - > filervm2/hdd-110133a creation mer. juin 20 17:38 > 2018 - > filervm2/hdd-110133a used 1,80G > - > filervm2/hdd-110133a available 860G > - > filervm2/hdd-110133a referenced 2,28G > - > filervm2/hdd-110133a compressratio 1.74x > - > filervm2/hdd-110133a origin filervm2/template-ha-centos7-6 > 4bits@template1 - > filervm2/hdd-110133a reservation none > default > filervm2/hdd-110133a volsize 25G > local > filervm2/hdd-110133a volblocksize 64K > - > filervm2/hdd-110133a checksum on > default > filervm2/hdd-110133a compression lz4 > local > filervm2/hdd-110133a readonly off > default > filervm2/hdd-110133a copies 1 > default > filervm2/hdd-110133a refreservation none > default > filervm2/hdd-110133a primarycache all > default > filervm2/hdd-110133a secondarycache all > default > filervm2/hdd-110133a usedbysnapshots 150M > - > filervm2/hdd-110133a usedbydataset 1,65G > - > filervm2/hdd-110133a usedbychildren 0 > - > filervm2/hdd-110133a usedbyrefreservation 0 > - > filervm2/hdd-110133a logbias latency > default > filervm2/hdd-110133a dedup off > default > filervm2/hdd-110133a mlslabel none > default > filervm2/hdd-110133a sync always > local > filervm2/hdd-110133a refcompressratio 1.67x > - > filervm2/hdd-110133a written 6,21M > - > filervm2/hdd-110133a logicalused 3,09G > - > filervm2/hdd-110133a logicalreferenced 3,81G > - > filervm2/hdd-110133a snapshot_limit none > default > filervm2/hdd-110133a snapshot_count none > default > filervm2/hdd-110133a redundant_metadata all > default > > > Best regards, > > Anthony > > > > > _______________________________________________ > OmniOS-discuss mailing > listOmniOS-discuss@lists.omniti.comhttp://lists.omniti.com/mailman/listinfo/omnios-discuss > > >
_______________________________________________ OmniOS-discuss mailing list OmniOS-discuss@lists.omniti.com http://lists.omniti.com/mailman/listinfo/omnios-discuss