Actually this does not seem correct: SUnreclaim: 95407476 kB
Shouldn't this be a lot smaller? -Simran On Mon, Apr 19, 2010 at 10:16 AM, Jagga Soorma <[email protected]> wrote: > Thanks for the response Andreas. > > What is the known problem with the DLM LRU size? Here is what my > slabinfo/meminfo look like on one of the clients. I don't see anything out > of the ordinary: > > (then again there are no jobs currently running on this system) > > Thanks > -J > > -- > slabinfo: > .. > slabinfo - version: 2.1 > # name <active_objs> <num_objs> <objsize> <objperslab> > <pagesperslab> : tunables <limit> <batchcount> <sharedfactor> : slabdata > <active_slabs> <num_slabs> <sharedavail> > nfs_direct_cache 0 0 128 30 1 : tunables 120 60 8 > : slabdata 0 0 0 > nfs_write_data 36 44 704 11 2 : tunables 54 27 8 > : slabdata 4 4 0 > nfs_read_data 32 33 704 11 2 : tunables 54 27 8 > : slabdata 3 3 0 > nfs_inode_cache 0 0 984 4 1 : tunables 54 27 8 > : slabdata 0 0 0 > nfs_page 0 0 128 30 1 : tunables 120 60 8 > : slabdata 0 0 0 > rpc_buffers 8 8 2048 2 1 : tunables 24 12 8 > : slabdata 4 4 0 > rpc_tasks 8 12 320 12 1 : tunables 54 27 8 > : slabdata 1 1 0 > rpc_inode_cache 0 0 832 4 1 : tunables 54 27 8 > : slabdata 0 0 0 > ll_async_page 326589 328572 320 12 1 : tunables 54 27 8 > : slabdata 27381 27381 0 > ll_file_data 0 0 192 20 1 : tunables 120 60 8 > : slabdata 0 0 0 > lustre_inode_cache 769 772 896 4 1 : tunables 54 27 8 > : slabdata 193 193 0 > lov_oinfo 1322 1392 320 12 1 : tunables 54 27 8 > : slabdata 116 116 0 > osc_quota_info 0 0 32 112 1 : tunables 120 60 8 > : slabdata 0 0 0 > ll_qunit_cache 0 0 112 34 1 : tunables 120 60 8 > : slabdata 0 0 0 > llcd_cache 0 0 3952 1 1 : tunables 24 12 8 > : slabdata 0 0 0 > ptlrpc_cbdatas 0 0 32 112 1 : tunables 120 60 8 > : slabdata 0 0 0 > interval_node 1166 3240 128 30 1 : tunables 120 60 8 > : slabdata 108 108 0 > ldlm_locks 2624 3688 512 8 1 : tunables 54 27 8 > : slabdata 461 461 0 > ldlm_resources 2002 3340 384 10 1 : tunables 54 27 8 > : slabdata 334 334 0 > ll_import_cache 0 0 1248 3 1 : tunables 24 12 8 > : slabdata 0 0 0 > ll_obdo_cache 0 452282156 208 19 1 : tunables 120 60 > 8 : slabdata 0 23804324 0 > ll_obd_dev_cache 13 13 5672 1 2 : tunables 8 4 0 > : slabdata 13 13 0 > obd_lvfs_ctxt_cache 0 0 96 40 1 : tunables 120 60 > 8 : slabdata 0 0 0 > SDP 0 0 1728 4 2 : tunables 24 12 8 > : slabdata 0 0 0 > fib6_nodes 7 118 64 59 1 : tunables 120 60 8 > : slabdata 2 2 0 > ip6_dst_cache 14 36 320 12 1 : tunables 54 27 8 > : slabdata 3 3 0 > ndisc_cache 4 30 256 15 1 : tunables 120 60 8 > : slabdata 2 2 0 > RAWv6 35 36 960 4 1 : tunables 54 27 8 > : slabdata 9 9 0 > UDPLITEv6 0 0 960 4 1 : tunables 54 27 8 > : slabdata 0 0 0 > UDPv6 7 12 960 4 1 : tunables 54 27 8 > : slabdata 3 3 0 > tw_sock_TCPv6 0 0 192 20 1 : tunables 120 60 8 > : slabdata 0 0 0 > request_sock_TCPv6 0 0 192 20 1 : tunables 120 60 8 > : slabdata 0 0 0 > TCPv6 2 4 1792 2 1 : tunables 24 12 8 > : slabdata 2 2 0 > ib_mad 2069 2160 448 8 1 : tunables 54 27 8 > : slabdata 270 270 6 > fuse_request 0 0 608 6 1 : tunables 54 27 8 > : slabdata 0 0 0 > fuse_inode 0 0 704 11 2 : tunables 54 27 8 > : slabdata 0 0 0 > kcopyd_job 0 0 360 11 1 : tunables 54 27 8 > : slabdata 0 0 0 > dm_uevent 0 0 2608 3 2 : tunables 24 12 8 > : slabdata 0 0 0 > dm_clone_bio_info 0 0 16 202 1 : tunables 120 60 8 > : slabdata 0 0 0 > dm_rq_target_io 0 0 408 9 1 : tunables 54 27 8 > : slabdata 0 0 0 > dm_target_io 0 0 24 144 1 : tunables 120 60 8 > : slabdata 0 0 0 > dm_io 0 0 32 112 1 : tunables 120 60 8 > : slabdata 0 0 0 > uhci_urb_priv 1 67 56 67 1 : tunables 120 60 8 > : slabdata 1 1 0 > ext3_inode_cache 224598 224625 768 5 1 : tunables 54 27 8 > : slabdata 44925 44925 0 > ext3_xattr 0 0 88 44 1 : tunables 120 60 8 > : slabdata 0 0 0 > journal_handle 9 288 24 144 1 : tunables 120 60 8 > : slabdata 2 2 0 > journal_head 76 120 96 40 1 : tunables 120 60 8 > : slabdata 3 3 3 > revoke_table 4 202 16 202 1 : tunables 120 60 8 > : slabdata 1 1 0 > revoke_record 0 0 32 112 1 : tunables 120 60 8 > : slabdata 0 0 0 > sgpool-128 2 2 4096 1 1 : tunables 24 12 8 > : slabdata 2 2 0 > sgpool-64 2 2 2048 2 1 : tunables 24 12 8 > : slabdata 1 1 0 > sgpool-32 2 4 1024 4 1 : tunables 54 27 8 > : slabdata 1 1 0 > sgpool-16 2 8 512 8 1 : tunables 54 27 8 > : slabdata 1 1 0 > sgpool-8 2 15 256 15 1 : tunables 120 60 8 > : slabdata 1 1 0 > scsi_data_buffer 0 0 24 144 1 : tunables 120 60 8 > : slabdata 0 0 0 > scsi_io_context 0 0 112 34 1 : tunables 120 60 8 > : slabdata 0 0 0 > flow_cache 0 0 96 40 1 : tunables 120 60 8 > : slabdata 0 0 0 > cfq_io_context 46 207 168 23 1 : tunables 120 60 8 > : slabdata 9 9 0 > cfq_queue 42 224 136 28 1 : tunables 120 60 8 > : slabdata 8 8 0 > bsg_cmd 0 0 312 12 1 : tunables 54 27 8 > : slabdata 0 0 0 > mqueue_inode_cache 1 4 896 4 1 : tunables 54 27 8 > : slabdata 1 1 0 > isofs_inode_cache 0 0 608 6 1 : tunables 54 27 8 > : slabdata 0 0 0 > minix_inode_cache 0 0 624 6 1 : tunables 54 27 8 > : slabdata 0 0 0 > hugetlbfs_inode_cache 1 7 576 7 1 : tunables 54 > 27 8 : slabdata 1 1 0 > dnotify_cache 0 0 40 92 1 : tunables 120 60 8 > : slabdata 0 0 0 > dquot 0 0 256 15 1 : tunables 120 60 8 > : slabdata 0 0 0 > inotify_event_cache 3 92 40 92 1 : tunables 120 60 > 8 : slabdata 1 1 0 > inotify_watch_cache 93 212 72 53 1 : tunables 120 60 > 8 : slabdata 4 4 0 > kioctx 0 0 384 10 1 : tunables 54 27 8 > : slabdata 0 0 0 > kiocb 0 0 256 15 1 : tunables 120 60 8 > : slabdata 0 0 0 > fasync_cache 0 0 24 144 1 : tunables 120 60 8 > : slabdata 0 0 0 > shmem_inode_cache 870 960 784 5 1 : tunables 54 27 8 > : slabdata 192 192 0 > pid_namespace 0 0 2112 3 2 : tunables 24 12 8 > : slabdata 0 0 0 > nsproxy 0 0 56 67 1 : tunables 120 60 8 > : slabdata 0 0 0 > posix_timers_cache 0 0 192 20 1 : tunables 120 60 8 > : slabdata 0 0 0 > uid_cache 5 30 128 30 1 : tunables 120 60 8 > : slabdata 1 1 0 > UNIX 125 330 704 11 2 : tunables 54 27 8 > : slabdata 30 30 0 > ip_mrt_cache 0 0 128 30 1 : tunables 120 60 8 > : slabdata 0 0 0 > UDP-Lite 0 0 832 9 2 : tunables 54 27 8 > : slabdata 0 0 0 > tcp_bind_bucket 8 118 64 59 1 : tunables 120 60 8 > : slabdata 2 2 0 > inet_peer_cache 1 59 64 59 1 : tunables 120 60 8 > : slabdata 1 1 0 > secpath_cache 0 0 64 59 1 : tunables 120 60 8 > : slabdata 0 0 0 > xfrm_dst_cache 0 0 384 10 1 : tunables 54 27 8 > : slabdata 0 0 0 > ip_fib_alias 0 0 32 112 1 : tunables 120 60 8 > : slabdata 0 0 0 > ip_fib_hash 15 106 72 53 1 : tunables 120 60 8 > : slabdata 2 2 0 > ip_dst_cache 24 72 320 12 1 : tunables 54 27 8 > : slabdata 6 6 2 > arp_cache 3 15 256 15 1 : tunables 120 60 8 > : slabdata 1 1 0 > RAW 33 35 768 5 1 : tunables 54 27 8 > : slabdata 7 7 0 > UDP 9 18 832 9 2 : tunables 54 27 8 > : slabdata 2 2 0 > tw_sock_TCP 0 0 192 20 1 : tunables 120 60 8 > : slabdata 0 0 0 > request_sock_TCP 0 0 128 30 1 : tunables 120 60 8 > : slabdata 0 0 0 > TCP 11 16 1664 4 2 : tunables 24 12 8 > : slabdata 4 4 0 > eventpoll_pwq 69 265 72 53 1 : tunables 120 60 8 > : slabdata 5 5 0 > eventpoll_epi 69 210 128 30 1 : tunables 120 60 8 > : slabdata 7 7 0 > pfm_event_set 0 0 57344 1 16 : tunables 8 4 0 > : slabdata 0 0 0 > pfm_context 0 0 8192 1 2 : tunables 8 4 0 > : slabdata 0 0 0 > blkdev_integrity 0 0 112 34 1 : tunables 120 60 8 > : slabdata 0 0 0 > blkdev_queue 10 12 2264 3 2 : tunables 24 12 8 > : slabdata 4 4 0 > blkdev_requests 13 20 368 10 1 : tunables 54 27 8 > : slabdata 2 2 0 > blkdev_ioc 44 371 72 53 1 : tunables 120 60 8 > : slabdata 7 7 0 > biovec-256 2 2 4096 1 1 : tunables 24 12 8 > : slabdata 2 2 0 > biovec-128 2 4 2048 2 1 : tunables 24 12 8 > : slabdata 2 2 0 > biovec-64 2 8 1024 4 1 : tunables 54 27 8 > : slabdata 2 2 0 > biovec-16 2 30 256 15 1 : tunables 120 60 8 > : slabdata 2 2 0 > biovec-4 2 118 64 59 1 : tunables 120 60 8 > : slabdata 2 2 0 > biovec-1 42 404 16 202 1 : tunables 120 60 8 > : slabdata 2 2 3 > bio_integrity_payload 2 60 128 30 1 : tunables 120 > 60 8 : slabdata 2 2 0 > bio 8 60 128 30 1 : tunables 120 60 8 > : slabdata 2 2 1 > sock_inode_cache 232 372 640 6 1 : tunables 54 27 8 > : slabdata 62 62 0 > skbuff_fclone_cache 7 7 512 7 1 : tunables 54 27 > 8 : slabdata 1 1 0 > skbuff_head_cache 5028 6210 256 15 1 : tunables 120 60 8 > : slabdata 414 414 35 > file_lock_cache 4 66 176 22 1 : tunables 120 60 8 > : slabdata 3 3 0 > Acpi-Operand 889 1802 72 53 1 : tunables 120 60 8 > : slabdata 34 34 0 > Acpi-ParseExt 0 0 72 53 1 : tunables 120 60 8 > : slabdata 0 0 0 > Acpi-Parse 0 0 48 77 1 : tunables 120 60 8 > : slabdata 0 0 0 > Acpi-State 0 0 80 48 1 : tunables 120 60 8 > : slabdata 0 0 0 > Acpi-Namespace 617 672 32 112 1 : tunables 120 60 8 > : slabdata 6 6 0 > task_delay_info 354 918 112 34 1 : tunables 120 60 8 > : slabdata 27 27 0 > taskstats 0 0 328 12 1 : tunables 54 27 8 > : slabdata 0 0 0 > page_cgroup 0 0 40 92 1 : tunables 120 60 8 > : slabdata 0 0 0 > proc_inode_cache 1431 1458 608 6 1 : tunables 54 27 8 > : slabdata 243 243 0 > sigqueue 8 96 160 24 1 : tunables 120 60 8 > : slabdata 4 4 0 > radix_tree_node 14146 15386 552 7 1 : tunables 54 27 8 > : slabdata 2198 2198 0 > bdev_cache 5 20 768 5 1 : tunables 54 27 8 > : slabdata 4 4 0 > sysfs_dir_cache 19120 19296 80 48 1 : tunables 120 60 8 > : slabdata 402 402 0 > mnt_cache 30 60 256 15 1 : tunables 120 60 8 > : slabdata 4 4 0 > inode_cache 1327 1344 560 7 1 : tunables 54 27 8 > : slabdata 192 192 0 > dentry 276001 276203 208 19 1 : tunables 120 60 8 > : slabdata 14537 14537 0 > filp 1054 2760 192 20 1 : tunables 120 60 8 > : slabdata 138 138 86 > names_cache 18 18 4096 1 1 : tunables 24 12 8 > : slabdata 18 18 1 > key_jar 0 0 192 20 1 : tunables 120 60 8 > : slabdata 0 0 0 > buffer_head 73846 73889 104 37 1 : tunables 120 60 8 > : slabdata 1997 1997 1 > mm_struct 80 136 896 4 1 : tunables 54 27 8 > : slabdata 34 34 1 > vm_area_struct 2311 3784 176 22 1 : tunables 120 60 8 > : slabdata 172 172 29 > fs_cache 75 590 64 59 1 : tunables 120 60 8 > : slabdata 10 10 1 > files_cache 63 165 768 5 1 : tunables 54 27 8 > : slabdata 33 33 1 > signal_cache 297 420 960 4 1 : tunables 54 27 8 > : slabdata 105 105 0 > sighand_cache 295 381 2112 3 2 : tunables 24 12 8 > : slabdata 127 127 0 > task_xstate 105 256 512 8 1 : tunables 54 27 8 > : slabdata 32 32 0 > task_struct 349 350 5872 1 2 : tunables 8 4 0 > : slabdata 349 350 0 > anon_vma 777 1584 24 144 1 : tunables 120 60 8 > : slabdata 11 11 0 > pid 342 870 128 30 1 : tunables 120 60 8 > : slabdata 29 29 0 > shared_policy_node 0 0 48 77 1 : tunables 120 60 8 > : slabdata 0 0 0 > numa_policy 15 112 136 28 1 : tunables 120 60 8 > : slabdata 4 4 0 > idr_layer_cache 282 315 544 7 1 : tunables 54 27 8 > : slabdata 45 45 0 > size-4194304(DMA) 0 0 4194304 1 1024 : tunables 1 1 0 > : slabdata 0 0 0 > size-4194304 0 0 4194304 1 1024 : tunables 1 1 0 > : slabdata 0 0 0 > size-2097152(DMA) 0 0 2097152 1 512 : tunables 1 1 0 > : slabdata 0 0 0 > size-2097152 0 0 2097152 1 512 : tunables 1 1 0 > : slabdata 0 0 0 > size-1048576(DMA) 0 0 1048576 1 256 : tunables 1 1 0 > : slabdata 0 0 0 > size-1048576 0 0 1048576 1 256 : tunables 1 1 0 > : slabdata 0 0 0 > size-524288(DMA) 0 0 524288 1 128 : tunables 1 1 0 > : slabdata 0 0 0 > size-524288 0 0 524288 1 128 : tunables 1 1 0 > : slabdata 0 0 0 > size-262144(DMA) 0 0 262144 1 64 : tunables 1 1 0 > : slabdata 0 0 0 > size-262144 0 0 262144 1 64 : tunables 1 1 0 > : slabdata 0 0 0 > size-131072(DMA) 0 0 131072 1 32 : tunables 8 4 0 > : slabdata 0 0 0 > size-131072 3 3 131072 1 32 : tunables 8 4 0 > : slabdata 3 3 0 > size-65536(DMA) 0 0 65536 1 16 : tunables 8 4 0 > : slabdata 0 0 0 > size-65536 6 6 65536 1 16 : tunables 8 4 0 > : slabdata 6 6 0 > size-32768(DMA) 0 0 32768 1 8 : tunables 8 4 0 > : slabdata 0 0 0 > size-32768 8 8 32768 1 8 : tunables 8 4 0 > : slabdata 8 8 0 > size-16384(DMA) 0 0 16384 1 4 : tunables 8 4 0 > : slabdata 0 0 0 > size-16384 43 43 16384 1 4 : tunables 8 4 0 > : slabdata 43 43 0 > size-8192(DMA) 0 0 8192 1 2 : tunables 8 4 0 > : slabdata 0 0 0 > size-8192 3610 3610 8192 1 2 : tunables 8 4 0 > : slabdata 3610 3610 0 > size-4096(DMA) 0 0 4096 1 1 : tunables 24 12 8 > : slabdata 0 0 0 > size-4096 1769 1769 4096 1 1 : tunables 24 12 8 > : slabdata 1769 1769 0 > size-2048(DMA) 0 0 2048 2 1 : tunables 24 12 8 > : slabdata 0 0 0 > size-2048 4598 4630 2048 2 1 : tunables 24 12 8 > : slabdata 2315 2315 1 > size-1024(DMA) 0 0 1024 4 1 : tunables 54 27 8 > : slabdata 0 0 0 > size-1024 4749 4784 1024 4 1 : tunables 54 27 8 > : slabdata 1196 1196 0 > size-512(DMA) 0 0 512 8 1 : tunables 54 27 8 > : slabdata 0 0 0 > size-512 1406 1440 512 8 1 : tunables 54 27 8 > : slabdata 180 180 29 > size-256(DMA) 0 0 256 15 1 : tunables 120 60 8 > : slabdata 0 0 0 > size-256 5428 5670 256 15 1 : tunables 120 60 8 > : slabdata 378 378 2 > size-128(DMA) 0 0 128 30 1 : tunables 120 60 8 > : slabdata 0 0 0 > size-64(DMA) 0 0 64 59 1 : tunables 120 60 8 > : slabdata 0 0 0 > size-64 21391 43306 64 59 1 : tunables 120 60 8 > : slabdata 734 734 0 > size-32(DMA) 0 0 32 112 1 : tunables 120 60 8 > : slabdata 0 0 0 > size-128 10539 31650 128 30 1 : tunables 120 60 8 > : slabdata 1055 1055 0 > size-32 11992 13552 32 112 1 : tunables 120 60 8 > : slabdata 121 121 6 > kmem_cache 181 181 4224 1 2 : tunables 8 4 0 > : slabdata 181 181 0 > .. > -- > > -- > meminfo > .. > MemTotal: 198091444 kB > MemFree: 99978176 kB > Buffers: 268288 kB > Cached: 1457808 kB > SwapCached: 23672 kB > Active: 1667172 kB > Inactive: 114552 kB > SwapTotal: 75505460 kB > SwapFree: 75461372 kB > Dirty: 116 kB > Writeback: 0 kB > AnonPages: 53284 kB > Mapped: 8884 kB > Slab: 95664132 kB > SReclaimable: 256656 kB > SUnreclaim: 95407476 kB > PageTables: 2368 kB > NFS_Unstable: 0 kB > Bounce: 0 kB > WritebackTmp: 0 kB > CommitLimit: 174551180 kB > Committed_AS: 137540 kB > VmallocTotal: 34359738367 kB > VmallocUsed: 588416 kB > VmallocChunk: 34359149923 kB > HugePages_Total: 0 > HugePages_Free: 0 > HugePages_Rsvd: 0 > HugePages_Surp: 0 > Hugepagesize: 2048 kB > DirectMap4k: 8432 kB > DirectMap2M: 201308160 kB > .. > -- > > > On Mon, Apr 19, 2010 at 10:07 AM, Andreas Dilger < > [email protected]> wrote: > >> There is a known problem with the DLM LRU size that may be affecting you. >> It may be something else too. Please check /proc/{slabinfo,meminfo} to see >> what is using the memory on the client. >> >> Cheers, Andreas >> >> >> On 2010-04-19, at 10:43, Jagga Soorma <[email protected]> wrote: >> >> Hi Guys, >>> >>> My users are reporting some issues with memory on our lustre 1.8.1 >>> clients. It looks like when they submit a single job at a time the run time >>> was about 4.5 minutes. However, when they ran multiple jobs (10 or less) on >>> a client with 192GB of memory on a single node the run time for each job was >>> exceeding 3-4X the run time for the single process. They also noticed that >>> the swap space kept climbing even though there was plenty of free memory on >>> the system. Could this possibly be related to the lustre client? Does it >>> reserve any memory that is not accessible by any other process even though >>> it might not be in use? >>> >>> Thanks much, >>> -J >>> _______________________________________________ >>> Lustre-discuss mailing list >>> [email protected] >>> http://lists.lustre.org/mailman/listinfo/lustre-discuss >>> >> >
_______________________________________________ Lustre-discuss mailing list [email protected] http://lists.lustre.org/mailman/listinfo/lustre-discuss
