Hi Hartmut,I assume that the information reported by `--hpx:print-bind` corresponds with the information from the lstopo command. So, for example, in the output (mappings.txt) I attached to my email of last Friday, locality 1 is bound to PU P#36-P#41 on socket P#1. According to lstopo, this range of PUs corresponds with numa node P#6 (the 7th of 8). I was expecting this locality to be bound to numa node P#1 (2nd of 8). But maybe I am reading this all wrong?
I have attached the lstopo output. Kor On 5/25/21 2:25 PM, Hartmut Kaiser wrote:
Kor,From what I can see, `--hpx:print-bind` does not report NUMA domains, onlysockets. Why do you think the localities are not mapped correctly to NUMA domains (assuming the sequencing of printing the locality information is random and does not reflect the sequencing of the NUMA domains)? We could look into printing the NUMA domain information as well, however. HTH Regards Hartmut --------------- https://stellar.cct.lsu.edu https://github.com/STEllAR-GROUP/hpx-----Original Message----- From: [email protected] <hpx-users-bounces@stellar- group.org> On Behalf Of Kor de Jong Sent: Tuesday, May 25, 2021 2:40 AM To: [email protected] Subject: Re: [hpx-users] Assign HPX localities to NUMA nodes, in order Hi Mikael and other HPX experts, Thanks for your suggestions! Unfortunately they did not improve things for me. To be clear, the only thing I don't understand is the binding reported by `--hpx:print-bind`. What I do understand is: - The binding of MPI process ranks to numa nodes, reported by mpirun's `-- display-map`. Process rank 0 is bound to numa node 0, process rank 1 is bound to numa node 1, etc. This is exactly how I want things to be. - Relation between HPX localities and MPI ranks, printed from my own code: hpx::get_locality_id() == hpx::util::mpi_environment::rank() == std::getenv("OMPI_COMM_WORLD_RANK"). This implies that HPX localities are ordered the same way as the MPI processes. Locality 0 should be bound to numa node 0, locality 1 should be bound to numa node 1, etc. This is exactly how I want things to be. The weird thing is that, according to `--hpx:print-bind`, localities are scattered over the numa nodes. Locality 0 always ends up at the first numa node, but the other ones are bound to numa nodes in a seemingly random order. When performing scaling tests over numa nodes, the resulting graphs show artifacts which could be the result of HPX localities not being ordered according to increasing memory latencies. At the moment I can only think of `--hpx:print-bind` being wrong, which is unlikely I guess. But why does it suggest that the localities are scattered over the numa nodes, when all other information suggests that they are ordered according to the numa nodes? Maybe I am just misunderstanding things. To be able to interpret the results of my scaling tests, I would really like to understand what is going on. Thanks in advance for any insights any of you might have for me! Kor On 5/21/21 5:02 PM, Simberg Mikael wrote:Hi Kor, The nondeterministic nature of your problem is a bit worrying, and I don't have any insight into that. However, there's an alternative way to set the bindings as well. Would you mind trying the --hpx:use-process-mask option to see if you get the expected bindings? By default HPX tries to reconstruct the bindings based on various environment variables, but if you pass --hpx:use-process-mask it will use the process mask that srun/mpi/others typically set, and only spawn worker threads on cores in the process mask. Note that the default, even with --hpx:use-process-mask, is still to only spawn one worker thread per core (not per hyperthread), so if you want exactly the binding you ask for with mpirun you should also add --hpx:threads=all.Mikael ---------------------------------------------------------------------- -- *From:* [email protected] <[email protected]> on behalf of Kor de Jong <[email protected]> *Sent:* Friday, May 21, 2021 4:25:29 PM *To:* [email protected] *Subject:* {Spam?} [hpx-users] Assign HPX localities to NUMA nodes, in order Dear HPX-experts, I am trying to spawn 8 hpx processes on a cluster node with 8 numa nodes, containing 6 real cpu cores each. All seems well, but the output of `--hpx:print-bind` confuses me. I am using slurm (sbatch command) and openmpi (mpirun command in sbatch script). The output of mpirun's `--display-map` makes completesense.All 8 process ranks get assigned to the 6 cores in the 8 numa nodes, in order. Process rank 0 is on the first numa node, etc. The output of `--hpx:print-bind` seems not in sync with this. There is a correspondence between mpi ranks and hpx locality ids, but the mapping of hpx localities to cpu cores is different now. For example, it seems that locality 1 is not on the second numa node (as per mpirun's `--display-map`), but on the 7-th (as per hpx's `--print-bind`). Also, the output of `--print-bind` differs perinvocation.It is important for me that hpx localities are assigned to numa nodes in order. Localities with similar IDs communicate more with each other than with other localities. I have attached the slurm script and outputs mentioned above. Does somebody maybe have an idea what is going on and how to fix things? Does hpx maybe re-assign the ranks upon initialization? If so, can I influence this to make this ordering similar to the ordering of the numa nodes? BTW, I am pretty sure all this worked fine some time ago, when I was still using an earlier version of HPX, another version of MPI, and started HPX processes using srun instead of mpirun. Thanks for any info! Kor _______________________________________________ hpx-users mailing list [email protected] https://mail.cct.lsu.edu/mailman/listinfo/hpx-users_______________________________________________ hpx-users mailing list [email protected] https://mail.cct.lsu.edu/mailman/listinfo/hpx-users_______________________________________________ hpx-users mailing list [email protected] https://mail.cct.lsu.edu/mailman/listinfo/hpx-users
┌────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────┐
│ Machine (252GB total)
│
│
│
│
┌────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────┐
│
│ │ Package P#0
│ │
│ │
│ │
│ │
┌──────────────────────────────────────────────────────────────────────────────────────────────────────┐
┌──────────────────────────────────────────────────────────────────────────────────────────────────────┐
│ │
│ │ │
┌──────────────────────────────────────────────────────────────────────────────────────────────────┐
│ │
┌──────────────────────────────────────────────────────────────────────────────────────────────────┐
│ │ │
│ │ │ │ NUMANode P#0 (31GB)
│ │ │ │ NUMANode P#1 (31GB)
│ │ │ │
│ │ │
└──────────────────────────────────────────────────────────────────────────────────────────────────┘
│ │
└──────────────────────────────────────────────────────────────────────────────────────────────────┘
│ │ │
│ │ │
│ │
│ │ │
│ │ │ ┌───────────────────────────────────────────────┐
┌───────────────────────────────────────────────┐ │ │
┌───────────────────────────────────────────────┐
┌───────────────────────────────────────────────┐ │ │ │
│ │ │ │ L3 (8192KB) │ │ L3 (8192KB)
│ │ │ │ L3 (8192KB)
│ │ L3 (8192KB) │ │ │ │
│ │ │ └───────────────────────────────────────────────┘
└───────────────────────────────────────────────┘ │ │
└───────────────────────────────────────────────┘
└───────────────────────────────────────────────┘ │ │ │
│ │ │
│ │
│ │ │
│ │ │ ┌─────────────┐ ┌─────────────┐ ┌─────────────┐ ┌─────────────┐
┌─────────────┐ ┌─────────────┐ │ │ ┌─────────────┐ ┌─────────────┐
┌─────────────┐ ┌─────────────┐ ┌─────────────┐ ┌─────────────┐ │ │ │
│ │ │ │ L2 (512KB) │ │ L2 (512KB) │ │ L2 (512KB) │ │ L2 (512KB) │ │ L2
(512KB) │ │ L2 (512KB) │ │ │ │ L2 (512KB) │ │ L2 (512KB) │ │ L2 (512KB)
│ │ L2 (512KB) │ │ L2 (512KB) │ │ L2 (512KB) │ │ │ │
│ │ │ └─────────────┘ └─────────────┘ └─────────────┘ └─────────────┘
└─────────────┘ └─────────────┘ │ │ └─────────────┘ └─────────────┘
└─────────────┘ └─────────────┘ └─────────────┘ └─────────────┘ │ │ │
│ │ │
│ │
│ │ │
│ │ │ ┌─────────────┐ ┌─────────────┐ ┌─────────────┐ ┌─────────────┐
┌─────────────┐ ┌─────────────┐ │ │ ┌─────────────┐ ┌─────────────┐
┌─────────────┐ ┌─────────────┐ ┌─────────────┐ ┌─────────────┐ │ │ │
│ │ │ │ L1d (32KB) │ │ L1d (32KB) │ │ L1d (32KB) │ │ L1d (32KB) │ │ L1d
(32KB) │ │ L1d (32KB) │ │ │ │ L1d (32KB) │ │ L1d (32KB) │ │ L1d (32KB)
│ │ L1d (32KB) │ │ L1d (32KB) │ │ L1d (32KB) │ │ │ │
│ │ │ └─────────────┘ └─────────────┘ └─────────────┘ └─────────────┘
└─────────────┘ └─────────────┘ │ │ └─────────────┘ └─────────────┘
└─────────────┘ └─────────────┘ └─────────────┘ └─────────────┘ │ │ │
│ │ │
│ │
│ │ │
│ │ │ ┌─────────────┐ ┌─────────────┐ ┌─────────────┐ ┌─────────────┐
┌─────────────┐ ┌─────────────┐ │ │ ┌─────────────┐ ┌─────────────┐
┌─────────────┐ ┌─────────────┐ ┌─────────────┐ ┌─────────────┐ │ │ │
│ │ │ │ L1i (64KB) │ │ L1i (64KB) │ │ L1i (64KB) │ │ L1i (64KB) │ │ L1i
(64KB) │ │ L1i (64KB) │ │ │ │ L1i (64KB) │ │ L1i (64KB) │ │ L1i (64KB)
│ │ L1i (64KB) │ │ L1i (64KB) │ │ L1i (64KB) │ │ │ │
│ │ │ └─────────────┘ └─────────────┘ └─────────────┘ └─────────────┘
└─────────────┘ └─────────────┘ │ │ └─────────────┘ └─────────────┘
└─────────────┘ └─────────────┘ └─────────────┘ └─────────────┘ │ │ │
│ │ │
│ │
│ │ │
│ │ │ ┌─────────────┐ ┌─────────────┐ ┌─────────────┐ ┌─────────────┐
┌─────────────┐ ┌─────────────┐ │ │ ┌─────────────┐ ┌─────────────┐
┌─────────────┐ ┌─────────────┐ ┌─────────────┐ ┌─────────────┐ │ │ │
│ │ │ │ Core P#0 │ │ Core P#1 │ │ Core P#2 │ │ Core P#4 │ │
Core P#5 │ │ Core P#6 │ │ │ │ Core P#8 │ │ Core P#9 │ │ Core
P#10 │ │ Core P#12 │ │ Core P#13 │ │ Core P#14 │ │ │ │
│ │ │ │ │ │ │ │ │ │ │ │
│ │ │ │ │ │ │ │ │ │
│ │ │ │ │ │ │ │ │ │
│ │ │ │ ┌─────────┐ │ │ ┌─────────┐ │ │ ┌─────────┐ │ │ ┌─────────┐ │ │
┌─────────┐ │ │ ┌─────────┐ │ │ │ │ ┌─────────┐ │ │ ┌─────────┐ │ │
┌─────────┐ │ │ ┌─────────┐ │ │ ┌─────────┐ │ │ ┌─────────┐ │ │ │ │
│ │ │ │ │ PU P#0 │ │ │ │ PU P#1 │ │ │ │ PU P#2 │ │ │ │ PU P#3 │ │ │ │
PU P#4 │ │ │ │ PU P#5 │ │ │ │ │ │ PU P#6 │ │ │ │ PU P#7 │ │ │ │ PU P#8
│ │ │ │ PU P#9 │ │ │ │ PU P#10 │ │ │ │ PU P#11 │ │ │ │ │
│ │ │ │ └─────────┘ │ │ └─────────┘ │ │ └─────────┘ │ │ └─────────┘ │ │
└─────────┘ │ │ └─────────┘ │ │ │ │ └─────────┘ │ │ └─────────┘ │ │
└─────────┘ │ │ └─────────┘ │ │ └─────────┘ │ │ └─────────┘ │ │ │ │
│ │ │ │ ┌─────────┐ │ │ ┌─────────┐ │ │ ┌─────────┐ │ │ ┌─────────┐ │ │
┌─────────┐ │ │ ┌─────────┐ │ │ │ │ ┌─────────┐ │ │ ┌─────────┐ │ │
┌─────────┐ │ │ ┌─────────┐ │ │ ┌─────────┐ │ │ ┌─────────┐ │ │ │ │
│ │ │ │ │ PU P#48 │ │ │ │ PU P#49 │ │ │ │ PU P#50 │ │ │ │ PU P#51 │ │ │ │
PU P#52 │ │ │ │ PU P#53 │ │ │ │ │ │ PU P#54 │ │ │ │ PU P#55 │ │ │ │ PU P#56
│ │ │ │ PU P#57 │ │ │ │ PU P#58 │ │ │ │ PU P#59 │ │ │ │ │
│ │ │ │ └─────────┘ │ │ └─────────┘ │ │ └─────────┘ │ │ └─────────┘ │ │
└─────────┘ │ │ └─────────┘ │ │ │ │ └─────────┘ │ │ └─────────┘ │ │
└─────────┘ │ │ └─────────┘ │ │ └─────────┘ │ │ └─────────┘ │ │ │ │
│ │ │ └─────────────┘ └─────────────┘ └─────────────┘ └─────────────┘
└─────────────┘ └─────────────┘ │ │ └─────────────┘ └─────────────┘
└─────────────┘ └─────────────┘ └─────────────┘ └─────────────┘ │ │ │
│ │
└──────────────────────────────────────────────────────────────────────────────────────────────────────┘
└──────────────────────────────────────────────────────────────────────────────────────────────────────┘
│ │
│ │
│ │
│ │
┌──────────────────────────────────────────────────────────────────────────────────────────────────────┐
┌──────────────────────────────────────────────────────────────────────────────────────────────────────┐
│ │
│ │ │
┌──────────────────────────────────────────────────────────────────────────────────────────────────┐
│ │
┌──────────────────────────────────────────────────────────────────────────────────────────────────┐
│ │ │
│ │ │ │ NUMANode P#2 (31GB)
│ │ │ │ NUMANode P#3 (31GB)
│ │ │ │
│ │ │
└──────────────────────────────────────────────────────────────────────────────────────────────────┘
│ │
└──────────────────────────────────────────────────────────────────────────────────────────────────┘
│ │ │
│ │ │
│ │
│ │ │
│ │ │ ┌───────────────────────────────────────────────┐
┌───────────────────────────────────────────────┐ │ │
┌───────────────────────────────────────────────┐
┌───────────────────────────────────────────────┐ │ │ │
│ │ │ │ L3 (8192KB) │ │ L3 (8192KB)
│ │ │ │ L3 (8192KB)
│ │ L3 (8192KB) │ │ │ │
│ │ │ └───────────────────────────────────────────────┘
└───────────────────────────────────────────────┘ │ │
└───────────────────────────────────────────────┘
└───────────────────────────────────────────────┘ │ │ │
│ │ │
│ │
│ │ │
│ │ │ ┌─────────────┐ ┌─────────────┐ ┌─────────────┐ ┌─────────────┐
┌─────────────┐ ┌─────────────┐ │ │ ┌─────────────┐ ┌─────────────┐
┌─────────────┐ ┌─────────────┐ ┌─────────────┐ ┌─────────────┐ │ │ │
│ │ │ │ L2 (512KB) │ │ L2 (512KB) │ │ L2 (512KB) │ │ L2 (512KB) │ │ L2
(512KB) │ │ L2 (512KB) │ │ │ │ L2 (512KB) │ │ L2 (512KB) │ │ L2 (512KB)
│ │ L2 (512KB) │ │ L2 (512KB) │ │ L2 (512KB) │ │ │ │
│ │ │ └─────────────┘ └─────────────┘ └─────────────┘ └─────────────┘
└─────────────┘ └─────────────┘ │ │ └─────────────┘ └─────────────┘
└─────────────┘ └─────────────┘ └─────────────┘ └─────────────┘ │ │ │
│ │ │
│ │
│ │ │
│ │ │ ┌─────────────┐ ┌─────────────┐ ┌─────────────┐ ┌─────────────┐
┌─────────────┐ ┌─────────────┐ │ │ ┌─────────────┐ ┌─────────────┐
┌─────────────┐ ┌─────────────┐ ┌─────────────┐ ┌─────────────┐ │ │ │
│ │ │ │ L1d (32KB) │ │ L1d (32KB) │ │ L1d (32KB) │ │ L1d (32KB) │ │ L1d
(32KB) │ │ L1d (32KB) │ │ │ │ L1d (32KB) │ │ L1d (32KB) │ │ L1d (32KB)
│ │ L1d (32KB) │ │ L1d (32KB) │ │ L1d (32KB) │ │ │ │
│ │ │ └─────────────┘ └─────────────┘ └─────────────┘ └─────────────┘
└─────────────┘ └─────────────┘ │ │ └─────────────┘ └─────────────┘
└─────────────┘ └─────────────┘ └─────────────┘ └─────────────┘ │ │ │
│ │ │
│ │
│ │ │
│ │ │ ┌─────────────┐ ┌─────────────┐ ┌─────────────┐ ┌─────────────┐
┌─────────────┐ ┌─────────────┐ │ │ ┌─────────────┐ ┌─────────────┐
┌─────────────┐ ┌─────────────┐ ┌─────────────┐ ┌─────────────┐ │ │ │
│ │ │ │ L1i (64KB) │ │ L1i (64KB) │ │ L1i (64KB) │ │ L1i (64KB) │ │ L1i
(64KB) │ │ L1i (64KB) │ │ │ │ L1i (64KB) │ │ L1i (64KB) │ │ L1i (64KB)
│ │ L1i (64KB) │ │ L1i (64KB) │ │ L1i (64KB) │ │ │ │
│ │ │ └─────────────┘ └─────────────┘ └─────────────┘ └─────────────┘
└─────────────┘ └─────────────┘ │ │ └─────────────┘ └─────────────┘
└─────────────┘ └─────────────┘ └─────────────┘ └─────────────┘ │ │ │
│ │ │
│ │
│ │ │
│ │ │ ┌─────────────┐ ┌─────────────┐ ┌─────────────┐ ┌─────────────┐
┌─────────────┐ ┌─────────────┐ │ │ ┌─────────────┐ ┌─────────────┐
┌─────────────┐ ┌─────────────┐ ┌─────────────┐ ┌─────────────┐ │ │ │
│ │ │ │ Core P#16 │ │ Core P#17 │ │ Core P#18 │ │ Core P#20 │ │
Core P#21 │ │ Core P#22 │ │ │ │ Core P#24 │ │ Core P#25 │ │ Core
P#26 │ │ Core P#28 │ │ Core P#29 │ │ Core P#30 │ │ │ │
│ │ │ │ │ │ │ │ │ │ │ │
│ │ │ │ │ │ │ │ │ │
│ │ │ │ │ │ │ │ │ │
│ │ │ │ ┌─────────┐ │ │ ┌─────────┐ │ │ ┌─────────┐ │ │ ┌─────────┐ │ │
┌─────────┐ │ │ ┌─────────┐ │ │ │ │ ┌─────────┐ │ │ ┌─────────┐ │ │
┌─────────┐ │ │ ┌─────────┐ │ │ ┌─────────┐ │ │ ┌─────────┐ │ │ │ │
│ │ │ │ │ PU P#12 │ │ │ │ PU P#13 │ │ │ │ PU P#14 │ │ │ │ PU P#15 │ │ │ │
PU P#16 │ │ │ │ PU P#17 │ │ │ │ │ │ PU P#18 │ │ │ │ PU P#19 │ │ │ │ PU P#20
│ │ │ │ PU P#21 │ │ │ │ PU P#22 │ │ │ │ PU P#23 │ │ │ │ │
│ │ │ │ └─────────┘ │ │ └─────────┘ │ │ └─────────┘ │ │ └─────────┘ │ │
└─────────┘ │ │ └─────────┘ │ │ │ │ └─────────┘ │ │ └─────────┘ │ │
└─────────┘ │ │ └─────────┘ │ │ └─────────┘ │ │ └─────────┘ │ │ │ │
│ │ │ │ ┌─────────┐ │ │ ┌─────────┐ │ │ ┌─────────┐ │ │ ┌─────────┐ │ │
┌─────────┐ │ │ ┌─────────┐ │ │ │ │ ┌─────────┐ │ │ ┌─────────┐ │ │
┌─────────┐ │ │ ┌─────────┐ │ │ ┌─────────┐ │ │ ┌─────────┐ │ │ │ │
│ │ │ │ │ PU P#60 │ │ │ │ PU P#61 │ │ │ │ PU P#62 │ │ │ │ PU P#63 │ │ │ │
PU P#64 │ │ │ │ PU P#65 │ │ │ │ │ │ PU P#66 │ │ │ │ PU P#67 │ │ │ │ PU P#68
│ │ │ │ PU P#69 │ │ │ │ PU P#70 │ │ │ │ PU P#71 │ │ │ │ │
│ │ │ │ └─────────┘ │ │ └─────────┘ │ │ └─────────┘ │ │ └─────────┘ │ │
└─────────┘ │ │ └─────────┘ │ │ │ │ └─────────┘ │ │ └─────────┘ │ │
└─────────┘ │ │ └─────────┘ │ │ └─────────┘ │ │ └─────────┘ │ │ │ │
│ │ │ └─────────────┘ └─────────────┘ └─────────────┘ └─────────────┘
└─────────────┘ └─────────────┘ │ │ └─────────────┘ └─────────────┘
└─────────────┘ └─────────────┘ └─────────────┘ └─────────────┘ │ │ │
│ │
└──────────────────────────────────────────────────────────────────────────────────────────────────────┘
└──────────────────────────────────────────────────────────────────────────────────────────────────────┘
│ │
│
└────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────┘
│
│
│
│
┌────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────┐
│
│ │ Package P#1
│ │
│ │
│ │
│ │
┌──────────────────────────────────────────────────────────────────────────────────────────────────────┐
┌──────────────────────────────────────────────────────────────────────────────────────────────────────┐
│ │
│ │ │
┌──────────────────────────────────────────────────────────────────────────────────────────────────┐
│ │
┌──────────────────────────────────────────────────────────────────────────────────────────────────┐
│ │ │
│ │ │ │ NUMANode P#4 (31GB)
│ │ │ │ NUMANode P#5 (31GB)
│ │ │ │
│ │ │
└──────────────────────────────────────────────────────────────────────────────────────────────────┘
│ │
└──────────────────────────────────────────────────────────────────────────────────────────────────┘
│ │ │
│ │ │
│ │
│ │ │
│ │ │ ┌───────────────────────────────────────────────┐
┌───────────────────────────────────────────────┐ │ │
┌───────────────────────────────────────────────┐
┌───────────────────────────────────────────────┐ │ │ │
│ │ │ │ L3 (8192KB) │ │ L3 (8192KB)
│ │ │ │ L3 (8192KB)
│ │ L3 (8192KB) │ │ │ │
│ │ │ └───────────────────────────────────────────────┘
└───────────────────────────────────────────────┘ │ │
└───────────────────────────────────────────────┘
└───────────────────────────────────────────────┘ │ │ │
│ │ │
│ │
│ │ │
│ │ │ ┌─────────────┐ ┌─────────────┐ ┌─────────────┐ ┌─────────────┐
┌─────────────┐ ┌─────────────┐ │ │ ┌─────────────┐ ┌─────────────┐
┌─────────────┐ ┌─────────────┐ ┌─────────────┐ ┌─────────────┐ │ │ │
│ │ │ │ L2 (512KB) │ │ L2 (512KB) │ │ L2 (512KB) │ │ L2 (512KB) │ │ L2
(512KB) │ │ L2 (512KB) │ │ │ │ L2 (512KB) │ │ L2 (512KB) │ │ L2 (512KB)
│ │ L2 (512KB) │ │ L2 (512KB) │ │ L2 (512KB) │ │ │ │
│ │ │ └─────────────┘ └─────────────┘ └─────────────┘ └─────────────┘
└─────────────┘ └─────────────┘ │ │ └─────────────┘ └─────────────┘
└─────────────┘ └─────────────┘ └─────────────┘ └─────────────┘ │ │ │
│ │ │
│ │
│ │ │
│ │ │ ┌─────────────┐ ┌─────────────┐ ┌─────────────┐ ┌─────────────┐
┌─────────────┐ ┌─────────────┐ │ │ ┌─────────────┐ ┌─────────────┐
┌─────────────┐ ┌─────────────┐ ┌─────────────┐ ┌─────────────┐ │ │ │
│ │ │ │ L1d (32KB) │ │ L1d (32KB) │ │ L1d (32KB) │ │ L1d (32KB) │ │ L1d
(32KB) │ │ L1d (32KB) │ │ │ │ L1d (32KB) │ │ L1d (32KB) │ │ L1d (32KB)
│ │ L1d (32KB) │ │ L1d (32KB) │ │ L1d (32KB) │ │ │ │
│ │ │ └─────────────┘ └─────────────┘ └─────────────┘ └─────────────┘
└─────────────┘ └─────────────┘ │ │ └─────────────┘ └─────────────┘
└─────────────┘ └─────────────┘ └─────────────┘ └─────────────┘ │ │ │
│ │ │
│ │
│ │ │
│ │ │ ┌─────────────┐ ┌─────────────┐ ┌─────────────┐ ┌─────────────┐
┌─────────────┐ ┌─────────────┐ │ │ ┌─────────────┐ ┌─────────────┐
┌─────────────┐ ┌─────────────┐ ┌─────────────┐ ┌─────────────┐ │ │ │
│ │ │ │ L1i (64KB) │ │ L1i (64KB) │ │ L1i (64KB) │ │ L1i (64KB) │ │ L1i
(64KB) │ │ L1i (64KB) │ │ │ │ L1i (64KB) │ │ L1i (64KB) │ │ L1i (64KB)
│ │ L1i (64KB) │ │ L1i (64KB) │ │ L1i (64KB) │ │ │ │
│ │ │ └─────────────┘ └─────────────┘ └─────────────┘ └─────────────┘
└─────────────┘ └─────────────┘ │ │ └─────────────┘ └─────────────┘
└─────────────┘ └─────────────┘ └─────────────┘ └─────────────┘ │ │ │
│ │ │
│ │
│ │ │
│ │ │ ┌─────────────┐ ┌─────────────┐ ┌─────────────┐ ┌─────────────┐
┌─────────────┐ ┌─────────────┐ │ │ ┌─────────────┐ ┌─────────────┐
┌─────────────┐ ┌─────────────┐ ┌─────────────┐ ┌─────────────┐ │ │ │
│ │ │ │ Core P#0 │ │ Core P#1 │ │ Core P#2 │ │ Core P#4 │ │
Core P#5 │ │ Core P#6 │ │ │ │ Core P#8 │ │ Core P#9 │ │ Core
P#10 │ │ Core P#12 │ │ Core P#13 │ │ Core P#14 │ │ │ │
│ │ │ │ │ │ │ │ │ │ │ │
│ │ │ │ │ │ │ │ │ │
│ │ │ │ │ │ │ │ │ │
│ │ │ │ ┌─────────┐ │ │ ┌─────────┐ │ │ ┌─────────┐ │ │ ┌─────────┐ │ │
┌─────────┐ │ │ ┌─────────┐ │ │ │ │ ┌─────────┐ │ │ ┌─────────┐ │ │
┌─────────┐ │ │ ┌─────────┐ │ │ ┌─────────┐ │ │ ┌─────────┐ │ │ │ │
│ │ │ │ │ PU P#24 │ │ │ │ PU P#25 │ │ │ │ PU P#26 │ │ │ │ PU P#27 │ │ │ │
PU P#28 │ │ │ │ PU P#29 │ │ │ │ │ │ PU P#30 │ │ │ │ PU P#31 │ │ │ │ PU P#32
│ │ │ │ PU P#33 │ │ │ │ PU P#34 │ │ │ │ PU P#35 │ │ │ │ │
│ │ │ │ └─────────┘ │ │ └─────────┘ │ │ └─────────┘ │ │ └─────────┘ │ │
└─────────┘ │ │ └─────────┘ │ │ │ │ └─────────┘ │ │ └─────────┘ │ │
└─────────┘ │ │ └─────────┘ │ │ └─────────┘ │ │ └─────────┘ │ │ │ │
│ │ │ │ ┌─────────┐ │ │ ┌─────────┐ │ │ ┌─────────┐ │ │ ┌─────────┐ │ │
┌─────────┐ │ │ ┌─────────┐ │ │ │ │ ┌─────────┐ │ │ ┌─────────┐ │ │
┌─────────┐ │ │ ┌─────────┐ │ │ ┌─────────┐ │ │ ┌─────────┐ │ │ │ │
│ │ │ │ │ PU P#72 │ │ │ │ PU P#73 │ │ │ │ PU P#74 │ │ │ │ PU P#75 │ │ │ │
PU P#76 │ │ │ │ PU P#77 │ │ │ │ │ │ PU P#78 │ │ │ │ PU P#79 │ │ │ │ PU P#80
│ │ │ │ PU P#81 │ │ │ │ PU P#82 │ │ │ │ PU P#83 │ │ │ │ │
│ │ │ │ └─────────┘ │ │ └─────────┘ │ │ └─────────┘ │ │ └─────────┘ │ │
└─────────┘ │ │ └─────────┘ │ │ │ │ └─────────┘ │ │ └─────────┘ │ │
└─────────┘ │ │ └─────────┘ │ │ └─────────┘ │ │ └─────────┘ │ │ │ │
│ │ │ └─────────────┘ └─────────────┘ └─────────────┘ └─────────────┘
└─────────────┘ └─────────────┘ │ │ └─────────────┘ └─────────────┘
└─────────────┘ └─────────────┘ └─────────────┘ └─────────────┘ │ │ │
│ │
└──────────────────────────────────────────────────────────────────────────────────────────────────────┘
└──────────────────────────────────────────────────────────────────────────────────────────────────────┘
│ │
│ │
│ │
│ │
┌──────────────────────────────────────────────────────────────────────────────────────────────────────┐
┌──────────────────────────────────────────────────────────────────────────────────────────────────────┐
│ │
│ │ │
┌──────────────────────────────────────────────────────────────────────────────────────────────────┐
│ │
┌──────────────────────────────────────────────────────────────────────────────────────────────────┐
│ │ │
│ │ │ │ NUMANode P#6 (31GB)
│ │ │ │ NUMANode P#7 (31GB)
│ │ │ │
│ │ │
└──────────────────────────────────────────────────────────────────────────────────────────────────┘
│ │
└──────────────────────────────────────────────────────────────────────────────────────────────────┘
│ │ │
│ │ │
│ │
│ │ │
│ │ │ ┌───────────────────────────────────────────────┐
┌───────────────────────────────────────────────┐ │ │
┌───────────────────────────────────────────────┐
┌───────────────────────────────────────────────┐ │ │ │
│ │ │ │ L3 (8192KB) │ │ L3 (8192KB)
│ │ │ │ L3 (8192KB)
│ │ L3 (8192KB) │ │ │ │
│ │ │ └───────────────────────────────────────────────┘
└───────────────────────────────────────────────┘ │ │
└───────────────────────────────────────────────┘
└───────────────────────────────────────────────┘ │ │ │
│ │ │
│ │
│ │ │
│ │ │ ┌─────────────┐ ┌─────────────┐ ┌─────────────┐ ┌─────────────┐
┌─────────────┐ ┌─────────────┐ │ │ ┌─────────────┐ ┌─────────────┐
┌─────────────┐ ┌─────────────┐ ┌─────────────┐ ┌─────────────┐ │ │ │
│ │ │ │ L2 (512KB) │ │ L2 (512KB) │ │ L2 (512KB) │ │ L2 (512KB) │ │ L2
(512KB) │ │ L2 (512KB) │ │ │ │ L2 (512KB) │ │ L2 (512KB) │ │ L2 (512KB)
│ │ L2 (512KB) │ │ L2 (512KB) │ │ L2 (512KB) │ │ │ │
│ │ │ └─────────────┘ └─────────────┘ └─────────────┘ └─────────────┘
└─────────────┘ └─────────────┘ │ │ └─────────────┘ └─────────────┘
└─────────────┘ └─────────────┘ └─────────────┘ └─────────────┘ │ │ │
│ │ │
│ │
│ │ │
│ │ │ ┌─────────────┐ ┌─────────────┐ ┌─────────────┐ ┌─────────────┐
┌─────────────┐ ┌─────────────┐ │ │ ┌─────────────┐ ┌─────────────┐
┌─────────────┐ ┌─────────────┐ ┌─────────────┐ ┌─────────────┐ │ │ │
│ │ │ │ L1d (32KB) │ │ L1d (32KB) │ │ L1d (32KB) │ │ L1d (32KB) │ │ L1d
(32KB) │ │ L1d (32KB) │ │ │ │ L1d (32KB) │ │ L1d (32KB) │ │ L1d (32KB)
│ │ L1d (32KB) │ │ L1d (32KB) │ │ L1d (32KB) │ │ │ │
│ │ │ └─────────────┘ └─────────────┘ └─────────────┘ └─────────────┘
└─────────────┘ └─────────────┘ │ │ └─────────────┘ └─────────────┘
└─────────────┘ └─────────────┘ └─────────────┘ └─────────────┘ │ │ │
│ │ │
│ │
│ │ │
│ │ │ ┌─────────────┐ ┌─────────────┐ ┌─────────────┐ ┌─────────────┐
┌─────────────┐ ┌─────────────┐ │ │ ┌─────────────┐ ┌─────────────┐
┌─────────────┐ ┌─────────────┐ ┌─────────────┐ ┌─────────────┐ │ │ │
│ │ │ │ L1i (64KB) │ │ L1i (64KB) │ │ L1i (64KB) │ │ L1i (64KB) │ │ L1i
(64KB) │ │ L1i (64KB) │ │ │ │ L1i (64KB) │ │ L1i (64KB) │ │ L1i (64KB)
│ │ L1i (64KB) │ │ L1i (64KB) │ │ L1i (64KB) │ │ │ │
│ │ │ └─────────────┘ └─────────────┘ └─────────────┘ └─────────────┘
└─────────────┘ └─────────────┘ │ │ └─────────────┘ └─────────────┘
└─────────────┘ └─────────────┘ └─────────────┘ └─────────────┘ │ │ │
│ │ │
│ │
│ │ │
│ │ │ ┌─────────────┐ ┌─────────────┐ ┌─────────────┐ ┌─────────────┐
┌─────────────┐ ┌─────────────┐ │ │ ┌─────────────┐ ┌─────────────┐
┌─────────────┐ ┌─────────────┐ ┌─────────────┐ ┌─────────────┐ │ │ │
│ │ │ │ Core P#16 │ │ Core P#17 │ │ Core P#18 │ │ Core P#20 │ │
Core P#21 │ │ Core P#22 │ │ │ │ Core P#24 │ │ Core P#25 │ │ Core
P#26 │ │ Core P#28 │ │ Core P#29 │ │ Core P#30 │ │ │ │
│ │ │ │ │ │ │ │ │ │ │ │
│ │ │ │ │ │ │ │ │ │
│ │ │ │ │ │ │ │ │ │
│ │ │ │ ┌─────────┐ │ │ ┌─────────┐ │ │ ┌─────────┐ │ │ ┌─────────┐ │ │
┌─────────┐ │ │ ┌─────────┐ │ │ │ │ ┌─────────┐ │ │ ┌─────────┐ │ │
┌─────────┐ │ │ ┌─────────┐ │ │ ┌─────────┐ │ │ ┌─────────┐ │ │ │ │
│ │ │ │ │ PU P#36 │ │ │ │ PU P#37 │ │ │ │ PU P#38 │ │ │ │ PU P#39 │ │ │ │
PU P#40 │ │ │ │ PU P#41 │ │ │ │ │ │ PU P#42 │ │ │ │ PU P#43 │ │ │ │ PU P#44
│ │ │ │ PU P#45 │ │ │ │ PU P#46 │ │ │ │ PU P#47 │ │ │ │ │
│ │ │ │ └─────────┘ │ │ └─────────┘ │ │ └─────────┘ │ │ └─────────┘ │ │
└─────────┘ │ │ └─────────┘ │ │ │ │ └─────────┘ │ │ └─────────┘ │ │
└─────────┘ │ │ └─────────┘ │ │ └─────────┘ │ │ └─────────┘ │ │ │ │
│ │ │ │ ┌─────────┐ │ │ ┌─────────┐ │ │ ┌─────────┐ │ │ ┌─────────┐ │ │
┌─────────┐ │ │ ┌─────────┐ │ │ │ │ ┌─────────┐ │ │ ┌─────────┐ │ │
┌─────────┐ │ │ ┌─────────┐ │ │ ┌─────────┐ │ │ ┌─────────┐ │ │ │ │
│ │ │ │ │ PU P#84 │ │ │ │ PU P#85 │ │ │ │ PU P#86 │ │ │ │ PU P#87 │ │ │ │
PU P#88 │ │ │ │ PU P#89 │ │ │ │ │ │ PU P#90 │ │ │ │ PU P#91 │ │ │ │ PU P#92
│ │ │ │ PU P#93 │ │ │ │ PU P#94 │ │ │ │ PU P#95 │ │ │ │ │
│ │ │ │ └─────────┘ │ │ └─────────┘ │ │ └─────────┘ │ │ └─────────┘ │ │
└─────────┘ │ │ └─────────┘ │ │ │ │ └─────────┘ │ │ └─────────┘ │ │
└─────────┘ │ │ └─────────┘ │ │ └─────────┘ │ │ └─────────┘ │ │ │ │
│ │ │ └─────────────┘ └─────────────┘ └─────────────┘ └─────────────┘
└─────────────┘ └─────────────┘ │ │ └─────────────┘ └─────────────┘
└─────────────┘ └─────────────┘ └─────────────┘ └─────────────┘ │ │ │
│ │
└──────────────────────────────────────────────────────────────────────────────────────────────────────┘
└──────────────────────────────────────────────────────────────────────────────────────────────────────┘
│ │
│
└────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────┘
│
└────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────┘
┌────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────┐
│ Host: gpu003.cluster
│
│
│
│ Indexes: physical
│
│
│
│ Date: Tue 25 May 2021 03:21:08 PM CEST
│
└────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────┘
_______________________________________________ hpx-users mailing list [email protected] https://mail.cct.lsu.edu/mailman/listinfo/hpx-users
