Thank you for the reply,
I use QE7.3. The qe7.0gpu module on NERSC is not working probably due to
environment change.
My script compilation script is :
export LC_ALL=C
module load gpu
module load PrgEnv-nvidia
module load nvidia/23.9
module unload cray-libsci
module unload darshan
module load cudatoolkit/12.2
module load craype-accel-nvidia80
module load cray-python/3.11.5
module load cray-fftw
./configure --with-cuda=$CUDA_HOME --with-cuda-runtime=12.2 --with-cuda-cc=80
--with-cuda-mpi=yes
I manually made change to the make.inc as follow, and then make all:
MPIF90 = ftn
F90 = ftn
CC = cc
LD = ftn
BLAS_LIBS = ${CRAY_NVIDIA_PREFIX}/compilers/lib/libblas.so
LAPACK_LIBS = ${CRAY_NVIDIA_PREFIX}/compilers/lib/liblapack.so
${CRAY_NVIDIA_PREFIX}/compilers/lib/libblas.so
FFT_LIBS = $(FFTW_DIR)/libfftw3.so \
$(FFTW_DIR)/libfftw3_threads.so \
$(FFTW_DIR)/libfftw3_omp.so \
${CUDALIB} -lstdc++
The code could run with no problem, but it gives different result from gpu
compilation.
Best,
Shimin Zhang
University of Wisconsin, Madison
On Jul 29, 2024, at 2:00 PM, Omar A. Ashour <[email protected]> wrote:
Hi Shimin,
You did not specify the QE version you are using, how it was compiled, and
which libraries you linked to. If you’re using the default modules on NERSC’s
Perlmutter (7.0-libxc5.2.2), they are linked to different libraries. I believe
the CPU version is compiled with GNU compilers and linked to Cray LibSci and
FFTW3, whereas the GPU version is compiled with nvcc/PGI and linked to the
NVIDIA implementations (cuBLAS, cuFFTW, etc.). In principle, they should give
identical results that are close to numerical precision, but there might be
something going on here.
Your calculation is too expensive to try myself with my NERSC builds of QE 7.3.
Sharing the information I suggested above may allow other people to help.
Omar A. Ashour
UC Berkeley
P.S. Please include your affiliation when posting to the mailing list.
On Jul 29, 2024 at 11:20:07 AM, Shimin ZHANG via users
<[email protected]<mailto:[email protected]>>
wrote:
Dear QE developers,
I am running a PBE0 scf calculation on NERSC gpu. I found my gpu result are
different from cpu result. I tested different cpu installation on different
clusters and it gives Bandgap=3.0945 eV and !! total energy = -41479.47524618
Ry . With gpu version I got bandgap=2.9022 and !! total energy =
-41428.12547634 Ry. I got this result consistently by adjusting different
cutoff energy and mixing_beta.
Does anyone have similar experience on getting different result with gpu?
Best,
Shimin
Here is my input:
&control
calculation = 'scf'
wf_collect = .true.
verbosity = 'high'
pseudo_dir=“~/Pseudopotential/pseudo-ONCV-proj"
etot_conv_thr=1d-6,
forc_conv_thr=1d-5,
nstep=1000
/
&system
input_dft = "pbe0"
ibrav = 0
nat = 192
ntyp = 2
ecutwfc = 60
ecutfock = 120
nbnd = 1258
/
&electrons
conv_thr = 1e-09
electron_maxstep = 100
mixing_beta = 0.5
/
&ions
/
&cell
/
ATOMIC_SPECIES
Zn 0.0 Zn_ONCV_PBE-1.0.upf
O 0.0 O_ONCV_PBE-1.0.upf
K_POINTS gamma
CELL_PARAMETERS angstrom
12.994354258 0.000000000 0.000000000
-6.497177129 11.253440893 0.000000000
0.000000000 0.000000000 15.612038607
ATOMIC_POSITIONS crystal
O 0.333333250 0.916666750 0.793874404
O 0.583333250 0.666666750 0.127207737
O 0.666666750 0.583333250 0.293874404
O 0.583333250 0.416666750 0.793874404
O 0.666666750 0.333333250 0.960541070
O 0.583333250 0.416666750 0.460541070
O 0.666666750 0.333333250 0.627207737
O 0.583333250 0.416666750 0.127207737
O 0.666666750 0.333333250 0.293874404
O 0.583333250 0.166666750 0.793874404
O 0.666666750 0.083333250 0.960541070
O 0.583333250 0.166666750 0.460541070
O 0.666666750 0.083333250 0.627207737
O 0.583333250 0.166666750 0.127207737
O 0.666666750 0.583333250 0.627207737
O 0.666666750 0.083333250 0.293874404
O 0.416666750 0.833333250 0.960541070
O 0.333333250 0.916666750 0.460541070
O 0.416666750 0.833333250 0.627207737
O 0.333333250 0.916666750 0.127207737
O 0.416666750 0.833333250 0.293874404
O 0.333333250 0.666666750 0.793874404
O 0.416666750 0.583333250 0.960541070
O 0.333333250 0.666666750 0.460541070
O 0.416666750 0.583333250 0.627207737
O 0.333333250 0.666666750 0.127207737
O 0.416666750 0.583333250 0.293874404
O 0.333333250 0.416666750 0.793874404
O 0.416666750 0.333333250 0.960541070
O 0.916666750 0.833333250 0.960541070
O 0.333333250 0.416666750 0.460541070
O 0.583333250 0.666666750 0.460541070
O 0.583333250 0.666666750 0.793874404
O 0.833333250 0.916666750 0.460541070
O 0.916666750 0.833333250 0.627207737
O 0.833333250 0.916666750 0.127207737
O 0.916666750 0.833333250 0.293874404
O 0.833333250 0.666666750 0.793874404
O 0.916666750 0.583333250 0.960541070
O 0.833333250 0.666666750 0.460541070
O 0.916666750 0.583333250 0.627207737
O 0.833333250 0.666666750 0.127207737
O 0.916666750 0.583333250 0.293874404
O 0.833333250 0.416666750 0.793874404
O 0.916666750 0.333333250 0.960541070
O 0.833333250 0.416666750 0.460541070
O 0.666666750 0.583333250 0.960541070
O 0.916666750 0.333333250 0.627207737
O 0.916666750 0.333333250 0.293874404
O 0.833333250 0.166666750 0.793874404
O 0.916666750 0.083333250 0.960541070
O 0.833333250 0.166666750 0.460541070
O 0.916666750 0.083333250 0.627207737
O 0.833333250 0.166666750 0.127207737
O 0.916666750 0.083333250 0.293874404
O 0.583333250 0.916666750 0.793874404
O 0.666666750 0.833333250 0.960541070
O 0.583333250 0.916666750 0.460541070
O 0.666666750 0.833333250 0.627207737
O 0.583333250 0.916666750 0.127207737
O 0.666666750 0.833333250 0.293874404
O 0.833333250 0.416666750 0.127207737
O 0.416666750 0.333333250 0.627207737
O 0.833333250 0.916666750 0.793874404
O 0.083333250 0.666666750 0.460541070
O 0.166666750 0.083333250 0.960541070
O 0.083333250 0.166666750 0.793874404
O 0.083333250 0.916666750 0.793874404
O 0.166666750 0.833333250 0.960541070
O 0.166666750 0.333333250 0.293874404
O 0.083333250 0.916666750 0.460541070
O 0.083333250 0.416666750 0.127207737
O 0.166666750 0.833333250 0.627207737
O 0.083333250 0.916666750 0.127207737
O 0.166666750 0.333333250 0.627207737
O 0.166666750 0.833333250 0.293874404
O 0.083333250 0.416666750 0.460541070
O 0.083333250 0.666666750 0.793874404
O 0.166666750 0.583333250 0.960541070
O 0.166666750 0.333333250 0.960541070
O 0.083333250 0.416666750 0.793874404
O 0.333333250 0.416666750 0.127207737
O 0.166666750 0.583333250 0.627207737
O 0.166666750 0.583333250 0.293874404
O 0.416666750 0.083333250 0.293874404
O 0.333333250 0.166666750 0.127207737
O 0.083333250 0.666666750 0.127207737
O 0.416666750 0.083333250 0.960541070
O 0.083333250 0.166666750 0.460541070
O 0.416666750 0.333333250 0.293874404
O 0.416666750 0.083333250 0.627207737
O 0.333333250 0.166666750 0.793874404
O 0.166666750 0.083333250 0.627207737
O 0.083333250 0.166666750 0.127207737
O 0.333333250 0.166666750 0.460541070
O 0.166666750 0.083333250 0.293874404
Zn 0.916666750 0.083333250 0.833358930
Zn 0.916666750 0.833333250 0.500025596
Zn 0.166666750 0.333333250 0.833358930
Zn 0.833333250 0.166666750 0.333358930
Zn 0.916666750 0.083333250 0.500025596
Zn 0.083333250 0.416666750 0.666692263
Zn 0.833333250 0.916666750 0.333358930
Zn 0.166666750 0.083333250 0.833358930
Zn 0.083333250 0.166666750 0.000025596
Zn 0.916666750 0.833333250 0.833358930
Zn 0.166666750 0.583333250 0.166692263
Zn 0.583333250 0.916666750 0.666692263
Zn 0.666666750 0.833333250 0.833358930
Zn 0.083333250 0.666666750 0.000025596
Zn 0.833333250 0.916666750 0.666692263
Zn 0.833333250 0.166666750 0.000025596
Zn 0.916666750 0.083333250 0.166692263
Zn 0.166666750 0.083333250 0.500025596
Zn 0.833333250 0.666666750 0.333358930
Zn 0.916666750 0.583333250 0.500025596
Zn 0.083333250 0.166666750 0.666692263
Zn 0.916666750 0.583333250 0.833358930
Zn 0.833333250 0.666666750 0.000025596
Zn 0.916666750 0.583333250 0.166692263
Zn 0.833333250 0.666666750 0.666692263
Zn 0.166666750 0.333333250 0.166692263
Zn 0.833333250 0.416666750 0.666692263
Zn 0.583333250 0.916666750 0.333358930
Zn 0.083333250 0.416666750 0.000025596
Zn 0.833333250 0.416666750 0.333358930
Zn 0.083333250 0.166666750 0.333358930
Zn 0.916666750 0.333333250 0.500025596
Zn 0.916666750 0.833333250 0.166692263
Zn 0.833333250 0.916666750 0.000025596
Zn 0.166666750 0.333333250 0.500025596
Zn 0.833333250 0.416666750 0.000025596
Zn 0.916666750 0.333333250 0.166692263
Zn 0.083333250 0.416666750 0.333358930
Zn 0.833333250 0.166666750 0.666692263
Zn 0.916666750 0.333333250 0.833358930
Zn 0.416666750 0.333333250 0.500025596
Zn 0.166666750 0.583333250 0.500025596
Zn 0.666666750 0.083333250 0.166692263
Zn 0.416666750 0.083333250 0.166692263
Zn 0.333333250 0.916666750 0.666692263
Zn 0.416666750 0.833333250 0.833358930
Zn 0.333333250 0.166666750 0.000025596
Zn 0.333333250 0.916666750 0.333358930
Zn 0.416666750 0.833333250 0.500025596
Zn 0.416666750 0.083333250 0.500025596
Zn 0.333333250 0.916666750 0.000025596
Zn 0.416666750 0.833333250 0.166692263
Zn 0.333333250 0.166666750 0.333358930
Zn 0.583333250 0.166666750 0.000025596
Zn 0.333333250 0.666666750 0.666692263
Zn 0.416666750 0.083333250 0.833358930
Zn 0.333333250 0.666666750 0.333358930
Zn 0.416666750 0.583333250 0.500025596
Zn 0.333333250 0.166666750 0.666692263
Zn 0.333333250 0.666666750 0.000025596
Zn 0.416666750 0.583333250 0.166692263
Zn 0.416666750 0.333333250 0.166692263
Zn 0.333333250 0.416666750 0.666692263
Zn 0.416666750 0.333333250 0.833358930
Zn 0.333333250 0.416666750 0.000025596
Zn 0.333333250 0.416666750 0.333358930
Zn 0.416666750 0.583333250 0.833358930
Zn 0.666666750 0.833333250 0.500025596
Zn 0.083333250 0.916666750 0.666692263
Zn 0.583333250 0.166666750 0.333358930
Zn 0.583333250 0.916666750 0.000025596
Zn 0.666666750 0.833333250 0.166692263
Zn 0.083333250 0.666666750 0.333358930
Zn 0.583333250 0.666666750 0.666692263
Zn 0.666666750 0.583333250 0.833358930
Zn 0.166666750 0.583333250 0.833358930
Zn 0.583333250 0.666666750 0.333358930
Zn 0.666666750 0.583333250 0.500025596
Zn 0.083333250 0.666666750 0.666692263
Zn 0.583333250 0.666666750 0.000025596
Zn 0.666666750 0.583333250 0.166692263
Zn 0.666666750 0.083333250 0.500025596
Zn 0.166666750 0.833333250 0.166692263
Zn 0.666666750 0.333333250 0.833358930
Zn 0.083333250 0.916666750 0.000025596
Zn 0.583333250 0.416666750 0.333358930
Zn 0.666666750 0.333333250 0.500025596
Zn 0.166666750 0.833333250 0.500025596
Zn 0.583333250 0.416666750 0.000025596
Zn 0.666666750 0.333333250 0.166692263
Zn 0.083333250 0.916666750 0.333358930
Zn 0.583333250 0.166666750 0.666692263
Zn 0.666666750 0.083333250 0.833358930
Zn 0.166666750 0.833333250 0.833358930
Zn 0.583333250 0.416666750 0.666692263
Zn 0.166666750 0.083333250 0.166692263
_______________________________________________
The Quantum ESPRESSO community stands by the Ukrainian
people and expresses its concerns about the devastating
effects that the Russian military offensive has on their
country and on the free and peaceful scientific, cultural,
and economic cooperation amongst peoples
_______________________________________________
Quantum ESPRESSO is supported by MaX
(www.max-centre.eu<https://urldefense.com/v3/__http://www.max-centre.eu__;!!Mak6IKo!JE0FxXeLf_JVmtda3e1vdd3gzzVhRoSNYwoxcpQBJo0_e0vyMEqBRTC5poR0zJSGUMysQLGZVZz_RCYYnPeuiTc$>)
users mailing list
[email protected]<mailto:[email protected]>
https://lists.quantum-espresso.org/mailman/listinfo/users<https://urldefense.com/v3/__https://lists.quantum-espresso.org/mailman/listinfo/users__;!!Mak6IKo!JE0FxXeLf_JVmtda3e1vdd3gzzVhRoSNYwoxcpQBJo0_e0vyMEqBRTC5poR0zJSGUMysQLGZVZz_RCYYbSI7Cco$>
_______________________________________________
The Quantum ESPRESSO community stands by the Ukrainian
people and expresses its concerns about the devastating
effects that the Russian military offensive has on their
country and on the free and peaceful scientific, cultural,
and economic cooperation amongst peoples
_______________________________________________
Quantum ESPRESSO is supported by MaX (www.max-centre.eu)
users mailing list [email protected]
https://lists.quantum-espresso.org/mailman/listinfo/users
