MOOSE软件的编译

MOOSE软件的编译：1.WSL中Ubuntu无法正常安装Intel parallel xe studio, Debian gcc 版本过低，建议由9升到10， 虚拟机性能损

分子动力学

• 运行环境
  • ubuntu_2004
    • 1. WSL中Ubuntu无法正常安装Intel parallel xe studio, Debian gcc 版本过低，建议由9升到10， 虚拟机性能损失太大 升级WSL至WSL2
    • 2. https://docs.microsoft.com/en-us/windows/wsl/install-manual#download-using-powershell
    • 3. 选择相应的Linux发行版下载
    • 4. 更改后缀 appx --> zip,并解压
    • 替代
      • vmware 15+ ubuntu 20
    • 5. 运行
    • 6. 完成用户名和密码的设置
    • 7. 更换apt为国内清华源 (用gedit进行编辑)
      • https://mirror.tuna.tsinghua.edu.cn/help/ubuntu/
      • sudo apt install apt-transport-https ca-certificates vim
      • https://mirror.tuna.tsinghua.edu.cn/help/debian/
        • 查看版本号：cat /etc/*-release
      • sudo gedit /etc/apt/sources.list
      • sudo apt-get update
      • sudo apt-get upgrade
    • 8. sudo apt-get update
    • 9. 升级Debian10
      • 更换 源
        • 由 strench --> buster
      • sudo apt-get update
      • sudo apt-get upgrade
      • sudo apt-get dist-upgrade
      • sudo apt-get autoremove
        • 清理无效的软件包
    • 10. 添加中文输入法
      • 有平台
        • sudo apt install fcitx fcitx-table-wbpy
          • 安装 fcitx 框架
        • imconfig中配置fcitx
        • setting --> region & language --> manage installed language --> 添加 chinese (simplification) 同时 --> 回到上一级 添加 汉语
        • sudo apt install fcitx-googlepy
        • 重启生效
        • Ctrl+Space切换
      • 无平台
        • sudo apt install language-pack-zh-hans sudo dpkg-reconfigure locales #这一步要选择en_US.UTF-8和zh_CN.UTF-8, 并且zh_CN.UTF-8为默认语言 sudo apt install fontconfig
        • sudo vim /etc/fonts/local.conf
          • 添加如下内容： <?xml version="1.0"?> <!DOCTYPE fontconfig SYSTEM "fonts.dtd"> <fontconfig> <dir>/mnt/c/Windows/Fonts</dir> </fontconfig>
          • 退出后运行命令： fc-cache -f -v
        • Powershell中运行：wsl --shutdown
          • 重启 wsl
        • sudo apt install fcitx dbus-x11 im-config fcitx-sunpinyin
        • sudo vim /etc/locale.gen
          • # 找到 # zh_CN.UTF-8 这一行，取消注释 zh_CN.UTF-8
        • sudo vim ~/.profile
          • 添加如下内容： export GTK_IM_MODULE=fcitx export QT_IM_MODULE=fcitx export XMODIFIERS=@im=fcitx export DefaultIMModule=fcitx fcitx-autostart &>/dev/null
          • 退出后运行命令： source ~/.profile
        • QT中文输入
          • cp /usr/lib/x86_64-linux-gnu/qt5/plugins/platforminputcontexts/libfcitxplatforminputcontextplugin.so /opt/Qt5.14.2/Tools/QtCreator/lib/Qt/plugins/platforminputcontexts/libfcitxplatforminputcontextplugin.so
          • chmod +x libfcitxplatforminputcontextplugin.so
          • 重启 qtcreator
    • 11. 初始软件配置
      • sudo apt-get install build-essential gcc g++ gfortran make cmake git automake
      • sudo apt-get gcc-7 g++-7 gfortran-7
        • 多版本的gcc
      • 多版本gcc, g++的安装与转换
        • sudo update-alternatives --install /usr/bin/gcc gcc /usr/bin/gcc-9 40 sudo update-alternatives --install /usr/bin/gcc gcc /usr/bin/gcc-7 50 sudo update-alternatives --install /usr/bin/g++ g++ /usr/bin/g++-9 40 sudo update-alternatives --install /usr/bin/g++ g++ /usr/bin/g++-7 50 sudo update-alternatives --install /usr/bin/gfortran gfortran /usr/bin/gfortran-9 40 sudo update-alternatives --install /usr/bin/gfortran gfortran /usr/bin/gfortran-7 50
        • 切换
          • sudo update-alternatives --config gcc
      • 图形界面
        • PowerShell中运行
          • hostname
            • 获取计算机名
          • Notepad "C:\Windows\System32\Drivers\etc\hosts"
            • 将 “127.0.0.1 <hostname>”添加进去
        • windows10中安装程序 XcVsrv
          • XLaunch启动时，Extra Setting设置时，除了 Native opengl不选以外，其它全部勾选
        • sudo apt-get install x11-apps libglu1-mesa
        • Ubuntu20中运行
          • echo "export DISPLAY=$(cat /etc/resolv.conf | grep nameserver | awk '{print $2; exit;}'):0" >> ~/.bashrc
• 软件
  • JAVA环境
    • https://www.oracle.com/java/technologies/javase/javase-jdk8-downloads.html
    • 解压
    • ~/.bashrc
      • export JDK_HOME=/home/wzb198910/Software/jdk1.8.0_271 export JRE_HOME=/home/wzb198910/Software/jdk1.8.0_271/jre export PATH=$JDK_HOME/bin:$JRE_HOME/bin:$PATH export CLASSPATH=$JDK_HOME/lib:$JRE_HOME/jre/lib:$CLASSPATH export INCLUDE_PATH=$JDK_HOME/include:$INCLUDE_PATH
    • 查看
      • java -version
  • Intel parallel XE 2020（除了python环境）
    • 1. 解压文件：tar zxvf *.tgz
    • 2. 运行：./install.sh
      • 以管理员身份安装，会安装到/opt/intel下面
    • 3. 依赖软件
      • sudo apt-get install libgtk-3-0 libxss1 libnss3 libgtk2.0 libpango-1.0-0 libasound2 Xorg
      • sudo apt-get install libxss1 libnss3 libgtk2.0 libasound2
    • 4. 自定义安装
      • Python 不选
      • I32不选
    • 5. 配置: vim ~/.bashrc
      • source <Intel安装目录>/parallel_studio_xe_2020.1.102/bin/psxeevars.sh
  • anaconda
    • 直接安装
    • 配置: vim ~/.bashrc
      • export PATH=/home/wzb198910/Softwares/anaconda3/bin:$PATH
    • 命令指引（确认python 与 python3指定）
      • sudo update-alternatives --install /usr/bin/python python /home/wzb198910/Software/anaconda3/python 40 sudo update-alternatives --install /usr/bin/python3 python /home/wzb198910/Software/anaconda3/python3 40
      • 切换
        • sudo update-alternatives --config python
    • 更换国内Conda源
      • conda config --show-sources
        • 创建.condarc文件
      • 添加清华源
        • https://mirror.tuna.tsinghua.edu.cn/help/anaconda/
      • conda clean -i
        • 清除索引缓存，保证用的是镜像站提供的索引。
    • 更换国内pip源
      • sudo gedit ~/.pip/pip.conf
        • 不存在则创建
      • 添加 豆瓣 源
        • 清华源下载过程中出现问题
        • [global] index-url=https://pypi.doubanio.com/simple #index-url=https://pypi.tuna.tsinghua.edu.cn/simple [install] trusted-host=pypi.doubanio.com #trusted-host=pypi.tuna.tsinghua.edu.cn/
  • 以超级权限安装到root或opt目录下
  • cuda
    • 显卡：GTX 1650
    • 更新显卡驱动，版本号为
  • atom
    • 直接解压即可
    • ~/.bashrc
      • export PATH=/home/wzb198910/Softwares/atom:$PATH
    • 实现 sudo下运行
      • sudo ln -s /home/wzb198910/Softwares/atom/atom /usr/bin/atom
  • pycharm
    • 创建可直接运行的链接
      • sudo ln -s ./pycharm.sh pycharm
    • 直接解压后配置: vim ~/.bashrc
      • export PYCHARM_HOME=/home/wzb198910/Softwares/pycharm_2020.1.3 export PATH=$PYCHARM_HOME/bin:$PATH export LD_LIBRARY_PATH=$PYCHARM_HOME/lib:$LD_LIBRARY_PATH
  • VASP 6.1.0
    • 依赖软件
      • sudo apt-get install rsync
    • 库文件
      • <Intel PS XE 安装目录>/compilers_and_libraries_2020.1.217/linux/mkl/interfaces/fftw3xf
      • sudo make libintel64
        • 产生 libfftw3xf_intel.a
      • 问题：找不到icc
        • sudo ln -s /opt/intel/compilers_and_libraries_2020.1.217/linux/bin/intel64/icc /usr/bin/icc
    • makefile文件准备
      • cp makefile.include.linux_intel ./
      • mv makefile.include.linux_intel makefile.include
      • 修改：OFLAG = -O2 --> OFLAG = -O3 -xHOST
      • 运行： make std gam ncl
        • 不要用sudo，否则有些命令无法执行
        • 不要并行编译，否则会出现部分include库无法找到
    • ~/.bashrc
    • 测试
      • http://sobereva.com/attach/455/benchmark.Hg.tar.gz
  • vaspkit
    • Website
      • https://sourceforge.net/projects/vaspkit/files/
    • 安装
      • 子主题
  • deepmd-kit(暂时不考虑1.2.0版本)
    • 方法1
      • tensorflow-python（采用2.2.0版本）
        • pip install --upgrade pip
        • pip install --upgrade tensorflow-cpu==2.2.0
        • 测试
          • python -c "import tensorflow as tf;print(tf.reduce_sum(tf.random.normal([1000, 1000])))"
      • deepmd-python（采用1.1.5版本）
        • pip install deepmd-kit
        • 设置全局变量
          • export KMP_BLOCKTIME=0 export KMP_AFFINITY=granularity=fine,verbose,compact,1,0
            • 针对numpy的效率进行改进
        • 注意
          • tensorflow-python必须是2.2.0版本的
          • 采用以下版本则dp -h会报错
      • tensorflow-C++ （采用2.2.0版本）
        • 注意 gcc, g++等版本问题 6和9都不合适
        • bazel (2.0.0版本)
          • 依赖软件
            • sudo apt-get install git cmake zip unzip
          • 下载
            • 离线下载 bazel-2.0.0-dist.zip
            • 解压后进入目录，运行 ./compile.sh
          • 配置文件
            • 指定到安装目录/output
        • 下载
          • git clone https://github.com/tensorflow/tensorflow tensorflow -b v2.2.0 --depth=1
        • cd tensorflow/tensorflow/work.bzl
          • protobuf (3.8.0)
            • wget https://github.com/protocolbuffers/protobuf/archive/310ba5ee72661c081129eb878c1bbcec936b20f0.tar.gz
            • ./autogen.sh ./configure --prefix=/usr/local make -j4 sudo make install
              • sudo apt-get install autoconf automake libtool
            • 配置文件 bin/lib/include
            • 验证
              • protoc --version
          • Eigen (3.3.90)
            • wget https://gitlab.com/libeigen/eigen/-/archive/52a2fbbb008a47c5e3fb8ac1c65c2feecb0c511c/eigen-52a2fbbb008a47c5e3fb8ac1c65c2feecb0c511c.tar.gz
            • mkdir build cd build cmake -DCMAKE_INSTALL_PREFIX=<路径> .. sudo make install
            • 配置文件：export INCLUDE=
        • 修改
          • WORKSPACE
          • workspace.bzl
          • urls更改
            • 将文件中涉及的软件全部下载保存
            • file://///home/wzb198910/Software/tensorflow/Tensorflow_Download/<文件名>
            • 注意保留第一个google的镜像地址
        • 安装（CPU 版本）
          • ./configure
            • 默认的安装配置，注意python相关设置的路径
          • bazel build -c opt --local_resources 2048,0.5,1.0 --verbose_failures --distdir=/home/wzb198910/Downloads/Tensorflow-2.2.0_Download //tensorflow:libtensorflow_cc.so
            • --verbose_failures
              • 输出报错信息
            • --local_resources=4096,4,8
              • 限制使用 4GB内存，4核 8线程
            • --distdir
              • 指向需要下载软件的本地目录
            • //tensorflow:install_headers
              • 搜集头文件
            • 创建动态链接
            • 生成
              • bazel-bin
              • bazel-out
              • bazel-tensorflow
              • bazel-testlogs
          • bazel clean --expunge
            • 失误后，刷新缓存
        • 配置
      • deepmd-C++（采用1.2.0版本）
        • 下载
          • sudo git clone --recursive https://github.com/deepmodeling/deepmd-kit.git deepmd-kit
          • git checkout -b v1.2.0 v1.2.0
            • 只有tag（后），没有branch（前）
          • cmake -DTENSORFLOW_ROOT=/home/wzb198910/Software/tensorflow/bazel-bin/tensorflow -DCMAKE_INSTALL_PREFIX=/home/wzb198910/Software/DeepMD-kit ..
          • make
          • make install
    • 方法2
      • 直接使用conda
        • 可满足melt, diffusion
        • elastic 由于缺乏有效的manybody无法使用
          • 需要重新编译才可
        • conda install deepmd-kit=1.1.5=*gpu lammps-dp=1.1.5=*gpu -c deepmodeling
        • 不考虑C++接口等
  • lammps
    • 编译安装
      • 提前准备
        • sudo apt-get install libjpeg-dev libpng-dev
        • jpg.h
          • libjpeg-dev
        • png.h
          • libpng-dev
        • Makefile中修改相关设置 lmp目录/src/MAKE/OPTIONS
          • LMP_INC = -DLAMMPS_GZIP -DLAMMPS_JPEG -DLAMMPS_PNG
          • JPG_INC = -I/usr/local/include JPG_PATH = -L/usr/local/lib JPG_LIB = -ljpeg -lpng
        • pppm.h
          • src中 安装 make yes-KSPACE
      • 修改
        • <lammps目录>/src/MAKE/makefile.mpi
        • 按照要求修改
      • src目录下
        • 需要按照的库 (make yes-<库名称>)
          • USER-MEAMC
            • MEAM势函数相关
            • USER-MISC
              • AGNI势函数相关
          • MANYBODY
            • 势函数相关
          • VORONOI
            • 多体中每个原子的体积相关
            • 需要voro++
              • http://math.lbl.gov/voro++/download/
              • 修改 config.mk
                • PREFIX=/home/wzb198910/Software/VoroPP/0.4.6
              • sudo make install
                • 安装
              • cd lmp目录/lib/voronoi
                • ln -s /home/wzb198910/Software/VoroPP/0.4.6/include/voro++ includelink ln -s /home/wzb198910/Software/VoroPP/0.4.6/lib liblink
          • USER-DEEPMD
            • 机器学习势函数
            • KSPACE
          • USER-DIFFRACTION
            • 模拟XRD输出
          • KIM
            • OpenKIM api接口
        • make package-status
          • 查看包的安装情况
        • make -j12 mpi 或 make -j12 intel_cpu_intelmpi
    • 运行
      • mpirun -np <核数> lmp_mpi < *.in
  • OpenKIM
  • deepgen
    • git clone https://github.com/deepmodeling/dpgen.git
    • pip install pymatgen==2020.1.10
    • pip install .
  • MOOSE安装
    • 确保Anaconda安装完毕
      • conda config --add channels conda-forge conda config --add channels idaholab
    • conda activate moose
      • 激活moose运行环境
    • conda create --name moose moose-libmesh moose-tools
      • 创建MOOSE运行环境
    • git clone https://github.com/idaholab/moose.git
      • 下载 moose 的程序包（建议直接下载压缩包）
    • cd ~/projects/moose/test make -j 2 ./run_tests -j 2
      • 编译并测试（基础环境）
    • # MOOSE_peacock export MOOSE_DIR=/home/wzb198910/Software/Projects_pf/moose export PATH=$MOOSE_DIR/python/peacock:$PATH
      • 指定MOOSE_DIR地址，并确保 peacock可运行
    • cd ~/projects ./moose/scripts/stork.sh YourAppName
      • 创建自己的应用所需要的编译文件
    • 修改 Makefile
      • 选择 模拟过程中可能涉及到的模块
        • 将 no 改成 yes 即可
    • make -j 2 ./run_tests -j 2
      • 编译并测试自己的应用
  • Abinit安装
    • 准备
      • sudo apt-get install libopenmpi-dev mpi-default-dev libblas-dev liblapack-dev libscalapack-...-dev libatlas-base-dev libhdf5-dev libnetcdf-dev libnetcdff-dev libpnetcdf-dev libxc-dev
      • sudo apt-get install libxml2-dev libfftw3-dev
      • 辅助文件
        • hdf5
          • ./configure --prefix=/home/wzb198910/Software/hdf5 CC=/opt/intel/compilers_and_libraries_2020.1.217/linux/mpi/intel64/bin/mpicc --enable-parallel --enable-shared make -j4 make check install
        • netcdf4
          • ./configure --prefix=/home/wzb198910/Software/netcdf4 CC=/opt/intel/compilers_and_libraries_2020.1.217/linux/mpi/intel64/bin/mpicc LDFLAGS=-L/home/wzb198910/Software/hdf5/lib CPPFLAGS=-I/home/wzb198910/Software/hdf5/include --disable-dap make -j4 make check make install
        • netcdf-gfortran
          • CPPFLAGS="-I/home/wzb198910/Software/netcdf4/include -I/home/wzb198910/Software/hdf5/include" LD_LIBRARY_PATH=/home/wzb198910/Software/netcdf4/lib:${LD_LIBRARY_PATH} LDFLAGS="-L/home/wzb198910/Software/netcdf4/lib -L/home/wzb198910/Software/hdf5/include" ../configure --prefix=/home/wzb198910/Software/netcdf-fortran CC=/opt/intel/compilers_and_libraries_2020.1.217/linux/mpi/intel64/bin/mpiicc FC=/opt/intel/compilers_and_libraries_2020.1.217/linux/mpi/intel64/bin/mpiifort F77=/opt/intel/compilers_and_libraries_2020.1.217/linux/mpi/intel64/bin/mpiifort make -j4 make check make install
        • xml90
          • ../configure --prefix=/home/wzb198910/Software/xmlf90/1.5.3.1 CC=/opt/intel/compilers_and_libraries_2020.1.217/linux/mpi/intel64/bin/mpiicc FC=/opt/intel/compilers_and_libraries_2020.1.217/linux/mpi/intel64/bin/mpiifort
        • libpsml
          • ../configure --prefix=/home/wzb198910/Software/libpsml/1.1.7 --with-xmlf90=/home/wzb198910/Software/xmlf90/1.5.3.1 CC=/opt/intel/compilers_and_libraries_2020.1.217/linux/mpi/intel64/bin/mpiicc FC=/opt/intel/compilers_and_libraries_2020.1.217/linux/mpi/intel64/bin/mpiifort
        • libxc
          • autoreconf -i
            • 生成 configure 文件
        • 子主题
    • 安装
      • 配置文件
        • mkdir build && cd build
        • touch ubuntu.ac9
        • ../configure --prefix=/home/wzb198910/Software/abinit/9.2.2 --with-config-file="ubuntu.ac9"
• WSL
  • PowerShell（管理员）
    • 问题：WslRegisterDistribution failed with error: 0x8007019e
    • Enable-WindowsOptionalFeature -Online -FeatureName Microsoft-Windows-Subsystem-Linux
    • 重启后再此打开 wsl
  • 子主题
    • 问题：WslRegisterDistribution failed with error: 0x8007019e
  • GPU加速
    • wsl2 且内核>4.19.121
      • uname -r
        • 查看内核
  • conda warning
    • conda update --strict-channel-priority --all
      • 更新警告包
  • 删除wsl
    • 列出：wslconfig /l
    • 删除：wslconfig /u <目标系统>
  • 更新报错
    • 问题
      • ubuntu apt-get 错误 Temporary failure resolving us.archive.ubuntu.com
    • 解决方案
      • 加入dns服务器地址，比如： sudo vim /etc/resolv.conf 添加： nameserver 8.8.8.8 执行： sudo apt-get update
• 主题

MOOSE安装

• 确保Anaconda安装完毕
  • conda config --add channels conda-forge conda config --add channels idaholab
• conda activate moose
  • 激活moose运行环境
• conda create --name moose moose-libmesh moose-tools
  • 创建MOOSE运行环境
• git clone https://github.com/idaholab/moose.git
  • 下载 moose 的程序包（建议直接下载压缩包）
• cd ~/projects/moose/test make -j 2 ./run_tests -j 2
  • 编译并测试（基础环境）
• # MOOSE_peacock export MOOSE_DIR=/home/wzb198910/Software/Projects_pf/moose export PATH=$MOOSE_DIR/python/peacock:$PATH
  • 指定MOOSE_DIR地址，并确保 peacock可运行
• cd ~/projects ./moose/scripts/stork.sh YourAppName
  • 创建自己的应用所需要的编译文件
• 修改 Makefile
  • 选择 模拟过程中可能涉及到的模块
    • 将 no 改成 yes 即可
• make -j 2 ./run_tests -j 2
  • 编译并测试自己的应用