高性能计算之并行编程技术—MPI并行程序设计知识点总结

高性能计算之并行编程技术—MPI并行程序设计知识点总结，包括并行计算机、并行编程模型与并行语言、并行算法、MPI程序等等。

高性能计算之并行编程技术—MPI并行程序设计知识点总结

1 并行计算机

并行计算机的分类

指令与程序

程序和数据

SPMD

MPMD

指令和数据

MIMD

SIMD

存储方式

共享内存

分布式内存

分布式共享内存

物理问题在并行机上的求解

2 并行编程模型与并行语言

并行编程模型

数据并行

消息传递

并行语言

全新的语言

扩展原来的语法

并行库

3 并行算法

分类

对象

数值型

非数值型

进程间的依赖

同步并行算法

异步并行算法

纯并行算法

并行任务的大小

粗粒度并行算法

细粒度并行算法

介于二者之间

设计

SIMD

适合于同步并行算法，加大计算时间相对于通信时间的比重，减少通信的次数，甚至以计算换通信

MPMD

适合于异步并行算法

4 MPI简介

MPI

一个库而不是一种语言

一种标准或规范，而不是实现

一种消息传递模型、标准

目的

提供应用程序的编程接口

提高通信效率、措施，避免多次重复拷贝，允许计算和通信的重叠

异构环境

C和Fortran 77

可靠的通信接口

允许扩展

。。。

实现

MPICH

Chimp

Lam

OpenMPI

5 MPI程序

C与MPI绑定

头文件 #include "mpi.h"

程序开始 MPI_Init(&argc, &argv);

程序结束 MPI_Finalize();

程序体 

进程的标志号 MPI_Comm_rank

进程的个数 MPI_Comm_size

机器的名称 MPI_Get_processor_name 

惯例

都是以MPI_开始，c中首字母大小，其他的小写

6 六个接口构成的MPI的子集

6个子集

6个常用的接口

初始化 MPI_Init(int *argc,char ***argv)

结束 MPI_Finalize(void)

当前进程标识 int MPI_Comm_rank(MPI_Comm comm,int *rank)

通信域包含的进程数 int MPI_Comm_size(MPI_Comm comm, int *size)

消息发送 int MPI_Send(void *buf,int count,MPI_Datatype,int dest,int tag,MPI_Comm comm)

消息接收 int MPI_Recv(void *buf,int count,MPI_Datatype datatype,int source ,int tag,MPI_Comm comm,MPI_Status *status)

MPI调用参数说明

IN 输入

OUT 输出

INOUT 输入输出

预定义类型

基本类型都是将类型大写，并在前面加上MPI_

MPI_BYTE和MPI_PACKED在c中没有对应的类型

数据类型匹配和数据转换

MPI类型匹配规则

消息传递的三个过程

消息装配

缓冲区内变量类型=发送类型

消息传递

发送类型=接收类型

消息拆卸

接收缓冲区类型=接收类型

有类型数据的通信

发送方和接收方一致

无类型数据的通信

发送方和接收方均以MPI_BYTE作为类型

打包数据通信

发送方和接收方均使用MPI_PACKED

数据转换

数据类型的转换

基本没有

数据表示的转换

改变一个值的二进制表示

MPI消息

MPI消息的组成

数据

数据：<起始地址，数据个数，数据类型>

信封

信封：<源/目，标识，通信域>

MPI_Send(void *buf,int count,MPI_Datatype,int dest,int tag,MPI_Comm comm)

MPI_Recv(void *buf,int count,MPI_Datatype datatype,int source ,int tag,MPI_Comm comm,MPI_Status *status)

任意源和任意标识

接受者可以通过MPI_ANY_SOURCE来接收任何类型的消息

MPI通信域

进程组

所有参加通信的集合，N个就是进程号从0~N-1

通信上下文

提供一个相对对立的通信区域

7 简单的MPI程序示例

MPI的计时功能

MPI_Wtime()

MPI_Wtick()

获取机器的名字和MPI版本号

MPI_Get_version(int * version, int * subversion)

MPI_Get_processor_name(char *name,int *resultlen)

是否初始化及错误退出

MPI_Initalizer(int * flag)

MPI_Abort(MPI_Comm comm，int eoorcode)

数据接力传输

任意进程间相互问候

任意进程都可以向其他的进程问好，任意连个进程之间都可以进行数据交换

任意源和任意标识的使用

编写安全的MPI程序

两个进程之间进行数据交换的时候，一定要将他们的发送和接收的顺序进行匹配，也就是一个进程的发送在前，接收在后，相应的，另一个进程的接收在前，发送在后。

8 MPI并行程序的两种模式

对等模式

Jacobi迭代

牛顿迭代

Jacobi迭代

MPI实现Jacobi迭代

通过划分数据块的方法

使用捆绑发送接收实现Jacobi迭代

MPI_Sendrecv(void *sendbuf, int sendcount, MPI_Datatype sendtype, int dest,int sendtag, void *recvbuf, int recvcount, MPI_Datatype recvtype, int source,int recvtag, MPI_Comm comm, MPI_Status *status)

捆绑发送接收是不对称的

PI_Sendrecv_replace(void *buf, int count, MPI_Datatype datatype, int dest, int sendtag,int source, int recvtag, MPI_Comm comm, MPI_Status *status)

虚拟进程实现Jacobi迭代

MPI_PROC_NULL

简化代码

将虚拟进程充当进程通信的源或者目

主从模式

矩阵向量相乘

主从进程之间的打印数据

9 不同通信模式MPI并行程序设计

不同通信模式的区分

是否需要对发送的数据进行缓存

是否只有当接收调用执行后才可以执行发送操作

什么时候发送调用可以正确返回

发送调用正确返回是否意味着发送完毕

即发送缓冲区是否可以被覆盖

发送数据是否已达到接收缓冲区

四种通信模式

标准通信模式

是否对发送的数据进行缓存由MPI自身决定，不由程序员决定

如果MPI决定缓存将要发出的数据，发送操作不管接收操作是否执行，都可以继续执行

发送操作可以正确返回，而不要求接收操作收到发送的数据

缓存数据会延长数据通信的时间，而且缓冲区不一定能够得到

缓存通信模式

用程序员自己控制

MPI_Bsend(void* buf, int count, MPI_Datatype datatype, int dest,int tag, MPI_Comm comm)

缓存通信不管接收操作是否启动，发送操作都是可以执行的

发送消息之前必须要有缓冲区可以使用

必须要等到缓冲区中的消息发送之后，才可以释放缓冲区

MPI_Buffer_attach(void* buffer, int size)

MPI_Buffer_detach(void** buffer, int* size)

同步通信模式

其开始不依赖于接收进程相应的接收操作是否已经进行，但是必须等到相应的接收进程开始后才可以正确返回

同步发送返回后，意味着发送缓冲区中的数据已经全部被系统缓冲区缓存，并且已经开始发送。此时同步发送返回后，发送缓冲区可以被释放或者重新利用

就绪通信模式

只有当接收进程的接收操作已经启动时，才可以在发送进程启动发送操作

接收操作必须先于发送操作

对于非阻塞发送操作的正确返回，并不意味着发送已经完成，但对于阻塞发送的正确返回，则发送缓冲区可以重读使用

10 安装MPI

11 安装常见错误

程序设计中的错误

缺少ierr参数

对status的错误说明

对于字符串的说明

以MPI_声明变量

argc,argv的参数使用

不要在MPI_Init前和MPI_Finalize后面编写程序

不要用MPI_Recv和MPI_Bcast相匹配

不能假设MPI支持多线程

MPI_Send和MPI_Recv的不合理次序

将发送和接收重叠起来吗，即当一方在发送时另一方处于接收状态，这样可以避免因相互等待而造成死锁

对于成对的交互发送和接收，鼓励使用MPI_Sendrecv语句，因为该语句本身提供了优化的可能，可以既提高效率，又避免编写单独的MPI_Send和MPI_Recv语句可能造成的死锁问题。

用MPI_Buffer_attach来显式分配用户自己的存储空间。

鼓励使用非阻塞操作MPI_Isend和MPI_Irecv来代替相应的阻塞操作

数据类型不匹配

接收缓冲区溢出

正确使用地址

12 非阻塞通信MPI程序设计

13 组通信MPI程序设计

组通信概述

组通信的消息通信功能

一对多

多对一

多对多

组通信的同步功能

协调各个进程之间的步伐和进度

组通信的计算功能

通信的功能

对消息的处理

将处理结果存放在指定的接收缓冲区

广播

一对多的通信

MPI_Bcast(void* buffer,int count,MPI_Datatype datatype,int root, MPI_Comm comm)

收集

多对一的通信

MPI_Gather(void* sendbuf, int sendcount, MPI_Datatype sendtype,void* recvbuf, int recvcount, MPI_Datatype recvtype,int root, MPI_Comm comm)

散发

一对多的通信

MPI_Scatter(void* sendbuf, int sendcount, MPI_Datatype sendtype,void* recvbuf, int recvcount, MPI_Datatype recvtype,int root, MPI_Comm comm)

组收集

将每一个进程作为一个root进程，执行一次MPI_GATHER，所有进程都将接收到结果

MPI_Allgather(void* sendbuf, int sendcount, MPI_Datatype sendtype,void* recvbuf, int recvcount, MPI_Datatype recvtype,MPI_Comm comm)

全互换

MPI_ALLTOALL组内所有的进程完全的交换消息，每个进程都会从其他的进程发送消息和接收消息

MPI_ALLGATHER每个进程散发一个相同的消息给所有的进程，MPI_ALLTOALL散发给每个进程的消息是不相同的，发送缓冲区是一个数组

MPI_Alltoall(void* sendbuf, int sendcount, MPI_Datatype sendtype,void* recvbuf, int recvcount, MPI_Datatype recvtype,MPI_Comm comm)

同步

MPI_Barrier(MPI_Comm comm)

归约

MPI_REDUCE将组内每个进程输入缓冲区中的数据按给定的操作op进行运算，并将其结果返回到序列号为root的进程的输出缓冲区中

MPI_Reduce(void* sendbuf, void* recvbuf, int count, PI_Datatype datatype,MPI_Op op, int root, MPI_Comm comm)

MPI预定义的归约操作

求π值

组归约

MPI_ALLREDUCE相当于组中每个进程作为root分别进行了一次规约操作。即规约的结果不只是某一个进程拥有，而是所有的进程都拥有。

MPI_Allreduce(void* sendbuf, void* recvbuf, int count, MPI_Datatype datatype,MPI_Op op, MPI_Comm comm)

归约并散发

MPI_REDUCE_SCATTER将归约的结果分散到组内的所有进程中，而不是仅仅归约到root进程。

MPI_Reduce_scatter(void* sendbuf, void* recvbuf, int *recvcounts,MPI_Datatype datatype, MPI_Op op, MPI_Comm comm)

扫描

每一个进程都对排在它前面的进程进行归约操作

MPI_Scan(void* sendbuf, void* recvbuf, int count, MPI_Datatype datatype, MPI_Op op, MPI_Comm comm)

不同类型归约操作的简单对比

归约

组归约

归约并发散

不正确的组通信方式

用户自定义归约操作

MPI_Op_create(MPI_User_function *function,int commute,MPI_Op *op)