XcalableMP编程模型与数据映射详解

### XcalableMP编程模型与数据映射详解 #### 1. XcalableMP C中的数组赋值语句 在XcalableMP C里，基础语言C得到了扩展，从而支持像Fortran那样的数组赋值语句。使用这类语句时，右侧表达式结果的每个元素的值会被赋给左侧数组段的对应元素。当运算符或元素函数应用于右侧表达式的数组段时，它会计算出一个与操作数或参数形状相同的数组段，并且该数组段的每个元素都是运算符或函数应用于操作数或参数对应元素的结果。标量对象被假定为一个与表达式中或左侧其他数组段形状相同的数组段，且每个元素都具有该标量的值。 需要注意的是，数组赋值是一条语句，因此不能作为表达式出现在其他任何语句中。下面是一个示例： ```c int A[10]; int B[5]; ... A[5:5] = B[0:5]; ``` 在这个例子中，第四行的数组赋值语句将`B[0]`到`B[4]`的五个元素复制到`A[5]`到`A[9]`的元素中。 #### 2. 互操作性 大多数现有的并行应用程序是用MPI编写的。将它们全部移植到XMP并不现实，因为每个应用程序可能有数百万行代码。由于XMP与MPI具有互操作性，用户可以通过修改现有应用程序的一部分来开发XMP应用程序，而无需完全重写。此外，在从头开发并行应用程序时，可以使用XMP来编写复杂的部分，例如域分解，而使用可能比XMP更快的MPI来编写需要仔细调优的热点部分。另外，XMP还与OpenMP和Python具有互操作性。 使用单一编程语言或框架开发应用程序可能会有困难，因为每种语言或框架都有其优缺点。因此，XMP程序与其他语言的程序具有互操作性，以提供高生产力和高性能。 #### 3. 数据映射 ##### 3.1 nodes指令 `nodes`指令用于声明一个节点数组，它是节点集中节点的类似数组的排列方式，节点数组可以是多维的。 | 语言 | 代码示例 | 说明 | | ---- | ---- | ---- | | XcalableMP C | `#pragma xmp nodes p[4]` | 声明一个包含四个节点的一维节点数组`p`，索引从0开始，即`p[0]`、`p[1]`、`p[2]`和`p[3]` | | XcalableMP Fortran | `!$xmp nodes p(4)` | 声明一个包含四个节点的一维节点数组`p`，索引从1开始，即`p(1)`、`p(2)`、`p(3)`和`p(4)` | | XcalableMP C | `#pragma xmp nodes p[2][3]` | 声明一个包含六个节点的二维节点数组`p` | | XcalableMP Fortran | `!$xmp nodes p(3,2)` | 声明一个包含六个节点的二维节点数组`p` | 可以在`nodes`指令中使用星号`*`来声明动态节点数组。例如： ```c #pragma xmp nodes p[*] ``` 在上述代码中，声明了一个一维动态节点数组`p`，其实际大小在运行时根据当前执行节点集的大小确定。 还可以声明多维动态节点数组，但在XMP/Fortran中，星号只能放在最后一个维度；在XMP/C中，星号只能放在第一个维度。 此外，还可以从现有的节点数组派生节点子数组，用于优化节点间通信等。例如： ```c #pragma xmp nodes p[16] #pragma xmp nodes q[8]=p[0:8] #pragma xmp nodes r[4][2]=p[8:8] ``` 在这个例子中，第一行声明了一个包含16个节点的节点数组`p`；第二行声明了一个对应于`p`前半部分的节点子数组`q`；第三行声明了一个对应于`p`后半部分的二维节点子数组`r`。 mermaid流程图如下： ```mermaid graph LR A[声明节点数组p] --> B[声明节点子数组q] B --> C[声明节点子数组r] ``` ##### 3.2 template指令 `template`指令用于声明一个模板，它是一个虚拟数组，用作程序中并行化的“模板”，并将被分布到节点数组上。 | 语言 | 代码示例 | 说明 | | ---- | ---- | ---- | | XcalableMP C | `#pragma xmp template t[10]` | 声明一个包含十个元素的一维模板`t`，索引从0到9 | | XcalableMP Fortran | `!$xmp template t(10)` | 声明一个包含十个元素的一维模板`t`，索引从1到10 | | XcalableMP C | `#pragma xmp template t[10][20]` | 声明一个包含10×20个元素的二维模板`t` | | XcalableMP Fortran | `!$xmp template t(20,10)` | 声明一个包含10×20个元素的二维模板`t` | 可以使用冒号`:`来声明一维动态模板，其大小在运行时通过`template_fix`构造来确定。例如： ```c #pragma xmp template t[:] ``` ##### 3.3 distribute指令 `distribute`指令用于指定目标模板的分布方式，可以指定块（block）、循环（cyclic）、块循环（block-cyclic）或gblock（不均匀块）等分布格式来分布模板的某个维度。 - **块分布（Block Distribution）** ```c #pragma xmp distribute t[block] onto p ``` 目标模板`t`被划分为连续的块，并分布到节点数组`p`中的节点上。假设模板大小为`N`，节点数量为`K`。如果`N`能被`K`整除，则每个节点分配到大小为`N/K`的块；否则，`N/ceil(N/K)`个节点分配到大小为`ceil(N/K)`的块，一个节点分配到大小为`mod(N, K)`的块，`(K - N/ceil(N/K) - 1)`个节点不分配块。块分布适用于规则计算，如模板计算。 下面是一个具体示例： ```c #pragma xmp nodes p[3] #pragma xmp template t[22] #pragma xmp distribute t[block] onto p ``` 在这个例子中，由于`ceil(22/3)`是8，所以`p[0]`和`p[1]`各分配到八个元素，`p[2]`分配到剩下的六个元素。 - **循环分布（Cyclic Distribution）** ```c #pragma xmp distribute t[cyclic] onto p ``` 目标模板`t`被划分为大小为1的块，并以循环方式分布到节点数组`p`中的节点上。循环分布适用于模板各元素负载不均衡的情况。 - **块循环分布（Block-Cyclic Distribution）** ```c #pragma xmp distribute t[cyclic(w)] onto p ``` 目标模板`t`被划分为大小为`w`的块，并以循环方式分布到节点数组`p`中的节点上。块循环分布适用于模板各元素负载不均衡但需要元素局部性的情况。 - **gblock分布（Gblock Distribution）** ```c #pragma xmp distribute t[gblock(W)] onto p ``` 目标模板`t`被划分为大小为`W[0]`、`W[1]`等的连续块，并分布到节点数组`p`中的节点上。数组`W`称为映射数组，通过gblock格式可以指定不规则（不均匀）的块分布。 例如： ```c #pragma xmp nodes p[3] #pragma xmp template t[22] int W[3] = {6, 11, 5}; #pragma xmp distribute t[gblock(W)] onto p ``` 还可以将多维模板分布到节点数组上，并且可以为模板的每个维度指定不同的分布格式。当在`distribute`指令中使用星号`*`作为分布格式时，目标维度为“非分布”的。例如： ```c #pragma xmp nodes p[4] #pragma xmp template t[10][10] #pragma xmp distribute t[block][*] onto p ``` 在这个例子中，第一个维度以块方式分布，第二个维度是非分布的。 #### 3.4 align指令 `align`指令用于指定数组要以与指定模板相同的方式进行映射。简单来说，`align`指令定义了数组和模板元素之间的对应关系，并且数组的每个元素会被分配到对应模板元素所在的节点上。 下面通过不同的示例来详细说明`align`指令的使用： - **一维数组与一维模板对齐** ```c #pragma xmp nodes p[4] #pragma xmp template t[8] #pragma xmp distribute t[block] onto p int a[8]; #pragma xmp align a[i] with t[i] ``` ```fortran !$xmp nodes p(4) !$xmp template t(8) !$xmp distribute t(block) onto p integer :: a(8) !$xmp align a(i) with t(i) ``` 在上述示例中，数组`a`被分解并布局，使得每个元素`a(i)`与对应的模板元素`t(i)`位于同一节点上，如下图所示： | 节点 | 数组元素 | 模板元素 | | ---- | ---- | ---- | | p[0], p(1) | a[i] / a(i) | t[i] / t(i) | | p[1], p(2) | - | - | | p[2], p(3) | - | - | | p[3], p(4) | - | - | - **多维数组与多维模板对齐** ```c #pragma xmp nodes p[2][2] #pragma xmp template t[8][8] #pragma xmp distribute t[block][block] onto p int a[8][8]; #pragma xmp align a[i][j] with t[i][j] ``` ```fortran !$xmp nodes p(2,2) !$xmp template t(8,8) !$xmp distribute t(block,block) onto p integer :: a(8,8) !$xmp align a(j,i) with t(j,i) ``` 此示例展示了多维数组与多维模板的对齐方式，每个数组元素`a[i][j]`与对应模板元素`t[i][j]`位于同一节点上。 - **n维数组与m维模板对齐（n > m）** ```c #pragma xmp nodes p[4] #pragma xmp template t[8] #pragma xmp distribute t[block] onto p int a[8][8]; #pragma xmp align a[i][*] with t[i] ``` ```fortran !$xmp nodes p(4) !$xmp template t(8) !$xmp distribute t(block) onto p integer :: a(8,8) !$xmp align a(*,i) with t(i) ``` 当在`align`指令中，目标数组的某个维度的下标指定为星号`*`时，该维度将被“折叠”（即不进行分布）。在上述示例中，数组`a`的第一个维度被分布到节点数组`p`上，而第二个维度被折叠。在XMP/C中，`a[0:2][:]`将被分配到`p[0]`上；在XMP/Fortran中，`a(:,1:2)`将被分配到`p(1)`上。 - **n维数组与m维模板对齐（n < m）** ```c #pragma xmp nodes p[2][2] #pragma xmp template t[8][8] #pragma xmp distribute t[block][block] onto p int a[8]; #pragma xmp align a[i] with t[i][*] ``` ```fortran !$xmp nodes p(2,2) !$xmp template t(8,8) !$xmp distribute t(block,block) onto p integer :: a(8) !$xmp align a(i) with t(*,i) ``` 当在`align`指令中，目标模板的某个维度的下标指定为星号`*`时，数组将沿该维度进行“复制”。在XMP/C中，`a[0:4]`将被复制并分配到`p[0][0]`和`p[0][1]`上；在XMP/Fortran中，`a(1:4)`将被分配到`p(1,1)`和`p(2,1)`上。 mermaid流程图展示数组对齐过程： ```mermaid graph LR A[声明节点数组] --> B[声明模板] B --> C[分布模板] C --> D[声明数组] D --> E[对齐数组与模板] ``` #### 3.5 分布式数组的动态分配 本节将介绍如何在运行时分配分布式（即全局）数组。XMP/C和XMP/Fortran的基本分配过程大致相同，但有一些具体差异。 - **XMP/C中的动态分配** ```c #pragma xmp nodes p[4] #pragma xmp template t[N] #pragma xmp distribute t[block] onto p float *a; #pragma xmp align a[i] with t[i]; a = xmp_malloc(xmp_desc_of(a), N); ``` 在XMP/C中，动态分配分布式数组的步骤如下： 1. 声明目标数组类型的指针。 2. 像处理普通数组一样对指针进行对齐操作。 3. 使用`xmp_malloc()`函数为其分配内存，其中`xmp_desc_of()`是一个内置函数，用于返回指定XMP对象（节点、模板或全局数组）的描述符。 - **XMP/Fortran中的动态分配** ```fortran !$xmp nodes p(4) !$xmp template t(N) !$xmp distribute t(block) onto p real, allocatable :: a(:) !$xmp align a(i) with t(i) allocate(a(N)) ``` 在XMP/Fortran中，动态分配分布式数组的步骤如下： 1. 声明一个可分配的数组。 2. 对数组进行对齐操作。 3. 使用`allocate`语句为数组分配内存。 对于多维数组，分配过程与一维数组相同。例如，在XMP/C中： ```c #pragma xmp nodes p[2][2] #pragma xmp template t[N1][N2] #pragma xmp distribute t[block][block] onto p float (*a)[N2]; #pragma xmp align a[i][j] with t[i][j] ``` 综上所述，通过`nodes`、`template`、`distribute`、`align`指令以及动态分配的方法，我们可以灵活地对数据进行映射和管理，以满足不同并行计算场景的需求。在实际应用中，需要根据具体的问题和计算需求选择合适的分布方式和数据映射策略，从而提高并行程序的性能和效率。