并行与分布式科学计算中的数值软件技术

### 并行与分布式科学计算中的数值软件技术 在并行与分布式科学计算领域，高质量、可复用的数学软件对于提升计算效率和准确性至关重要。下面将详细介绍相关软件的设计目标、自动生成调优数值内核的方法等内容。 #### 高质量、可复用数学软件的设计目标 开发用于稠密线性代数计算的高质量子程序库时，设计目标主要分为三大类：性能、易用性和使用范围。 ##### 性能 性能方面有两个重要指标：并发效率和可扩展性。 - **并发效率**：通过消除负载不平衡、数据移动和算法重构带来的开销，来追求算法的良好性能。并发效率 \( t \) 的定义为每个处理器的并发加速比，计算公式为 \( t(N,N_p ) = \frac{1}{N_p}\frac{T_{seq}(N)}{T(N,N_p)} \)，其中 \( N \) 表示问题规模，\( T_{seq} \) 是最佳顺序算法在并发计算机的一个处理器上的执行时间，\( T \) 是并行算法在 \( N_p \) 个处理器上的执行时间。在稠密线性代数计算中，执行时间通常由浮点运算次数决定，并发效率与以每秒浮点运算次数衡量的性能 \( G \) 相关。对于迭代例程，如特征求解器，迭代次数和执行时间不仅取决于问题规模，还取决于输入数据的其他特征，如条件数。 - **可扩展性**：如果并发效率仅通过问题规模和处理器数量的比率来体现，那么该并行算法被认为是可扩展的。这个比率即每个处理器的问题规模，常被称为粒度。对于可扩展算法，在保持粒度固定的情况下，随着处理器数量的增加，并发效率保持恒定，性能与处理器数量呈线性关系。 以下是不同机器上 LAPACK 例程进行 LV 分解的速度（Mflops）： | Machine (No. of processors) | Block size | 100 | 200 | 300 | 400 | 500 | | --- | --- | --- | --- | --- | --- | --- | | IBM RIS~(6000 - 530 (1) | 32 | 19 | 25 | 29 | 31 | 33 | | Alliant FX/8 (8) | 16 | 9 | 26 | 32 | 46 | 57 | | IBM 3090J VF (1) | 64 | 23 | 41 | 52 | 58 | 63 | | Convex C - 240 (4) | 64 | 31 | 60 | 82 | 100 | 112 | | CRAY Y - MP (1) | 1 | 132 | 219 | 254 | 272 | 283 | | CRAY - 2 (1) | 64 | 110 | 211 | 292 | 318 | 358 | | Siemens/Fujitsu VP 400 - EX (1) | 64 | 46 | 132 | 222 | 309 | 397 | | NEC SX2 (1) | 1 | 118 | 274 | 412 | 504 | 577 | | CRAY Y - MP (8) | 64 | 195 | 556 | 920 | 1188 | 1408 | LAPACK 旨在在向量处理器、高性能“超标量”工作站和共享内存多处理器上实现高效率，但在其他类型的并行架构上可能表现不佳。ScaLAPACK 项目则将 LAPACK 适配到分布式内存架构。 下面是 ScaLAPACK 实现的 LU 分解在 Intel XP /S MP Paragon 计算机上的性能示意图： ```mermaid graph LR classDef process fill:#E5F6FF,stroke:#73A6FF,stroke-width:2px; A(问题规模):::process --> B(性能):::process ``` ##### 易用性 易用性涉及可移植性和库的