分层混合网格上有限元的可扩展模块化软件架构

### 分层混合网格上有限元的可扩展模块化软件架构 #### 1. 引言 现代计算机架构的发展由具有不断增加并行性的多核处理器驱动，包括进程级并行、数据级并行（如向量处理）和指令级并行。在科学计算领域，并行性尤为重要，因为高性能计算机上的数值模拟可以解决日益复杂的物理和技术问题。随着大规模计算的出现，科学软件必须能够利用现代超级计算机提供的大规模并行性。 这里将介绍一种新的有限元软件框架HyTeG（混合四面体网格）的设计与实现。我们的目标是为大规模并行有限元计算开发一个灵活、可扩展且可持续的框架。为满足可扩展和模块化软件结构的要求，精心设计的软件架构至关重要。该工作借鉴了在科学计算中设计复杂可扩展软件系统的经验。在本文中，将针对二维三角形有限元介绍软件概念，但所有功能也可用于三维模拟。 #### 2. 动机 HyTeG是一个基于有限元计算的通用框架，它建立在之前HHG软件的一些设计原则之上，但旨在提高其功能、灵活性和可持续性。 两个框架都采用了分层离散化方法，即使用非结构化粗网格与结构化均匀细化相结合。这种结构在二维三角形网格中表现为嵌套的网格层次结构，用于实现几何多重网格方法。在大规模计算中，多重网格方法因其渐近最优复杂度而至关重要，其算法可扩展性使其优于大多数替代求解算法。此外，通过用模板表示系统矩阵，利用细化元素的规则性，避免了间接寻址，减少了内存消耗和访问操作。 然而，HHG仅支持符合线性有限元，执行模型是严格的批量同步，不支持动态自适应和负载平衡，这显著限制了其适用性。因此，HyTeG是一个全新的设计，在类似原则的基础上进行了推广，以消除这些限制。 #### 3. 设计目标与贡献 - **核心特性**：HyTeG的核心特性是具有均匀结构化细化的多尺度四面体高阶有限元，这带来了出色的计算性能、高几何灵活性和对具有足够规则性问题的改进空间精度。虽然目前设计限于单纯形，但软件结构灵活，未来版本可支持六面体或棱柱体元素。 - **数据布局**：HyTeG的数据布局支持有限元网格节点、边、面和体积上的自由度，以支持大多数基于网格的离散化方法，如不连续伽辽金方法。边自由度有助于稳定离散化流动问题。 - **可扩展性**：为实现卓越的可扩展性，提出了一种改进的域划分概念和抽象数据处理方法。该软件架构支持静态和动态负载平衡技术，允许异步执行，为数据迁移、高级弹性技术和自适应网格细化奠定了基础。 - **网格数据处理**：引入了一种基于拓扑位置对网格数据进行分类和单独存储的方法，可通过基于索引的内存访问实现，避免了稀疏矩阵结构的间接寻址和性能损失。这种直接访问有助于高效实现计算内核，利用指令级并行和向量化。 - **求解器支持**：提供了数组访问抽象，可根据计算内核的访问模式调整未知量的内存布局，便于实现各种求解器，特别是几何多重网格方法。HyTeG支持组合不同的有限元空间和相应的算子，用于实现偏微分方程耦合系统的算法构建块。 - **应用目标**：目前，模拟地球地幔对流是主要应用目标，这是一个经典的大规模科学问题。但HyTeG框架也适用于许多其他可以利用大规模有限元模型的物理应用。 #### 4. 相关工作 高性能模拟框架可根据其用于表示模拟域的网格分为两类： | 网格类型 | 框架名称 | | ---- | ---- | | 非结构化网格 | DUNE及其模块DUNE - FEM、libMesh、UG4、NEKTAR++ | | 结构化网格 | deal.II、Nek5000、waLBerla | 非结构化网格框架具有几何灵活性，但实现效率较低，目前难以达到某些大规模模拟的规模。结构化网格框架支持无矩阵方法，可节省内存和带宽，更适合利用现代处理器的微架构。HyTeG框架试图在两者之间取得平衡，保留非结构化网格