利用专用硬件在网格上模拟N体系统

### 利用专用硬件在网格上模拟N体系统 #### 1. 引言 在天文学领域，星团模拟通常借助直接法N体积分器来完成。在这类模拟里，每颗恒星所受的引力需聚合系统中其他所有粒子的力贡献来计算，这是一项计算密集型操作。若要模拟数千颗以上的恒星，就需要运用并行算法或专用硬件，像GRAPEs或GPUs。目前已开发出多种用于N体模拟的并行算法，例如复制算法（更新的粒子在所有进程间交换）和环算法。 GRAPEs的并行化是减少单个模拟时钟时间的有效途径。引力N体问题的计算时间复杂度为O(N²)，而通信复杂度仅为O(N)。当N足够大时，力的计算时间会超过通信时间。对于具有低延迟和高带宽网络的本地GRAPE集群，计算和通信的平衡点大约在N ~ 10⁴处。 不过，GRAPE集群成本高昂，很少有机构能够承担。计算网格为购买大型集群提供了一种替代方案。网格技术可将多个集群（有无GRAPEs均可）组合成一个集体基础设施，这样做的好处是购买和维护成本可由各机构分摊。网格具备安全机制以实现统一注册和认证，有监测工具来检测闲置的GRAPEs，还有元调度器来分配参与站点的工作负载。这些特性使网格比使用ssh密钥连接的集群设置更具可扩展性和灵活性。 然而，网格面临的真正挑战是为尚未解决的天文问题开发新应用。例如，模拟整个星系至少需要数千PFLOP/s的计算能力以及开发混合模拟环境。这种环境要在截然不同的时间和空间尺度上进行多个天体物理模拟，包括模拟引力相互作用、恒星演化以及处理近距离相遇等情况。 为了在PFLOP/s规模上实现这些紧密耦合的多物理模拟，我们需要一个由多个强大计算集群组成的广泛且异构的网格基础设施。尽管网格技术常被用于促进高吞吐量计算或松散耦合的模拟，但关于如何有效利用网格解决紧密耦合的高性能计算问题的研究却相对较少。通过将网格技术应用于这类特定问题，我们有望满足进行千万亿次级多物理模拟的计算需求。 使用网格基础设施进行高性能计算也存在弊端，因为网格站点之间的网络特性与局域网完全不同。早期实验表明，欧洲范围内的普通PC网格在N较小时能提高整体性能，但这些结果未必适用于连接特殊用途节点的洲际GRAPE全球网格。我们需要探讨的问题是，对于多大规模的问题，全球网格才具有实际应用价值，以及如何优化模拟以充分利用网格。本文将重点关注配备GRAPE硬件的网格。 #### 2. 技术设置和性能模型 我们构建了一个异构的GRAPE网格，称为全球GRAPE网格（G3）。G3由分布在三个站点的五个节点组成，每个节点都配备了GRAPE - 6Af专用计算机。 ##### 2.1 技术设置 G3的五个节点中，两个位于东京大学（日本东京），两个位于阿姆斯特丹大学（荷兰阿姆斯特丹），一个位于德雷塞尔大学（美国费城）。G3中的本地节点通过千兆以太网连接，不同站点则通过常规互联网连接。以下是G3的具体规格： | 名称 | 位置 | CPU类型 | RAM [MB] | 操作系统 | 内核版本 | Globus版本 | | ---- | ---- | ---- | ---- | ---- | ---- | ---- | | vader | NL | Intel P4 2.4GHz | 1280 | Ubuntu 5.10 | 2.6.5 | 4.0.3 | | palpatine | NL | Intel P4 2.67GHz | 256 | RHEL 3 | 2.4.21 | 4.0.3 | | yoda | JP | Athlon 64 3500+ | 1024 | FC 2 | 2.6.10 | 3.2.1 | | skywalker | JP | Athlon 64 3500+ | 1024 | FC 2 | 2.6.10 | 3.2.1 | | obi - wan | US | 2x Xeon 3.6GHz | 2048 | Gentoo 06.1 | 2.6.13 | 4.0.4 | G3内连接的网络特性（延迟和带宽）如下表所示： | 连接 | 延迟 [ms] | 带宽（理论） [MB/s] | 带宽（实际） [MB/s] | | ---- | ---- | ---- | ---- | | 阿姆斯特丹LAN | 0.17 | 12